diff --git a/config.json b/backup_config.json similarity index 100% rename from config.json rename to backup_config.json diff --git a/clean_and_backup.json b/clean_and_backup.json new file mode 100644 index 0000000..3a22372 --- /dev/null +++ b/clean_and_backup.json @@ -0,0 +1,11 @@ +[ + { + "name": "gd-backup", + "region": "us-east-1", + "bucket": "", + "accesskey": "DO0083X9WMBNMFDU9D8H", + "secretekey": "s0VkokCJn7mFgJ2eD7alkrWcJqgQEifkCTdJBdE/4dA", + "endpoint_url": "https://fra1.digitaloceanspaces.com", + "folder": "" + } +] diff --git a/src/main.rs b/src/main.rs index 4c738ed..7a98d78 100644 --- a/src/main.rs +++ b/src/main.rs @@ -4,19 +4,35 @@ mod utils; use models::CloudS3; use std::fs; -use utils::handle_bucket_contents; +use utils::{handle_bucket_contents, list_all_buckets}; use crate::utils::s3_utils::{create_client, create_config}; #[tokio::main] async fn main() { - // Konfiguráció betöltése + // Választható: backup_config vagy clean_and_backup + // Jelenleg mindkettőt futtatjuk, ha létezik a fájl - let config_data = - fs::read_to_string("config.json").expect("Nem sikerült beolvasni a konfigurációs fájlt."); + if let Err(e) = run_backup_config().await { + eprintln!("Hiba a backup_config futtatásakor: {}", e); + } - let clouds: Vec = serde_json::from_str(&config_data) - .expect("Nem sikerült feldolgozni a konfigurációs fájlt."); + if let Err(e) = run_clean_and_backup().await { + eprintln!("Hiba a clean_and_backup futtatásakor: {}", e); + } +} + +/// Backup a backup_config.json alapján (eredeti működés) +async fn run_backup_config() -> Result<(), Box> { + let config_data = match fs::read_to_string("backup_config.json") { + Ok(data) => data, + Err(_) => { + println!("backup_config.json nem található, kihagyva."); + return Ok(()); + } + }; + + let clouds: Vec = serde_json::from_str(&config_data)?; for cloud in clouds { let config = create_config(&cloud); @@ -24,9 +40,59 @@ async fn main() { println!("Bucket tartalom listázása: {}", cloud.name); - match handle_bucket_contents(&client, &cloud).await { + match handle_bucket_contents(&client, &cloud, "cloud_backup").await { Ok(_) => (), Err(e) => eprintln!("Hiba a bucket listázásakor: {}", e), } } + + Ok(()) +} + +/// Clean and backup: az összes bucket letöltése a megadott hozzáférésen +async fn run_clean_and_backup() -> Result<(), Box> { + let config_data = match fs::read_to_string("clean_and_backup.json") { + Ok(data) => data, + Err(_) => { + println!("clean_and_backup.json nem található, kihagyva."); + return Ok(()); + } + }; + + // Ugyanaz a CloudS3 struktúra, de a bucket mező üres lehet + let clouds: Vec = serde_json::from_str(&config_data)?; + + for cloud in clouds { + let config = create_config(&cloud); + let client = create_client(config); + + println!("Összes bucket listázása: {}", cloud.name); + + // Lekérjük az összes bucket-et + let buckets = list_all_buckets(&client).await?; + println!("Talált bucket-ek: {:?}", buckets); + + // Minden bucket-en végigmegyünk + for bucket_name in buckets { + println!("\n--- Bucket: {} ---", bucket_name); + + // Létrehozunk egy CloudS3-at az adott bucket-tel + let bucket_cloud = CloudS3 { + name: format!("{}/{}", cloud.name, bucket_name), + region: cloud.region.clone(), + bucket: bucket_name, + accesskey: cloud.accesskey.clone(), + secretekey: cloud.secretekey.clone(), + endpoint_url: cloud.endpoint_url.clone(), + folder: None, + }; + + match handle_bucket_contents(&client, &bucket_cloud, "db_backup").await { + Ok(_) => (), + Err(e) => eprintln!("Hiba a bucket listázásakor: {}", e), + } + } + } + + Ok(()) } diff --git a/src/models/mod.rs b/src/models/mod.rs index 243e6f4..b016fc4 100644 --- a/src/models/mod.rs +++ b/src/models/mod.rs @@ -3,4 +3,3 @@ pub mod s3_items; pub use cloud::CloudS3; pub use s3_items::S3Item; - diff --git a/src/utils/file_utils.rs b/src/utils/file_utils.rs index e459e95..a2dbaf9 100644 --- a/src/utils/file_utils.rs +++ b/src/utils/file_utils.rs @@ -1,13 +1,5 @@ use crate::models::S3Item; -pub fn create_directory_if_not_exists(folder_name: &str) -> std::io::Result<()> { - let folder_name_with_root = "./result".to_string() + "/" + folder_name; - if !std::path::Path::new(&folder_name_with_root).exists() { - std::fs::create_dir_all(folder_name_with_root)?; - } - Ok(()) -} - pub fn should_skip_download(root_folder: &str, bucket_item: &S3Item) -> bool { let path_str = format!("{}/{}", root_folder, bucket_item.key); let path = std::path::Path::new(&path_str); diff --git a/src/utils/mod.rs b/src/utils/mod.rs index 54a759f..e6d26b5 100644 --- a/src/utils/mod.rs +++ b/src/utils/mod.rs @@ -1,3 +1,4 @@ pub mod file_utils; pub mod s3_utils; pub use s3_utils::handle_bucket_contents; +pub use s3_utils::list_all_buckets; diff --git a/src/utils/s3_utils.rs b/src/utils/s3_utils.rs index 96bbda7..e3fb09d 100644 --- a/src/utils/s3_utils.rs +++ b/src/utils/s3_utils.rs @@ -24,6 +24,19 @@ pub fn create_client(config: aws_sdk_s3::Config) -> Client { Client::from_conf(config) } +/// Az összes bucket listázása az adott hozzáférésen +pub async fn list_all_buckets(client: &Client) -> Result, Error> { + let response = client.list_buckets().send().await?; + + let buckets: Vec = response + .buckets() + .iter() + .filter_map(|b| b.name().map(|n| n.to_string())) + .collect(); + + Ok(buckets) +} + /// Listázza az S3 bucket tartalmát /// Visszaadja a fájlokat és mappákat megkülönböztetve pub async fn list_bucket(client: &Client, s3: &CloudS3) -> Result, Error> { @@ -95,16 +108,16 @@ pub async fn list_bucket(client: &Client, s3: &CloudS3) -> Result, E pub async fn download_file( client: &Client, s3: &CloudS3, - s3Item: &S3Item, + s3_item: &S3Item, ) -> Result, Box> { - let fileData = client + let file_data = client .get_object() .bucket(&s3.bucket) - .key(&s3Item.key) + .key(&s3_item.key) .send() .await?; - let bytes = fileData.body.collect().await?.into_bytes(); + let bytes = file_data.body.collect().await?.into_bytes(); Ok(bytes.to_vec()) } @@ -113,6 +126,7 @@ pub async fn download_file( pub async fn handle_bucket_contents( client: &Client, s3: &CloudS3, + backup_dir: &str, ) -> Result<(), Box> { let items = list_bucket(client, s3).await?; @@ -122,7 +136,7 @@ pub async fn handle_bucket_contents( } println!("{}", "-".repeat(60)); - let root_folder = format!("./result/{}", s3.name); + let root_folder = format!("./{}/{}", backup_dir, s3.name); // Szűrjük ki a már meglévő fájlokat let items_to_download: Vec<_> = items