backup db as well

This commit is contained in:
sagiferi
2026-01-11 17:09:46 +01:00
parent bd708c5b8e
commit 02746cfd17
7 changed files with 104 additions and 21 deletions
View File
+11
View File
@@ -0,0 +1,11 @@
[
{
"name": "gd-backup",
"region": "us-east-1",
"bucket": "",
"accesskey": "DO0083X9WMBNMFDU9D8H",
"secretekey": "s0VkokCJn7mFgJ2eD7alkrWcJqgQEifkCTdJBdE/4dA",
"endpoint_url": "https://fra1.digitaloceanspaces.com",
"folder": ""
}
]
+73 -7
View File
@@ -4,19 +4,35 @@ mod utils;
use models::CloudS3; use models::CloudS3;
use std::fs; use std::fs;
use utils::handle_bucket_contents; use utils::{handle_bucket_contents, list_all_buckets};
use crate::utils::s3_utils::{create_client, create_config}; use crate::utils::s3_utils::{create_client, create_config};
#[tokio::main] #[tokio::main]
async fn main() { async fn main() {
// Konfiguráció betöltése // Választható: backup_config vagy clean_and_backup
// Jelenleg mindkettőt futtatjuk, ha létezik a fájl
let config_data = if let Err(e) = run_backup_config().await {
fs::read_to_string("config.json").expect("Nem sikerült beolvasni a konfigurációs fájlt."); eprintln!("Hiba a backup_config futtatásakor: {}", e);
}
let clouds: Vec<CloudS3> = serde_json::from_str(&config_data) if let Err(e) = run_clean_and_backup().await {
.expect("Nem sikerült feldolgozni a konfigurációs fájlt."); eprintln!("Hiba a clean_and_backup futtatásakor: {}", e);
}
}
/// Backup a backup_config.json alapján (eredeti működés)
async fn run_backup_config() -> Result<(), Box<dyn std::error::Error>> {
let config_data = match fs::read_to_string("backup_config.json") {
Ok(data) => data,
Err(_) => {
println!("backup_config.json nem található, kihagyva.");
return Ok(());
}
};
let clouds: Vec<CloudS3> = serde_json::from_str(&config_data)?;
for cloud in clouds { for cloud in clouds {
let config = create_config(&cloud); let config = create_config(&cloud);
@@ -24,9 +40,59 @@ async fn main() {
println!("Bucket tartalom listázása: {}", cloud.name); println!("Bucket tartalom listázása: {}", cloud.name);
match handle_bucket_contents(&client, &cloud).await { match handle_bucket_contents(&client, &cloud, "cloud_backup").await {
Ok(_) => (), Ok(_) => (),
Err(e) => eprintln!("Hiba a bucket listázásakor: {}", e), Err(e) => eprintln!("Hiba a bucket listázásakor: {}", e),
} }
} }
Ok(())
}
/// Clean and backup: az összes bucket letöltése a megadott hozzáférésen
async fn run_clean_and_backup() -> Result<(), Box<dyn std::error::Error>> {
let config_data = match fs::read_to_string("clean_and_backup.json") {
Ok(data) => data,
Err(_) => {
println!("clean_and_backup.json nem található, kihagyva.");
return Ok(());
}
};
// Ugyanaz a CloudS3 struktúra, de a bucket mező üres lehet
let clouds: Vec<CloudS3> = serde_json::from_str(&config_data)?;
for cloud in clouds {
let config = create_config(&cloud);
let client = create_client(config);
println!("Összes bucket listázása: {}", cloud.name);
// Lekérjük az összes bucket-et
let buckets = list_all_buckets(&client).await?;
println!("Talált bucket-ek: {:?}", buckets);
// Minden bucket-en végigmegyünk
for bucket_name in buckets {
println!("\n--- Bucket: {} ---", bucket_name);
// Létrehozunk egy CloudS3-at az adott bucket-tel
let bucket_cloud = CloudS3 {
name: format!("{}/{}", cloud.name, bucket_name),
region: cloud.region.clone(),
bucket: bucket_name,
accesskey: cloud.accesskey.clone(),
secretekey: cloud.secretekey.clone(),
endpoint_url: cloud.endpoint_url.clone(),
folder: None,
};
match handle_bucket_contents(&client, &bucket_cloud, "db_backup").await {
Ok(_) => (),
Err(e) => eprintln!("Hiba a bucket listázásakor: {}", e),
}
}
}
Ok(())
} }
-1
View File
@@ -3,4 +3,3 @@ pub mod s3_items;
pub use cloud::CloudS3; pub use cloud::CloudS3;
pub use s3_items::S3Item; pub use s3_items::S3Item;
-8
View File
@@ -1,13 +1,5 @@
use crate::models::S3Item; use crate::models::S3Item;
pub fn create_directory_if_not_exists(folder_name: &str) -> std::io::Result<()> {
let folder_name_with_root = "./result".to_string() + "/" + folder_name;
if !std::path::Path::new(&folder_name_with_root).exists() {
std::fs::create_dir_all(folder_name_with_root)?;
}
Ok(())
}
pub fn should_skip_download(root_folder: &str, bucket_item: &S3Item) -> bool { pub fn should_skip_download(root_folder: &str, bucket_item: &S3Item) -> bool {
let path_str = format!("{}/{}", root_folder, bucket_item.key); let path_str = format!("{}/{}", root_folder, bucket_item.key);
let path = std::path::Path::new(&path_str); let path = std::path::Path::new(&path_str);
+1
View File
@@ -1,3 +1,4 @@
pub mod file_utils; pub mod file_utils;
pub mod s3_utils; pub mod s3_utils;
pub use s3_utils::handle_bucket_contents; pub use s3_utils::handle_bucket_contents;
pub use s3_utils::list_all_buckets;
+19 -5
View File
@@ -24,6 +24,19 @@ pub fn create_client(config: aws_sdk_s3::Config) -> Client {
Client::from_conf(config) Client::from_conf(config)
} }
/// Az összes bucket listázása az adott hozzáférésen
pub async fn list_all_buckets(client: &Client) -> Result<Vec<String>, Error> {
let response = client.list_buckets().send().await?;
let buckets: Vec<String> = response
.buckets()
.iter()
.filter_map(|b| b.name().map(|n| n.to_string()))
.collect();
Ok(buckets)
}
/// Listázza az S3 bucket tartalmát /// Listázza az S3 bucket tartalmát
/// Visszaadja a fájlokat és mappákat megkülönböztetve /// Visszaadja a fájlokat és mappákat megkülönböztetve
pub async fn list_bucket(client: &Client, s3: &CloudS3) -> Result<Vec<S3Item>, Error> { pub async fn list_bucket(client: &Client, s3: &CloudS3) -> Result<Vec<S3Item>, Error> {
@@ -95,16 +108,16 @@ pub async fn list_bucket(client: &Client, s3: &CloudS3) -> Result<Vec<S3Item>, E
pub async fn download_file( pub async fn download_file(
client: &Client, client: &Client,
s3: &CloudS3, s3: &CloudS3,
s3Item: &S3Item, s3_item: &S3Item,
) -> Result<Vec<u8>, Box<dyn std::error::Error>> { ) -> Result<Vec<u8>, Box<dyn std::error::Error>> {
let fileData = client let file_data = client
.get_object() .get_object()
.bucket(&s3.bucket) .bucket(&s3.bucket)
.key(&s3Item.key) .key(&s3_item.key)
.send() .send()
.await?; .await?;
let bytes = fileData.body.collect().await?.into_bytes(); let bytes = file_data.body.collect().await?.into_bytes();
Ok(bytes.to_vec()) Ok(bytes.to_vec())
} }
@@ -113,6 +126,7 @@ pub async fn download_file(
pub async fn handle_bucket_contents( pub async fn handle_bucket_contents(
client: &Client, client: &Client,
s3: &CloudS3, s3: &CloudS3,
backup_dir: &str,
) -> Result<(), Box<dyn std::error::Error>> { ) -> Result<(), Box<dyn std::error::Error>> {
let items = list_bucket(client, s3).await?; let items = list_bucket(client, s3).await?;
@@ -122,7 +136,7 @@ pub async fn handle_bucket_contents(
} }
println!("{}", "-".repeat(60)); println!("{}", "-".repeat(60));
let root_folder = format!("./result/{}", s3.name); let root_folder = format!("./{}/{}", backup_dir, s3.name);
// Szűrjük ki a már meglévő fájlokat // Szűrjük ki a már meglévő fájlokat
let items_to_download: Vec<_> = items let items_to_download: Vec<_> = items