backup db as well
This commit is contained in:
@@ -0,0 +1,11 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"name": "gd-backup",
|
||||||
|
"region": "us-east-1",
|
||||||
|
"bucket": "",
|
||||||
|
"accesskey": "DO0083X9WMBNMFDU9D8H",
|
||||||
|
"secretekey": "s0VkokCJn7mFgJ2eD7alkrWcJqgQEifkCTdJBdE/4dA",
|
||||||
|
"endpoint_url": "https://fra1.digitaloceanspaces.com",
|
||||||
|
"folder": ""
|
||||||
|
}
|
||||||
|
]
|
||||||
+73
-7
@@ -4,19 +4,35 @@ mod utils;
|
|||||||
use models::CloudS3;
|
use models::CloudS3;
|
||||||
use std::fs;
|
use std::fs;
|
||||||
|
|
||||||
use utils::handle_bucket_contents;
|
use utils::{handle_bucket_contents, list_all_buckets};
|
||||||
|
|
||||||
use crate::utils::s3_utils::{create_client, create_config};
|
use crate::utils::s3_utils::{create_client, create_config};
|
||||||
|
|
||||||
#[tokio::main]
|
#[tokio::main]
|
||||||
async fn main() {
|
async fn main() {
|
||||||
// Konfiguráció betöltése
|
// Választható: backup_config vagy clean_and_backup
|
||||||
|
// Jelenleg mindkettőt futtatjuk, ha létezik a fájl
|
||||||
|
|
||||||
let config_data =
|
if let Err(e) = run_backup_config().await {
|
||||||
fs::read_to_string("config.json").expect("Nem sikerült beolvasni a konfigurációs fájlt.");
|
eprintln!("Hiba a backup_config futtatásakor: {}", e);
|
||||||
|
}
|
||||||
|
|
||||||
let clouds: Vec<CloudS3> = serde_json::from_str(&config_data)
|
if let Err(e) = run_clean_and_backup().await {
|
||||||
.expect("Nem sikerült feldolgozni a konfigurációs fájlt.");
|
eprintln!("Hiba a clean_and_backup futtatásakor: {}", e);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Backup a backup_config.json alapján (eredeti működés)
|
||||||
|
async fn run_backup_config() -> Result<(), Box<dyn std::error::Error>> {
|
||||||
|
let config_data = match fs::read_to_string("backup_config.json") {
|
||||||
|
Ok(data) => data,
|
||||||
|
Err(_) => {
|
||||||
|
println!("backup_config.json nem található, kihagyva.");
|
||||||
|
return Ok(());
|
||||||
|
}
|
||||||
|
};
|
||||||
|
|
||||||
|
let clouds: Vec<CloudS3> = serde_json::from_str(&config_data)?;
|
||||||
|
|
||||||
for cloud in clouds {
|
for cloud in clouds {
|
||||||
let config = create_config(&cloud);
|
let config = create_config(&cloud);
|
||||||
@@ -24,9 +40,59 @@ async fn main() {
|
|||||||
|
|
||||||
println!("Bucket tartalom listázása: {}", cloud.name);
|
println!("Bucket tartalom listázása: {}", cloud.name);
|
||||||
|
|
||||||
match handle_bucket_contents(&client, &cloud).await {
|
match handle_bucket_contents(&client, &cloud, "cloud_backup").await {
|
||||||
|
Ok(_) => (),
|
||||||
|
Err(e) => eprintln!("Hiba a bucket listázásakor: {}", e),
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
Ok(())
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Clean and backup: az összes bucket letöltése a megadott hozzáférésen
|
||||||
|
async fn run_clean_and_backup() -> Result<(), Box<dyn std::error::Error>> {
|
||||||
|
let config_data = match fs::read_to_string("clean_and_backup.json") {
|
||||||
|
Ok(data) => data,
|
||||||
|
Err(_) => {
|
||||||
|
println!("clean_and_backup.json nem található, kihagyva.");
|
||||||
|
return Ok(());
|
||||||
|
}
|
||||||
|
};
|
||||||
|
|
||||||
|
// Ugyanaz a CloudS3 struktúra, de a bucket mező üres lehet
|
||||||
|
let clouds: Vec<CloudS3> = serde_json::from_str(&config_data)?;
|
||||||
|
|
||||||
|
for cloud in clouds {
|
||||||
|
let config = create_config(&cloud);
|
||||||
|
let client = create_client(config);
|
||||||
|
|
||||||
|
println!("Összes bucket listázása: {}", cloud.name);
|
||||||
|
|
||||||
|
// Lekérjük az összes bucket-et
|
||||||
|
let buckets = list_all_buckets(&client).await?;
|
||||||
|
println!("Talált bucket-ek: {:?}", buckets);
|
||||||
|
|
||||||
|
// Minden bucket-en végigmegyünk
|
||||||
|
for bucket_name in buckets {
|
||||||
|
println!("\n--- Bucket: {} ---", bucket_name);
|
||||||
|
|
||||||
|
// Létrehozunk egy CloudS3-at az adott bucket-tel
|
||||||
|
let bucket_cloud = CloudS3 {
|
||||||
|
name: format!("{}/{}", cloud.name, bucket_name),
|
||||||
|
region: cloud.region.clone(),
|
||||||
|
bucket: bucket_name,
|
||||||
|
accesskey: cloud.accesskey.clone(),
|
||||||
|
secretekey: cloud.secretekey.clone(),
|
||||||
|
endpoint_url: cloud.endpoint_url.clone(),
|
||||||
|
folder: None,
|
||||||
|
};
|
||||||
|
|
||||||
|
match handle_bucket_contents(&client, &bucket_cloud, "db_backup").await {
|
||||||
Ok(_) => (),
|
Ok(_) => (),
|
||||||
Err(e) => eprintln!("Hiba a bucket listázásakor: {}", e),
|
Err(e) => eprintln!("Hiba a bucket listázásakor: {}", e),
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
Ok(())
|
||||||
|
}
|
||||||
|
|||||||
@@ -3,4 +3,3 @@ pub mod s3_items;
|
|||||||
|
|
||||||
pub use cloud::CloudS3;
|
pub use cloud::CloudS3;
|
||||||
pub use s3_items::S3Item;
|
pub use s3_items::S3Item;
|
||||||
|
|
||||||
|
|||||||
@@ -1,13 +1,5 @@
|
|||||||
use crate::models::S3Item;
|
use crate::models::S3Item;
|
||||||
|
|
||||||
pub fn create_directory_if_not_exists(folder_name: &str) -> std::io::Result<()> {
|
|
||||||
let folder_name_with_root = "./result".to_string() + "/" + folder_name;
|
|
||||||
if !std::path::Path::new(&folder_name_with_root).exists() {
|
|
||||||
std::fs::create_dir_all(folder_name_with_root)?;
|
|
||||||
}
|
|
||||||
Ok(())
|
|
||||||
}
|
|
||||||
|
|
||||||
pub fn should_skip_download(root_folder: &str, bucket_item: &S3Item) -> bool {
|
pub fn should_skip_download(root_folder: &str, bucket_item: &S3Item) -> bool {
|
||||||
let path_str = format!("{}/{}", root_folder, bucket_item.key);
|
let path_str = format!("{}/{}", root_folder, bucket_item.key);
|
||||||
let path = std::path::Path::new(&path_str);
|
let path = std::path::Path::new(&path_str);
|
||||||
|
|||||||
@@ -1,3 +1,4 @@
|
|||||||
pub mod file_utils;
|
pub mod file_utils;
|
||||||
pub mod s3_utils;
|
pub mod s3_utils;
|
||||||
pub use s3_utils::handle_bucket_contents;
|
pub use s3_utils::handle_bucket_contents;
|
||||||
|
pub use s3_utils::list_all_buckets;
|
||||||
|
|||||||
+19
-5
@@ -24,6 +24,19 @@ pub fn create_client(config: aws_sdk_s3::Config) -> Client {
|
|||||||
Client::from_conf(config)
|
Client::from_conf(config)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// Az összes bucket listázása az adott hozzáférésen
|
||||||
|
pub async fn list_all_buckets(client: &Client) -> Result<Vec<String>, Error> {
|
||||||
|
let response = client.list_buckets().send().await?;
|
||||||
|
|
||||||
|
let buckets: Vec<String> = response
|
||||||
|
.buckets()
|
||||||
|
.iter()
|
||||||
|
.filter_map(|b| b.name().map(|n| n.to_string()))
|
||||||
|
.collect();
|
||||||
|
|
||||||
|
Ok(buckets)
|
||||||
|
}
|
||||||
|
|
||||||
/// Listázza az S3 bucket tartalmát
|
/// Listázza az S3 bucket tartalmát
|
||||||
/// Visszaadja a fájlokat és mappákat megkülönböztetve
|
/// Visszaadja a fájlokat és mappákat megkülönböztetve
|
||||||
pub async fn list_bucket(client: &Client, s3: &CloudS3) -> Result<Vec<S3Item>, Error> {
|
pub async fn list_bucket(client: &Client, s3: &CloudS3) -> Result<Vec<S3Item>, Error> {
|
||||||
@@ -95,16 +108,16 @@ pub async fn list_bucket(client: &Client, s3: &CloudS3) -> Result<Vec<S3Item>, E
|
|||||||
pub async fn download_file(
|
pub async fn download_file(
|
||||||
client: &Client,
|
client: &Client,
|
||||||
s3: &CloudS3,
|
s3: &CloudS3,
|
||||||
s3Item: &S3Item,
|
s3_item: &S3Item,
|
||||||
) -> Result<Vec<u8>, Box<dyn std::error::Error>> {
|
) -> Result<Vec<u8>, Box<dyn std::error::Error>> {
|
||||||
let fileData = client
|
let file_data = client
|
||||||
.get_object()
|
.get_object()
|
||||||
.bucket(&s3.bucket)
|
.bucket(&s3.bucket)
|
||||||
.key(&s3Item.key)
|
.key(&s3_item.key)
|
||||||
.send()
|
.send()
|
||||||
.await?;
|
.await?;
|
||||||
|
|
||||||
let bytes = fileData.body.collect().await?.into_bytes();
|
let bytes = file_data.body.collect().await?.into_bytes();
|
||||||
|
|
||||||
Ok(bytes.to_vec())
|
Ok(bytes.to_vec())
|
||||||
}
|
}
|
||||||
@@ -113,6 +126,7 @@ pub async fn download_file(
|
|||||||
pub async fn handle_bucket_contents(
|
pub async fn handle_bucket_contents(
|
||||||
client: &Client,
|
client: &Client,
|
||||||
s3: &CloudS3,
|
s3: &CloudS3,
|
||||||
|
backup_dir: &str,
|
||||||
) -> Result<(), Box<dyn std::error::Error>> {
|
) -> Result<(), Box<dyn std::error::Error>> {
|
||||||
let items = list_bucket(client, s3).await?;
|
let items = list_bucket(client, s3).await?;
|
||||||
|
|
||||||
@@ -122,7 +136,7 @@ pub async fn handle_bucket_contents(
|
|||||||
}
|
}
|
||||||
println!("{}", "-".repeat(60));
|
println!("{}", "-".repeat(60));
|
||||||
|
|
||||||
let root_folder = format!("./result/{}", s3.name);
|
let root_folder = format!("./{}/{}", backup_dir, s3.name);
|
||||||
|
|
||||||
// Szűrjük ki a már meglévő fájlokat
|
// Szűrjük ki a már meglévő fájlokat
|
||||||
let items_to_download: Vec<_> = items
|
let items_to_download: Vec<_> = items
|
||||||
|
|||||||
Reference in New Issue
Block a user