Copier la structure de répertoire intacte dans le bucket AWS S3

Je n'ai pas réussi à faire fonctionner s3 sync ou s3 cp sur un dossier de 55 Go avec des milliers de fichiers et plus d'une vingtaine de sous-répertoires à l'intérieur. Essayer de synchroniser l'ensemble du dossier provoquerait simplement un échec silencieux d'awscli sans rien téléverser dans le compartiment.

J'ai fini par faire ceci pour d'abord synchroniser tous les sous-répertoires et leurs contenus (la structure du dossier est préservée) :

nice find . -mindepth 1 -maxdepth 1 -type d | cut -c 3- | while read line; do aws s3 sync $"$line" "s3://bucketname/$line"; done

Ensuite, j'ai fait ceci pour obtenir les 30 000 fichiers au niveau supérieur :

nice find . -mindepth 1 -maxdepth 1 -type f | cut -c 3- | while read line; do aws s3 cp "$line" "s3://bucketname/";

Assurez-vous de surveiller la charge sur le serveur (astuce : vous pouvez utiliser w pour afficher simplement la charge) et ctrl-z pour suspendre la commande si la charge devient trop élevée. (fg pour la reprendre).

Je mets cela ici au cas où cela aiderait quelqu'un dans une situation similaire.

Remarques :

-mindepth 1 exclut .

-maxdepth 1 empêche find de lister le contenu des sous-répertoires, puisque s3 sync les gère avec succès.

cut -c 3- supprime le "./" du début de chaque résultat de find.

Cela fonctionne pour moi.. aws s3 sync mydir s3://rahuls-bucket/mydir

Vous pourriez également essayer le client minio, alias mc

$ mc cp Desktop/test/test/test.txt s3/miniocloud/Desktop/test/test/

J'espère que cela vous aidera.

PS : Je suis l'un des contributeurs du projet.