Comment puis-je obtenir la taille d'un seau Amazon S3 ?

Si vous téléchargez un rapport d'utilisation vous pouvez représenter graphiquement les valeurs quotidiennes de la TimedStorage-ByteHrs champ.

Si vous voulez ce nombre en GiB, il suffit de diviser par 1024 * 1024 * 1024 * 24 (c'est-à-dire des GiB-heures pour un cycle de 24 heures). Si vous souhaitez obtenir le nombre d'octets, il vous suffit de diviser par 24 et de faire un graphique.

Utilisation des outils officiels de ligne de commande AWS s3 :

aws s3 ls s3://bucket/folder --recursive | awk 'BEGIN {total=0}{total+=$3}END{print total/1024/1024" MB"}'

C'est une meilleure commande, il suffit d'ajouter les 3 paramètres suivants --summarize --human-readable --recursive après aws s3 ls . --summarize n'est pas nécessaire mais donne une touche agréable à la taille totale.

aws s3 ls s3://bucket/folder --summarize --human-readable --recursive

S4cmd est le moyen le plus rapide que j'ai trouvé (un utilitaire de ligne de commande écrit en Python) :

pip install s4cmd

Il s'agit maintenant de calculer la taille totale du seau en utilisant plusieurs threads :

s4cmd du -r s3://bucket-name

Vous pouvez utiliser l'utilitaire s3cmd, par exemple :

s3cmd du -H s3://Mybucket
97G      s3://Mybucket/

Ainsi, en se promenant dans l'API et en effectuant les mêmes requêtes, S3 produira le contenu entier d'un seau en une seule requête, sans avoir besoin de descendre dans les répertoires. Les résultats ne nécessitent alors que la sommation des différents éléments XML, et non des appels répétés. Je n'ai pas d'échantillon de seau contenant des milliers d'éléments, donc je ne sais pas si cela sera efficace, mais cela semble raisonnablement simple.