Comment puis-je obtenir la taille d'un seau Amazon S3 ?

Comme il y a tant de réponses, je me suis dit que j'allais apporter la mienne. J'ai écrit mon implémentation en C# en utilisant LINQPad. Copiez, collez, et entrez la clé d'accès, la clé secrète, le point de terminaison de la région, et le nom du seau que vous voulez interroger. Assurez-vous également d'ajouter le paquet nuget AWSSDK.

En faisant un test avec l'un de mes fichiers, j'ai obtenu un nombre de 128075 et une taille de 70,6 Go. Je sais que c'est une précision de 99,9999 %, donc je suis satisfait du résultat.

void Main() {
    var s3Client = new AmazonS3Client("accessKey", "secretKey", RegionEndpoint.???);
    var stop = false;
    var objectsCount = 0;
    var objectsSize = 0L;
    var nextMarker = string.Empty;

    while (!stop) {
        var response = s3Client.ListObjects(new ListObjectsRequest {
            BucketName = "",
            Marker = nextMarker
        });

        objectsCount += response.S3Objects.Count;
        objectsSize += response.S3Objects.Sum(
            o =>
                o.Size);
        nextMarker = response.NextMarker;
        stop = response.S3Objects.Count < 1000;
    }

    new {
        Count = objectsCount,
        Size = objectsSize.BytesToString()
    }.Dump();
}

static class Int64Extensions {
    public static string BytesToString(
        this long byteCount) {
        if (byteCount == 0) {
            return "0B";
        }

        var suffix = new string[] { "B", "KB", "MB", "GB", "TB", "PB", "EB" };
        var longBytes = Math.Abs(byteCount);
        var place = Convert.ToInt32(Math.Floor(Math.Log(longBytes, 1024)));
        var number = Math.Round(longBytes / Math.Pow(1024, place), 1);

        return string.Format("{0}{1}", Math.Sign(byteCount) * number, suffix[place]);
    }
}

Pour vérifier la taille de tous les buckets, essayez ce bash script.

s3list=`aws s3 ls | awk  '{print $3}'`
for s3dir in $s3list
do
    echo $s3dir
    aws s3 ls "s3://$s3dir"  --recursive --human-readable --summarize | grep "Total Size"
done

Vous pouvez utiliser s3cmd :

s3cmd du s3://Mybucket -H

ou

s3cmd du s3://Mybucket --human-readable

Il indique le nombre total d'objets et la taille du seau sous une forme très lisible.

Je sais qu'il s'agit d'une question ancienne mais voici un exemple PowerShell :

Get-S3Object -BucketName <buckename> | select key, size | foreach {$A += $_.size}

$A contient la taille du seau, et il y a un paramètre de nom de clé si vous voulez juste la taille d'un dossier spécifique dans un seau.

Si vous ne souhaitez pas utiliser la ligne de commande, il existe sous Windows et OSX une application générale de gestion de fichiers à distance appelée Cyberduck . Connectez-vous à S3 avec votre paire de clés d'accès/secrètes, faites un clic droit sur le répertoire, cliquez sur Calculate .