40 votes

AWS S3 facture pour 4 To de stockage alors que moins de 1 Go est utilisé

Je rencontre des difficultés à comprendre ma facture S3 élevée et j'ai pensé demander ici avant de dépenser 30 $ pour le support mensuel d'AWS.

En gros, j'ai une instance Amazon EC2 qui effectue une API vers différentes bourses de crypto-monnaies et enregistre les réponses sur le disque dur de l'instance. Les appels sont faits toutes les 5 minutes, les objets de réponse font environ 100 ko, sont lus par un script R et ajoutés à un fichier CSV toutes les ~8 minutes. Ce fichier CSV est synchronisé vers un seau Amazon S3 environ toutes les 15 minutes.

Les fichiers CSV font généralement 10 Mo environ, pour environ 15 crypto-monnaies, toutes les 15 minutes. Donc en regardant dans le seau Amazon S3, il pourrait y avoir au maximum 0,5 Go d'espace utilisé.

Cependant, les 'TimedStorage-ByteHours' indiquent environ 4 To !

Amazon Simple Storage Service TimedStorage-ByteHrs $89.55

0,000 $ par Go - stockage en dessous du forfait mensuel global5 Go - Mo 0,00 $

0,023 $ par Go - premiers 50 To / mois de stockage utilisé 3 893,399 Go - Mo 89,55 $

Des idées ?

68voto

Vous avez probablement activé la versioning S3 - cela signifie que les anciens objets ne sont pas supprimés lorsqu'ils sont écrasés par une nouvelle version, mais sont plutôt cachés dans l'historique. Pour vérifier, allez sur Bucket -> Propriétés -> Versioning.

Versioning S3

Vous pouvez également voir les anciennes versions dans le navigateur, comme sur cette capture d'écran où j'ai plusieurs versions du fichier 108c05...json:

Afficher les versions S3

Si vous avez activé la versioning mais que vous ne le souhaitez plus, vous pouvez Suspendre la versioning, mais sachez que cela ne supprimera pas les anciennes versions, vous devrez soit :

  • utiliser AWS-CLI et un script (commencez par aws s3api list-object-versions)
  • configurer la Politique de cycle de vie du Bucket pour expirer les anciennes versions. Cela se fait via S3 -> bucket -> Management -> Cycle de vie -> Ajouter une règle de cycle de vie et ensuite sur l'écran Expiration remplir ces détails :

entrer la description de l'image ici

J'espère que cela vous aidera :)

5voto

Paul Points 1596

Le stockage à accès peu fréquent a une charge minimale de 30 jours par article

  1. Allez sur https://s3.console.aws.amazon.com et obtenez la liste des fichiers de l'un de vos buckets.
  2. Remarquez que chaque fichier dans le bucket a une classe de stockage. Le choix de la classe de stockage est sous votre contrôle et affecte les coûts.

Standard est le plus cher, donc certaines personnes utilisent l'accès peu fréquent qui a des frais mensuels plus bas (~50% de réduction) par Go stocké selon le tableau des prix. CEPENDANT, l'accès peu fréquent a également des frais de récupération de 0,01 $ par Go, ce qui ne représente des économies totales que pour les fichiers stockés au moins un mois et récupérés moins d'une fois par mois. De plus, il peut y avoir une politique de gestion du cycle de vie sur votre bucket qui modifie la classe de stockage des fichiers avec le temps, ce qui peut affecter le moment où la période minimale de stockage de 30 jours commence

Dans les petits caractères, l'accès peu fréquent a une charge minimale de 30 jours pour chaque article stocké.

Source: https://aws.amazon.com/s3/pricing/

Première note de bas de page, marquée †

† S3 Standard-Infrequent Access et S3 One Zone-Infrequent Access ont une taille minimum facturable d'objet de 128 Ko. Les objets plus petits peuvent être stockés mais seront facturés pour 128 Ko de stockage. S3 Standard-Infrequent Access et S3 One Zone-Infrequent Access Storage sont facturés pour une durée de stockage minimale de 30 jours. Les objets qui sont supprimés, écrasés ou basculés vers une classe de stockage différente avant 30 jours entraîneront des frais d'utilisation normaux plus des frais de demande au prorata pour le reste des 30 jours minimum. Les objets stockés pendant 30 jours ou plus n'entraîneront pas de frais de demande minimum de 30 jours

Ce qui est coûteux avec Amazon S3, et également avec Google Cloud Storage, ce sont les frais de réseau si les données sont envoyées sur Internet public au lieu d'être conservées dans le cloud de cette entreprise. Les frais de réseau pour une récupération une seule fois peuvent facilement dépasser les frais de stockage pour 3 à 4 mois. 0,09 $/Go (oct. 2018) pour AWS S3, 0,12 $/Go pour Google Cloud Storage, plus bas niveau d'utilisation.

Digital Ocean propose une couche de stockage compatible avec S3 appelée "Spaces" qui pourrait être intéressante à explorer. Certains bugs ont été signalés, et il pourrait être limité de certaines manières, mais la tarification globale semble intéressante et cela pourrait être "suffisant" pour certaines utilisations.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X