1 votes

Les performances de l'initialisation EBS t3.medium et c5.18xlarge sont les mêmes, ou est-ce que je fais quelque chose de mal ?

Lors du démarrage d'une application à partir d'une AMI, nous avons constaté une augmentation des temps de réponse et du taux d'erreurs de dépassement de délai de requête, qui s'atténue lentement pour revenir à la normale. Je pense que cela est dû à l'initialisation paresseuse d'EBS (une caractéristique de performance bien documentée d'EBS). L'application dispose d'un volume de données EBS de 24 Go.

J'ai essayé d'augmenter la taille des instances et je n'ai remarqué aucune différence. Alors, en prenant un peu de recul pour essayer d'isoler le goulot d'étranglement des performances, j'ai effectué quelques tests de référence avec différentes tailles d'instance pour essayer de trouver celle qui présente la meilleure performance. performances d'initialisation d'EBS pur en supposant qu'il s'agit d'un bon indicateur de "performance avec initialisation paresseuse pendant l'utilisation normale de l'application".

Et j'ai eu une surprise de taille :

A t3.medium fonctionne de la même manière qu'une instance c5.18xlarge !

Comment est-ce possible ?

J'utilise le fio commande recommandée par AWS aquí :

sudo fio --filename=/dev/nvme0n1 --rw=read --bs=128k --iodepth=32 --ioengine=libaio --direct=1 --name=volume-initialize

(modifié pour le périphérique /dev/nvme0n1)

la plus grande instance a nominalement 5 fois les performances réseau de la plus petite (25 Gbps contre "Jusqu'à 5 Mbps").

Les deux se déplacent à environ 35 MiB/s.

Question bonus : Quel type d'instance me donnera les performances EBS et S3 les plus rapides, y compris l'initialisation EBS à partir d'un snapshot ?

MISES À JOUR

  1. L'ajout d'un point de terminaison S3 au VPC n'a fait aucune différence.
  2. Lorsque j'augmente la taille du volume EBS jusqu'au maximum de 10 000 IOPS (soit 3333 Go), la vitesse passe à environ 45 MiB/s. environ 45 MiB/s. Pour l'instant, je ne teste que le c5.18xlarge.

0voto

Tim Points 28848

Contexte

Les instantanés EBS sont stockés sur S3 (cela est documenté sur le lien que vous avez fourni ci-dessus). Lorsque vous restaurez un instantané, il tire des blocs de S3 lorsqu'ils sont nécessaires ( documenté ici (copié ci-dessous).

Les nouveaux volumes créés à partir d'instantanés EBS existants se chargent paresseusement dans le fichier arrière-plan. Cela signifie qu'après la création d'un volume à partir d'un instantané, il n'est pas nécessaire d'attendre que toutes les données soient transférées d'Amazon d'Amazon S3 à votre volume EBS avant que votre instance attachée ne puisse accéder au volume et à toutes ses données. Si votre instance accède aux données qui n'ont pas encore été chargées, le volume télécharge immédiatement les données demandées à partir d'Amazon S3, et continue à charger le reste des données. données en arrière-plan.

Idée actualisée à nouveau

Comme Michael le souligne ci-dessous, le goulot d'étranglement ici se situe probablement entre S3 et EBS. Je suis surpris qu'il soit si faible à 35MB/sec soit 280Mbps, mais je suppose qu'il s'agit d'un seul objet S3 à partir duquel il est récupéré. S3 peut supporter une énorme bande passante, mais généralement avec plusieurs objets.

D'après ce que dit Michael, je pense que vous devez vous contenter de cette restauration relativement lente. Vous n'avez pas besoin de préchauffer le volume, vous pouvez le laisser se produire à la demande et prendre le coup pendant les premières minutes / heures / jours où l'instance est en service.

0voto

ashitaka Points 1268

Réponse : La vitesse d'initialisation des snapshots EBS n'est pas affectée par le type d'instance EC2.

En date du 12/1/2018.

Apparemment, 42 MiB/s est le taux maximum de préchauffage / initialisation qui peut être atteint à partir d'un snapshot EBS vers un volume unique de 10 000 IOPS. Bien que la vitesse ne soit pas affectée par le type d'instance, elle tombe à 35 MiB/s sur des volumes plus petits (100 IOPS). La vitesse n'est pas non plus affectée par la présence d'un point de terminaison S3 sur le VPC.

À titre de comparaison, la copie directe d'un volume EBS actif vers un autre, sans passer par le processus d'instantané, est exécutée à 128 MiB/s sur une instance r5d.large, en mode monofil, avec un fichier de type tar|pv|tar sur un système de fichiers ext4.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X