J'ai un EBS (elastic block storage) sur AWS avec une grande quantité de fichiers de 25GB (1000). Je voudrais calculer une somme SHA256 pour chaque fichier.
Quelle instance EC2 serait la meilleure pour une telle tâche (cpu optimisé ? plusieurs cœurs ? stockage optimisé ?). Puis-je hacher les fichiers en parallèle ? Comment puis-je optimiser les performances ?
Vous aurez du mal avec le débit d'EBS.
Petites instances m5 / m5a /m6g ont jusqu'à 4 750 Mbps de débit EBS \= ca 600 MB/s max. Des instances plus importantes comme m5.24xlarge peut aller jusqu'à 19 000 Mbps ou 2,4 GB/s. Mais seulement si votre volume EBS peut le supporter, c'est-à-dire qu'il devra probablement être un volume optimisé pour les IOPS (type io1) pour soutenir ce débit.
Cela signifie que vos 25 To de données (1000 fichiers de 25 Go chacun) peuvent être lus sur l'EBS en 3 à 12 heures dans des conditions idéales. Dans la réalité, ce sera probablement plus lent. Et il ne s'agit que de la lecture des fichiers.
Le processeur n'a pas vraiment d'importance - n'importe quel processeur peut faire sha256 à cette vitesse. Utilisez donc une architecture moins chère comme M6g (basée sur ARM) et s'il est livré avec plusieurs cœurs (par ex. m6g.xlarge avec 4 cœurs de CPU) vous pouvez hacher 4 fichiers en parallèle. Bien que cela ne réduise pas le temps de 4 fois comme vous l'attendez à cause du goulot d'étranglement du débit EBS.
Je voudrais acheter m6g.4xlarge en tant que Spot Instance et je m'attends à ce que cela prenne une journée pour hacher les fichiers. Si votre EBS se trouve dans une région où M6g (ARM) n'est pas disponible, utilisez M5a (AMD) - il est moins cher que le M5 (Intel) et encore assez puissant pour le hachage.
J'espère que cela vous aidera :)
SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.
