5 votes

Quelles sont les caractéristiques de conception qui rendent le ZFS de Joyent et l'EBS (S3) d'Amazon fiables ?

Je sais que ce n'est pas exactement une comparaison de pommes à pommes, ce que j'essaie d'évaluer c'est lequel est le plus sûr - moins de risque de perdre des données.

SmartOS de Joyent utilise ZFS pour stocker des données alors qu'une machine EC2 peut utiliser Amazon Elastic Block Store (EBS) ) qui stocke ses données sur S3.

Je me demande quels sont les détails architecturaux qui rendent les deux systèmes fiables ? Je ne suis pas trop sûr de la conception de S3 et je ne sais pas s'ils ont plus d'un emplacement où ils stockent leurs données.

10voto

Jakob Schmitt Points 21

Comme vous l'avez dit, ce n'est pas vraiment une comparaison entre des pommes et des pommes. (en outre, il y a déjà un accord sur le fait que des procédures décentes de sauvegarde des données doivent être en place pour les deux, donc je ne vais pas aborder ce point). Par conséquent, il est impossible de répondre à la question en tant que telle. Il faut plutôt connaître les détails architecturaux de chaque offre et les appliquer à un cas d'utilisation particulier.

En particulier, le ZFS de Joyent est un système de stockage basé sur stockage local système conçu pour fournir stockage et fiabilité des données de niveau opérateur voir Résilience et fiabilité des données :

Nous avons placé ZFS au sommet d'un système de haute performance. sous-système de stockage local à garantir que vos données sont sûres, cohérentes, et toujours accessibles et récupérables. ZFS est un système de fichiers et un gestionnaire de volumes logiques combinés. stockage local mutualisé . [ ] cloud, la fonction de copie sur écriture de ZFS garantit que votre image ne sera pas perdue. ne sera pas perdue. [souligné par moi]

En revanche, EBS es un stockage de blocs en réseau système conçu pour fournir des volumes de stockage hautement disponibles et très fiables qui peuvent être attachés à une instance Amazon EC2 en cours d'exécution et exposés en tant que dispositif au sein de l'instance. voir la section Caractéristiques des volumes Amazon EBS sur Amazon Elastic Block Store (EBS) ) pour plus de détails, par exemple :

  • Les volumes Amazon EBS sont placés dans une zone de disponibilité spécifique et peuvent ensuite être attachés à des instances se trouvant également dans cette même zone de disponibilité.
  • Chaque volume de stockage est automatiquement répliqué dans la même zone de disponibilité . Cela permet d'éviter les pertes de données dues à la défaillance d'un seul composant matériel.
  • Amazon EBS offre également la possibilité de créer des instantanés ponctuels de volumes Amazon S3 . Ces instantanés peuvent être utilisés comme point de départ pour de nouveaux projets. volumes Amazon EBS, et protéger les données pour une durabilité à long terme . [...]

[souligné par moi]

Ce dernier point souligne que EBS ne stocke pas ses données sur S3 en soi, fournit plutôt un mécanisme de sauvegarde facile à utiliser pour une durabilité à long terme via S3, ce qui implique que vous devrez évaluer les deux scénarios séparément en termes de durabilité et de disponibilité.

Section Durabilité des volumes Amazon EBS détaille davantage cette architecture :

[...] Les données du volume Amazon EBS sont r zone de disponibilité afin d'éviter la perte de données due à la défaillance de n'importe quel composant unique. La durabilité de votre v taille de votre volume et du pourcentage des données qui ont changé depuis votre dernier snapshot. [...]

Parce que les serveurs Amazon EBS sont répliqués au sein d'une même zone de disponibilité Zone la mise en miroir des données sur plusieurs sites Ama zone de disponibilité n'améliorera pas de manière significative la durabilité des volumes. Cependant, pour ceux qui souhaitent une durabilité encore plus grande, Amazon EBS offre la possibilité de créer des instantanés cohérents à un moment donné de vos volumes qui sont ensuite stockés dans Amazon S3, et automatiquement répliqués sur plusieurs zones de disponibilité . [...]

[souligné par moi]

Ainsi, alors qu'EBS stocke les données sur plusieurs serveurs dans une seule zone de disponibilité, S3 offre la possibilité supplémentaire de séparer l'infrastructure physique. Dans quelle mesure les zones de disponibilité sont-elles isolées les unes des autres ? :

Chaque zone de disponibilité fonctionne sur son propre site physiquement distinct, indépendante [...] . Les points communs de défaillance comme les générateurs et les équipements de refroidissement ne sont pas ne sont pas partagés entre les zones de disponibilité. [...] séparés physiquement de telle sorte que même des catastrophes extrêmement rares, telles que incendies, tornades ou inondations n'affectent qu'une seule zone de disponibilité. zone. [souligné par moi]

Cela donne une durabilité revendiquée de 99,999999999%, comme indiqué dans le document Quelle est la durabilité d'Amazon S3 ? et plus détaillée dans Comment Amazon S3 est-il conçu pour atteindre une durabilité de 99,999999999% ? :

Amazon S3 stocke vos objets de manière redondante sur m plusieurs installations dans une région Amazon S3 . [...] Lors du traitement d'une demande de stockage de données, le service stockera de manière redondante votre objet dans plusieurs installations avant de renvoyer SUCCESS. [...] [souligné par moi]

Veuillez noter que une zone de disponibilité est toujours contrainte à une seule région (voir Utilisation des régions et des zones de disponibilité pour plus de détails sur cette architecture), et il y a déjà eu des incidents respectifs, ce qui a déclenché des discussions sur la question de savoir si la redondance de la région et/ou du fournisseur est la meilleure solution pour une fiabilité maximale (voir Pannes ci-dessous).

Enfin, l'article Modèle de cohérence des données Amazon S3 en Concepts d'Amazon S3 fournit plus de détails sur la façon dont Amazon S3 assure une haute disponibilité en répliquant les données sur plusieurs serveurs dans les centres de données d'Amazon. .


Pannes

Les deux services ont connu au moins une panne majeure dans le passé - l'analyse post mortem respective fournit un aperçu supplémentaire de la conception de chaque système et vous permet d'en tenir compte dans les stratégies de sauvegarde et de disponibilité en conséquence :

Cette dernière panne a suscité un certain nombre de discussions sur la fiabilité de l'informatique en nuage en général, ce qui, de manière intéressante, a déclenché l'article suivant Magical Block Store : Quand les abstractions nous font défaut sur le blog de Joyent, qui explore les différences entre les deux approches et explique les choix architecturaux respectifs de Joyent (y compris l'autocritique des tentatives antérieures qui ont échoué) ; si cet article peut évidemment être considéré comme partial, il devrait néanmoins vous permettre de tirer vos propres conclusions à votre tour.

1voto

Hubert Kario Points 6321

Vous n'avez pas les données si vous ne les avez pas en trois exemplaires à deux endroits géographiquement différents.

Le fait de dépendre d'une seule instance RAID, d'un seul périphérique de bloc virtuel, d'un seul fournisseur, etc. pour stocker vos données de manière fiable est, au mieux, imprudent.

Ceci étant dit, à moins que rien n'ait changé au cours des 2-3 dernières années depuis ma dernière vérification, Amazon ne donne aucune garantie que les données S3 seront là la prochaine fois que vous regarderez. Ils ont été fiables au cours des dernières années en ce qui concerne le stockage, donc ce n'est pas comme si les données disparaissaient régulièrement.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X