Avec Hadoop et CouchDB partout dans les Blogs et les actualités associées, quelle est une solution de stockage distribué tolérante aux pannes qui fonctionne réellement.
- CouchDB n'a en fait aucune fonctionnalité de distribution intégrée, à ma connaissance, le moyen de distribuer automatiquement des entrées ou même des bases de données entières est tout simplement absent.
- Hadoop semble être très largement utilisé - du moins il bénéficie d'une bonne presse, mais a toujours un point de défaillance unique : le NameNode. De plus, il n'est montable que via FUSE, je comprends que le HDFS n'est en fait pas l'objectif principal de Hadoop.
- GlusterFS a un concept de partage de ressources mais récemment j'ai lu plusieurs articles qui m'ont amené à penser qu'il n'est pas tout à fait aussi stable.
- Lustre a également un point de défaillance unique car il utilise un serveur de métadonnées dédié.
- Ceph semble être le choix préféré mais la page d'accueil indique qu'il est toujours à ses débuts alpha.
Alors la question est : quel système de fichiers distribué a l'ensemble de fonctionnalités suivant (sans ordre particulier) :
- Compatible POSIX
- Ajout/suppression facile des nœuds
- Concept de partage de ressources
- Fonctionne sur du matériel bon marché (processeurs de classe AMD Geode ou VIA Eden)
- Authentification/autorisation intégrée
- Un système de fichiers réseau (j'aimerais pouvoir le monter simultanément sur différents hôtes)
Appréciable d'avoir :
- Fichiers localement accessibles : je peux mettre un nœud hors service et monter la partition avec un système de fichiers local standard (ext3/xfs/whatever...) et toujours accéder aux fichiers
Je ne cherche pas des applications hébergées, mais plutôt quelque chose qui me permettra de prendre par exemple 10 Go de chacune de nos boîtes matérielles et d'avoir ce stockage disponible dans notre réseau, facilement montable sur une multitude d'hôtes.
0 votes
Alors, qu'avez-vous finalement obtenu? Il serait intéressant d'en savoir plus sur votre configuration actuelle.
0 votes
Lustre semble avoir ajouté des MDS actifs/passifs depuis que vous avez écrit ceci, il pourrait donc être nécessaire de jeter un autre coup d'œil.
0 votes
Dans mon expérience, GlusterFS a été stable mais les performances sont assez médiocres. Pour de meilleures performances, vous aurez besoin d'un matériel sérieusement haut de gamme - essentiellement RDMA. La chose importante est la latence entre tous les serveurs et la machine cliente GlusterFS.