2 votes

Système de fichiers en grappe pour les petits fichiers

Je cherche un système de fichiers distribué que je pourrais utiliser pour stocker beaucoup de petits fichiers (<1MB en général). Ce que je veux, c'est.. :

  • 2 serveurs qui ont les fs montés eux-mêmes et qui reflètent les données
  • support de verrouillage (parmi les nœuds accessibles)
  • une sorte de resynchronisation automatique au mieux après qu'un nœud est tombé en panne et est revenu.

Ce que je veux dire par resynchronisation, c'est que je suis d'accord pour que les deux serveurs fassent des opérations de lecture/écriture même s'ils ont un cerveau divisé. Je suis également d'accord pour qu'un processus local obtienne un verrou si l'autre hôte n'est pas joignable. De la resynchronisation, je n'attends qu'une vue cohérente au niveau du fichier après un certain temps - c'est-à-dire que si le fichier x est modifié sur les deux nœuds lors d'un split-brain, je ne me soucie pas vraiment de savoir lequel est disponible après qu'ils se soient rejoints à nouveau, tant que c'est un fichier complet, et non pas un bloc provenant de node1 et un autre bloc de node2 .

Existe-t-il une solution de ce type ? Je vois que gluster a des problèmes avec les verrous de fichiers (même dans la 3.1). J'ai également remarqué qu'OCFS2 panique si les deux nœuds se séparent. Quel autre système de fichiers me permettrait de faire ce que je veux ?

2voto

ELOCK Points 1

Je recommande l'excellent LizardFS y GfarmFS bien que je ne sois pas sûr qu'ils prennent bien en charge les serrures.

Mise à jour 2019 : MooseFS est un excellent choix. Je ne peux plus recommander LizardFS car il est mal entretenu...

1voto

HttpWatchSupport Points 1663

Gluster est un autre système de fichiers en cluster, mais je ne suis pas sûr de savoir comment cela fonctionne si un nœud tombe en panne

[MogileFS][2] est un système de fichiers distribué open-source qui peut gérer de nombreux petits fichiers et qui est censé ne pas avoir de point de défaillance unique. Cependant, je pense qu'il n'y a pas de support de verrouillage. Je ne suis pas sûr qu'il soit possible d'implémenter le verrouillage au niveau de l'application plutôt que dans le système de fichiers.

Comme je suis un nouvel utilisateur ici, je ne peux pas poster un deuxième hyperlien dans une réponse, mais MogileFS apparaîtra sur Google.

/Je vois que vous n'avez que deux serveurs. Peut-être que DRBD fera ce que vous voulez ?

0voto

Fryer Points 51

AlgueFS est optimisé pour un grand nombre de petits fichiers.

Le "support de verrouillage" n'est pas disponible. Dans un système distribué, il est préférable d'éviter le verrouillage. Vous pouvez utiliser d'autres outils, tels que Redis, pour verrouiller.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X