4 votes

ZFS : très gros fichiers + compression + snapshots

Je sauvegarde plusieurs disques virtuels (total = environ 4 To), avec un temps de rétention de plusieurs semaines.

J'utilise 4 disques de 4 To dans l'ordinateur dédié à la sauvegarde primaire. Le système de fichiers est ZFS RAIDZ2, donc 8 To utilisables.
Une sauvegarde secondaire de 4 disques de 2 To (4 To utilisables) se trouve sur un bâtiment séparé, stockant la sauvegarde du dimanche dernier.

Je gère la rétention en faisant des snapshots : après chaque sauvegarde, un snapshot est créé sur le système de fichiers de sauvegarde primaire. Et les snapshots de plus de 90 jours sont supprimés. La quantité de données modifiées est inférieure à 4 To pour 90 jours, donc tout va bien (en fait, j'ai 30 derniers jours + 9 semaines précédentes + 10 mois précédents, mais ce n'est pas le sujet).

Sur la sauvegarde secondaire, je n'ai qu'une seule sauvegarde. Je prévois également de mettre en place la rétention.
J'ai d'abord pensé à passer à 4 disques de 4 To (par manque d'espace, je ne peux pas passer à 6 disques de 2 To) et à faire des snapshots comme dans la sauvegarde primaire.

Au lieu de mettre à niveau le matériel, que se passe-t-il si j'utilise la compression ZFS + les snapshots sur la sauvegarde secondaire ?
La compression permettra de libérer, disons, 600 Go. Ensuite, les snapshots permettront une rétention de plusieurs jours.

Les disques virtuels sauvegardés sont mis à jour avec rsync, de sorte que seules de petites parties sont modifiées. Je pense donc que seules de petites parties sont "transmises" aux snapshots. Mais je ne trouve aucune source confirmant que cela fonctionnera comme je le pense.

Question : en utilisant ZFS sous Linux avec la compression, les très gros fichiers avec des modifications éparses peuvent-ils être snapshotés efficacement ?

1 votes

4voto

ewwhite Points 193555

Vous devriez utiliser la compression ZFS (avec compression=lz4 ) par défaut ces jours-ci. Il n'y a aucune bonne raison de ne pas l'utiliser, sauf si vous conozca que vos données ne sont pas compressibles.

Les instantanés sur les systèmes de fichiers ZFS compressés sont toujours efficaces et fonctionnent avec la réplication et/ou rsync.

2voto

Ryan Tate Points 671

Nous utilisons ZFS avec compression et snapshots pour la sauvegarde de gros fichiers également, depuis plusieurs années.
La taille des snapshots est cohérente avec les données mises à jour par rsync. Je ne sais donc pas comment fonctionne la compression dans ZFS, mais elle ne dégrade pas significativement l'efficacité des snapshots.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X