3 votes

Optimisation des performances de la déduplication ZFS

J'utilise un serveur VDI. De nombreux utilisateurs VDI installent les mêmes applications sur leurs ordinateurs de bureau. zfs set dedup=on vdipool/myDesktop est très utile.

Comment puis-je optimiser l'impact de la déduplication zfs sur les performances ?

Quelle baisse de performance puis-je attendre ?

Existe-t-il un moyen d'affecter un thread CPU dédié au processus de déduplication, afin que le reste du système ne soit que très peu affecté ?

-1voto

qazwsx Points 2868

Sur un stockage 100 % SSD, l'impact sur les performances pourrait être supportable si vous disposez de suffisamment de RAM pour que 100 % de votre table de hachage de déduplication soit en permanence en RAM. S'assurer que vous avez assez de RAM pour toutes ces métadonnées est la seule optimisation possible.

Si vous êtes sur une rouille tournante, la fragmentation extrême sur le disque va rendre les performances complètement inutilisables.

En général, si vous n'êtes pas en train de voir à une minimum Un rapport de déduplication de 10:1 ne vaut pas l'énorme impact sur les performances.

-1voto

Rowan Hughes Points 41

Avec l'introduction récente des classes d'allocation (et des vdev "spéciaux"), vous pourriez obtenir des performances suffisantes avec la déduplication sur un pool non-SSD, en supposant que vous ayez un SSD rapide pour contenir les métadonnées (qui incluent les données de déduplication).

Avant d'ajouter un vdev "spécial", faites quelques expériences et apprenez à connaître cette fonctionnalité. D'après ce que j'ai compris, une défaillance du vdev "spécial" entraîne l'ensemble du pool. En outre, vous ne pouvez pas supprimer un vdev "spécial".

https://www.reddit.com/r/zfs/comments/cm594b/why_is_nobody_talking_about_the_newly_introduced/

-1voto

peterh Points 2332

Si les blocs dupliqués se produisaient de manière totalement aléatoire, selon une distribution quasi uniforme, alors oui, la fragmentation serait un problème sérieux sur les disques durs. Mais dans les scénarios pratiques, ce n'est pas ce qui se passe. Dans les scénarios pratiques, l'écrasante majorité des blocs dupliqués font partie de fichiers dupliqués (ou très similaires), ce qui fait qu'ils se produisent en grappes. Ainsi, ils ne causent pas de problème de fragmentation grave.

En outre, la solution du problème de la fragmentation est la défragmentation, et il ne faut pas éviter d'utiliser cette fonction très utile.

Cependant, zfs n'a tout simplement pas d'outil ou de fonction de défragmentation. . La seule façon de défragmenter un volume zfs est de le reconstruire. En plus de cela, il a quelques problèmes de licence. Mais il y a encore beaucoup de travail dans ce domaine, et beaucoup de gens le trouvent utile. Espérons que quelqu'un implémentera un jour la défragmentation (peut-être même la défragmentation en ligne !), en attendant nous devrions honorer ce que nous avons.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X