1 votes

Quelle est la performance asymptotique de par2 ?

J'ai une machine avec un CPU minable, seulement 1G de mémoire vive, et 10To d'espace disque. J'aimerais faire une sauvegarde très fiable de ce qui est stocké sur cette machine.

Dans ce cadre, j'aimerais créer des fichiers par2 pour mes archives de sauvegarde avant de les envoyer sur amazon glacier.

A titre de test préliminaire, j'ai lancé par2 sur un fichier de 40G. Il n'a utilisé que 1% de la mémoire vive, et cela a pris quelques heures.

Ma question est donc la suivante : lorsque je lance par2 sur un fichier de 900G, que va-t-il se passer ? L'utilisation de la mémoire de par2 est-elle limitée ou est-elle linéaire ou pire en fonction de la taille du fichier ? L'utilisation du CPU est-elle linéaire ou pire ?

Je sais que je pourrais simplement essayer, mais comme dans le meilleur des cas cela va prendre plusieurs jours, j'ai pensé que je devais demander si ce que je fais était stupide ou non avant de l'essayer.

2voto

James Paton Points 11

Il existe plusieurs implémentations de par2, dont les performances varient.

J'ai utilisé ParPar qui est une implémentation conçue pour être utilisée avec Node.JS, mais qui fournit un outil de ligne de commande autonome (parpar.js). Ils disent qu'il est en développement actif et qu'il n'est donc pas forcément stable pour l'instant.

Il s'est avéré au moins un ordre de grandeur plus rapide que par2cmdline. 230 GB en environ 2 heures sur un ordinateur portable i7, en utilisant 32768 blocs.

En ce qui concerne l'utilisation de la mémoire, vous pouvez la spécifier sur la ligne de commande. Plus de mémoire sera plus rapide (8G dans mon exemple), mais cela fonctionnera avec 64M.

Voici la ligne de commande que j'ai utilisée pour générer 2% de données de récupération pour le répertoire actuel, de manière récursive :

 ~/code/ParPar/bin/parpar.js -b 32768 -t4 -m8192M --min-chunk-size 8M -r2% -R -o pardata -- .

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X