5 votes

Sauvegarde hors site de téraoctets de données

Je suis à la recherche d'un moyen de créer une sauvegarde hors site d'environ 8 To de données. J'ai actuellement divisé les données en systèmes de fichiers de 2 à 4 To et j'utilise ShadowProtect pour sauvegarder les données d'un serveur SBS 2003 vers un serveur de sauvegarde Windows 2003 en utilisant une sauvegarde complète hebdomadaire et des incréments nocturnes.

Je ne suis pas très satisfait de cette solution pour un certain nombre de raisons.

  • La sauvegarde prend trop de temps.
  • Pour contenir plus d'une semaine de sauvegardes, il faut des tonnes d'espace.
  • Les sauvegardes hors site sur des disques durs externes nécessiteraient trop de disques et trop de temps.
  • Les sauvegardes hors site sur Internet prendraient trop de bande passante.

Ce que je cherche, si c'est possible, c'est un moyen d'avoir un serveur de sauvegarde local pour héberger de nombreux instantanés sans stocker de données en double, par exemple faubackup semble être en mesure de le faire. De plus, j'aimerais pouvoir répartir les sauvegardes effectuées sur un ensemble de disques externes, sans dupliquer les données, car les systèmes de fichiers sont plus grands que ce que je peux faire tenir sur un seul disque.

Corrigez-moi si je me trompe, mais pour autant que je sache, il est impossible de répartir les nouvelles données sur plus de systèmes de fichiers que ceux utilisés par faubackup lui-même, en raison de l'utilisation de liens durs.

J'ai également pensé à utiliser openfiler pour atteindre les mêmes objectifs, mais je n'ai pas encore trouvé de solution.

Comment les autres personnes se débrouillent-elles avec les sauvegardes hors site d'une telle quantité de données ?

modifier :
Pour en savoir un peu plus, nous sommes une entreprise de géologie relativement petite (environ 15 employés) où nous prenons essentiellement d'énormes ensembles de données et les rendons lisibles. Les projets se chiffrent souvent en centaines de gigaoctets. Malgré l'importance des sauvegardes hors site, j'ai du mal à trouver l'argent nécessaire à l'achat d'un chargeur automatique de bandes capable de traiter le type de données que nous étudions. J'ai essayé et on m'a dit en gros qu'il devait y avoir un autre moyen et que je devais le trouver.

Nous avons deux serveurs. Un serveur SBS2003 et un serveur Windows 2003 R2 qui est utilisé comme serveur de sauvegarde. Les deux machines ont une matrice RAID6 de 20 To qui abrite nos données. Au cours d'une journée donnée, des modifications mineures sont apportées à de nombreux fichiers très volumineux, en plus des opérations habituelles.

4voto

BradC Points 2200

C'est exactement la raison pour laquelle la plupart des entreprises effectuent des sauvegardes sur bande (support moins coûteux que les disques, vitesse d'écriture rapide), puis déplacent physiquement les bandes hors du site.

Vous pouvez demander à votre informaticien de transporter les bandes chez vous, ou il existe des sociétés d'archivage de données qui se rendent dans votre entreprise, récupèrent les bandes et les stockent dans leurs locaux sécurisés. Pour récupérer vos données, il vous suffit d'appeler la société pour qu'elle vous apporte la bande, de la charger et d'accéder à vos données.

L'internet sert à beaucoup de choses, mais le transfert de téraoctets de données n'en fait pas partie. Voir l'article de Jeff sur L'économie de la bande passante qui fait référence à l'excellent livre blanc de Jim Gray, de Microsoft Research. TeraScale SneakerNet (.DOC)

2voto

Matt Simmons Points 20098

Vous recherchez un système de stockage qui permette la déduplication des données : http://en.wikipedia.org/wiki/Data_deduplication

Cela ne vous dispensera pas de l'obligation de transférer les données hors du site d'une manière ou d'une autre, mais cela contribuera certainement à réduire l'espace requis par vos sauvegardes à chaud/en direct.

2voto

Beep beep Points 1843

Nous avons ~1TB de données, et nous sauvegardons tout chaque nuit en utilisant des rsync scripts personnalisés. L'avantage de rsync est qu'il ne copie que les octets modifiés (et non l'intégralité du fichier modifié)... et qu'il compresse les données avant de les transférer.

Dans notre ancien système, nous devions transporter des bandes et des disques à la maison car chaque jour, environ 200 Go de fichiers étaient modifiés. Mais avec rsync, seuls les quelque 1 Go de données modifiées dans ces fichiers sont transmis, et compressés à ~200 Mo. Par conséquent, nous sommes en mesure de tout sauvegarder sur un site distant via un T1 en quelques minutes (et moins d'une heure lors d'une journée de maintenance très lourde). Les scripts utilisent également des liens durs Linux pour maintenir 30 jours d'archives complètes (pas d'incréments) en utilisant seulement 2-4TB (avant compression) d'espace. Ainsi, nous finissons par être en mesure de restaurer les données archivées en quelques secondes, tout en conservant un stockage hors site.

Heureusement, l'espace du disque dur a suivi la croissance de notre entreprise... Je pense que notre solution totale sur les deux sites a coûté ~1000 $.

0voto

Daniel DiPaolo Points 24085

Vous pourriez vouloir regarder dans backuppc, il doit tourner sur une boîte linux mais il stocke les fichiers en utilisant des liens durs, donc si le fichier n'a pas changé depuis la dernière inc/full alors il se contente de liens durs vers lui (donc la quantité d'espace pour stocker 4x sauvegardes complètes est beaucoup plus petite que les autres systèmes de sauvegarde). Il peut sauvegarder les machines Windows via samba, et évidemment aussi linux/unix/macs.

Backuppc

0voto

Chopper3 Points 99341

Nous disposons d'un SAN réplique dans un autre centre de données, à partir duquel nous effectuons des clichés et des sauvegardes.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X