96 votes

Transfert de 10 To de fichiers des États-Unis vers un centre de données au Royaume-Uni

Je suis en train de migrer mon serveur des États-Unis vers le Royaume-Uni, d'un centre de données à un autre. Mon hôte m'a dit que je devrais pouvoir atteindre 11 mégaoctets par seconde.

Le système d'exploitation est Windows Server 2008 aux deux extrémités.

La taille moyenne de mes fichiers est d'environ 100 Mo et les données sont réparties sur cinq disques de 2 To.

Quelle serait la méthode recommandée pour transférer ces fichiers ?

  • FTP
  • SMB
  • Rsync / Robocopy
  • Autre ?

Je ne suis pas trop préoccupé par la sécurité car il s'agit de fichiers publics de toute façon, mais je veux juste une solution qui puisse pousser le taux de transfert à 11 Mo/s au maximum pour minimiser le temps de transfert total.

6voto

Asken Points 215

Je sais que c'est déjà accepté, mais avez-vous envisagé d'emmener vos disques dans un centre de données/fournisseur/hôte où vous pouvez obtenir plus de bande passante ? Cela vous coûtera probablement de l'argent mais copier 10240Gb sur des disques de sauvegarde et les envoyer coûtera également du temps et de l'argent (2 x argent).

Vous serez également sûr que vos disques ne se briseront pas pendant le transport.

5voto

Coyote Points 151

11Mbps ? C'est une sacrée limitation que vous avez là. Dans votre situation, j'aurais simplement :

  • Cloner les données
  • Comprimez-la
  • Louez des serveurs aux deux extrémités avec au moins 10 fois plus de bande passante (dans les mêmes centres de données ou à votre extrémité dans un centre de données près de chez vous).
  • Transférer les fichiers
  • Appliquez les données au nouveau serveur.

Si vous n'avez vraiment aucune solution pour augmenter la bande passante... Alors l'expédition d'un disque physique sera beaucoup plus rapide.

D'après ma douloureuse expérience, les disques durs ont tendance à se casser dans le courrier... Les clés USB sont une bien meilleure solution pour les transferts de données fréquents. Dans votre cas, il en faudrait plusieurs :) Envoyez donc 2 copies de vos données sur plusieurs disques durs.

Compte tenu de la quantité de données que vous avez, vous pouvez également envoyer des disques d'une matrice RAID 5 ou RAID 6 si vous avez le même matériel/logiciel de l'autre côté pour brancher vos disques. Mais dans ce cas, n'oubliez pas de marquer l'ordre de vos disques et leurs numéros de série afin de ne pas les confondre lors de la reconfiguration.

4voto

Martin Scharrer Points 181

Bien que je sois d'accord sur la réponse "expédier en utilisant des disques durs" dans ce cas, voici une solution de copie que j'utilise lorsque je dois copier de grandes quantités de fichiers pour la première fois :

Alors que rsync est un bon moyen de synchroniser deux stocks de données, mais il introduit une certaine surcharge inutile pour le transfert initial. Je me suis dit que le moyen le plus rapide était de tar qui est acheminé vers netcat . Sur le site récepteur, vous pouvez également utiliser netcat en écouter qui achemine les données entrantes vers un mode d'extraction. tar . L'avantage est que tar commence à envoyer immédiatement et netcat l'envoie comme un simple flux TCP sans aucune surcharge de protocole de niveau supérieur. Cela devrait être aussi rapide que possible. Cependant, il n'est pas simple de redémarrer un transfert interrompu à la dernière position.

Il est également possible de compresser facilement les données pour le transfert en utilisant le bon outil de compression. tar ou ajouter un outil de compression dans les tuyaux. Notez que netcat envoie la date en clair. Dans les cas où cette option n'est pas possible, une date chiffrée ssh peut être utilisée à la place ( tar <options> | ssh <target> -c 'tar -x <options>' ).

Si toutes les données sont transférées rsync peut être utilisé pour s'assurer que tous les fichiers qui ont été mis à jour dans l'intervalle sont synchronisés. Aussi IIRC tar ne crée pas de sockets qui seraient perdus autrement, mais ils ne sont pas vraiment utilisés pour les données du centre de données de toute façon.

3voto

pbreault Points 3416

Encore une fois, la première suggestion est d'expédier les disques.

La deuxième suggestion est d'utiliser rsync vers rsyncd, pas par SSH. J'ai essayé beaucoup de choses et c'est généralement le plus rapide. N'oubliez pas d'activer la compression. Regardez aussi augmentation ou diminution de la taille du tampon rsync pour obtenir le taux de transfert optimal. Il peut également être utile de augmenter la taille de votre MTU . Cela n'est utile que si les routeurs en route ne fragmentent pas vos paquets. Il existe des moyens de déterminer s'ils le font.

Malheureusement, il n'existe pas de réglage qui soit toujours le meilleur. Vous devrez expérimenter pour trouver ce qui fonctionne le mieux dans votre situation.

2voto

Hants Points 51

Vous avez mentionné que les serveurs fonctionnent sous Windows 2008. Est-ce que Microsoft DFS convient-il ? Il y a une certaine magie dans le bas de gamme qui essaie d'obtenir autant de bande passante que possible de la connexion, et il y a aussi la compression et la déduplication (IIRC).

Remarquez, les disques durs, les DVD ou les BluRay seraient plus rapides... Mon calcul est de 11 jours à la pleine 11 MB/s...

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X