1 votes

CentOs 6, rsync/scp of big file stop at 40% (2.4G) CentOs 6, rsync/scp d'un gros fichier s'arrête à 40% (2.4G)

Je suis en train d'essayer de télécharger un gros fichier (~5G) depuis le serveur distant vers mon ordinateur portable local, mais le téléchargement s'arrête à 40% de la taille (2,4G).

Je utilise cette commande rsync :

rsync --bwlimit=1200 -rh --progress -e 'ssh -p port' server:/chemin/vers/fichier Téléchargements/

J'ai aussi essayé de réduire le mtu sur le serveur de 1500 à 1492, sans succès.

Des suggestions ? :D

0 votes

Quelle est la quantité de RAM disponible pour la machine ? Cela semble être un problème typique de manque de mémoire dans rsync. Les versions Windows de rsync étaient particulièrement sujettes à ce problème.

0 votes

@JulianKnight Merci pour votre commentaire, le serveur dispose de 2 Go de RAM. Le client est un Mac OSX avec 8 Go de RAM.

0 votes

Je me demande combien de mémoire virtuelle vous avez configurée, probablement pas assez. Je soupçonne toujours que vous atteignez les limites de mémoire. Je recommanderais de garder un œil attentif sur les statistiques pendant que vous l'exécutez.

0voto

Sean Copenhaver Points 2070

Je ne crois pas que ce soit un problème réseau.

Il est beaucoup plus probable qu'il s'agisse d'un problème de mémoire. Avec seulement 2 Go de RAM sur le serveur et l'exécution de RSYNC sur un fichier de 5 Go, je soupçonnerais d'abord le serveur. Vous pouvez surveiller la mémoire du serveur, espérons-le, pendant que vous l'exécutez.

Le côté client pourrait également poser problème. J'ai abandonné RSYNC pour Windows par exemple car il plantait toujours sur de gros fichiers, peu importe la quantité de RAM que vous aviez.

Je me demanderais si rsync était le bon outil pour un travail sur de si gros fichiers. Cela dépend du fichier bien sûr, mais sauf si toutes les mises à jour sont acceptables pour le moteur de différenciation de rsync, il est probablement inutile de l'utiliser. Un simple transfert pourrait être meilleur. Vous pourriez même utiliser quelque chose comme zip ou tar pour diviser le fichier afin de l'envoyer en parties et le réassembler de l'autre côté.

0 votes

Merci pour votre réponse. Je vais vérifier les statistiques jusqu'à présent. En tant que transfert direct, que voulez-vous dire? Comment devrais-je transférer ce fichier au lieu des commandes liées à ssh?

0 votes

Utilisez SCP ou SFTP, qui utilisent tous deux SSH sous-jacent. J'utilise normalement WinSCP sur Windows, vous devrez trouver quelque chose pour Mac.

0 votes

Merci pour votre réponse. Je pensais que c'était clair de toute façon j'obtiens le même comportement même avec scp : blocage à 40%...

0voto

Cyril Chaboisseau Points 561

Essayez ceci :

  • abaissez votre MTU à 1492

sudo ifconfig eth0 mtu 1492

  • désactivez TCP SACK

sudo sysctl -w net.ipv4.tcp_sack=0

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X