2 votes

Mise en cache de fichiers volumineux avec varnish. Est-ce viable ?

J'ai un serveur qui donne accès à quelques centaines de fichiers. Tous ces fichiers sont très volumineux (certains dépassent les 10 Go). Ces fichiers ne changeront pas et sont en lecture seule, mais je dois leur donner accès via un réseau étendu.

Je veux rendre l'accès plus rapide en utilisant un serveur proxy inverse à proximité de mes utilisateurs. Par exemple :

  • L'utilisateur X veut accéder à quelque chose sur le serveur A.
  • L'utilisateur X accède à un serveur proxy inverse sur son réseau local, ce qui provoque une absence de cache. cache. Le fichier est téléchargé sur ce serveur proxy.
  • La prochaine fois que l'utilisateur X voudra le même fichier, il n'aura pas besoin d'aller le chercher sur mon serveur principal.

Je sais que cette situation est triviale, mais je n'aurai pas beaucoup de trafic, mon problème est plutôt lié à la taille des fichiers eux-mêmes. J'ai lu quelque chose sur le fait que Squid avait des problèmes pour mettre en cache des fichiers de plus de 2 Go. Est-ce que Varnish rencontre le même genre de problèmes ?

Merci pour toute réflexion à ce sujet.

1voto

Kvisle Points 4083

C'est techniquement possible, mais pour ce que vous voulez réaliser - j'envisagerais simplement de mettre en miroir le serveur dorsal périodiquement avec rsync.

L'une des raisons en est la façon dont Varnish fournit les objets à partir de son cache. Si l'objet n'est pas dans le cache de Varnish, il ira le chercher dans le backend. Dans ce cas, l'utilisateur devra attendre - sans qu'aucun transfert au client ne se produise.

Lorsque le fichier est stocké dans le cache de Varnish, le transfert vers l'utilisateur peut commencer.

En fonction de la manière dont les utilisateurs accèdent aux serveurs, cela peut entraîner un temps d'attente supplémentaire important.

2 votes

Varnish 3.0 supporte le streaming d'objets, ce qui résout ce problème. Voir ce qui suit Entrée du blog sur le vernis

0voto

Giovanni Toraldo Points 2537

Squid a besoin de ./configure --with-large-files pour supporter les objets de plus de 2 Go (devrait être activé par défaut sur les paquets squid de Debian/Ubuntu).

Si la plupart des fichiers sont souvent consultés par la plupart des clients, envisagez de mettre en place un miroir rsync à la place.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X