3 votes

Expérience avec MQ File Transfer Edition ?

Nous avons plusieurs processus qui déplacent des fichiers entre des serveurs - SFTP, FTP, SCP ; Windows, Linux, AIX ; il y a un composant de flux de travail (qui nécessite généralement un fichier de contrôle avec des noms de fichiers et des valeurs de hachage pour déplacer un lot de fichiers liés). L'action est souvent initiée sur nos serveurs pour obtenir les fichiers, et nous devons donc nous assurer qu'ils ont été écrits.

Nous avons quelques scripts maison pour faire cela, mais ils ne fonctionnent pas toujours correctement, et le dépannage, la maintenance et l'examen des journaux ne sont pas faciles de cette façon. Il y a beaucoup de serveurs, et nos scripts ne disposent pas d'une journalisation centralisée ou d'un tableau de bord/console/etc.

Nous recherchons des produits commerciaux pour ce faire. Quelqu'un a-t-il utilisé MQ File Transfer Edition ? Une autre équipe de notre société utilise Aspera, est-ce que quelqu'un a des idées sur ce produit ou sur d'autres produits préférés ?

Je ne sais pas encore quel est notre budget pour cela. J'essaie juste de me faire une idée de l'espace produit du point de vue d'autres administrateurs.


/Dans mon cas, nous déplaçons deux fichiers (l'un binaire, l'autre contenant des métadonnées) d'images numérisées à partir de différentes sources vers différentes destinations. Nous attendons qu'un troisième fichier de contrôle soit écrit avec les sommes de contrôle - lorsque le déplacement est terminé, le fichier de contrôle est supprimé.

Les sources sont principalement une poignée de serveurs de fichiers Windows, ou de serveurs SFTP Windows, qui reçoivent ces fichiers des processus d'analyse. Nous avons également des sources qui sont des serveurs FTP ou SFTP qui reçoivent les mêmes charges utiles de parties externes. La destination est un ensemble de serveurs AIX qui ingèrent les images dans une archive, de sorte que les fichiers ne restent pas non plus dans la destination. La robustesse est notre principale préoccupation.

Nous déplaçons quelques GB chaque jour, je suppose. (Les fichiers binaires pèsent en moyenne 100 Mo, les métadonnées un peu moins.

2voto

Zabs Points 181

J'ai mis en œuvre WMQ FTE pour plusieurs clients et il répondrait sans aucun doute aux exigences que vous avez décrites. Vous pouvez le configurer pour qu'il surveille le fichier de contrôle, déplace les fichiers de données et supprime le fichier de contrôle. Il peut également être piloté par un message MQ envoyé par l'entité qui crée les fichiers. Les agents FTE peuvent se connecter à WMQ en tant que clients, de sorte que vous n'avez besoin que d'un seul serveur WMQ dans un petit déploiement et que les agents FTE peuvent se trouver sur toutes les plates-formes que vous avez mentionnées. La seule exception est qu'un agent ETP z/OS doit avoir un gestionnaire de file d'attente local (parce qu'il n'y a pas de client WMQ pour la plate-forme z/OS). Bien entendu, il est également configuré pour les transferts ad hoc, pilotés par l'utilisateur.

L'ETP utilise tous les messages non persistants et un flux de contrôle léger entre les deux agents (via WMQ, bien sûr) qui accède au flux de données. En supposant que les deux parties soient actives, l'ensemble du transfert s'effectue en mémoire sans que rien ne soit écrit sur le disque du gestionnaire de file d'attente, de sorte que le transfert est extrêmement rapide. Si l'une des parties tombe en panne, le transfert reprend là où il s'est arrêté dès que le service est rétabli. Les deux agents vérifient les données et les fichiers de sorte que si le fichier source ou le fichier cible change pendant la panne ou pendant la transmission, le transfert s'interrompt avec un message d'erreur approprié.

Tout type d'automatisation que vous souhaitez script peut être réalisé avec Ant ou tout autre exécutable que vous souhaitez appeler, que ce soit du côté de l'expéditeur ou du côté du destinataire, avant ou après le transfert. Par exemple, j'ai un client qui crypte les fichiers sortants vers les serveurs SFTP de ses clients, puis les décrypte à l'arrivée. Pour ce faire, il appelle Ant pour qu'il exécute GPG avant les transferts sortants et après les transferts entrants.

1voto

pablo Points 3020

Je n'ai pas utilisé l'édition de transfert de fichiers de MQ et je ne peux donc pas faire de commentaires à ce sujet. J'ai effectué de nombreux transferts de fichiers, notamment EDI, FTP, AS2, FTPS, SFTP, rsync, SCP, aspera, svn, etc. En fin de compte, ma réponse dépendra de vos besoins exacts. D'après ce qu'il semble, la chose la plus importante que vous recherchez est la fiabilité des transferts de fichiers.

Tout d'abord, je recommanderais une sorte de normalisation des plateformes, de la maintenance et de la gestion, ce que vous semblez vouloir faire. Faire en sorte que chaque serveur, quel que soit son système d'exploitation ou sa configuration, utilise le même processus pour envoyer des fichiers vers et depuis les nœuds. Multiplier les problèmes entre les différentes configurations peut rendre des tâches simples très frustrantes. Lorsque je pense à la fiabilité, je ne pense pas à Windows, mais la plupart du temps, il n'y a tout simplement pas moyen de l'éviter.

Bien que je ne connaisse pas vos besoins exacts, je vais vous proposer quelques solutions possibles. Si vous pouvez préciser vos besoins exacts (WAN, LAN, taille des fichiers, nombre de transferts quotidiens, importance des transferts, etc), je pourrai vous fournir une réponse plus précise. Les transferts que j'ai mis en place dans le passé allaient de petits fichiers <1kb à des centaines de GB de données, de personnes qui ne sont pas payées si le transfert n'a pas lieu à des données qui ne seront peut-être même jamais utilisées, de transferts sur Internet ouvert à des données cryptées, en passant par des transferts cryptés à travers des VPN cryptés.

Ce que vous cherchez vraiment, c'est un terme semi nouveau dans l'industrie appelé Managed File Transfer. http://en.wikipedia.org/wiki/Managed_file_transfer

En fin de compte, procurez-vous le rapport Magic Quadrant de Gartner, examinez-le et choisissez un fournisseur qui répond à vos besoins. Vous remarquerez la présence d'Aspera dans la liste, mais pensez à CFI pour vos besoins. Si vous recherchez spécifiquement un produit commercial, c'est votre meilleur choix. Envoyez-moi un message privé ou un commentaire si vous souhaitez obtenir plus d'informations sur mes recherches dans ce secteur.

Voici ma contribution personnalisée.

FTP centralisé :

C'est une bonne chose car le FTP est universel, il est utilisé dans de nombreux endroits et bénéficie d'un grand soutien de la part de tous les systèmes. De nombreux serveurs FTP populaires prennent en charge un grand nombre de méthodes d'authentification et de protocoles. Si vous êtes en mesure de centraliser le serveur pour tous les nœuds, le dépannage devient beaucoup plus facile. Lorsque quelque chose ne va pas, vous vérifiez le journal du serveur ou, idéalement, vous recevez un rapport automatique des journaux par courrier électronique, et s'il n'y a rien d'anormal, il est clair qu'il s'agit d'un problème lié au client ou au réseau. Le problème est que le FTP n'est pas parfait, il peut facilement échouer et il est particulièrement lent lorsqu'il s'agit de traiter de grandes quantités de petits fichiers. D'un système d'exploitation à l'autre, vous pouvez rencontrer des problèmes de dénomination de fichiers, etc. Si vous envisagez cette solution, utilisez des clients et un serveur capables de prendre en charge une vérification simple des fichiers. http://en.wikipedia.org/wiki/Simple_file_verification . Le mécanisme utilisé pour vérifier les fichiers est, comme son nom l'indique, simple et peut être vérifié sur plusieurs plates-formes. Il existe un certain nombre de serveurs qui prennent en charge la vérification des fichiers lors de leur téléchargement et qui peuvent signaler automatiquement si un fichier échoue, ainsi que la vérification de jeux de fichiers complets plutôt que de fichiers individuels, en fournissant également un certain pourcentage pour le téléchargement de la structure complète. gltfpd est un serveur populaire, mais gardez à l'esprit qu'il est difficile à configurer, mais une fois qu'il est installé, vous n'aurez peut-être plus jamais besoin d'y toucher. http://www.glftpd.com/ . Gene6 est également très populaire

Rsync les fichiers

J'ai utilisé rsync avec scripts assez souvent et j'ai trouvé cela très fiable et assez robuste en tenant compte de la vérification des erreurs. Vous trouverez rsync populaire parmi les scripts de sauvegarde pour cette raison. Je ne connais pas beaucoup de programmes prêts à l'emploi pour rsync, vous devez donc chercher à coder une solution pour cela et, une fois de plus, vous ne disposerez pas d'une journalisation centralisée et vous risquez de rencontrer les mêmes problèmes, mais honnêtement, j'ai trouvé rsync suffisamment fiable et, avec les transmissions delta avec de grands ensembles de fichiers et la vérification de l'intégrité, c'est un moyen assez rapide et sale de faire avancer les choses.

Aspera

Aspera est une excellente technologie à la base pour les transferts à haute latence et à large bande passante. Si vous ne transférez pas à travers un WAN, et si vous ne transférez pas de grands ensembles de données, je ne le recommanderais pas. Je gère un grand déploiement d'Aspera et il est parsemé de problèmes de transfert et de bogues logiciels. Si vous recherchez des fonctionnalités très basiques, c'est une très bonne solution, mais quand il s'agit de traitements plus avancés, préparez-vous à écrire vos propres scripts pour transférer les données. Le logiciel semble être plus axé sur une petite entreprise de niche et il semble avoir des difficultés à se déployer dans les entreprises. La journalisation centralisée qu'ils ont avec l'un de leurs produits résoudrait les besoins de journalisation centralisée, et leur pré et post traitement fonctionnerait pour vos besoins également, mais gardez à l'esprit que vous pourriez finir par dépenser une bonne quantité d'argent pour une solution qui ne fonctionne qu'à moitié. J'ai mentionné CFI plus haut, leur produit est beaucoup plus orienté vers l'entreprise, mais ils ont du mal à fournir une expérience unique. En fonction de vos besoins, ne me croyez pas sur parole, faites des essais de leurs produits par vous-même.

Système de contrôle des versions

Je dirai d'abord que cela ne semble pas correspondre aux exigences, mais que c'est une autre option. Si les fichiers que vous transférez ne sont pas transactionnels, envisagez de les stocker dans un système de contrôle de version. Dans ce scénario, lorsqu'un fichier doit être transféré, il est enregistré dans le référentiel de versions et, le cas échéant, il est synchronisé à l'extrémité distante. Dans un cas où vous avez besoin d'un système de contrôle des versions et de fichiers susceptibles d'interagir entre eux, ainsi que d'un serveur centralisé, cette option peut s'avérer judicieuse.

Pour finir, regardez ce que twitter utilise pour passer des fichiers de configuration à travers leurs très nombreux nœuds : http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-deploys.html

Une fois de plus, je ne saurais trop insister sur le fait que la bonne réponse dépend de vos besoins exacts.

J'espère que cela vous aidera.

0voto

NanoCarp Points 488

Lorsque je travaillais pour une grande compagnie d'assurance, nous utilisions Connecter:Direct Ce logiciel permet d'automatiser et de gérer les transferts de fichiers (la plupart via SSL/TLS) entre différents serveurs Windows/linux/AIX/mainframe.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X