Je suis intéressé à utiliser Amazon S3 pour sauvegarder nos images de serveur d'environ 100 Go (créées via les outils de sauvegarde Acronis).
Évidemment, envoyer ces sauvegardes vers S3 chaque nuit serait coûteux en termes de bande passante et de coûts. Je considère d'utiliser rsync avec S3 et suis tombé sur s3rsync. Je me demandais simplement si quelqu'un avait de l'expérience en utilisant ça, ou un autre utilitaire?
Récemment, j'ai découvert ce fil sur Google et il semble que le paysage ait un peu changé depuis que la question a été posée. La plupart des solutions suggérées ici ne sont plus maintenues ou sont devenues commerciales.
Après quelques frustrations en travaillant avec FUSE et quelques autres solutions, j'ai décidé d'écrire mon propre "clone" rsync en ligne de commande pour S3 et Google Storage en utilisant Python.
Vous pouvez consulter le projet sur GitHub : http://github.com/seedifferently/boto_rsync
Un autre projet dont j'ai récemment pris connaissance est "duplicity." Il semble un peu plus élaboré et peut être trouvé ici : http://duplicity.nongnu.org/
J'espère que cela vous aidera.
MISE À JOUR
L'équipe Python chez AWS travaille dur sur un projet CLI basé sur boto pour leurs services cloud. Parmi les outils inclus se trouve une interface pour S3 qui duplique (et remplace à bien des égards) la plupart des fonctionnalités fournies par boto-rsync :
https://github.com/aws/aws-cli
En particulier, la commande sync peut être configurée pour fonctionner presque exactement comme rsync :
http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html
En fonction de la manière dont vos images Acronis sont créées, je ne suis pas sûr que n'importe quel type de rsync vous fasse économiser de la bande passante. Les images Acronis sont des fichiers uniques, donc rsync ne serait pas en mesure de les lire pour ne sauvegarder que ce qui a changé. Je ne suis pas non plus sûr du type d'images serveur que vous créez, mais vu que vous avez mentionné 100 Go, je vais supposer qu'il s'agit d'une sauvegarde complète ? Une image incremental réduirait considérablement la taille de l'image nocturne, faisant ainsi des économies de bande passante. Vous pourriez également envisager de sauvegarder les images sur un emplacement alternatif autre que S3, comme des supports de bandes, et les stocker hors site.
Je n'ai jamais essayé S3rsync.
Je utilise duplicity pour nos sauvegardes externes. Il prend en charge les sauvegardes incrementielles sur S3 bien que cela ne économise pas vraiment de la bande passante en raison du protocole de stockage Amazon S3 dans lequel toute modification de fichier vous oblige à téléverser à nouveau le fichier entier. Quoi qu'il en soit, duplicity télécharge uniquement les différences par rapport à la dernière sauvegarde incrementielle.
Avec Duplicity, vous n'aurez pas besoin de passer par un autre serveur comme le fait S3sync, cependant, si vous chiffrez vos données, cela vaut la peine d'essayer S3sync.
S3 a également un service complémentaire appelé AWS Import/Export qui vous permet d'envoyer un lecteur USB avec votre jeu de données initial de 100 Go et ils le chargeront sur le cloud S3 en utilisant des outils en back-end dans leurs data centers. Une fois que vos 100 Go sont là-haut, vous pouvez simplement effectuer des sauvegardes différentielles chaque nuit pour sauvegarder tout ce qui a changé.
Le site est http://aws.amazon.com/importexport/
Si la majorité de vos données est assez statique, cela serait une bonne option, si les 100 Go de données changent quotidiennement, cela ne vous aidera pas beaucoup.
SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.
