59 votes

mhamad arsalan avatar

Rsync vers le compartiment AWS S3

Demandé el 8 de Février, 2016
Quand la question a-t-elle été
52420 affichage
Nombre de visites la question a
3 Réponses
Nombre de réponses aux questions
Résolu
Situation réelle de la question

Pour un serveur sur lequel j'héberge un site Web, je veux sauvegarder les données et les paramètres dans un compartiment S3. J'ai découvert qu'on ne peut pas utiliser directement rsync pour sauvegarder dans un compartiment S3. Y a-t-il un autre moyen d'obtenir la commande rsync suivante pour sauvegarder les données dans un compartiment S3?

rsync -­av ­/Données /s3bucket

Je veux également sauvegarder la base de données mysql sur ce serveur dans le compartiment S3. Quel est le meilleur moyen pour y parvenir?

Dernière question, si j'ai réussi à sauvegarder tout dans le S3. Quel est le meilleur moyen de restaurer le serveur en cas de panne ou dans le pire des cas complètement effacé? Dois-je prendre note des paramètres du serveur moi-même et reconfigurer le serveur ou existe-t-il un moyen de sauvegarder également ceci?

Demandé el 8 de Février, 2016 par mhamad arsalan

Réponses

Trop de publicités?

70voto

András Szepesházi avatar
András Szepesházi Points 71

Pour communiquer avec s3, vous avez besoin de 2 choses

  1. Les informations d'identification de l'utilisateur IAM qui a un accès en lecture-écriture au compartiment s3.
  2. Un client comme aws-cli pour bash, la bibliothèque boto pour Python etc.

une fois que vous avez les deux, vous pouvez transférer n'importe quel fichier de votre machine à s3 et de s3 à votre machine. Voici un exemple pour aws-cli.

Pour synchroniser tous les fichiers dans un dossier

aws s3 sync source_folder  s3://your_bucket_name/destination_folder/

Pour copier un fichier sur s3

aws s3 cp source_file s3://your_bucket_name/destination_folder/

Remplacez simplement source & destination dans la commande pour télécharger n'importe quel fichier depuis s3.

pour plus d'informations suivez la documentation aws

Répondu el 8 de Février, 2016 par András Szepesházi (71 Points )

37voto

simbo1905 avatar
simbo1905 Points 911

Vous pouvez essayer rclone.

Configuration (docs):

rclone config

Synchronisation (docs):

rclone sync /mon/dossier/local s3service:nom-du-bucket
Répondu el 29 de Avril, 2017 par simbo1905 (911 Points )

3voto

Fernando avatar
Fernando Points 21

Aws-cli est idéal pour synchroniser vers S3 si vous n'êtes pas intéressé par les permissions.

Gardez à l'esprit qu'il ne conserve pas les informations de permission ni les autres métadonnées que les fichiers peuvent avoir.

Ce n'est pas bien conseillé dans la documentation, et vous pourriez avoir des surprises lors de la restauration.

Il est peut-être moins important de synchroniser votre collection de musique ou de photos, mais c'est d'une importance cruciale si vous l'utilisez pour sauvegarder votre système.

Il existe un autre programme s3cmd qui conserve ces données et peut faire un travail similaire. Il est plus lent. Mais je ne l'ai pas essayé.

On m'a dit que le problème est que cela peut entraîner des coûts élevés, car sur S3, vous ne payez pas seulement par Mo sauvegardé, mais aussi pour les requêtes et rsync en effectue beaucoup.

Répondu el 17 de Avril, 2020 par Fernando (21 Points )

Questions en vedette

Top Tags

Dans notre réseau

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

Yandex
X