1 votes

Sortie de Logstash vers le stockage de blobs Azure

Je suis actuellement en train d'importer des journaux IIS dans Logstash en utilisant Filebeat, et le Logstash est configuré pour envoyer les documents vers Elasticsearch. Maintenant, je veux également envoyer mes journaux IIS vers le stockage Azure (blob) à des fins de sauvegarde à long terme, mais je ne trouve pas de moyen de le faire.

Il existe un plugin Logstash fonctionnel pour envoyer des données vers AWS. Mais j'ai besoin d'utiliser le stockage Azure Blob. Je ne trouve pas de plugin de sortie pour Azure Blobstorage dans la liste des sorties élastiques, ni ailleurs..

Y a-t-il un moyen de envoyer des documents de Logstash vers Azure Blobstorage?

Il semble que ce soit une fonctionnalité précieuse. Je suppose que cela ressemblerait à quelque chose ci-dessous.

output {
    Azure_storage {
        account => "test"
        key => "SuperSecret"
        container => "Backup_Documents"
        blobName => "nameofblob"
    }
  }

1voto

sysadmin1138 Points 129885

Il n'y en a pas dans les plugins officiels, ni dans la liste des plugins entretenue par la communauté. Quelqu'un n'a probablement pas encore rédigé un. Ou s'ils l'ont fait, ils ne le partagent pas. Cela peut être un cas où vous envoyez la sortie vers un répertoire local et utilisez une tâche planifiée pour synchroniser le répertoire avec le stockage de blob. Nous utilisons cette méthode pour l'un de nos flux de travail les plus étranges.

1voto

Guy Reginiano Points 11

Il existe un plugin open-source : https://github.com/tuffk/Logstash-output-to-Azure-Blob

Configuration de base :

  output {
       azure {
         storage_account_name => "mon-compte-azure"    # requis
         storage_access_key => "ma-clé-super-secrète"   # requis
         container_name => "mon-conteneur"              # requis
         size_file => 1024*1024*5                      # optionnel
         time_file => 10                               # optionnel
         restore => vrai                               # optionnel
         temporary_directory => "chemin/vers/répertoire"    # optionnel
         prefix => "un_prefixe"                          # optionnel
         upload_queue_size => 2                        # optionnel
         upload_workers_count => 1                     # optionnel
         rotation_strategy_val => "taille_et_temps"      # optionnel
         tags => []                                    # optionnel
         encoding => "aucun"                            # optionnel
       }
     }

Pour rendre le plugin disponible dans votre environnement Logstash, exécutez la commande suivante :

bin/logstash-plugin install logstash-output-azure

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X