3 votes

Comment ajouter les journaux d'accès AWS ELB à logstash avec une entrée S3 ?

J'utilise une pile ELK pour la surveillance des serveurs. Les journaux d'accès de mon application qui proviennent de AWS ELB sont stockés dans AWS S3. J'essaie de les ajouter à logstash avec l'entrée suivante :

input {
  s3 {
    access_key_id => "my_id"
    secret_access_key => "my_key"
    bucket => "my_bucket"
    region => "region"
    prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/**/**/**/*.log"
    type => "elb"
  }
}

Mais rien n'est ajouté à logstash, qu'est-ce que je fais mal ? Existe-t-il un autre moyen de les ajouter à logstash ? Les parties filtre et sortie semblent OK donc je ne les affiche pas.

Note : J'utilise la version 2.1 de Logstash.

0voto

oivoodoo Points 101

Pourriez-vous ajouter sincedb_path => "/tmp/alb-sincedb" et laisser le préfixe comme prefix => "AWSLogs/" ?

Il serait également souhaitable que vous installiez la dernière version de la gemme input s3. Je crois que j'y ai vu les changements liés à l'itération des objets à l'intérieur du seau en utilisant le préfixe en utilisant l'API des ressources V2. Ma version actuelle est logstash-input-s3-3.1.2.gem .

-1voto

user1914692 Points 335

Il semble que le préfixe devrait être, car le plugin ne supporte pas les globs (*) :

 prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/"

Exemple complet :

input {
  s3 {
    access_key_id => "my_id"
    secret_access_key => "my_key"
    bucket => "my_bucket"
    region => "region"
    prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/"
  }
}

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X