Le blog Big Data

Gestion des logs avec ElasticSearch, Logstash & Kibana

beat logoC’est en 2010 qu’Elasticsearch voit le jour.
Il s’agit du premier né des outils open source proposés par la Elastic inc, basée aux États Unis en Californie. Aujourd’hui, la société propose une suite complète d’outils qui permet de répondre à la plupart des cas d’utilisations.

  • Elasticsearch est un moteur d’indexation et de recherche distribué, open source, pensé pour être scalable horizontalement, fiable et facile à utiliser. Il associe la rapidité de recherche avec de puissantes analyses grâce à un langage de requêtage simple qui permet l’interrogation des données de manière structurée, non structurée et en séries chronologiques.
  • Logstash est un ETL léger, flexible et open source. Avec de nombreux connecteurs permettant une intégration facile dans des infrastructures existantes, Logstash est pensé pour traiter des flux de logs, évènement, et autres données structurées avant de les envoyer vers un grand nombre de cibles, comme Elasticsearch.
  • Kibana est une plateforme de data-visualisation open source, qui permet d’interagir avec les données au travers de graphiques et de tableaux de bord. Du simple histogramme à la carte géographique, Kibana fournit une multitude de représentations qui permettent de projeter les données sous différents aspects et mettre en évidence de nouvelles informations.

elasticChaque brique logicielle peut être utilisée de manière indépendante ou ensemble. Dans ce second cas, on parle de la solution ELK (Elasticsearch – Logstash – Kibana) qui permet de mettre en place très simplement une plateforme de gestion d’évènements (en général des logs) comprenant :

  • la collecte et le traitement via Logstash
  • l’indexation et le requêtage via Elasticsearch
  • la restitution via Kibana

Récemment, Elastic a créé les Beats, sortes de mini agents légers spécialisés dans un type de collecte précis (par exemple filebeat pour scruter des fichiers, topbeat pour la collecte de métriques système, etc.). Les Beats remplacent donc l’utilisation de Logstash en tant que collecteur. La chaine de traitement se trouve optimisée :

*beat → Logstash → Elasticsearch ← Kibana

La plateforme Beat est open source, ce qui permet à la communauté de créer ses propres beats. C’est la cas d’Ingensi qui, initialement pour des besoins internes, a commencé à développer Dockbeat, un beat dédié à la remonté de statistiques Docker. Dockerbeat est déjà disponible en Beta 2 !

Sandrine Ganault

Sandrine Ganault

      Laisser un commentaire