Logstash + Redis + Elasticsearch + Kibana - Gerenciando logs

amelotti

O Logstash é um sistema para gerenciamento e agregação de logs. Neste artigo, veremos como configurar o Logstash para coletar, processar e armazenar logs e como configurar uma interface Web para visualizar e analisar os logs. Este roteiro irá mostrar também, como montar um ambiente para centralizar logs de diversos servidores.

[ Hits: 40.700 ]

Por: Luiz Augusto Amelotti em 10/09/2012

2 0

Denuncie Favoritos Indicar Impressora

Coletando e processando logs

Neste exemplo, nós iremos coletar os logs de acesso e de erro do Apache.

Para isso, na máquina shipper - a que envia as mensagens de log para a centralizadora - pare o Logstash (se ainda não estiver parado) e edite o arquivo de configuração (shipper.conf), para que ele fique da seguinte maneira:

input { file { path => "/var/log/apache2/access.log" type => "apache-access" } }
filter { grok { type => "apache-access" pattern => "%{COMBINEDAPACHELOG}" } }
output { redis { host => "<endereço IP do redis server>" data_type => "list" key => "logstash" } }

Inicie o Logstash e acesse algumas páginas desta máquina, através do navegador.

As mensagens serão enviadas ao Redis e o Logstash vai coletar e indexar as mensagens, enviando-as ao Elasticsearch para armazenamento. Assim, elas podem ser visualizadas através da interface do Kibana.

Na interface Web, ao clicar em uma das mensagens, é possível ver como ela foi processada, sendo quebrada em vários campos (agent, auth, bytes, clientip, etc). Esse processamento é feito através das instruções na sessão filter.

O Logstash tem uma série de filtros, sendo o grok um dos mais usados. Com ele, é possível fazer um parsing do texto e estruturá-lo. O grok vem com uma série de padrões pré-definidos (COMBINEDAPACHELOG é um deles), mas, você pode definir um padrão novo qualquer, que atenda às suas necessidades.

Você pode ver mais detalhes dos plugins do Logstash, na página:

http://logstash.net/docs/1.1.1

O conjunto Elasticsearch+Kibana, provêem um ambiente muito prático, que permite realizar buscas e aplicar filtros aos resultados processados do Logstash e usam a mesma sintaxe da Lucene para realizar as buscas.

Mais detalhes podem ser encontrados em: