Generalidades de manejo de logs
José Marvin Xuya
¿Dónde se originan?
Logstash-forwarder
(Lumberjack)
Centralizador local de logs para ser procesados
en otro lugar.
https://github.com/elastics...
Logstash-forwarder
(Lumberjack)
{
"network": {
"servers": [" servidor:1234"],
"ssl certificate": "/path/logstash-forwarder...
Logstash
Centraliza logs y otros eventos de nuestros servidores a
una ubicación donde podamos almacenarlos para poder
anal...
Logstash
Input: mecanismos para el paso de información.
lumberjack, syslog (RFTC3164 format), file.
Filter: proceso interm...
Logstash
input {
lumberjack {
port => 1234
certificate => "/path/logstash-forwarder.crt"
key => "/path/logstash-forwarder....
Permite almacenar, buscar y analizar grandes
volúmenes de datos de forma rápida y en tiempo casi
real.
Utilizado fundament...
Hecho en Java, permite agregar la funcionalidad de
busqueda a aplicaciones o sitios web.
Su fuente de contenido puede ser ...
• Escalable.
• Motor analítico
• Motor de búsqueda de texto
• Cluster:
• Se compone de nodos.
• Nodos maestro e hijos.
• Nodo:
• Instancia.
• Uno por servidor
• Descubrimiento y unió...
• Shard (fragmento):
• Instancia de Lucene (nivel bajo).
• Manejado automáticamente por elasticsearch.
• Shard primario:
•...
• Starter Pack.
• Query string query:
{
"query_string" : {
"default_field" : "content",
"query" : "this AND that OR thus"
...
Elaborado principalmente para el análisis de logs, es un
buscador analítico e interfaz de búsqueda para
Elasticsearch.
Interacción
Logstash se utilizar para recolectar los logs, convertirlos en
formato json y almacenarlos en un cluster de
El...
Interacción
http://demo.packetbeat.com/
Referencias
http://semicomplete.com/presentations/logstash-puppetconf-
2012/
http://logstash.net/
https://github.com/elast...
Gracias por su atención
Upcoming SlideShare
Loading in …5
×

Generalidades de manejo de logs

801 views

Published on

Conceptos básicos para el manejo de Logs utilizando Logstash-forwarder, Logstash, Elasticsearch y Kibana.

Published in: Software
  • Be the first to comment

  • Be the first to like this

Generalidades de manejo de logs

  1. 1. Generalidades de manejo de logs José Marvin Xuya
  2. 2. ¿Dónde se originan?
  3. 3. Logstash-forwarder (Lumberjack) Centralizador local de logs para ser procesados en otro lugar. https://github.com/elasticsearch/logstash-forwarder
  4. 4. Logstash-forwarder (Lumberjack) { "network": { "servers": [" servidor:1234"], "ssl certificate": "/path/logstash-forwarder.crt", "ssl key": "/path/logstash-forwarder.key" }, "files": [ { "paths": [ "/path/logfile.log"], "fields": { "type": “rubylogs", "app": "my_application" } } ] }
  5. 5. Logstash Centraliza logs y otros eventos de nuestros servidores a una ubicación donde podamos almacenarlos para poder analizarlos.
  6. 6. Logstash Input: mecanismos para el paso de información. lumberjack, syslog (RFTC3164 format), file. Filter: proceso intermedio. drop (ej - debug ), grok (estructuración), geoip (Info. geográfica) Output: fase final, guardar la información. elasticsearch, file, graphite.
  7. 7. Logstash input { lumberjack { port => 1234 certificate => "/path/logstash-forwarder.crt" key => "/path/logstash-forwarder.key" } } filter { if [app] == "my_application" { grok { match => [ "message", "%{RUBY_LOGLEVEL:loglevel}" ] } } } output{ stdout { } elasticsearch { cluster => "log_data" index => "my_app-%{+YYYY.MM.dd.HH}" index_type => "my_application" } }
  8. 8. Permite almacenar, buscar y analizar grandes volúmenes de datos de forma rápida y en tiempo casi real. Utilizado fundamentalmente como el motor de aplicaciones de búsqueda y aplicaciones con requisitos complejos.
  9. 9. Hecho en Java, permite agregar la funcionalidad de busqueda a aplicaciones o sitios web. Su fuente de contenido puede ser de bases de datos SQL o NoSQL, archivos de sistema o bien sitios web. Permite la ejecución de consultas a indices.
  10. 10. • Escalable. • Motor analítico • Motor de búsqueda de texto
  11. 11. • Cluster: • Se compone de nodos. • Nodos maestro e hijos. • Nodo: • Instancia. • Uno por servidor • Descubrimiento y unión a cluster con su mismo nombre. • Índice: • Visto desde el punto de vista de una base de datos relacional es una base de datos.
  12. 12. • Shard (fragmento): • Instancia de Lucene (nivel bajo). • Manejado automáticamente por elasticsearch. • Shard primario: • Almacena los documentos. • Un índice por defecto tiene 5 shards primarios. • No pueden modificarse una vez son definidos. • Shard copia (replica): • Back-up. • Un shard secundario puede pasar a ser primario de forma automática. • Manejo dinámico en un índice.
  13. 13. • Starter Pack. • Query string query: { "query_string" : { "default_field" : "content", "query" : "this AND that OR thus" } }
  14. 14. Elaborado principalmente para el análisis de logs, es un buscador analítico e interfaz de búsqueda para Elasticsearch.
  15. 15. Interacción Logstash se utilizar para recolectar los logs, convertirlos en formato json y almacenarlos en un cluster de Elasticsearch. Kibana es la interfaz final para el despliegue de la información almacenada en los clusters de Elasticsearch.
  16. 16. Interacción http://demo.packetbeat.com/
  17. 17. Referencias http://semicomplete.com/presentations/logstash-puppetconf- 2012/ http://logstash.net/ https://github.com/elasticsearch/logstash-forwarder http://www.elasticsearch.org/ https://wikitech.wikimedia.org
  18. 18. Gracias por su atención

×