О чем нам могут рассказать access логи вебсервера? Поиск аномалий и отклонений от нормы? Откуда наши пользователи? Город? Страна? Сайт? Сколько запросов генерируют роботы? Когда в последний раз к нам приходил поисковик для индексации? Какая динамика по ошибкам и страницам отсутствующим на сайте?

1. Elasticsearch(java)
Fluentbit -> Fluentd(ruby)
Kibana(javascript)
Система сбора и визуализации логов
Alexander Sigachev for developers-day.ru

2. Откуда растут ноги?
● Растущее количество серверов усложняет задачу локализации
проблемы
● Популярные микросервисы увеличивают количество log файлов
● Разные сервисы имеют разный формат логов

3. Как было раньше?
● nginx -> access.log -> logrotate -> access.log.1.gz
● grep для поиска
● Аналитика
zcat | cat | sort | uniq -c | sort -nr

4. Поиск инструментов
● rsyslog
● Свой велосипед - на mysql / other db
● Набирающая популярность ELK (elasticsearch+logstash+kibana)
● loghouse - решение на базе clickhouse (1 ноября 2017)

5. Open source data collection engine
● logreplica 2011-06-29 (http://dklab.ru)
● logstash
● fluend
● heka

6. Что такое логи?
log_format main '$scheme://$host $remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" "$cookie_sid" $request_time';

7. log_format main_json '{ "time": "$time_iso8601", '
'"scheme": "$scheme", '
'"domain": "$host", '
'"remote_addr": "$remote_addr", '
'"body_bytes_sent": $body_bytes_sent, '
'"status": $status, '
'"request": "$request", '
'"uri": "$uri", '
'"botflag": $botflag, '
'"http_user_agent": "$http_user_agent" }';

9. Наш выбор - fluend
http://docs.fluentd.org/
он на ruby +1 в карму
Упоминался в докладе на HighLoad (https://goo.gl/JB5fys)

11. Архитектура fluend
OUTPUTPARSERINPUT FORMATTEDBUFFER

12. Плагины ввода данных:
● in_tail - чтение access.log nginx
● in_forward - прием логов от других агентов для центральной обработки
● in_http - http интерфейс
● еще много вариантов ...

13. Buffer Pugins
● buf_memory
● buf_file

14. Filter plugins
● filter_record_transformer
● filter_grep
● filter_parser
● filter_stdout

15. Parser plugins
● parser_regexp
● parser_apache2
● parser_apache_error
● parser_nginx
● parser_syslog
● parser_ltsv
● parser_csv
● parser_tsv
● parser_json
● parser_multiline
● parser_none

16. Output plugins
● out_file
● out_forward
● out_secure_forward
● out_exec
● out_exec_filter
● out_copy
● out_roundrobin
● out_s3
● out_splunk
● out_kafka
● out_mongofs

17. IN_HTTP
<source>
@type http
port 8888
bind 0.0.0.0
body_size_limit 32m
keepalive_timeout 10s
</source>

18. IN_TAIL
<source>
@type tail
path /var/log/nginx/access.log
pos_file /var/log/td-agent/nginx-access.log.pos
tag nginx.access
format nginx
</source>

19. IN_FORWARD
<source>
@type forward
port 24224
bind 0.0.0.0
</source>

20. Наш пример match
<match geoip.es.*.*>
buffer_chunk_limit 100m
buffer_queue_limit 100
@type geoip
geoip_lookup_key remote
<record>
country ${country_code["remote"]}
city ${city["remote"]}
</record>
remove_tag_prefix geoip.
</match>

21. <match es.*.**>
@type elasticsearch_dynamic
buffer_type memory
buffer_chunk_limit 100m
buffer_queue_limit 256
host 127.0.0.1
port 9200
resurrect_after 5
reconnect_on_error true
logstash_format true
logstash_prefix ${tag_parts[1]}
include_tag_key true
tag_key @log_name
time_key_format %Y-%m-%dT%H:%M:%S.%N%z
flush_interval 30s
</match>

22. Пример filter
<filter geoip.**.*>
@type record_transformer
enable_ruby
auto_typecast true
<record>
hostname ${hostname}
speed_kbps ${record["size"] * 8 / (record["resptime"] + 0.001) / 1000 }
</record>
</filter>

23. Схема
source - tail
filter - record
match - forward
source - tail
filter - record
match - forward
source - forward
match - geo
match - elasctic
Elasticsearch kibana

24. Пример графиков

25. nginx access log

27. Ресурсы:
Для теста использовался Cloud Hosting https://goo.gl/KfytA8
● 2Gb+2G(swap) 1core - 1000rps RAM + CPU
● 8Gb 2core - 2000rps RAM + CPU = ~ 31Gb за сутки
● 16Gb 4core - 3000rps xxxx

28. Как быстро попробовать?
● Берем сервер 2Gb 1Core ~ 20Gb (350руб/мес)
● docker + docker-compose
● Настраиваем td-agent (он же fluentd)
● Наслаждаемся результатом
Установка elasticsearch + kibana
curl -L https://goo.gl/usglpi | sh -
Статья как быстро установить efk https://goo.gl/6vgdAX

29. Ограничения доступа
Варианты ограничения доступа:
● X-Pack - платный плагин от elastc.io (1 месяц demo + есть базовая
лицензия)
● nginx base auth

30. Проблемы
● fluentd - ruby
○ Ограничение скорости чтения событий из лога
○ Потребляемые ресурсы
Решение
● fluent-bit - C (легковесный агент)
○ Есть опции ограничения скорости чтения данных
○ Потребляет меньше ОЗУ

31. SAAS
http://logz.io/
https://www.loggly.com/
другие

32. Вопросы?
Александр Сигачев
asigatchov@gmail.com
Инвентос (интернатура -> предложение о работе)
Канал в телеграмме - https://t.me/orelrb