Доклад Сергея Рыжикова и Александра Сербула на HighLoad++ 2014.

1. NoBigData: потоковая система
аналитики ClientSide-
производительности в
реальном времени
Сергей Рыжиков,
Александр Сербул

2. Скорость сайта

3. Какой сайт считается
быстрым?
Быстро генерируется,
минимальное число
запросов…
Есть только один критерий с
точки зрения клиента -
насколько быстро
отображается сайт.

4. Скорость – это фича
• Человек замечает: 100–
200 мс
• «Тормознутость»: >300
мс
• Переключение
внимания: >1000 мс

5. Динамика загрузки страниц
HTML
JS
CSS
Графика

6. Производительность и
скорость проекта.
Наши технологии:
• Технология кеширования:
автокеширование, html-
кеширование;
• Сжатие и объединение css и js;
• Композитный сайт;
• Инструменты отладки;
• Монитор производительности;
• Ускорение сайтов – CDN;
• Инспектор сайта.

7. Три точки мониторинга

8. У людей сайт отображается иначе

9. Посетители сайта

15. Скорость сайтов на «1С-Битрикс»
• 21 273 сайтов
• 84 879 доменов
• 52 млн хитов/сутки
• 43 млн уникальных посетителей
Аудитория Рунета - 68,7 млн человек
Источник: Фонд «Общественное мнение», апрель 2014

16. 22%
48%
20%
6%
4%
Очень быстро
Быстро
Не быстро
Медленно
Очень медленно
Скорость сайтов на «1С-Битрикс»

17. «Все, что можно наблюдать и измерить, можно
улучшить»
Боб Парсонс, основатель GoDaddy.
«Все, что можно наблюдать и измерить, обязательно начинает
улучшаться»

18. На примере одного из проектов
Медленно (1,95 сек.)

19. На примере одного из проектов
Не быстро (1,45 сек.)
1. Переезд на хостинг в Россию

20. На примере одного из проектов
Не быстро (1,05 сек.)
1. Переезд на хостинг в Россию
2. Сжатие CSS и JS

21. На примере одного из проектов
Быстро (0,75 сек.)
1. Переезд на хостинг в Россию
2. Сжатие CSS и JS
3. Переход на стандартные компоненты

22. На примере одного из проектов
Очень быстро (0,35 сек.)
1. Переезд на хостинг в Россию
2. Сжатие CSS и JS
3. Переход на стандартные компоненты
4. Включение композитного режима

23. Технология «Композитный сайт» дает самый
большой прирост скорости отображения сайта

24. Традиционный подход…
• Серверный мониторинг «скоростей»:
- Nagios/munin
- Zabbix/Cacti
- Распределенный мониторинг
- Функциональное тестирование

25. «Серверный» мониторинг

26. «Серверный» мониторинг - нагрузка

27. «Серверный» мониторинг - память

28. «Серверный» мониторинг - swap

29. «Серверный» мониторинг – админочки,
гистограмочки

30. «Серверный» мониторинг – Pinba

31. Нужно быть очень умным…
• Анализировать графики
• Написать много скриптов
• Обложить систему тестами
• Научиться «трактовать»
цифры
• Тренироваться

33. А сайт продолжает тормозить…
• Последняя миля
• Wi-Fi / 4G / LTE - задержки
• Torrent-клиенты
• Сосед играет в “World Of Tanks”
• Тормозит браузер/компьютер
• «Тяжелый» javascript

35. Navigation Timing API

36. Соберем и проанализируем?
• Собираем метрики в JS браузера и
отправляем
• От 500-1500 запросов на вставку в секунду
• Гистограмма распределения, онлайн
• Последние N-хитов
• Понятный «Индекс» скорости сайта
• Очистка устаревших данных

37. Архитектура «потоковых» обработчиков
• «Mining of Massive Datasets»: Leskovec, Rajaraman, Ullman (Stanford University)

38. Обработка информационных
потоков
• Hashing, randomizing
• «Тервер» – я тебя люблю и помню
• Bloom-filtering, Flajolet-Martin …
• «Базки нету»
• Памяти мало

40. Готовый «кубик» - Amazon Kinesis
• 1 shard: <=1000 вставок/сек, <=1МБ/сек
• <50 КБ в пакете
• Чтение: <=5 чтений/сек, <=2МБ/сек
• Хранение данных потока - до суток
• 1,000,000 вставок - $0.033
• 1 shard/час - $0.017
• Всего: ~50$/мес за 1 shard

41. Как «лить» в Kinesis?
• Авторизация в Amazon Web Services, v.4
• POST
• Неблокирующие сокеты
• nginx?
• Модуль для nginx?
• Где ставить cookies?

42. Nginx + Lua – просто и быстро
• Lua nginx module
• «Почти» javascript
• Неблокирующие сокеты
• Реализация – 2 дня

43. Nginx + Lua – просто и быстро

44. Kinesis – статистика обработки

45. Обработчики «потока»

46. Обработчики «потока»
• 8 workers, PHP
• 1 «чистильщик», PHP, SQS

47. Агрегация, гистограммы
• NoSQL – DynamoDB
• 1000 последних хитов (индекс)
• Профили пользователей
• Гистограмма, индекс скорости сайта
• История хитов
• Очистка: SQS, эвристика

48. Модель данных

49. «Льем» данные в DynamoDB

50. Производительность, задержки

51. Агрегация в online
• Окно – 1000 хитов
• Всего: ~80 млн.
• Выборка –
по индексу
• Чтение – PK
• No ad-hoc
• Очистка –
эвристика
с SQS

52. Автоскейлинг DynamoDB
• Пишем сами

53. Затраты на DynamoDB
• Запись в мес: ~ $400 (максимум)
• Место: $0.283/GB * 27 = ~$7
• Чтения в мес: ~ $10 (максимум)
Автоскейлинг – снижение расходов в 2-4 раза.
Увеличение мощности – 1-2 минуты.

54. Упрощенная схема 

55. Скорость сайтов на «1С-Битрикс»
• 21 273 сайтов
• 84 879 доменов
• 52 млн хитов/сутки
• 43 млн уникальных посетителей
Аудитория Рунета - 68,7 млн человек
Источник: Фонд «Общественное мнение», апрель 2014

56. Затраты
• Проектирование и реализация – три недели,
~$1000
• Эксплуатация (в мес):
- Kinesis: ~ $50-100
- DynamoDB: ~ $200
- Серверы с workers и nginx/Lua: ~$200
Итого: ~$500 в мес (+ трафик $100-200)

57. Спасибо за внимание!
Вопросы?
Сергей Рыжиков
@rsv_bitrix
Александр Сербул
@AlexSerbul