HighLoad++ 2017 Зал «Рио-де-Жанейро», 7 ноября, 17:00 Тезисы: http://www.highload.ru/2017/abstracts/2932.html Наша компания более 9 лет использует язык Lua для реализации бизнес-логики в проектах. Довольно быстро мы пришли к LuaJIT в качестве рантайм-платформы, а пару лет назад, столкнувшись с серьёзными архитектурными ограничениями этого продукта, создали собственный форк и успешно мигрировали на него. ...

1. Тонкости работы
трассирующего
JIT-компилятора
Антон Солдатов, IPONWEB
Москва, 7 ноября 2017 г.

2. IPONWEB
● Технологические решения в сфере онлайн-рекламы
● Работаем с нагрузками порядка 5M RPS
● Сложный технологический стек
● Сервер приложений
● Интерпретатор Lua для реализации бизнес-логики

3. Lua в IPONWEB
● Использовали LuaJIT (1.x, 2.0) более 9 лет
● Q2 2015: Форкнули LuaJIT (Linux, x64)
● 2015-2016: Разработка, стабилизация, первые миграции
● Q1 2017: Мигрировали более 95% серверов
● 2017: Поддержка, работа над новой функциональностью

4. Над чем работали (2015 – 2017 гг.)?
● "Проблема гигабайта"

5. Над чем работали (2015 – 2017 гг.)?
● "Проблема гигабайта"
● Новая функция хэширования строк

6. Над чем работали (2015 – 2017 гг.)?
● "Проблема гигабайта"
● Новая функция хэширования строк
● Тесты

7. Над чем работали (2015 – 2017 гг.)?
● "Проблема гигабайта"
● Новая функция хэширования строк
● Тесты
● Неизменяемые объекты

8. Над чем работали (2015 – 2017 гг.)?
● "Проблема гигабайта"
● Новая функция хэширования строк
● Тесты
● Неизменяемые объекты
● Завершение корутин по тайм-ауту

9. Над чем работали (2015 – 2017 гг.)?
● "Проблема гигабайта"
● Новая функция хэширования строк
● Тесты
● Неизменяемые объекты
● Завершение корутин по тайм-ауту
● Профилировщик, новые утилиты

10. Осень 2016 г.
● Решены самые насущные проблемы
● Первые миграции
● Задача – проанализировать работу JIT-компилятора

11. ● Несколько проектов
● Сервер с выключенным компилятором
● Сервер с включенным компилятором
Анализ производительности JIT-компилятора

13. Как работает трассирующий JIT-компилятор?

16. Какие были инструменты для анализа?
● Количественно: Graphite, скорость работы системы
● Качественно: luajit -jdump

17. Какие были инструменты для анализа?
● Количественно: Graphite, скорость работы системы
● Качественно: luajit -jdump
● luajit-web-inspector
● loom
● studio (RaptorJIT)
Что появилось за последний год?

18. ---- TRACE 1 start (command line):1
0006 ADDVV 0 0 4
0007 FORL 1 => 0006
---- TRACE 1 IR
0001 int SLOAD #2 CI
0002 > num SLOAD #1 T
0003 num CONV 0001 num.int
0004 + num ADD 0003 0002
0005 + int ADD 0001 +1
0006 > int LE 0005 +100
0007 ------ LOOP ------------
0008 num CONV 0005 num.int
0009 + num ADD 0008 0004
0010 + int ADD 0005 +1
0011 > int LE 0010 +100
0012 int PHI 0005 0010
0013 num PHI 0004 0009
luajit -jdump
---- TRACE 1 mcode 76
12a0effac mov dword [0x000424a0], 0x1
12a0effb7 cvtsd2si ebp, [rdx+0x8]
12a0effbc cmp dword [rdx+0x4], 0xfffeffff
12a0effc3 jnb 0x12a0e0010 ->0
12a0effc9 xorps xmm7, xmm7
12a0effcc cvtsi2sd xmm7, ebp
12a0effd0 addsd xmm7, [rdx]
12a0effd4 add ebp, +0x01
12a0effd7 cmp ebp, +0x64
12a0effda jg 0x12a0e0014 ->1
->LOOP:
12a0effe0 xorps xmm6, xmm6
12a0effe3 cvtsi2sd xmm6, ebp
12a0effe7 addsd xmm7, xmm6
12a0effeb add ebp, +0x01
12a0effee cmp ebp, +0x64
12a0efff1 jle 0x12a0effe0 ->LOOP
12a0efff3 jmp 0x12a0e001c ->3
---- TRACE 1 stop -> loop

19. Какова методика анализа?
● Сервер с продуктовой нагрузкой
● Включаем дампер на 10-15 минут
● Анализируем собранные данные

20. Проблема №0: Инструментарий

21. src/jit/bc.lua:
local ma, mb, mc = band(m, 7), band(m, 15*8), band(m, 15*128)
local a = band(shr(ins, 8), 0xff)
local oidx = 6*band(ins, 0xff)
local op = sub(bcnames, oidx+1, oidx+6)
local s = format("%04d %s %-6s %3s ",
pc, prefix or " ", op, ma == 0 and "" or a)
local d = shr(ins, 16)
if mc == 13*128 then -- BCMjump
return format("%s=> %04dn", s, pc+d-0x7fff)
end
Исходный код

22. ● 700 Мб данных на рабочий поток
● 3500 скомпилированных трасс
● Неудачные попытки компиляции
● Дампы регистров при выходе из трассы
Объем данных

23. Анализировать вручную невозможно

24. ● Переписали на C
Решение

25. ● Переписали на C
● Написали анализатор (совместим с LuaJIT)
https://github.com/iponweb/dumpanalyze
Решение

26. ● Переписали на C
● Написали анализатор (совместим с LuaJIT)
https://github.com/iponweb/dumpanalyze
● Сгруппированные "кусты" трасс
● Статистика по скомпилированным трассам
● Статистика по неудачным попыткам компиляции
Решение

32. Проблема №1: Большое число точек входа

33. SSP Ромашка
SSP Одуванчик
SSP N
Общая RTB-логика
Архитектура приложения

34. SSP Ромашка
SSP Одуванчик
SSP N
Общая RTB-логика
Как компилируется?

35. SSP Ромашка
SSP Одуванчик
SSP N
Общая RTB-логика
Больше двухсот модулей

36. Завершаем трассирование на выходе из общего модуля
Решение

38. Проблема №2: Ключи-литералы в таблицах

39. local x = t.foo
hash("foo") & (size - 1)
size
Доступ по ключу

40. local x = t.foo
hash("foo") & (size - 1)
size
Доступ по ключу

41. local x = t.foo
hash("foo") & (size - 1)
size
Доступ по ключу

42. local x = t.foo
hash("foo") & (size - 1)
size
Доступ по ключу

43. local x = t.foo
hash("foo") & (size2 - 1)
size2
Доступ по ключу

44. Если размер меняется – выходим из трассы

45. local data = {
{["prop1"] = "value-1", ["prop2"] = 42},
{["prop1"] = "value-2", ["prop2"] = 43},
{["prop1"] = "value-3", ["prop2"] = 44},
{["prop1"] = "value-4", ["prop2"] = 45},
{["prop1"] = "value-5", ["prop2"] = 46},
{["prop1"] = "value-6", ["prop2"] = 47},
{["prop1"] = "value-7", ["prop2"] = 48},
-- ...
}
Поток объектов похожей структуры

46. ● Смартфон
● Приложение
● Геолокация
● Баннер
● Настольный ПК
● Сайт
● Do Not Track
● Видео
● Смартфон
● Сайт
● Do Not Track
● Аудио-ролик
Поток объектов различной структуры

47. Десятки параметров

48. Отключаем "быстрое" индексирование
Решение

50. Проблема №3: Выход боковых трасс из циклов

51. for i = 1, N do
foo()
if i > 1000 then
bar()
end
end
baz()
Компилируемый цикл

52. for i = 1, N do
foo()
if i > 1000 then
bar()
end
end
baz()
Компилируемый цикл

53. for i = 1, N do
foo()
if i > 1000 then
bar()
end
end
baz()
Код вне цикла

55. Выводы
● Инструменты общего назначения могут не справляться со
спецификой бизнес-задач.
● Мы стали добавлять опции в компилятор, тестировали,
сравнивали.
● Локальные изменения улучшили производительность на
10%.
● Экосистеме LuaJIT'а нужно помочь с инструментами
аналитики.

56. Ссылки
О нашей реализации:
● http://bit.ly/iow-hl-2016
● http://bit.ly/iow-lim-2017-03
● http://bit.ly/sdcast-56
Инструменты аналитики:
● http://bit.ly/dumpanalyze
● http://bit.ly/cloudflare-loom
● http://bit.ly/luajit-web-inspector
● http://bit.ly/raptorjit-studio

57. Вопросы
asoldatov@iponweb.net
https://www.linkedin.com/in/antonsoldatov/