Выступление на PYCON RUSSIA 2015

1. Оптимизация: на грани и за
Антон Патрушев
PyCon Russia, 19/09/2015

2. О себе
• Highload на Python и C++
– Noda Interaction Platforms (ex-CTO)
• PyCon Russia
• РКИК ООН
– Python/Java/JavaScript

3. Disclaimer
• Этот доклад содержит опасные хаки
• Не делайте так никогда
• Если сделаете – не ссылайтесь на меня
• В блоках кода не Python, а псевдокод
• Всё что здесь написано - выдумка

4. Жалобы от мам, жён и тимлидов
о том что вы вернулись с
конференции «какой-то другой»
НЕ ПРИНИМАЮТСЯ

5. Признание
• Мы так дела(ем|ли)
• Нам сначала было немножко больно
• Потом стало хорошо

6. О докладе
• Про GC
– Коротко о сборке мусора
– Когда GC это боль?
– Жизнь без GC: есть ли она?
• {Про AST, Про байткод}
– Intro
– Разоблачение

7. Сборка мусора
• Счётчик ссылок
– Часть объекта
– Увеличиваем/уменьшаем
– Если равен нулю удаляем (или gc.garbage)
– Каскадно уменьшаем счётчики
• GC
– Ищем изолированные циклы
– Cносим их целиком

8. Real-time
• Мягкий
– «лучше бы не опаздывать»
– Подходит когда «на той стороне» человек
• Жёсткий
– Опоздание == DOS
– Больше относится к взаимодействию между
компонентами систем

9. GC
• Когда запустится – не известно
– Gen(0)=>(allocates – deallocates)
– Gen(x)=>num(Gen(x-1))
• Сколько будет длиться – не известно
– Зависит от количества объектов

10. All your CPUs are belongs to GC

11. Есть ли жизнь без GC?
 Финализируйте объекты явно
 Explicit is better than implicit
 Следите за памятью
 gc.get_count()[0]
 Ловите циклы
 gc.set_debug(gc.DEBUG_SAVEALL)
 gc.collect(0)
 gc.garbage

12. Есть ли жизнь без GC?
 Сделайте бэкдор в своё приложение (!!!)
 twisted.manhole
 rfoo.utils.rconsole
 pydevd
 (теоретически) возможно подключиться GDB
 Включите в установку objgraph

13. Цикл

14. Цикл

15. Цикл: решение
• Явная финализация
– Room.close()
– Client.leave(room)

16. Поиск циклов

17. Неожиданные циклы

18. Неожиданные циклы: Closure

19. Неожиданные циклы

20. Если явно не выходит
• weakref

21. Опасный трюк с id

22. Objgraph ваш друг
• find_{ref,backref}_chain
• show_growth
• show_most_common_types

23. С такими друзьями врагов не надо

24. Повышаем градус безумия

25. Logging: mission impossible
• Вычисление аргументов
• Вызов и передача параметров
• «Паразитная» информация при
профилировании
• Касается многих языков

26. Logging: как быть?
• Переписать весь код так
• Читаемость?
• Накладные расходы?
• Большая база кода?

27. А что если…
• Каким-то образом на старте программы
взять и вырезать ненужные уровни
логирования?

28. Abstract Syntax Tree
• Машиночитаемое представление
исходного кода
• Дерево
• Source=>AST=>bytecode
• Преобразования необратимы
• AST->AST->AST->….
– visitor

30. Logging: AST-transformation
• Possibly impossible is possible
• Import hook
• Полное вырезание отключенных уровней
• Ограничения
– Все вызовы должны выглядеть одинаково
– LogLevel нельзя будет сменить без рестарта

32. Ещё разок про плюсы
• Плюсы это такой язык программирования
• Вызов логирования исчезает полностью
• Не надо править код
• Профилирование
• «Дополнительная» производительность в
«экстремальных» режимах работы

33. Let’s get deeper

34. bytecode
• Следующее преобразование
– AST=>bytecode
• Язык CPython VM
• Батарейки
– Dis
– byteplay

36. LOAD_CONST vs LOAD_GLOBAL
• Dict vs List[x]

37. Bytecode-transformation
• Общий принцип
– Ищем в co_code LOAD_GLOBAL
– Добавляем её аргумент в co_consts
– Меняем инструкцию на LOAD_CONST
• Import hook
– Глобальные оптимизации
• Decorator
– Локализация изменений

38. Bytecode: результаты
• Абослютного значения нет
• Для такого кода
• Время выполнения меньше на 12-15%

39. Bytecode/AST
• Производительность без изменения кода
• «Отключаемые» улучшения

40. Здесь должны быть ссылки
• http://compilers.pydata.org/
• https://github.com/apatrushev/bycot

41. Это всё.
Вопросы?
apatrushev@gmail.com