Докладчик: Александр Маршалов (ЦФТ) Описание: Мы узнаем, что из себя представляет дерево синтаксического разбора (AST / Abstract Syntax Tree) в языке Python и какие магические возможности можно получить с помощью модификации AST.

1. «Модифицируй это!»
или
«Больше магии Python с помощью
изменения AST»
Маршалов Александр (@amper)
mail: _@marshalov.org
1

2. Часть I
Немного теории… *
2

3. Часть I
Немного теории… *
* на самом деле много…
3

4. Полный путь программы от
исходного кода до
исполнения
4

5. Исходный
код
5

6. Исходный
код
Лексический
анализатор
(lexer)
6

7. Лексический
анализатор
(lexer)
Например, выражение
test = a + b
в результате лексического анализа превращается в
следующий набор токенов:
[‘test’, ‘=’, ‘a’, ‘+’, ‘b’]
7

8. Исходный
код
Лексический
анализатор
(lexer)
8

9. Исходный
код
Лексический
анализатор
(lexer)
Список
токенов
9

10. Исходный
код
Лексический
анализатор
(lexer)
Список
токенов
Синтаксический
анализатор
(parser)
10

11. Например, для всё того же выражения получаем:
Синтаксический
анализатор
(parser)
test = a + b
=
test
b
+
a
11

12. Исходный
код
Лексический
анализатор
(lexer)
Список
токенов
Синтаксический
анализатор
(parser)
12

13. Исходный
код
Лексический
анализатор
(lexer)
Список
токенов
Синтаксический
анализатор
(parser)
Дерево разбора
(Parse Tree /
CST)
13

14. Исходный
код
Лексический
анализатор
(lexer)
Список
токенов
Синтаксический
анализатор
(parser)
Дерево разбора
(Parse Tree /
CST)
Абстрактное
синтаксическое
дерево (AST)
14

15. Исходный
код
Лексический
анализатор
(lexer)
Список
токенов
Синтаксический
анализатор
(parser)
Дерево разбора
(Parse Tree /
CST)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
15

16. Исходный
код
Лексический
анализатор
(lexer)
Список
токенов
Синтаксический
анализатор
(parser)
Дерево разбора
(Parse Tree /
CST)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
Внутреннее
представление
(IR)
16

17. Исходный
код
Лексический
анализатор
(lexer)
Список
токенов
Синтаксический
анализатор
(parser)
Дерево разбора
(Parse Tree /
CST)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
Внутреннее
представление
(IR)
Бинарный код /
Байт-код
17

18. Исходный
код
Лексический
анализатор
(lexer)
Список
токенов
Синтаксический
анализатор
(parser)
Дерево разбора
(Parse Tree /
CST)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
Внутреннее
представление
(IR)
Бинарный код /
Байт-код
Исполнение
18

19. Исходный
код
Лексический
анализатор
(lexer)
Список
токенов
Синтаксический
анализатор
(parser)
Дерево разбора
(Parse Tree /
CST)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
Внутреннее
представление
(IR)
Бинарный код /
Байт-код
Исполнение
19

20. Как это выглядит для
Python?
20

21. Подробно описано в документе:
https://docs.python.org/devguide/compiler.html
либо в PEP 0339 - «Design of the CPython Compiler»
21

22. Исходный
код (*.py)
22

23. Исходный
код (*.py)
Дерево разбора
(Parse Tree)
23

24. Исходный
код (*.py)
Дерево разбора
(Parse Tree)
Абстрактное
синтаксическое
дерево (AST)
24

25. Исходный
код (*.py)
Дерево разбора
(Parse Tree)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
25

26. Исходный
код (*.py)
Дерево разбора
(Parse Tree)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
Байт-код
26

27. Исходный
код (*.py)
Дерево разбора
(Parse Tree)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
Байт-код
27

28. Python/compile.c
Исходный
код (*.py)
Дерево разбора
(Parse Tree)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
Байт-код
Parser/pgen.c
Python/ast.c
Python/compile.c
28

29. Python/compile.c
Python/compile.c
Parser/pgen.c
Исходный
код (*.py)
Дерево разбора
(Parse Tree)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
Байт-код
Python/ast.c
29

30. Python/compile.c
Python/compile.c
Parser/pgen.c
Исходный
код (*.py)
Дерево разбора
(Parse Tree)
Абстрактное
синтаксическое
дерево (AST)
Граф потока
управления
(CFG)
Байт-код
Python/ast.c
30

31. Дерево разбора
(Parse Tree)
Абстрактное
синтаксическое
дерево (AST)
VS
31

32. Дерево разбора
(Parse Tree)
Абстрактное
синтаксическое
дерево (AST)
VS
32

33. Дерево разбора
(Parse Tree)
Абстрактное
синтаксическое
дерево (AST)
VS
Этап формирования AST (и модуль ast) появился,
начиная с версии Python 2.5, до этого компиляция в
байт-код происходила на основе Parse Tree.
33

35. Часть II
Знакомство с AST
35

36. Структура языка Python
36

37. Структура языка Python
Описана на языке Zephyr ASDL в файле «Parser/Python.asdl».
37

38. Структура языка Python
Описана на языке Zephyr ASDL в файле «Parser/Python.asdl».
Язык ASDL (Abstract Syntax Definition Language) представляет из
себя простой формальный язык для описания синтаксической
структуры языка программирования.
38

39. Структура языка Python
Описана на языке Zephyr ASDL в файле «Parser/Python.asdl».
Язык ASDL (Abstract Syntax Definition Language) представляет из
себя простой формальный язык для описания синтаксической
структуры языка программирования.
Описание языка ASDL:
ftp://ftp.cs.princeton.edu/techreports/1997/554.pdf
39

40. Структура языка Python
Описана на языке Zephyr ASDL в файле «Parser/Python.asdl».
Язык ASDL (Abstract Syntax Definition Language) представляет из
себя простой формальный язык для описания синтаксической
структуры языка программирования.
Описание языка ASDL:
ftp://ftp.cs.princeton.edu/techreports/1997/554.pdf
Пример Python.asdl:
http://svn.python.org/projects/python/tags/r32/Parser/Python.asdl
40

41. Модуль ast
41

42. Модуль ast
- Является стандартным (встроенным) модулем Python
42

43. Модуль ast
- Является стандартным (встроенным) модулем Python
- Состоит из двух частей:
43

44. Модуль ast
- Является стандартным (встроенным) модулем Python
- Состоит из двух частей:
- Модуль на языке C (Python/Python-ast.c),
который можно импортировать с помощью:
import _ast
44

45. Модуль ast
- Является стандартным (встроенным) модулем Python
- Состоит из двух частей:
- Модуль на языке C (Python/Python-ast.c),
который можно импортировать с помощью:
import _ast
- Модуль на Python (Lib/ast.py), который можно
импортировать с помощью:
import ast
45

46. Модуль ast
Что содержит?
46

47. Модуль ast
Что содержит?
47

48. Модуль ast
- AST
48

49. Модуль ast
- AST - родительский класс для всех видов узлов в
абстрактном синтаксическом дереве.
49

50. Модуль ast
- AST - родительский класс для всех видов узлов в
абстрактном синтаксическом дереве.
- Add, And, Assert, Assign, …, For, FunctionDef, …, If,
IfExp, Import, ImportFrom, In, Index, …, While, With,
Yield, YieldFrom
50

51. Модуль ast
- AST - родительский класс для всех видов узлов в
абстрактном синтаксическом дереве.
- Add, And, Assert, Assign, …, For, FunctionDef, …, If,
IfExp, Import, ImportFrom, In, Index, …, While, With,
Yield, YieldFrom - классы, соответствующие
конкретным типам узлов в абстрактном
синтаксическом дереве.
51

52. Модуль ast
- AST - родительский класс для всех видов узлов в
абстрактном синтаксическом дереве.
- Add, And, Assert, Assign, …, For, FunctionDef, …, If,
IfExp, Import, ImportFrom, In, Index, …, While, With,
Yield, YieldFrom - классы, соответствующие
конкретным типам узлов в абстрактном
синтаксическом дереве.
- NodeVisitor
52

53. Модуль ast
- AST - родительский класс для всех видов узлов в
абстрактном синтаксическом дереве.
- Add, And, Assert, Assign, …, For, FunctionDef, …, If,
IfExp, Import, ImportFrom, In, Index, …, While, With,
Yield, YieldFrom - классы, соответствующие
конкретным типам узлов в абстрактном
синтаксическом дереве.
- NodeVisitor - класс для рекурсивного обхода
абстрактного синтаксического дерева.
53

54. Модуль ast
- AST - родительский класс для всех видов узлов в
абстрактном синтаксическом дереве.
- Add, And, Assert, Assign, …, For, FunctionDef, …, If,
IfExp, Import, ImportFrom, In, Index, …, While, With,
Yield, YieldFrom - классы, соответствующие
конкретным типам узлов в абстрактном
синтаксическом дереве.
- NodeVisitor - класс для рекурсивного обхода
абстрактного синтаксического дерева.
- NodeTransformer
54

55. Модуль ast
- AST - родительский класс для всех видов узлов в
абстрактном синтаксическом дереве.
- Add, And, Assert, Assign, …, For, FunctionDef, …, If,
IfExp, Import, ImportFrom, In, Index, …, While, With,
Yield, YieldFrom - классы, соответствующие
конкретным типам узлов в абстрактном
синтаксическом дереве.
- NodeVisitor - класс для рекурсивного обхода
абстрактного синтаксического дерева.
- NodeTransformer - класс для рекурсивного изменения
абстрактного синтаксического дерева.
55

56. Модуль ast
- AST - родительский класс для всех видов узлов в
абстрактном синтаксическом дереве.
- Add, And, Assert, Assign, …, For, FunctionDef, …, If,
IfExp, Import, ImportFrom, In, Index, …, While, With,
Yield, YieldFrom - классы, соответствующие
конкретным типам узлов в абстрактном
синтаксическом дереве.
- NodeVisitor - класс для рекурсивного обхода
абстрактного синтаксического дерева.
- NodeTransformer - класс для рекурсивного изменения
абстрактного синтаксического дерева.
56

57. Модуль ast
- а так же набор функций, среди которых нам
интересны:
57

58. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse -
58

59. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse - преобразование исходного кода в AST.
59

60. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse - преобразование исходного кода в AST.
- copy_location -
60

61. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse - преобразование исходного кода в AST.
- copy_location - копирование позиции в коде с
одного узла AST в другой.
61

62. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse - преобразование исходного кода в AST.
- copy_location - копирование позиции в коде с
одного узла AST в другой.
- fix_missing_locations -
62

63. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse - преобразование исходного кода в AST.
- copy_location - копирование позиции в коде с
одного узла AST в другой.
- fix_missing_locations - рекурсивно проставляет
позиции в коде из родительских в дочерние узлы
там, где они не проставлены.
63

64. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse - преобразование исходного кода в AST.
- copy_location - копирование позиции в коде с
одного узла AST в другой.
- fix_missing_locations - рекурсивно проставляет
позиции в коде из родительских в дочерние узлы
там, где они не проставлены.
- dump -
64

65. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse - преобразование исходного кода в AST.
- copy_location - копирование позиции в коде с
одного узла AST в другой.
- fix_missing_locations - рекурсивно проставляет
позиции в коде из родительских в дочерние узлы
там, где они не проставлены.
- dump - преобразование AST в текстовый вид
(например, для отладочного вывода).
65

66. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse - преобразование исходного кода в AST.
- copy_location - копирование позиции в коде с
одного узла AST в другой.
- fix_missing_locations - рекурсивно проставляет
позиции в коде из родительских в дочерние узлы
там, где они не проставлены.
- dump - преобразование AST в текстовый вид
(например, для отладочного вывода).
- increment_lineno -
66

67. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse - преобразование исходного кода в AST.
- copy_location - копирование позиции в коде с
одного узла AST в другой.
- fix_missing_locations - рекурсивно проставляет
позиции в коде из родительских в дочерние узлы
там, где они не проставлены.
- dump - преобразование AST в текстовый вид
(например, для отладочного вывода).
- increment_lineno - увеличение номера строки для
переданного узла (например, при вставке новых
узлов). 67

68. Модуль ast
- а так же набор функций, среди которых нам
интересны:
- parse - преобразование исходного кода в AST.
- copy_location - копирование позиции в коде с
одного узла AST в другой.
- fix_missing_locations - рекурсивно проставляет
позиции в коде из родительских в дочерние узлы
там, где они не проставлены.
- dump - преобразование AST в текстовый вид
(например, для отладочного вывода).
- increment_lineno - увеличение номера строки для
переданного узла (например, при вставке новых
узлов). 68

70. Часть III
Которая меняет «всё»
70

71. Как все «обернуть»?
71

72. Как все «обернуть»?
1. Декораторы
72

73. Как все «обернуть»?
1. Декораторы (функций или классов)
73

74. Как все «обернуть»?
1. Декораторы (функций или классов)
74

75. Как все «обернуть»?
1. Декораторы (функций или классов)
2. Импорт-хуки
75

76. Этапы трансформации
1. Получаем код и AST
76

77. Этапы трансформации
1. Получаем код и AST
77

78. Этапы трансформации
1. Получаем код и AST
78

79. Этапы трансформации
1. Получаем код и AST
79

80. Этапы трансформации
1. Получаем код и AST
<_ast.Module object at 0x10ca53e80>
Module
( body = [ FunctionDef
( name = 'my_function'
, args = arguments( args = [arg('a'), arg('b'), arg('c')] )
, body = [ Return
( value = BinOp
( left = BinOp
( left = Name('a')
, op = Add()
, right = Name('b')
)
, op = Add()
, right = Name('c')
)
)
]
)
]
)
80

81. Этапы трансформации
2. Модифицируем AST
81

82. Этапы трансформации
2. Модифицируем AST. Пример 1 - изменение узла.
82

83. Этапы трансформации
2. Модифицируем AST. Пример 1 - изменение узла.
83

84. Этапы трансформации
2. Модифицируем AST. Пример 2 - удаление узла.
84

85. Этапы трансформации
2. Модифицируем AST. Пример 2 - удаление узла.
85

86. Этапы трансформации
2. Модифицируем AST. Пример 3 - вставка узла.
86

87. Этапы трансформации
2. Модифицируем AST. Пример 3 - вставка узла.
87

88. Этапы трансформации
2. Модифицируем AST
А что делать с классом-трансформером?
88

89. Этапы трансформации
2. Модифицируем AST
89

90. Этапы трансформации
2. Модифицируем AST
90

91. Этапы трансформации
3. Компилируем AST и подменяем код
91

92. Этапы трансформации
3. Компилируем AST и подменяем код
92

93. Этапы трансформации
3. Компилируем AST и подменяем код
93

94. Этапы трансформации
Декоратор
94

95. Этапы трансформации
Декоратор
95

96. Этапы трансформации
Декоратор
96

98. Часть IV
А что мы можем
98

99. Внимание!
Не повторяйте это дома
в продакшн! *
99

100. Внимание!
Не повторяйте это дома
в продакшн! *
** Если вы не полностью понимаете, как именно это
работает
100

101. Внимание!
Не повторяйте это дома
в продакшн! *
** Если вы не полностью понимаете, как именно это
работает **
** или если понимаете и это вас пугает
101

102. Почему нужно быть
осторожным?
102

103. Почему нужно быть
осторожным?
Возможные последствия
103

104. Почему нужно быть
осторожным?
- Глюки отладки
Возможные последствия
104

105. Почему нужно быть
осторожным?
- Глюки отладки
- Возможность некорректной работы при «наложениях»
различных модификаций AST
Возможные последствия
105

106. Почему нужно быть
осторожным?
- Глюки отладки
- Возможность некорректной работы при «наложениях»
различных модификаций AST
- Странные ошибки
Возможные последствия
106

107. Почему нужно быть
осторожным?
- Глюки отладки
- Возможность некорректной работы при «наложениях»
различных модификаций AST
- Странные ошибки
- Зависимость от версии интерпретатора
Возможные последствия
107

108. Пример 1. Константы
Применяем оптимизацию Constant Propagation (распространение
констант).
108

109. Пример 1. Константы
Применяем оптимизацию Constant Propagation (распространение
констант).
То есть заменяем все обращения к «константным переменным»
на значения этих переменных.
109

110. Пример 1. Константы
Применяем оптимизацию Constant Propagation (распространение
констант).
То есть заменяем все обращения к «константным переменным»
на значения этих переменных.
Соответственно, для таких обращений не происходит поиска в
locals и globals и зачитывания значений переменной.
110

111. Пример 1. Константы
Применяем оптимизацию Constant Propagation (распространение
констант).
То есть заменяем все обращения к «константным переменным»
на значения этих переменных.
Соответственно, для таких обращений не происходит поиска в
locals и globals и зачитывания значений переменной.
Если в коде используется множество констант, то такая
оптимизация даст неплохой прирост скорости.
111

112. Пример 1. Константы
Применяем оптимизацию Constant Propagation (распространение
констант).
То есть заменяем все обращения к «константным переменным»
на значения этих переменных.
Соответственно, для таких обращений не происходит поиска в
locals и globals и зачитывания значений переменной.
Если в коде используется множество констант, то такая
оптимизация даст неплохой прирост скорости.
Источник идеи: http://blaag.haard.se/Using-the-AST-to-hack-
constants-into-Python/
112

113. 113

114. Пример 1. Константы
114

115. Пример 1. Константы
115

116. Пример 1. Константы
Продолжая идею можно выполнять так же и Constant Folding
«свертку констант», но алгоритм будет более сложным.
116

117. Пример 2. Автологгер
Смысл «трансформации» в добавлении логирования к
необходимым событиям
117

118. Пример 2. Автологгер
Смысл «трансформации» в добавлении логирования к
необходимым событиям, например:
- вызов и возврат функции / метода (с выводом параметро
и результата
118

119. Пример 2. Автологгер
Смысл «трансформации» в добавлении логирования к
необходимым событиям, например:
- вызов и возврат функции / метода (с выводом параметро
и результата
- присвоение значения переменной
119

120. Пример 2. Автологгер
Смысл «трансформации» в добавлении логирования к
необходимым событиям, например:
- вызов и возврат функции / метода (с выводом параметро
и результата
- присвоение значения переменной
- импорте модуля
120

121. Пример 2. Автологгер
Смысл «трансформации» в добавлении логирования к
необходимым событиям, например:
- вызов и возврат функции / метода (с выводом параметро
и результата
- присвоение значения переменной
- импорте модуля
- и т.д.
121

122. Пример 3. Автопрофайлер
Идея та же, что и в автологгере, но при этом выполняется
засечки «до» и «после» каждого события и замеряется
время выполнения, например, работы каждой функции.
122

123. Пример 4. Макросы
123

124. Пример 4. Макросы
Проект karnickel
124

125. Пример 4. Макросы
Проект karnickel
www.pocoo.org/projects/karnickel/
125

126. Пример 4. Макросы
Проект karnickel
126

127. Пример 4. Макросы
Проект karnickel
127

128. Пример 5. Расширение возможностей
языка
128

129. Пример 5. Расширение возможностей
языка
Для начала вспомним, в какой момент
формируется AST…
129

130. Пример 5. Расширение возможностей
языка
Для начала вспомним, в какой момент
формируется AST…
…Всякая хрень,
о которой все
уже забыли…
130

131. Пример 5. Расширение возможностей
языка
Для начала вспомним, в какой момент
формируется AST…
…Всякая хрень,
о которой все
уже забыли…
Синтаксический
анализатор
(parser)
131

132. Пример 5. Расширение возможностей
языка
Для начала вспомним, в какой момент
формируется AST…
…Всякая хрень,
о которой все
уже забыли…
Синтаксический
анализатор
(parser)
AST
132

133. Пример 5. Расширение возможностей
языка
Для начала вспомним, в какой момент
формируется AST…
…Всякая хрень,
о которой все
уже забыли…
Синтаксический
анализатор
(parser)
AST
…ещё
какая-то
хрень…
133

134. Пример 5. Расширение возможностей
языка
Для начала вспомним, в какой момент
формируется AST…
…Всякая хрень,
о которой все
уже забыли…
Синтаксический
анализатор
(parser)
AST
…ещё
какая-то
хрень…
Компиляция
в байт-код
134

135. Пример 5. Расширение возможностей
языка
Для начала вспомним, в какой момент
формируется AST…
Синтаксический
анализатор
(parser)
AST
Компиляция
в байт-код
135

136. Пример 5. Расширение возможностей
языка
Практически любая синтаксически верная
конструкция на языке Python с помощью
модификации AST может быть превращена в
компилируемый семантически верный код.
136

137. Пример 5. Расширение возможностей
языка

138. Пример 5. Расширение возможностей
языка
Проект MacroPy
138

139. Проект MacroPy
https://github.com/lihaoyi/macropy
Пример 5. Расширение возможностей
языка
139

140. Проект MacroPy
Пример 5. Расширение возможностей
языка
140

141. Проект MacroPy
Пример 5. Расширение возможностей
языка
141

142. Проект MacroPy
Пример 5. Расширение возможностей
языка
142

143. Проект MacroPy
Пример 5. Расширение возможностей
языка
143

144. Проект MacroPy
Пример 5. Расширение возможностей
языка
144

146. Проект Pony ORM
Пример 5. Расширение возможностей
языка
146

147. Проект Pony ORM
https://ponyorm.com
Пример 5. Расширение возможностей
языка
147

148. Ещё…
148
Оптимизация,
Кодогенерация,
Создание DSL,
Расширение возможностей языка,
Ленивые вычисления,
Паттерн-матчинг,
и многое другое…

149. Инструменты
149

150. Инструменты
astdump
https://bitbucket.org/techtonik/astdump
150

151. Инструменты
astviewer
https://github.com/titusjan/astviewer
151

152. Инструменты
ast_tool_box
https://github.com/ucb-sejits/ast_tool_box

153. Ссылки
Design of CPython’s Compiler:
https://docs.python.org/devguide/compiler.html
https://www.python.org/dev/peps/pep-0339/
Green Tree Snakes - the missing Python AST docs
http://greentreesnakes.readthedocs.org
http://bitbucket.org/takluyver/greentreesnakes/src
153
Импорт в Питоне
http://asvetlov.blogspot.ru/2010/05/blog-post.html
http://asvetlov.blogspot.ru/2010/05/2.html
http://asvetlov.blogspot.ru/2010/05/3.html
https://docs.python.org/3/reference/import.html
https://www.python.org/dev/peps/pep-0302/

154. Ссылки
154
Instrumenting the AST:
http://www.dalkescientific.com/writings/diary/archive/2010/02/22/
instrumenting_the_ast.html
Using the AST to hack constants into Python:
blaag.haard.se/Using-the-AST-to-hack-constants-into-Python/
The Zephyr Abstract Syntax Description Language:
ftp://ftp.cs.princeton.edu/techreports/1997/554.pdf
Abstract Syntax Trees:
https://docs.python.org/3/library/ast.html
Hacking Python AST: checking methods declaration:
https://julien.danjou.info/blog/2015/python-ast-checking-method-
declaration

155. Спасибо за внимание
Вопросы,
пожелания,
предложения,
замечания,
угрозы?
можно присылать на почту _@marshalov.org
155