1. Танки
в
Лунапарке:
нагрузочное
тестирование
в
Яндексе
Андрей
Кузьмичев
Руководитель
группы
нагрузочного
тестирования
SQA
Days
2010,
Санкт-­‐Петербург,
19-­‐20
ноября
2010
года
пятница, 19 ноября 2010 г.

2. пятница, 19 ноября 2010 г.

3. Yet another
Conference 2010
Москва, 1 октября
http://company.yandex.ru/public/yac/
пятница, 19 ноября 2010 г.

4. Почему
Лунапарк?!
пятница, 19 ноября 2010 г.

5. Visual Studio Load Test Apache JMeter
Siege Tsung
WebLOAD
httperf
ab
pylot Borland SilkPerformer
Load Impact
HP LoadRunner
http_load
Grinder
Rational Performance Tester
пятница, 19 ноября 2010 г.

6. Большие и дорогие монстры
пятница, 19 ноября 2010 г.

7. Маленькие и бесплатные монстры
пятница, 19 ноября 2010 г.

8. Самописные монстры
пятница, 19 ноября 2010 г.

9. Инструменты нагрузочного
тестирования
Сложные Простые
Мощные
Хилые
пятница, 19 ноября 2010 г.

10. Инструменты нагрузочного
тестирования
Сложные Простые
Мощные
Хилые
пятница, 19 ноября 2010 г.

11. Инструменты нагрузочного
тестирования
Сложные Простые
Мощные
Хилые
пятница, 19 ноября 2010 г.

12. Инструменты нагрузочного
тестирования
Сложные Простые
Мощные
Хилые
пятница, 19 ноября 2010 г.

13. Инструменты нагрузочного
тестирования
Сложные Простые
Мощные
Хилые
пятница, 19 ноября 2010 г.

14. пятница, 19 ноября 2010 г.

15. пятница, 19 ноября 2010 г.

16. пятница, 19 ноября 2010 г.

17. Visual Studio Load Test Apache JMeter
Siege Tsung
WebLOAD
httperf
ab
pylot Borland SilkPerformer
Load Impact
HP LoadRunner
http_load
Grinder
Rational Performance Tester
пятница, 19 ноября 2010 г.

18. Visual Studio Load Test Apache JMeter
Siege Tsung
WebLOAD
httperf
ab
pylot Borland SilkPerformer
Load Impact
HP LoadRunner
http_load
Grinder
Rational Performance Tester
пятница, 19 ноября 2010 г.

19. Лунапарк
«Yeah, well... I'm gonna go
build my own theme park,
with blackjack and hookers.
In fact, forget the park!»
Bender, Futurama
пятница, 19 ноября 2010 г.

20. Инструменты нагрузочного
тестирования
Сложные Простые
Мощные
Хилые
пятница, 19 ноября 2010 г.

21. Инструменты нагрузочного
тестирования
Сложные Простые
Мощные
Хилые
пятница, 19 ноября 2010 г.

22. План
пятница, 19 ноября 2010 г.

23. План
1. Почему свой Лунапарк?
пятница, 19 ноября 2010 г.

24. План
1. Почему свой Лунапарк?
2. Что у нас получилось
пятница, 19 ноября 2010 г.

25. План
1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
пятница, 19 ноября 2010 г.

26. План
1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
пятница, 19 ноября 2010 г.

27. План
1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
пятница, 19 ноября 2010 г.

28. План
1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
пятница, 19 ноября 2010 г.

29. План
1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.

30. План
1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.

31. 1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление
4. Что у нас получилось
5. Отступление
6. Почему Лунапарк?
7. Потому что Лунапарк!
пятница, 19 ноября 2010 г.

32. Phantom
Это сильно оптимизированный
лееееегкий web-сервер,
который научился задавать
вопросы
пятница, 19 ноября 2010 г.

33. Хранение результатов
пятница, 19 ноября 2010 г.

34. Хранение результатов
Агрегированные данные
пятница, 19 ноября 2010 г.

35. Хранение результатов
пятница, 19 ноября 2010 г.

36. Хранение результатов
Полный дамп запросов, ответов,
времени выполнения
пятница, 19 ноября 2010 г.

37. Хранение результатов
/route_jams/*/abc?
z=[`11`-`17`]
&origin=(‘jsRouter’,‘maps’)
&[rll=*]
&[output=‘geometry’]
пятница, 19 ноября 2010 г.

38. Хранение результатов
Восстановленная структура
запросов
/route_jams/*/abc?
z=[`11`-`17`]
&origin=(‘jsRouter’,‘maps’)
&[rll=*]
&[output=‘geometry’]
пятница, 19 ноября 2010 г.

39. пятница, 19 ноября 2010 г.

40. Хранение результатов
пятница, 19 ноября 2010 г.

41. Хранение результатов
А ещё статистика с
мишеней, параметры
окружения и еще
много чего :)
пятница, 19 ноября 2010 г.

42. Стафф Мониторинги
JIRA
Wiki Статистика
пятница, 19 ноября 2010 г.

43. 1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Потому что Лунапарк!
пятница, 19 ноября 2010 г.

44. Стафф Мониторинги
JIRA
Wiki Статистика
пятница, 19 ноября 2010 г.

45. Стафф Мониторинги
Wiki
JIRA
Статистика
пятница, 19 ноября 2010 г.

46. пятница, 19 ноября 2010 г.

47. 4 20 К+
ик етов
т
пятница, 19 ноября 2010 г.

48. 4 20 К+
ик етов
т
400 + про ектов
пятница, 19 ноября 2010 г.

49. over 1000
4 20 К+ человек
ик етов daily
т
400 + про ектов
пятница, 19 ноября 2010 г.

50. пятница, 19 ноября 2010 г.

51. пятница, 19 ноября 2010 г.

52. Таск в JIRA
пятница, 19 ноября 2010 г.

53. Таск в JIRA
Компонента
«Нагрузочное
тестирование»
пятница, 19 ноября 2010 г.

54. Таск в JIRA
Компонента
«Нагрузочное
тестирование»
Заполнение
кастомного поля
пятница, 19 ноября 2010 г.

55. Таск в JIRA
Компонента
«Нагрузочное
тестирование»
пятница, 19 ноября 2010 г.

56. Таск в JIRA
Компонента
«Нагрузочное
тестирование»
Фильтр «Таски с кастомным
полем, измененные за
последние 5 минут»
пятница, 19 ноября 2010 г.

57. полем, измененные за
последние 5 минут»
пятница, 19 ноября 2010 г.

58. полем, измененные за
последние 5 минут»
Лунапарк: задание в
cron каждую минуту
пятница, 19 ноября 2010 г.

59. полем, измененные за
последние 5 минут»
Лунапарк: задание в
cron каждую минуту
пятница, 19 ноября 2010 г.

60. полем, измененные за
последние 5 минут»
Лунапарк: задание в База данных
cron каждую минуту Лунапарка
пятница, 19 ноября 2010 г.

61. полем, измененные за
последние 5 минут»
Лунапарк: задание в База данных
cron каждую минуту Лунапарка
Уведомление мне
в почту
пятница, 19 ноября 2010 г.

62. полем, измененные за
последние 5 минут»
Лунапарк: задание в База данных
cron каждую минуту Лунапарка
Уведомление мне Уведомление в
в почту jabber сотруднику
пятница, 19 ноября 2010 г.

63. JIRA: dashboard танкиста
пятница, 19 ноября 2010 г.

64. JIRA: dashboard службы
пятница, 19 ноября 2010 г.

65. JIRA: информация из Лунапарка
пятница, 19 ноября 2010 г.

66. Лунапарк: все о задаче
пятница, 19 ноября 2010 г.

67. ★
пятница, 19 ноября 2010 г.

68. 1. Почему Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.

69. Активный тест
пятница, 19 ноября 2010 г.

70. Тест закончен
пятница, 19 ноября 2010 г.

71. пятница, 19 ноября 2010 г.

72. Гильзы
пятница, 19 ноября 2010 г.

73. Гильзы
Идентификатор для
группы запросов в
рамках теста
пятница, 19 ноября 2010 г.

74. Гильзы
Идентификатор для Например, всё
группы запросов в кроме морды,
рамках теста запросов к
партнерам и
пересадок
пятница, 19 ноября 2010 г.

75. CSEDays
Application 2010
Екатеринбург, 12-14 ноября
http://clck.ru/2_pR
пятница, 19 ноября 2010 г.

76. CSEDays
Application 2010
Екатеринбург, 12-14 ноября
http://clck.ru/2_pR
пятница, 19 ноября 2010 г.

77. Автоматическое выявление разладок
пятница, 19 ноября 2010 г.

78. Автоматическое выявление разладок
пятница, 19 ноября 2010 г.

79. Регрессионное сравнение
пятница, 19 ноября 2010 г.

80. 1. Реактивный инструмент
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.

81. WTF?
пятница, 19 ноября 2010 г.

82. пятница, 19 ноября 2010 г.

83. пятница, 19 ноября 2010 г.

84. Обычный день rasp.yandex.ru
пятница, 19 ноября 2010 г.

85. пятница, 19 ноября 2010 г.

86. «A lot of literature... tended to offer
mathematical models... This approach
might be mathematically interesting and
elegant, but it doesn’t help the
operations engineer when he is seeing
his site dying under the weight of a link
from the front page of Yahoo!, Digg or
CNN»
John Allspaw, manager of operations
engineering, Flickr.com
пятница, 19 ноября 2010 г.

87. пятница, 19 ноября 2010 г.

88. Разместим обычный тизер на Морде
пятница, 19 ноября 2010 г.

89. Разместим обычный тизер на Морде
Итого минимум +
несколько
сотен тысяч
хитов в сутки!
пятница, 19 ноября 2010 г.

90. Обычный день rasp.yandex.ru
пятница, 19 ноября 2010 г.

91. Тизерный день rasp.yandex.ru
пятница, 19 ноября 2010 г.

92. пятница, 19 ноября 2010 г.

93. 1.
пятница, 19 ноября 2010 г.

94. 2.
пятница, 19 ноября 2010 г.

95. 3.
пятница, 19 ноября 2010 г.

96. 4.
пятница, 19 ноября 2010 г.

97. — Админы, привет, мы
завтра планируем на
XX% увеличить трафик
на страницу ZZZ!
пятница, 19 ноября 2010 г.

98. пятница, 19 ноября 2010 г.

99. — Привет, у нас есть
YYY-бэкенд. Cколько
машинок нам надо еще
доставить чтобы через
пару месяцев он не
упал?
пятница, 19 ноября 2010 г.

100. пятница, 19 ноября 2010 г.

101. Hits rulezzz! *
* точно rulezzz для проектов с неравномерным и
неуправляемым трафиком (web, API (!) и т.п.)
пятница, 19 ноября 2010 г.

102. Performance planning
пятница, 19 ноября 2010 г.

103. Capacity planning
пятница, 19 ноября 2010 г.

104. 1. Реактивный инструмент
2. Хранить надо все
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.

105. Лунапарк
пятница, 19 ноября 2010 г.

106. Лунапарк
КШМ 1
пятница, 19 ноября 2010 г.

107. Лунапарк
/bigdisk (1,5 Tb)
КШМ 1
пятница, 19 ноября 2010 г.

108. Лунапарк
MySQL+файлы
/bigdisk (1,5 Tb)
КШМ 1
пятница, 19 ноября 2010 г.

109. Лунапарк
MySQL+файлы
/bigdisk (1,5 Tb)
КШМ 1
пятница, 19 ноября 2010 г. КШМ 2

110. Лунапарк
Танки
t34
MySQL+файлы
/bigdisk (1,5 Tb)
КШМ 1
пятница, 19 ноября 2010 г. КШМ 2

111. Лунапарк
Танки Мишени
t34 target
MySQL+файлы
/bigdisk (1,5 Tb)
КШМ 1
пятница, 19 ноября 2010 г. КШМ 2

112. Лунапарк
Танки Мишени
t34 HTTP target
MySQL+файлы
/bigdisk (1,5 Tb)
КШМ 1
пятница, 19 ноября 2010 г. КШМ 2

113. Лунапарк
Танки Мишени
t34 HTTP target
MySQL+файлы
/bigdisk (1,5 Tb)
КШМ 1
пятница, 19 ноября 2010 г. КШМ 2

114. Лунапарк
Танки Мишени
t34 HTTP target
MySQL+файлы
/bigdisk (1,5 Tb)
КШМ 1
пятница, 19 ноября 2010 г. КШМ 2

115. Лунапарк
Танки Мишени
t34 HTTP target
MySQL+файлы
GlusterFS
/bigdisk (1,5 Tb)
КШМ 1
пятница, 19 ноября 2010 г. КШМ 2

116. Лунапарк
Танки Мишени
t34 HTTP target
MySQL+файлы
GlusterFS
/bigdisk (1,5 Tb)
SSH
КШМ 1
пятница, 19 ноября 2010 г. КШМ 2

117. Лунапарк
Танки Мишени
t34 HTTP target
MySQL+файлы
GlusterFS
/bigdisk (1,5 Tb)
SSH
КШМ 1
пятница, 19 ноября 2010 г. КШМ 2

118. Лунапарк
Танки Мишени
t34 HTTP target
MySQL+файлы
GlusterFS
/bigdisk (1,5 Tb)
SSH
КШМ 1
пятница, 19 ноября 2010 г. КШМ 2

119. Лунапарк
Танки Мишени
t34 HTTP target
MySQL+файлы
GlusterFS
/bigdisk (1,5 Tb)
SSH
КШМ 1
SSH
пятница, 19 ноября 2010 г. КШМ 2

120. Лунапарк
Танки Мишени
t34 HTTP target
MySQL+файлы
GlusterFS
/bigdisk (1,5 Tb)
SSH
КШМ 1
SSH
Web
пятница, 19 ноября 2010 г. КШМ 2

121. Лунапарк
Танки Мишени
t34 HTTP target
MySQL+файлы
GlusterFS
/bigdisk (1,5 Tb)
SSH
КШМ 1
SSH
Web JIRA & co
пятница, 19 ноября 2010 г. КШМ 2

122. Лунапарк: танки
пятница, 19 ноября 2010 г.

123. Лунапарк: танки
15+ компутеров практически во всех ДЦ
пятница, 19 ноября 2010 г.

124. Лунапарк: танки
15+ компутеров практически во всех ДЦ
Xeon E5530@2.40GHz/24Gb/4xSATA WD5002ABYS
пятница, 19 ноября 2010 г.

125. Лунапарк: танки
15+ компутеров практически во всех ДЦ
Xeon E5530@2.40GHz/24Gb/4xSATA WD5002ABYS
10 Gb + cпециально настроенный сетевой стек
пятница, 19 ноября 2010 г.

126. Лунапарк: мишени
пятница, 19 ноября 2010 г.

127. Лунапарк: мишени
6 тестовых кластеров
от 3 до 15 машинок
пятница, 19 ноября 2010 г.

128. Лунапарк: мишени
6 тестовых кластеров
от 3 до 15 машинок
Почти всегда в одном
свитче с танками
пятница, 19 ноября 2010 г.

129. Лунапарк: мишени
6 тестовых кластеров
от 3 до 15 машинок
Почти всегда в одном
свитче с танками
Машинки разные, но
идентичны production
пятница, 19 ноября 2010 г.

130. OpenVZ
на кластере из 15 физических машин
пятница, 19 ноября 2010 г.

131. 1. Реактивный инструмент
2. Хранить надо все
3. Дружим со всем вокруг
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.

132. Лунапарк
пятница, 19 ноября 2010 г.

133. Лунапарк
★ Возможно лучшая стрелялка в мире
пятница, 19 ноября 2010 г.

134. Лунапарк
★ Возможно лучшая стрелялка в мире
★ Провязка с инструментами в Яндексе
пятница, 19 ноября 2010 г.

135. Лунапарк
★ Возможно лучшая стрелялка в мире
★ Провязка с инструментами в Яндексе
★ Web-доступ с единой авторизацией
пятница, 19 ноября 2010 г.

136. Лунапарк
★ Возможно лучшая стрелялка в мире
★ Провязка с инструментами в Яндексе
★ Web-доступ с единой авторизацией
★ Независимость от вендора
пятница, 19 ноября 2010 г.

137. Лунапарк
★ Возможно лучшая стрелялка в мире
★ Провязка с инструментами в Яндексе
★ Web-доступ с единой авторизацией
★ Независимость от вендора
★ Искусственный разум внутри
пятница, 19 ноября 2010 г.

138. Лунапарк
★ Возможно лучшая стрелялка в мире
★ Провязка с инструментами в Яндексе
★ Web-доступ с единой авторизацией
★ Независимость от вендора
★ Искусственный разум внутри
★ Симпатишный вид :)
пятница, 19 ноября 2010 г.

139. Ысорпов?
пятница, 19 ноября 2010 г.

140. Андрей
Кузьмичев
Руководитель
группы
нагрузочного
тестирования
baabaka@yandex-­‐team.ru
@baabaka
hTp://baabaka.moikrug.ru/
пятница, 19 ноября 2010 г.

141. пятница, 19 ноября 2010 г.

142. Да
пятница, 19 ноября 2010 г.

143. пятница, 19 ноября 2010 г.

144. Когда phantom
выложат в
opensource
пятница, 19 ноября 2010 г.

145. пятница, 19 ноября 2010 г.

146. Как только ребята
допишут поддержку
FastCGI :)
пятница, 19 ноября 2010 г.

147. Как только ребята
допишут поддержку
FastCGI :)
*starter+phantom+preproc+mysql edition
пятница, 19 ноября 2010 г.

148. Андрей
Кузьмичев
Руководитель
группы
нагрузочного
тестирования
baabaka@yandex-­‐team.ru
@baabaka
hTp://baabaka.moikrug.ru/
пятница, 19 ноября 2010 г.