SlideShare a Scribd company logo
1 of 148
Download to read offline
SQA	
  Days	
  2010,	
  Санкт-­‐Петербург,
19-­‐20	
  ноября	
  2010	
  года
Руководитель	
  группы	
  нагрузочного	
  тестирования
Андрей	
  Кузьмичев
Танки	
  в	
  Лунапарке:	
  
нагрузочное	
  тестирование	
  в	
  
Яндексе
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
Москва, 1 октября
http://company.yandex.ru/public/yac/
Yet another
Conference 2010
пятница, 19 ноября 2010 г.
Почему
Лунапарк?!
пятница, 19 ноября 2010 г.
HP LoadRunner
Apache JMeter
Borland SilkPerformer
Visual Studio LoadTest
ab
pylot
http_load
Siege
Grinder
httperf
Tsung
WebLOAD
Rational PerformanceTester
Load Impact
пятница, 19 ноября 2010 г.
Большие и дорогие монстры
пятница, 19 ноября 2010 г.
Маленькие и бесплатные монстры
пятница, 19 ноября 2010 г.
Самописные монстры
пятница, 19 ноября 2010 г.
Инструменты нагрузочного
тестирования
МощныеХилые
Сложные Простые
пятница, 19 ноября 2010 г.
Инструменты нагрузочного
тестирования
МощныеХилые
Сложные Простые
пятница, 19 ноября 2010 г.
Инструменты нагрузочного
тестирования
МощныеХилые
Сложные Простые
пятница, 19 ноября 2010 г.
Инструменты нагрузочного
тестирования
МощныеХилые
Сложные Простые
пятница, 19 ноября 2010 г.
Инструменты нагрузочного
тестирования
МощныеХилые
Сложные Простые
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
HP LoadRunner
Apache JMeter
Borland SilkPerformer
Visual Studio LoadTest
ab
pylot
http_load
Siege
Grinder
httperf
Tsung
WebLOAD
Rational PerformanceTester
Load Impact
пятница, 19 ноября 2010 г.
HP LoadRunner
Apache JMeter
Borland SilkPerformer
Visual Studio LoadTest
ab
pylot
http_load
Siege
Grinder
httperf
Tsung
WebLOAD
Rational PerformanceTester
Load Impact
пятница, 19 ноября 2010 г.
Лунапарк
«Yeah, well... I'm gonna go
build my own theme park,
with blackjack and hookers.
In fact, forget the park!»
Bender, Futurama
пятница, 19 ноября 2010 г.
Инструменты нагрузочного
тестирования
МощныеХилые
Сложные Простые
пятница, 19 ноября 2010 г.
Инструменты нагрузочного
тестирования
МощныеХилые
Сложные Простые
пятница, 19 ноября 2010 г.
План
пятница, 19 ноября 2010 г.
План1. Почему свой Лунапарк?
пятница, 19 ноября 2010 г.
План1. Почему свой Лунапарк?
2. Что у нас получилось
пятница, 19 ноября 2010 г.
План1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
пятница, 19 ноября 2010 г.
План1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
пятница, 19 ноября 2010 г.
План1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
пятница, 19 ноября 2010 г.
План1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
пятница, 19 ноября 2010 г.
План1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.
План1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.
1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление
4. Что у нас получилось
5. Отступление
6. Почему Лунапарк?
7. Потому что Лунапарк!
пятница, 19 ноября 2010 г.
Phantom
Это сильно оптимизированный
лееееегкий web-сервер,
который научился задавать
вопросы
пятница, 19 ноября 2010 г.
Хранение результатов
пятница, 19 ноября 2010 г.
Хранение результатов
Агрегированные данные
пятница, 19 ноября 2010 г.
Хранение результатов
пятница, 19 ноября 2010 г.
Хранение результатов
Полный дамп запросов, ответов,
времени выполнения
пятница, 19 ноября 2010 г.
Хранение результатов
/route_jams/*/abc?
z=[`11`-`17`]
&origin=(‘jsRouter’,‘maps’)
&[rll=*]
&[output=‘geometry’]
пятница, 19 ноября 2010 г.
Хранение результатов
Восстановленная структура
запросов
/route_jams/*/abc?
z=[`11`-`17`]
&origin=(‘jsRouter’,‘maps’)
&[rll=*]
&[output=‘geometry’]
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
Хранение результатов
пятница, 19 ноября 2010 г.
Хранение результатов
А ещё статистика с
мишеней, параметры
окружения и еще
много чего :)
пятница, 19 ноября 2010 г.
Wiki
Стафф
Статистика
Мониторинги
JIRA
пятница, 19 ноября 2010 г.
1. Почему свой Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Потому что Лунапарк!
пятница, 19 ноября 2010 г.
Wiki
Стафф
Статистика
Мониторинги
JIRA
пятница, 19 ноября 2010 г.
Wiki
Стафф
Статистика
Мониторинги
JIRA
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
420К+
тикетов
пятница, 19 ноября 2010 г.
420К+
тикетов
400+ проектов
пятница, 19 ноября 2010 г.
420К+
тикетов
400+ проектов
over 1000
человек
daily
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
Таск в JIRA
пятница, 19 ноября 2010 г.
Таск в JIRA
Компонента
«Нагрузочное
тестирование»
пятница, 19 ноября 2010 г.
Таск в JIRA
Компонента
«Нагрузочное
тестирование»
Заполнение
кастомного поля
пятница, 19 ноября 2010 г.
Таск в JIRA
Компонента
«Нагрузочное
тестирование»
пятница, 19 ноября 2010 г.
Таск в JIRA
Компонента
«Нагрузочное
тестирование»
Фильтр «Таски с кастомным
полем, измененные за
последние 5 минут»
пятница, 19 ноября 2010 г.
полем, измененные за
последние 5 минут»
пятница, 19 ноября 2010 г.
Лунапарк: задание в
cron каждую минуту
полем, измененные за
последние 5 минут»
пятница, 19 ноября 2010 г.
Лунапарк: задание в
cron каждую минуту
полем, измененные за
последние 5 минут»
пятница, 19 ноября 2010 г.
Лунапарк: задание в
cron каждую минуту
полем, измененные за
последние 5 минут»
База данных
Лунапарка
пятница, 19 ноября 2010 г.
Лунапарк: задание в
cron каждую минуту
полем, измененные за
последние 5 минут»
База данных
Лунапарка
Уведомление мне
в почту
пятница, 19 ноября 2010 г.
Лунапарк: задание в
cron каждую минуту
полем, измененные за
последние 5 минут»
База данных
Лунапарка
Уведомление мне
в почту
Уведомление в
jabber сотруднику
пятница, 19 ноября 2010 г.
JIRA: dashboard танкиста
пятница, 19 ноября 2010 г.
JIRA: dashboard службы
пятница, 19 ноября 2010 г.
JIRA: информация из Лунапарка
пятница, 19 ноября 2010 г.
Лунапарк: все о задаче
пятница, 19 ноября 2010 г.
★пятница, 19 ноября 2010 г.
1. Почему Лунапарк?
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.
Активный тест
пятница, 19 ноября 2010 г.
Тест закончен
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
Гильзы
пятница, 19 ноября 2010 г.
Гильзы
Идентификатор для
группы запросов в
рамках теста
пятница, 19 ноября 2010 г.
Гильзы
Идентификатор для
группы запросов в
рамках теста
Например, всё
кроме морды,
запросов к
партнерам и
пересадок
пятница, 19 ноября 2010 г.
Екатеринбург, 12-14 ноября
http://clck.ru/2_pR
CSEDays
Application 2010
пятница, 19 ноября 2010 г.
Екатеринбург, 12-14 ноября
http://clck.ru/2_pR
CSEDays
Application 2010
пятница, 19 ноября 2010 г.
Автоматическое выявление разладок
пятница, 19 ноября 2010 г.
Автоматическое выявление разладок
пятница, 19 ноября 2010 г.
Регрессионное сравнение
пятница, 19 ноября 2010 г.
1. Реактивный инструмент
2. Что у нас получилось
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.
WTF?
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
Обычный день rasp.yandex.ru
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
«A lot of literature... tended to offer
mathematical models... This approach
might be mathematically interesting and
elegant, but it doesn’t help the
operations engineer when he is seeing
his site dying under the weight of a link
from the front page of Yahoo!, Digg or
CNN»
John Allspaw, manager of operations
engineering, Flickr.com
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
Разместим обычный тизер на Морде
пятница, 19 ноября 2010 г.
Разместим обычный тизер на Морде
Итого минимум +
несколько
сотен тысяч
хитов в сутки!
пятница, 19 ноября 2010 г.
Обычный день rasp.yandex.ru
пятница, 19 ноября 2010 г.
Тизерный день rasp.yandex.ru
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
1.
пятница, 19 ноября 2010 г.
2.
пятница, 19 ноября 2010 г.
3.
пятница, 19 ноября 2010 г.
4.
пятница, 19 ноября 2010 г.
— Админы, привет, мы
завтра планируем на
XX% увеличить трафик
на страницу ZZZ!
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
— Привет, у нас есть
YYY-бэкенд. Cколько
машинок нам надо еще
доставить чтобы через
пару месяцев он не
упал?
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
Hits rulezzz!*
* точно rulezzz для проектов с неравномерным и
неуправляемым трафиком (web,API (!) и т.п.)
пятница, 19 ноября 2010 г.
Performance planning
пятница, 19 ноября 2010 г.
Capacity planning
пятница, 19 ноября 2010 г.
1. Реактивный инструмент
2. Хранить надо все
3. Отступление 1
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.
Лунапарк
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
/bigdisk (1,5Tb)
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
КШМ 2пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
КШМ 2пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2
HTTP
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2
HTTP
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2
HTTP
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2
GlusterFS
HTTP
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2
GlusterFS
SSH
HTTP
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2
GlusterFS
SSH
HTTP
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2
GlusterFS
SSH
HTTP
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2
GlusterFS
SSH SSH
HTTP
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2
Web
GlusterFS
SSH SSH
HTTP
пятница, 19 ноября 2010 г.
Лунапарк
КШМ 1
MySQL+файлы
/bigdisk (1,5Tb)
t34
Танки
target
Мишени
КШМ 2
JIRA & coWeb
GlusterFS
SSH SSH
HTTP
пятница, 19 ноября 2010 г.
Лунапарк: танки
пятница, 19 ноября 2010 г.
Лунапарк: танки
15+ компутеров практически во всех ДЦ
пятница, 19 ноября 2010 г.
Лунапарк: танки
15+ компутеров практически во всех ДЦ
Xeon E5530@2.40GHz/24Gb/4xSATA WD5002ABYS
пятница, 19 ноября 2010 г.
Лунапарк: танки
15+ компутеров практически во всех ДЦ
Xeon E5530@2.40GHz/24Gb/4xSATA WD5002ABYS
10 Gb + cпециально настроенный сетевой стек
пятница, 19 ноября 2010 г.
Лунапарк: мишени
пятница, 19 ноября 2010 г.
Лунапарк: мишени
6 тестовых кластеров
от 3 до 15 машинок
пятница, 19 ноября 2010 г.
Лунапарк: мишени
6 тестовых кластеров
от 3 до 15 машинок
Почти всегда в одном
свитче с танками
пятница, 19 ноября 2010 г.
Лунапарк: мишени
6 тестовых кластеров
от 3 до 15 машинок
Машинки разные, но
идентичны production
Почти всегда в одном
свитче с танками
пятница, 19 ноября 2010 г.
OpenVZ
на кластере из 15 физических машин
пятница, 19 ноября 2010 г.
1. Реактивный инструмент
2. Хранить надо все
3. Дружим со всем вокруг
4. Что у нас получилось
5. Отступление 2
6. Что у нас получилось
7. Катарсис
пятница, 19 ноября 2010 г.
Лунапарк
пятница, 19 ноября 2010 г.
Лунапарк
★ Возможно лучшая стрелялка в мире
пятница, 19 ноября 2010 г.
Лунапарк
★ Возможно лучшая стрелялка в мире
★ Провязка с инструментами в Яндексе
пятница, 19 ноября 2010 г.
Лунапарк
★ Возможно лучшая стрелялка в мире
★ Провязка с инструментами в Яндексе
★Web-доступ с единой авторизацией
пятница, 19 ноября 2010 г.
Лунапарк
★ Возможно лучшая стрелялка в мире
★ Провязка с инструментами в Яндексе
★Web-доступ с единой авторизацией
★ Независимость от вендора
пятница, 19 ноября 2010 г.
Лунапарк
★ Возможно лучшая стрелялка в мире
★ Провязка с инструментами в Яндексе
★Web-доступ с единой авторизацией
★ Независимость от вендора
★ Искусственный разум внутри
пятница, 19 ноября 2010 г.
Лунапарк
★ Возможно лучшая стрелялка в мире
★ Провязка с инструментами в Яндексе
★Web-доступ с единой авторизацией
★ Независимость от вендора
★ Искусственный разум внутри
★ Симпатишный вид :)
пятница, 19 ноября 2010 г.
Ысорпов?
пятница, 19 ноября 2010 г.
Руководитель	
  группы	
  нагрузочного	
  
тестирования
baabaka@yandex-­‐team.ru
@baabaka
hTp://baabaka.moikrug.ru/
Андрей	
  Кузьмичев
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
Да
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
Когда phantom
выложат в
opensource
пятница, 19 ноября 2010 г.
пятница, 19 ноября 2010 г.
Как только ребята
допишут поддержку
FastCGI :)
пятница, 19 ноября 2010 г.
Как только ребята
допишут поддержку
FastCGI :)
*starter+phantom+preproc+mysql edition
пятница, 19 ноября 2010 г.
Руководитель	
  группы	
  нагрузочного	
  
тестирования
baabaka@yandex-­‐team.ru
@baabaka
hTp://baabaka.moikrug.ru/
Андрей	
  Кузьмичев
пятница, 19 ноября 2010 г.

More Related Content

Viewers also liked

Orlov qa leadership
Orlov qa leadershipOrlov qa leadership
Orlov qa leadershipAlexei Lupan
 
Rstqb презентация для sqa days 8
Rstqb презентация для sqa days 8Rstqb презентация для sqa days 8
Rstqb презентация для sqa days 8Alexei Lupan
 
Sqadays2010 nalyutin
Sqadays2010 nalyutinSqadays2010 nalyutin
Sqadays2010 nalyutinAlexei Lupan
 
Evelina Tananaeva
 Evelina Tananaeva Evelina Tananaeva
Evelina TananaevaAlexei Lupan
 
New девять правил семпая, или как стать успешным наставником
New девять правил семпая, или как стать успешным наставникомNew девять правил семпая, или как стать успешным наставником
New девять правил семпая, или как стать успешным наставникомAlexei Lupan
 
[Sqa days]risk driven testing
[Sqa days]risk driven testing[Sqa days]risk driven testing
[Sqa days]risk driven testingAlexei Lupan
 
Мастер-класс на конференции SQA Days 2010 в Питере
Мастер-класс на конференции SQA Days 2010 в ПитереМастер-класс на конференции SQA Days 2010 в Питере
Мастер-класс на конференции SQA Days 2010 в ПитереSlava Pankratov
 
Ui testing how intel does this
Ui testing   how intel does thisUi testing   how intel does this
Ui testing how intel does thisAlexei Lupan
 
Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?Alexey Lyanguzov
 
очир абушинов
очир абушиновочир абушинов
очир абушиновAlexei Lupan
 
Чему хороший ПМ может научиться у хорошего врача
Чему хороший ПМ может научиться у хорошего врачаЧему хороший ПМ может научиться у хорошего врача
Чему хороший ПМ может научиться у хорошего врачаIvan Selikhovkin
 
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
(Seleniumcamp) Selenium IDE как артефакт пикника на обочинеAlexei Lupan
 
Александр Александров -- Надёжный тест-дизайн (мастер-класс)
Александр Александров -- Надёжный тест-дизайн (мастер-класс)Александр Александров -- Надёжный тест-дизайн (мастер-класс)
Александр Александров -- Надёжный тест-дизайн (мастер-класс)sqadays8
 
Мелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательностиМелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательностиAlexei Lupan
 
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...QAFest
 
Тренировка служебных тестировщиков
Тренировка служебных тестировщиковТренировка служебных тестировщиков
Тренировка служебных тестировщиковSQALab
 
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...Dakiry
 
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...GTestClub
 
андрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаандрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаAlexei Lupan
 
размышления об аутсорсинге Sqa days 2010
размышления об аутсорсинге Sqa days 2010размышления об аутсорсинге Sqa days 2010
размышления об аутсорсинге Sqa days 2010Alexei Lupan
 

Viewers also liked (20)

Orlov qa leadership
Orlov qa leadershipOrlov qa leadership
Orlov qa leadership
 
Rstqb презентация для sqa days 8
Rstqb презентация для sqa days 8Rstqb презентация для sqa days 8
Rstqb презентация для sqa days 8
 
Sqadays2010 nalyutin
Sqadays2010 nalyutinSqadays2010 nalyutin
Sqadays2010 nalyutin
 
Evelina Tananaeva
 Evelina Tananaeva Evelina Tananaeva
Evelina Tananaeva
 
New девять правил семпая, или как стать успешным наставником
New девять правил семпая, или как стать успешным наставникомNew девять правил семпая, или как стать успешным наставником
New девять правил семпая, или как стать успешным наставником
 
[Sqa days]risk driven testing
[Sqa days]risk driven testing[Sqa days]risk driven testing
[Sqa days]risk driven testing
 
Мастер-класс на конференции SQA Days 2010 в Питере
Мастер-класс на конференции SQA Days 2010 в ПитереМастер-класс на конференции SQA Days 2010 в Питере
Мастер-класс на конференции SQA Days 2010 в Питере
 
Ui testing how intel does this
Ui testing   how intel does thisUi testing   how intel does this
Ui testing how intel does this
 
Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?
 
очир абушинов
очир абушиновочир абушинов
очир абушинов
 
Чему хороший ПМ может научиться у хорошего врача
Чему хороший ПМ может научиться у хорошего врачаЧему хороший ПМ может научиться у хорошего врача
Чему хороший ПМ может научиться у хорошего врача
 
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
(Seleniumcamp) Selenium IDE как артефакт пикника на обочине
 
Александр Александров -- Надёжный тест-дизайн (мастер-класс)
Александр Александров -- Надёжный тест-дизайн (мастер-класс)Александр Александров -- Надёжный тест-дизайн (мастер-класс)
Александр Александров -- Надёжный тест-дизайн (мастер-класс)
 
Мелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательностиМелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательности
 
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
QA Fest 2014. Алексей Лупан. Не тест-кейсы красят тестировщика, а...
 
Тренировка служебных тестировщиков
Тренировка служебных тестировщиковТренировка служебных тестировщиков
Тренировка служебных тестировщиков
 
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
 
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
 
андрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаандрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчика
 
размышления об аутсорсинге Sqa days 2010
размышления об аутсорсинге Sqa days 2010размышления об аутсорсинге Sqa days 2010
размышления об аутсорсинге Sqa days 2010
 

More from Alexei Lupan

Когда требования никакие (Dump 2015)
Когда требования никакие (Dump 2015)Когда требования никакие (Dump 2015)
Когда требования никакие (Dump 2015)Alexei Lupan
 
Алексей Лупан - Да перестаньте уже автоматизировать
Алексей Лупан - Да перестаньте уже автоматизироватьАлексей Лупан - Да перестаньте уже автоматизировать
Алексей Лупан - Да перестаньте уже автоматизироватьAlexei Lupan
 
Serious+performance+testing
Serious+performance+testingSerious+performance+testing
Serious+performance+testingAlexei Lupan
 
Oleynikov sqa days 8_deck
Oleynikov sqa days 8_deckOleynikov sqa days 8_deck
Oleynikov sqa days 8_deckAlexei Lupan
 
Sqadays 8-barancev
Sqadays 8-barancevSqadays 8-barancev
Sqadays 8-barancevAlexei Lupan
 
Sqadays 2010 burmistrov_fomin_20101120(2)
Sqadays 2010 burmistrov_fomin_20101120(2)Sqadays 2010 burmistrov_fomin_20101120(2)
Sqadays 2010 burmistrov_fomin_20101120(2)Alexei Lupan
 
сергей андреев
сергей андреевсергей андреев
сергей андреевAlexei Lupan
 
павел мильков знания и умения тестировщиков
павел мильков   знания и умения тестировщиковпавел мильков   знания и умения тестировщиков
павел мильков знания и умения тестировщиковAlexei Lupan
 
ирина карачунская что ждет тестировщика итог-Fin
ирина карачунская   что ждет тестировщика итог-Finирина карачунская   что ждет тестировщика итог-Fin
ирина карачунская что ждет тестировщика итог-FinAlexei Lupan
 
павел мильков знания и умения тестировщиков
павел мильков   знания и умения тестировщиковпавел мильков   знания и умения тестировщиков
павел мильков знания и умения тестировщиковAlexei Lupan
 
евгения фирсова нерелизное тестирование
евгения фирсова   нерелизное тестированиеевгения фирсова   нерелизное тестирование
евгения фирсова нерелизное тестированиеAlexei Lupan
 
сергей андреев
сергей андреевсергей андреев
сергей андреевAlexei Lupan
 
Наталья Руколь - Sqamaps
Наталья Руколь - SqamapsНаталья Руколь - Sqamaps
Наталья Руколь - SqamapsAlexei Lupan
 
Sq adays 2010_balashenko
Sq adays 2010_balashenkoSq adays 2010_balashenko
Sq adays 2010_balashenkoAlexei Lupan
 

More from Alexei Lupan (15)

Когда требования никакие (Dump 2015)
Когда требования никакие (Dump 2015)Когда требования никакие (Dump 2015)
Когда требования никакие (Dump 2015)
 
Алексей Лупан - Да перестаньте уже автоматизировать
Алексей Лупан - Да перестаньте уже автоматизироватьАлексей Лупан - Да перестаньте уже автоматизировать
Алексей Лупан - Да перестаньте уже автоматизировать
 
Serious+performance+testing
Serious+performance+testingSerious+performance+testing
Serious+performance+testing
 
Oleynikov sqa days 8_deck
Oleynikov sqa days 8_deckOleynikov sqa days 8_deck
Oleynikov sqa days 8_deck
 
Sqa8 urazov
Sqa8 urazovSqa8 urazov
Sqa8 urazov
 
Sqadays 8-barancev
Sqadays 8-barancevSqadays 8-barancev
Sqadays 8-barancev
 
Sqadays 2010 burmistrov_fomin_20101120(2)
Sqadays 2010 burmistrov_fomin_20101120(2)Sqadays 2010 burmistrov_fomin_20101120(2)
Sqadays 2010 burmistrov_fomin_20101120(2)
 
сергей андреев
сергей андреевсергей андреев
сергей андреев
 
павел мильков знания и умения тестировщиков
павел мильков   знания и умения тестировщиковпавел мильков   знания и умения тестировщиков
павел мильков знания и умения тестировщиков
 
ирина карачунская что ждет тестировщика итог-Fin
ирина карачунская   что ждет тестировщика итог-Finирина карачунская   что ждет тестировщика итог-Fin
ирина карачунская что ждет тестировщика итог-Fin
 
павел мильков знания и умения тестировщиков
павел мильков   знания и умения тестировщиковпавел мильков   знания и умения тестировщиков
павел мильков знания и умения тестировщиков
 
евгения фирсова нерелизное тестирование
евгения фирсова   нерелизное тестированиеевгения фирсова   нерелизное тестирование
евгения фирсова нерелизное тестирование
 
сергей андреев
сергей андреевсергей андреев
сергей андреев
 
Наталья Руколь - Sqamaps
Наталья Руколь - SqamapsНаталья Руколь - Sqamaps
Наталья Руколь - Sqamaps
 
Sq adays 2010_balashenko
Sq adays 2010_balashenkoSq adays 2010_balashenko
Sq adays 2010_balashenko
 

Андрей Кузьмичев - яндекс в городе