Доклад с конференции Стачка 2017
Нагрузочное тестирование в Lazada
* Как мы до этого дошли и зачем нам это надо
* Что мы используем готового и что пришлось разработать самим
* Как мы анализируем результаты тестов и какую статистику собираем
* Почему мы доверяем результатам тестирования
* Как мы стреляем по продакшену и ничего не боимся
* Какие ресурсы нужны для построения системы нагрузочного тестирования
* Что мы хотим сделать в будущем
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения Iosif Itkin
КГТУ - Костромской Государственный Технологический Университет
Курс Лекций:
Обеспечение Качества Программного Обеспечения
Лекция 6: Обзор методов создания тестовых сценариев
Максим Рудовский, Инновационные Трейдинговые Системы
Иосиф Иткин, Exactpro Systems
Презентация работы Попуги Е.
Выполнена на Кафедре Защиты Информации Факультета Информационных Систем и Технологий СыктГУ.
Подробнее: http://www.kzissu.ru/paper/kursovye-raboty/31 (доступ закрытый)
Доклад с конференции Стачка 2017
Нагрузочное тестирование в Lazada
* Как мы до этого дошли и зачем нам это надо
* Что мы используем готового и что пришлось разработать самим
* Как мы анализируем результаты тестов и какую статистику собираем
* Почему мы доверяем результатам тестирования
* Как мы стреляем по продакшену и ничего не боимся
* Какие ресурсы нужны для построения системы нагрузочного тестирования
* Что мы хотим сделать в будущем
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения Iosif Itkin
КГТУ - Костромской Государственный Технологический Университет
Курс Лекций:
Обеспечение Качества Программного Обеспечения
Лекция 6: Обзор методов создания тестовых сценариев
Максим Рудовский, Инновационные Трейдинговые Системы
Иосиф Иткин, Exactpro Systems
Презентация работы Попуги Е.
Выполнена на Кафедре Защиты Информации Факультета Информационных Систем и Технологий СыктГУ.
Подробнее: http://www.kzissu.ru/paper/kursovye-raboty/31 (доступ закрытый)
Dmitriy Kouperman Working with legacy systems. stabilization, monitoring, man...Аліна Шепшелей
About half of the developers, one way or another, faced with the legacy-projects. Not everyone can (and want) work with them. But with the right approach, such projects can be carried out with pleasure and even enthusiasm. We suggest that such a legacy of understanding, what are these project management techniques, practices, and explore the developers consider useful decisions: • Examples of optimization - it's worth a try; • Monitoring applications - JavaMelody; • Monitoring applications - logs and ELK (ELasticSearch + Logstash + Kibana); • Monitoring applications - Java Mission Control and Heap Dump Memory Analyzer Tool.
«Взломать за 60 секунд», Артем Кулаков, RedmadrobotMail.ru Group
Мобильные приложения плотно вошли в нашу жизнь, и с каждым годом их популярность растет. Приложениям доступно все больше информации о нас, и стоимость этой информации тоже повышается. Как и зачем взламывают приложения? Почему защита чаще всего оказывается неэффективной? Об этом пойдет речь в докладе.
Bosun современный мониторинг / Дима Медведев (OneTwoTrip)Ontico
Доклад о Bosun (http://bosun.org) — мониторинге от StackExchange и его использовании в https://www.onetwotrip.com/ за 1,5 года.
Строить мониторинг сложно, не работает подход "посадить людей смотреть на дашборды" либо обнаруживать аномалии во всех данных. Алерты должны соответствовать реальности и проверять сложные сценарии. В Bosun, как и во многих современных продуктах, метрики (данные) ортогональны правилам (коду) обнаружения алертов. Это позволяет гораздо быстрее создавать и настраивать правила, в том числе тестируя их на данных из прошлого. Вместо итераций в дни или недели теперь минуты.
Workflow настройки мониторинга точно такой же, как у всех остальных разработчиков, причём они сами могут принимать участие без помощи админов, так же создавая оповещения, перенаправляя инциденты на себя. Таким образом принимая ответственность за то, что они выкатывают в продакшн.
В Bosun продуманная схема данных, а также мощный язык их обработки, напоминающий R/pandas. В несколько строк пишутся map/reduce выражения, проверяющие соотношения, например, входящего трафика и загрузки бэкендов. Всё это после серьёзного, но благодарного труда, работает в динамической инфраструктуре и не срабатывает без повода, а если уж срабатывает, то к каждому инциденту можно приложить какой угодно контекст с состоянием (графиком параметров) системы, вычислением условий и ссылками на дашборды.
MIT лицензия, продукт созданный в StackExchange для решения собственных задач, на мой взгляд, ориентирован на компании со средней+ инфраструктурой.
КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения Iosif Itkin
Курс Лекций: Обеспечение Качества Программного Обеспечения
Лекция 7: Высоконагруженные системы и тестирование производительности
Максим Рудовский, Инновационные Трейдинговые Системы
Иосиф Иткин, Exactpro Systems
Eduard Kelderhuis is een life coach die gespecialiseerd is in alle gebieden van het leven, waaronder relatie enhancement, executive leadership, holistic loopbaanontwikkeling en persoonlijke ontwikkeling. Zijn expertise en ervaring in het leven coaching hebben geholpen talloze mensen doorbraken in hun professionele en persoonlijke leven.
Dmitriy Kouperman Working with legacy systems. stabilization, monitoring, man...Аліна Шепшелей
About half of the developers, one way or another, faced with the legacy-projects. Not everyone can (and want) work with them. But with the right approach, such projects can be carried out with pleasure and even enthusiasm. We suggest that such a legacy of understanding, what are these project management techniques, practices, and explore the developers consider useful decisions: • Examples of optimization - it's worth a try; • Monitoring applications - JavaMelody; • Monitoring applications - logs and ELK (ELasticSearch + Logstash + Kibana); • Monitoring applications - Java Mission Control and Heap Dump Memory Analyzer Tool.
«Взломать за 60 секунд», Артем Кулаков, RedmadrobotMail.ru Group
Мобильные приложения плотно вошли в нашу жизнь, и с каждым годом их популярность растет. Приложениям доступно все больше информации о нас, и стоимость этой информации тоже повышается. Как и зачем взламывают приложения? Почему защита чаще всего оказывается неэффективной? Об этом пойдет речь в докладе.
Bosun современный мониторинг / Дима Медведев (OneTwoTrip)Ontico
Доклад о Bosun (http://bosun.org) — мониторинге от StackExchange и его использовании в https://www.onetwotrip.com/ за 1,5 года.
Строить мониторинг сложно, не работает подход "посадить людей смотреть на дашборды" либо обнаруживать аномалии во всех данных. Алерты должны соответствовать реальности и проверять сложные сценарии. В Bosun, как и во многих современных продуктах, метрики (данные) ортогональны правилам (коду) обнаружения алертов. Это позволяет гораздо быстрее создавать и настраивать правила, в том числе тестируя их на данных из прошлого. Вместо итераций в дни или недели теперь минуты.
Workflow настройки мониторинга точно такой же, как у всех остальных разработчиков, причём они сами могут принимать участие без помощи админов, так же создавая оповещения, перенаправляя инциденты на себя. Таким образом принимая ответственность за то, что они выкатывают в продакшн.
В Bosun продуманная схема данных, а также мощный язык их обработки, напоминающий R/pandas. В несколько строк пишутся map/reduce выражения, проверяющие соотношения, например, входящего трафика и загрузки бэкендов. Всё это после серьёзного, но благодарного труда, работает в динамической инфраструктуре и не срабатывает без повода, а если уж срабатывает, то к каждому инциденту можно приложить какой угодно контекст с состоянием (графиком параметров) системы, вычислением условий и ссылками на дашборды.
MIT лицензия, продукт созданный в StackExchange для решения собственных задач, на мой взгляд, ориентирован на компании со средней+ инфраструктурой.
КГТУ Лекция 7: Обеспечение Качества Программного Обеспечения Iosif Itkin
Курс Лекций: Обеспечение Качества Программного Обеспечения
Лекция 7: Высоконагруженные системы и тестирование производительности
Максим Рудовский, Инновационные Трейдинговые Системы
Иосиф Иткин, Exactpro Systems
Eduard Kelderhuis is een life coach die gespecialiseerd is in alle gebieden van het leven, waaronder relatie enhancement, executive leadership, holistic loopbaanontwikkeling en persoonlijke ontwikkeling. Zijn expertise en ervaring in het leven coaching hebben geholpen talloze mensen doorbraken in hun professionele en persoonlijke leven.
Tom Dingjan is een Enthousiaste Wildlife FotograafTom Dingjan
Tom Dingjan is een getalenteerde wildlife fotograaf met vele prijzen en erkenning over de hele wereld. Zijn interesse begon op zeer jonge leeftijd, toen zijn ouders hem altijd gestimuleerd om liefde en respect wilde dieren.
Tom Dingjan Bevordert Toerisme en Industrie van het Hotel van WellingtonTom Dingjan
Tom Dingjan is een Toerisme Afzet Gerant met meer dan 20 jaar ervaring. Gevestigd te Wellington, is hij verantwoordelijk voor het beheer en de leiding van de ontwikkeling en implementatie van de toeristische reclame en promotie-programma's over de gehele staat, op nationaal niveau om de consument te inspireren om vakantie in Minnesota.
Eduard Kelderhuis Helpt Mensen Het Bereiken Van Hun Fitness-DoelenTom Dingjan
Eduard Kelderhuis is een professionele en gecertificeerde fitness trainer met meer dan tien jaar ervaring in de fitness-industrie. In zijn carrière tijdsspanne van een decennium heeft hij getraind vele atleten, bodybuilders, sporters, beroemdheden en high profile ondernemers.
Tom Dingjan is een Enthousiaste Wildlife FotograafTom Dingjan
Tom Dingjan is een getalenteerde wildlife fotograaf met vele prijzen en erkenning over de hele wereld. Zijn interesse begon op zeer jonge leeftijd, toen zijn ouders hem altijd gestimuleerd om liefde en respect wilde dieren.
Веб-приложения уже не уступают в удобстве пользования и функциях интерфейса
Асинхронность делает веб-приложения практически неотличимыми от настольных братьев
Будущее - за Web.
Tom Dingjan is een Briljante Beeldverhaal ArtiestTom Dingjan
Tom Dingjan is een ongelooflijk getalenteerde striptekenaar dietekeningen van personages, milieu en objecten creëert voor kleineen grootschalige producties. Op dit moment, Tom Dingjan werkt voor een volwaardig animatie bedrijf waar hij stemmingen en kleurpatronen, dramatiseren acties en verf achtergrond scènes creëert.
Tom Dingjan - Een Natuurbehoud OfficierTom Dingjan
Tom Dingjan is een behoud officier werken met een natuurlijke hulpbron organisatie in Athene, Griekenland. Hij zet zich in voor het beheer van de lokale omgeving met een nadruk op het behoud en de bescherming van de gebieden van de natuurlijke schoonheid.
Monitoring driven эксплуатация / Николай Сивко (HeadHunter)Ontico
Огромная часть работы службы эксплуатации, так или иначе, связана с мониторингом существующей инфраструктуры.
Если система мониторинга настроена хорошо, она позволяет сократить время простоя, какие-то проблемы показать на ранней стадии, формализовать рабочие процессы команды админов.
То есть она является носителем знания о нашей инфраструктуре и о том, как именно работают админы.
Можно ли извлечь дополнительную пользу из этого?
В hh.ru мы используем систему мониторинга ещё и как check list для повседневных задач админов (алерты в данном случае являются задачами для человека: сделал задачу - триггер проверил результат и погас), идея взята из TDD.
Также расскажу, как мы работаем с внештатными ситуациями: реагируем на алерты, чиним, разбираем и классифицируем.
Еще на основе разобранных инцидентов мы считаем показатели работы службы эксплуатации, из этих показателей высчитываются наши премии (данный KPI получился удачным: с ним согласен и бизнес и админы).
Как обеспечить безопасность клиентских сайтовrevisium
Какие организационные меры защиты сайтов гарантируют отсутствие взлома и заражения вирусами, компрометацию доступов, раскрытие конфиденциальных данных. Как управлять доступами, как организовать работу сотрудников и подрядчиков с клиентскими сайтами внутри компании, о чем нужно помнить фрилансерам при работе с сайтами заказчиков.
Доклад является обобщением моего опыт по работе с системами мониторинга серверных приложений в Qiwi.
Цель доклада:
- Получить общее представление о подходах к мониторингу серверных приложений
- Разобраться с популярными средствами для мониторинга серверных приложений
Оглавление:
- Мотивация
- Теория
---- Определение
---- Модель системы с точки зрения мониторинга
---- Классификация систем мониторинга
---- Уровни мониторинга
---- Инструменты мониторинга
- Практика
---- Системы мониторинга и сбора логов
---- Интерфейсы мониторинга
---- Инструменты мониторинга в JVM-based приложениях
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...Mail.ru Group
Существует мнение, что от разработчиков системы автоматизированных тестов требуется высокая квалификация в области разработки программного обеспечения и солидный багаж знаний. Обычно таких людей в команде тестирования не много. Но можно начать работы по качественной автоматизации тестирования, даже не имея такого опыта. В докладе речь пойдет о:
отборе рекрутов в программу обучения автоматизации тестирования;
первичном пороге для вхождения в рекруты;
составлении учебной программы;
промежуточном контроле и испытаниях;
начале работы над реальными проектами;
подводных камнях и ошибках, которые можно допустить.
Применение этих знаний на собственном опыте позволило компании получить высокое покрытие проекта тестами и достичь результатов, когда каждый из команды разрабатывает и поддерживает автотесты, а также самостоятельно автоматизирует новые проекты.
Solit 2013, Эволюция тестирования на Selenium, Мычко Алексейsolit
Алексей Мычко, Минск, компания JazzTeam, Software Engineer (test automation)
«Эволюция тестирования на Selenium». Лекция и мастер-класс. Development секция. Для заинтересованных.
Для автоматизации web-приложений самым популярным средством является Selenium. Этот продукт дает возможность создавать как очень простые тесты, так и сложные тестовые фреймворки, позволяющие тестировать системы любой сложности.
В мастер-классе будет наглядно показано создание следующих видов тестов:
- с использование программ, генерирующих тесты по манипуляциям с браузером
- тесты в стиле процедурного программирования
- тесты в стиле объектно-ориентированного программирования
- тесты на DSL (Domain Specific Language) языке
Многие из нас слышали, что при создании тестовых систем необходимо понимать из каких слоев они должны состоять. Но начинающим специалистам очень сложно четко понять за чем эти слои нужны и какие функции они выполняют. В своем докладе я хотел бы внести ясность по данному вопросу и ответить на все все вопросы.
Поддержка высоконагруженного проекта: мониторинг, резервирование, обслуживани...Ontico
1. Мониторинг высоконагруженного проекта.
1.1. Специфика мониторинга высоконагруженного проекта: гранулярность мониторинга, надежность системы мониторинга, система оповещений.
1.2. Мониторинг и контроль распределенных систем.
1.3. Специфика организации оповещений в высоконагруженном проекте. Превентивный мониторинг.
2. Резервирование и резервное копирование в высоконагруженном проекте.
2.1. Резервирование и резервное копирование - разные вещи.
2.2. Резервирование: на уровне сервера, дата-центра, географически распределенных площадок.
2.1. Организация резервного копирования. Сохранность часто обновляемых данных.
3. Обслуживание высоконагруженного проекта.
3.1. Организация поддержки высоконагруженного проекта: опыт, специфика работы.
3.2. Организация дежурств, эскалация оповещений.
3.3. Аварии в высоконагруженных проектах: примеры из жизни.
Glib Rybalko, GlobalLogic’s Test Lead, consultant and trainer was among 26 known Ukrainian and international experts who took a word on IT Weekend Ukraine 2013. Glib discussed features of automated software testing, benefits and feasibility of using this approach on various projects. During his speech, Glib pointed all necessary steps of automated testing implementation and gave homework for those who were interested in this field and wanted to implement it in their projects.
Как не положить тысячи серверов с помощью системы централизованного управлени...Ontico
В 2012 году мы начали внедрение CFEngine в нашу инфраструктуру. Переход на централизованное управление конфигурацией в проектах такого масштаба подобен ремонту - его невозможно закончить, его можно только прекратить. И уже весной 2013 года (в день 404 ошибки и международного дня Интернета) этот "ремонт" превратился в катастрофу и был остановлен. После 3 суток недоступности портала нам пришлось изобрести схему, которая бы физически ограничивала возможность повторения катастрофы. Схема включает в себя тестирование политик на тестовых серверах различной важности и конфигурации. "Маринование" в этой тестовой среде сопровождается автоматизированным контролем характеристик нагрузки этих серверов. Далее происходит обязательный ревью и плавное распространение последовательно по всем датацентрам.
В докладе будет рассказано:
1. почему мы выбрали CFEngine, а не Chief или Puppet;
2. как мы научили CFEngine быть дружелюбным (примеры политик и выдержки из библиотеки);
3. 100500 предпринятых мер, что бы не повторить "день 404" и соблюсти баланс между безопасностью и удобством;
4. как ещё можно использовать системы управления серверами.
Similar to 5 особенностей при вводе в эксплуатацию веб приложения (20)
2. 1. Сразу подумай о бекапах
● Стратегия бекапа
● Контроль создания бекапов (кто, где,
когда).
● Контроль контроля создания бекапов
● Удаленный бекап (как вариант, Dropbox)
4. 3. План по восстановлению при
крахе системы
● Кто и что должен делать?
● Ведение журнала отказов
● Учебная тревога. Проведение проверок
● Проработка всевозможных рисков
заранее
5. 4. Тестирование
● Тестируем после подключение всех
внешних систем (смс, 1с и т.д.)
● Тестирование от бизнес-подразделений.
● Анализ юзабилити
● Анализ защищенности сайта
6. 5. Смена паролей и настройка
доступов
● Смена тестовых паролей
● Определение регламента обслуживания
веб-приложения
● Определение лиц допущенных к
служебным данным веб-приложения
● Настройка защищенности сервера