Когда наша компания стала поставлять системы на базе ПЛК на рынке атомной энергетики, возник вопрос подтверждения соответствия процессов разработки и тестирования различным стандартам в области безопасности. Мы создали и обучили команду тестировщиков, владеющую практиками статического анализа кода, функционального и структурного тестирования (как для этапа юнит-тестов, так и интеграции), а также симуляции физических сигналов. Вот как мы решили эту непростую задачу.
QA Fest 2016. Андрей Мясников. Тест-дизайн для чайниковQAFest
В своём докладе я расскажу вам о том, кто такие тест-аналитики, тест-дизайнеры и должны ли их роль выполнять обычные тестировщики. Также сделаю обзор основных и проверенных методик тест-дизайна. Расскажу про их плюсы и минусы.
Будем учиться тестировать не 12 часов, а головой!
QA Fest 2016. Андрей Мясников. Тест-дизайн для чайниковQAFest
В своём докладе я расскажу вам о том, кто такие тест-аналитики, тест-дизайнеры и должны ли их роль выполнять обычные тестировщики. Также сделаю обзор основных и проверенных методик тест-дизайна. Расскажу про их плюсы и минусы.
Будем учиться тестировать не 12 часов, а головой!
Лекция по безопасной разработке приложений защиты информации в РФ. Читается на 4 курсе ФРТК МФТИ. Рассмотрен процесс создания криптографических и технических средств защиты информации.
QA Fes 2016. Анастасия Асеева. Роль тестирования в DevopsQAFest
В своем докладе я расскажу, как мы внедряли devops в банке, а конкретнее какую роль в этом процессе сыграло тестирование. Также расскажу с какими проблемами столкнулись, и как мы их устраняли. И да, каких результатов смогли добиться уже через полгода. А самое интересное, покажу как мы смогли добиться того, чтоб у нас pull request долетал до боя за 3 часа со всеми этапами тестирования.
Доклад будет содержать большое количество лайфхаков и обзоров инструментария, который мы использовали.
Практический доклад о том, как мы внедряли devops в банке, а конкретнее какую роль в этом процессе сыграло тестирование.
В докладе рассмотрены основные проблемы, с которыми команда столкнулась при внедрении и способы их устранения.
Продемонстрированы результаты, которых смогли достичь в течении полугода.
Доклад содержит большое количество лайфхаков и обзоров инструментария, который использовался для достижения цели.
TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...Iosif Itkin
Standards and Standartization in Program Engineering. Why Would You Care?
Nikolay Pakulin, ISP RAS, Moscow
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
Сделать безопасно и сертифицировано — ЗАО «ПМ» на DevCon 2015Maxim Avdyunin
Сертификация приложений по требованиям федеральных и отраслевых регуляторов, требованиям компаний (если они есть) — необходимое условие разработки и поставки коробочного решения. Требования потребителей и пользователей современных технологий по функционалу и удобству развиваются значительно быстрее эволюции ограничений. В результате, исследования практической защищенности, если и рассматриваются, то вне темы сертификации, что порождает двойной объем работ и сложности в управлении проектами.
Презентация, подготовленная сотрудниками компании «Перспективный Мониторинг» для конференции DevCon 2015, содержит информацию о том, какие практики безопасной разработки позволяют удовлетворить как требования сертификации, так и потребности практической безопасности. Рассматриваются тонкие моменты на стыке этих задач, вопросы, в которых можно опереться на мировой опыт, а также планы регуляторов по развитию требований сертификации.
В докладе представлен опыт ЗАО «ПМ» по внедрению безопасной разработки в проекты создания и развития линейки средств защиты информации для сетевого оборудования, мобильных платформ и рабочих станций, подлежащих сертификации по требованиям регуляторов.
КРОК предлагает решение диагностики и оптимизации производительности, базирующееся на продуктах Precise Software Solutions — ведущего разработчика ПО в данной области. Precise (бывшее подразделение Symantec, выпускавшее линейку приложений Symantec i3) обладает 18-летним опытом работы в области создания решений для оптимизации производительности всех основных пакетных приложений, заказных приложений, баз данных и устройств хранения.
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQAFest
Поговоримо про найпопулярніші помилки, яких припускаються розробники веб додатків, та як зловмисник може використати їх на свою користь. Охопимо максимальну кількість матеріалу за короткий проміжок часу.
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQAFest
Мы уже разговаривали о self-healing автоматизации, как она работает, какие есть подходы, чем они хороши, плохи и о новом инструменте, который мы разрабатываем в EPAM. Наш продукт завершает стадию POC и настало время поделиться результатами и понять, насколько self-healing автоматизация поможет вашим тестам стать стабильнее? Или наоборот, навредит?... Приходи и узнаешь!
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QAFest
Mobile apps and websites are now the predominant ways that users interact with brands. Research has shown that slow sites and apps lose customer engagement. Despite this, most mobile sites and apps have performance issues that can be easily resolved once diagnosed. In this talk, we will walk through steps to diagnose network performance bottlenecks in mobile services. We'll discuss real-world examples and how they were resolved. Attendees will leave this talk armed with the tools to test, diagnose and resolve the top network performance issues that affect mobile today.
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QAFest
Раньше мы в Badoo фокусировались в основным на ручном тестировании. Получался этакий дедлок мануальной регрессии: не было времени, чтоб писать тесты, потому что много тестировали руками, а много тестировали руками, потому что не было автотестов.
Но мы смогли наладить свою систему автоматизации и процессы, разорвали этот порочный круг и начали писать годные тесты.
В своем докладе я расскажу, как нам удалось сократить ручную регрессию с 90% до 30% рабочего времени, при этом сохранить достойный уровень качества и профессионально вырасти!
QA Fest 2019. Никита Галкин. Как зарабатывать большеQAFest
Вам знаком термин mindshift? Именно его вы испытаете от этого доклада. Он будет не о QA процессах или инструментах, он будет о деньгах и бизнесе, о рисках и коммуникациях. Все это с примерами из Украинского и мировом IT в формате живого общения с аудиторией.
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQAFest
In this talk, I will cover the pain points of the Test Automation process. We will discuss traps, mistakes and crazy decisions that lead to test automation failure and lost budgets.
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQAFest
Поговорим о мотивации простым языком, проясним, что стимулирует нас работать лучше. Поисследуем обратную сторону мотивации – выгорание. Выясним, как диагностировать выгорание и не допустить неприятных последствий.
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...QAFest
Для разработки современных программных решений необходимо обеспечить эффективную систему тестирования, которая состоит из большого количества компонентов и задает требования ко всем этапам разработки.
Владимир Никонов, руководитель департамента разработки платформы в Terrasoft, эксперт в области проектирования приложений с опытом работы более 10 лет, поделится экспертным мнением с участниками QA Fest и расскажет:
- об инструментах и процессах на каждом этапе создания и поставки функциональности: от unit-тестов до нефункционального тестирования;
- о требования к инструментам тестирования и компетенциям команды QA-инженеров, которые необходимо выдвигать на каждом этапе тестирования;
- как внедрять современные подходы в существующий проект с минимальными затратами;
- как развивать команду и процессы тестирования в целом.
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...QAFest
Доклад посвящен автоматизации тестирования WEB-приложений с SVG-графикой. В 1-ой части доклада даны короткое описание процессов разрабатываемого приложения и обоснование необходимости применения SVG-графики. Во 2-ой части сделан короткий обзор SVG-графики, показаны основные преимущества/недостатки такого типа графики, сделан обзор основных SVG-поверхностей и рассмотрен процесс их трансформации с помощью матрицы преобразования с разбором ее основных типов. В 3-ей части обозначены основные проблемы автоматизации действий с SVG-графикой, такие как drag’n’drop графических объектов (SVG на SVG), их масштабирование при помощи колесика мышки и выделение ломаный линий. В 4-ой части показаны решения обозначенных проблем с использованием JavaScript.
QA Fest 2019. Иван Крутов. Bulletproof Selenium ClusterQAFest
Browser tests are known to be the flakiest ones. This is partly because browser infrastructure is complicated to maintain. But the second reason is – mainstream browser automation tools such as Selenium server are far from being efficient.
A year ago I have shown Selenoid - a truly efficient replacement of the standard Selenium server. This year I would like to demonstrate how to organize a fault-tolerant and easily scalable Selenium cluster using virtual machines in the cloud. I will start by setting up several Selenoid nodes and configure them to send logs and recorded videos to S3-compatible storage. Then I will run multiple Ggr load balancer instances allowing to use all running Selenoid nodes and organize a single entry point to the cluster. Finally, we'll discuss how to work with VNC and video recording in such a cluster.
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...QAFest
Случалось ли вам запускать автоматизацию на проекте? Испытывать непревзойденное удовольствие от необходимости собеседовать технического специалиста, когда сам не имеешь технического опыта? Если да, то этот доклад для вас.
Мы научимся анализировать сеньорность кандитата, его технический уровень и способность к организации команд. Но самое главное - все это мы сможем достичь без серьезного технического опыта. Будет интересно, заходи на огонек!
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...QAFest
Це буде огляд підходів до побудови програми безпеки програмного забезпечення в команді розробки або кампанії загалом, доповнений висновками з мого власного досвіду виконання практичних та консультаційних проектів в сфері Application Security.
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automationQAFest
Веб-приложения и технологии стремительно развиваются. Мы уже вступили в эру Single Page Application и идем к Progressive Web Application. В большинстве современных проектов идет разделение команд на front-end и back-end, и не только команд, но идет раздельная релизная политика. Это требует более детальных подходов к тестированию front-end. В этом докладе мы рассмотрим кейсы, который есть на практике при тестировании задач front-end и инструменты автоматизации, которые могут решать задачи описанные в этих кейсах: чтение request/response browser network и соответственно мокирование response.
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...QAFest
Проектирование и производство медицинских устройств — это регулируемый бизнес. Государственные органы во всем мире призваны гарантировать безопасность и эффективность медицинских устройств. Несоответствие нормативным требованиям ставит под угрозу жизнь и здоровье человека. Как медицинское регулирование влияет на рабочий процесс компании производителя? Мы поговорим о том, какие вызовы стоят перед тестировщиком медицинского софта, а также какие возможности при этом открываются.
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...QAFest
This document discusses testability and provides advice on several topics related to keeping testability under control, including problem, product, people, proactivity, productivity, pipeline, project, process, and philosophy. For each topic, common issues are identified and recommendations are provided, with an emphasis on taking a whole team approach and focusing on customers, risks, automation, decision making, and continuous improvement.
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях ITQAFest
Твою гениальность не замечает никто кроме мамы? Идеи и проекты нравятся только твоему коту? Одногруппники уже руководители подразделений, а ты завис между middle и senior? Пришло время найти баги не только на проекте, но и в своей голове! Прокачаем коммуникативные навыки:)
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложенииQAFest
С каждым годом мобильных приложений становится все больше, но мало кто обращает внимание на безопасность этого приложения, когда оно находится в процессе разработки. Так как бизнес нацелен только на то, чтобы оторвать большую часть пользователей, которые будут использовать это приложение, они обращают внимание на конфиденциальность своих клиентов в последнюю очередь. В своем докладе я расскажу как мануал QA может проверить мобильное приложение на уязвимости и найти топовые дыры по рейтингу OWASP. В презентации будут использованы такие тулзы Santoku Linux + Genymotion.
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...QAFest
Маючи досвід роботи з іноземними замовниками і колегами, а також вивчаючи культурні особливості жителів інших країн, ми якось поставили собі за мету з'ясувати, якими українців бачать іноземці, чи потрібно їм підлаштовуватись під нашу манеру спілкування, чи є щось, що вони зовсім не можуть прийняти.
Поділимося з вами результатами цієї затії, а також поговоримо про:
- те, що потрібно знати українцям про свої софт скіли,
- то, як відрізняються софт скіли українців і жителів кількох інших країн,
- важливість софт скілів для успішних комунікацій з іноземними колегами,
- важливість софт скілів для просування по кар'єрі.
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...QAFest
Обычно в процессе нагрузочного тестирование необходимые app-side метрики(response time, throughput, ..) можно получить прямо в генераторе нагрузки. Мы шлем запрос, получаем респонс и зачастую время выполнения запроса это и есть то что нам нужно.
Но что если после того как сервер отдал вам ответ происходит еще ряд асинхронных операций, время выполнения которых нам необходимо проверить? Как замерить время выполнения этих запросов? Какая часть системы является узким местом в производительности?
В докладе рассмотрим какие челенжи появляются в такой ситуации и как их можно решить.
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22QAFest
Хотели бы вы, чтобы в Украине происходило больше QA ивентов? Чувствуете, что их не хватает?
Знаете, кто может это изменить? - Вы!
Я поделюсь подходами, которые мы использовали при организации QA хакатонов в Wix, которыми завтра вы сможете воспользоваться для создания вашего крутого ивента!
3. • Технический директор с 2011 http://www.radiy.com/
• Области экспертизы: QA, PM, R&D, BA, Business
Development, преподавание
• EU Tempus (Horizon2020) – 7 проектов с 2006
3
О себе
• Контроллер RadICS на
базе ПЛИС (FPGA) – PM
в проекте по разработке
и сертификации
4. • Компания Радий: вклад в безопасность атомных
электростанций
• Отличие индустрии встроенных систем
безопасности от ИТ
• Команда тестирования «с нуля»: история успеха
• Методы тестирования встроенных систем на
базе программируемых логических
интегральных схем (ПЛИС, FPGA – Field
Programmable Gates Array)
• Выводы 4
Содержание
QA Fest 2015 | October 31, 2015 | Kyiv, Ukraine
6. Чем мы отличаемся от ИТ
Производим оборудование -> работает на АЭС
в Украине, в Европе, в Америке
Уровень зарплат -> нет привязки к $
Наличие производства –> специфика менеджмента
Подбор и мотивация персонала -> кооперация с
университетами
Соответствие требованиям стандартов
по безопасности -> независимая оценка (лицензирование,
сертификация)
V-shape Life Cycle
QA = Verification and Validation: Docs Review, Reliability
Analysis (FMEDA), Static Code Analysis, Unit and Integration
testing (code), Fault Insertion Testing, Validation, Requirements
Tracing, Environmental Equipment Qualification
6
QA Fest 2015 | October 31, 2015 | Kyiv, Ukraine
7. IT stack used at Radiy
VHLD for CPLD/FPGA
(Altera Quartus II)
Assembler and C
for CPU
C++/C# (MS Visual Studio) for HMI
Testing (Mentor Graphic ModelSim, NI
LabView)
PCB (Altium Designer, P-CAD)
Electrical, cables, mechanical design (COMPASS)
7
QA Fest 2015 | October 31, 2015 | Kyiv, Ukraine
9. Команда тестирования
«с нуля»: история успеха
На начальном этапе – отсутствие QA для кода, тестирование
выполнялось лишь для интегрированной системы
Основная мотивация внедрения QA – соответствие требованиям
стандартов для получения сертификатов и лицензий
Нужна была мультидисциплинарная команда по направлениям:
тестирование кода VHDL, тестирование схемотехники, тестирование
интегрированных систем на базе ПЛК
Существенным моментом было обязательное оформление объемной
англоязычной тестовой документации
Один из критериев успешности тестирования: документированное 100%
тестовое покрытие по «правильным» критериям
Команда тестирования была создана с привлечением преподавателей и
студентов Полтавского НТУ (каф. компьютерной инженерии) – spin off
После внедрения QA признано подтверждение качества продуктов
9
QA Fest 2015 | October 31, 2015 | Kyiv, Ukraine
10. Static Code Analysis and
Code Review
Tools
Aldec ALINT
Mentor Graphics HDL Designer
TrigProc:
process (R, S) is-- Violation, asynchronous combination logic
begin
if R = ‘1’ then
Q <= ‘0’;
elsif S = ‘1’ then
Q <= ‘1’;
end if;
end process TrigProc;
Q$latch
Q
R
S
10
QA Fest 2015 | October 31, 2015 | Kyiv, Ukraine
10
11. Functional Testing of VHDL
Tools
Vendor Name
Aldec Active-HDL,
Riviera-PRO
Mentor
Graphics
ModelSim, Questa
Сadence Incisive Enterprise
Simulator/Verifier
Synopsys VCS и Verdi3
11
QA Fest 2015 | October 31, 2015 | Kyiv, Ukraine
12. Logic Level Simulation, Timing
Simulation
Tools
The same as for FT
12
QA Fest 2015 | October 31, 2015 | Kyiv, Ukraine
12
13. Static Timing Analysis
Независимые разработчики
Vendor Name
Microsemi SmartTime
Xilinx Vivado Static Timing
Analysis
Altera TimeQuest Timing
Analyzer
Cadence TempusTiming
Signoff Solution
Synopsys PrimeTime Suite
Tools
13
QA Fest 2015 | October 31, 2015 | Kyiv, Ukraine
13
16. Table 2/A.15 Systematic Failures in HW Design
IEC
61508
Ref.
Requirement Compliance Argument:
Reference/Comment
FS Assessor's
Evaluation
Action
Alert to
Client
2/A.15-1
7/A.9
Program sequence
monitoring (HR/medium)
▼Temporal or logical
monitoring of the program
sequence
▲Temporal and logical
monitoring of the program
sequence at very many
checking points in the
program
▲See PAD (D5.1) Figure 2-4.
This shows the separate
clock used for the logic in
the FGPA doing sequence
monitoring. Each time a
function block receives data,
it decodes the CRC+data
which includes a
"numerator". This
numerator acts like a pass
counter, and so allows every
FB execution to detect stale
data. A stale data signal can
come from a FB that did not
get executed the last time, a
failure to update data, or a
failure within the logic
updating the numerator or
in the logic checking for it. []
The FPGA runs a
sequence periodically
which consists of reading
inputs, performing logic,
writing to outputs, and
updating
communications. Each
time one of these items in
the sequence is executed,
a unique code is sent to
the watchdog. The watch
dog looks for this code in
the correct sequence and
resets if the code is not
received in the correct
sequence or is delayed
significantly. []
CLOSED
ACTION(01-
01) Radiy to
check this
claim in col.D-
--2/A.15-1.
Standards compliance testing:
Safety Case approach
17. Выводы
Наличие в компании ИТ сегмента и
производственного сегмента требуют двух
принципиально разных стилей менеджмента – это
остается одним из наших барьеров
Captain Obvious: самое главное – это человеческий
фактор
Отрасль Embedded Safety Systems заимствует у IT
Industry многие подходы к РМ; что может
позаимствовать IT Industry?
Компоненты методологии: системный анализ,
управление требованиями и трассировка
требований, поэтапное тестирование, тестовая
документация
17
QA Fest 2015 | October 31, 2015 | Kyiv, Ukraine
18. Thank you for your attention!
Research & Production Corporation Radiy
29, Geroyiv Stalingrada Street, Kirovograd 25009, Ukraine
e-mail: v.sklyar@radiy.com; vvsklyar14@gmail.com; vvsklyar@ukr.net
http://www.radiy.com
18