Специфика тестирования проектов с открытым исходным кодом

Специфика тестирования проектов с отрытым исходным кодом Алексей Лянгузов, Sun Microsystems SPB

План • Введение • Понятия • Особенности тестирования • Минимизация усилий на тестирование • Польза открытости ПО для тестирования • Вопросы

Введение • Цели – Поделиться опытом тестирования открытого ПО – Найти особенности тестирования открытого ПО – Рассказать “Чего избегать” и “К чему стремиться” – Показать, что тестирование зависит от ... – Обсудить высказывание: “Все ошибки становятся заметны, если на них обращено достаточно много глаз” – Разоблачить мнение, что свободные программы тестируют только разработчики и сообщество. Буду помечать особенности Спасибо интернету за картинки!

Далее... • Введение • Понятия • Особенности тестирования • Минимизация усилий на тестирование • Польза открытости ПО для тестирования • Вопросы

Свободное, бесплатное, открытое

Собор vs Базар Два типа разработки описанных Эриком Реймондом в одноименном эссе. http://lib.ru/LINUXGUIDE/bazar.txt_with-big-pictures.html

Наши продукты ME Framework Project https://cqme.dev.java.net/ JavaTest Harness Project https://jtharness.dev.java.net/ Signature Test Project https://sigtest.dev.java.net/

Рассматриваемая ситуация свободная коммерческая Двойная лицензия

Рассматриваемая ситуация свободная коммерческая Двойная лицензия Нет функциональных различий (ну почти)

Рассматриваемая ситуация свободная коммерческая Двойная лицензия Нет функциональных различий (ну почти) Разработка прозрачна (принцип базара)

Исходный код 1. Инспекция исходных текстов программы 2. Проверки, не зависящие от языка программирования и используемых технологий 3. Проверки, зависящие от языка программирования и используемых технологий

Инспекция

Инспекция- Peer Review ! Добавить код Добавить код вврепозиторий репозиторий ДА НЕТ Исправить код Исправить код ОК? ОК? Отправить рецензенту Отправить рецензенту Написать код Написать код Сделать change log Сделать change log ии СС: email alias ––для всех! СС: email alias для всех!

Проверки не зависящие от языка программирования Плохие слова Непечатные символы Одинаковые Опечатки имена файлов Нежелательные слова Унификация EOL и имена компаний

Проверки не зависящие от языка программирования Плохие слова Непечатные символы Одинаковые c имена файлов /* I write super kode !!! */ Нежелательные слова Унификация EOL и имена компаний

Проверки не зависящие от языка программирования F Нажмите клавишу SHIT Непечатные символы Одинаковые c имена файлов /* I write super kode !!! */ Нежелательные слова Унификация EOL и имена компаний

Проверки не зависящие от языка программирования F Нажмите клавишу SHIT Одинаковые c имена файлов /* I write super kode !!! */ Нежелательные слова Унификация EOL и имена компаний

Проверки не зависящие от языка программирования F Нажмите клавишу SHIT Одинаковые c имена файлов /* I write super kode !!! */ Нежелательные слова и имена компаний

Проверки не зависящие от языка программирования F Нажмите клавишу SHIT c /* I write super kode !!! */ Нежелательные слова и имена компаний

Проверки не зависящие от языка программирования F Нажмите клавишу SHIT c /* I write super kode !!! */ /* Этот код закрывает уязвимость в коде компании Noname */

Проверки зависящие от языка программирования Check Style Аудит исходного кода FindBugs XML Валидация документов против DTD, XSD, RNG. Продукт, Проверка правильности Репозиторий расположения исходных файлов и их целостность

Копирайты 1. Копирайты должны быть 2. Копирайты должны быть правильными х Отсутствие копирайта в файле х Использование коммерческого копирайта вместо свободного копирайта х Использование свободного копирайта вместо коммерческого копирайта х Удаление или изменение чужого копирайта

Внутренняя информация и инструменты ● Имена хостов или IP адреса ● Имена пользователей, пароли ● Сокращения и жаргон ● Вещи имеющие трейдмарки (например лого, сплэш-скрин) ● Инструменты “для внутреннего пользования” ● Патентованые или “секретные” алгоритмы и сертификаты. rietary Conf idential Prop

Инфраструктура Новый дефект трэкер

Инфраструктура Новый дефект трэкер Новые инструменты

Инфраструктура Новый дефект трэкер Новые инструменты Осторожно, тормозит!

Инфраструктура Новый дефект трэкер Новые инструменты Осторожно, тормозит! Плохо контролируема

Культура Контрибьютеры

Культура Контрибьютеры Нет группы поддержки (support)

Культура Контрибьютеры Нет группы поддержки (support) Общение с комьюнити – форум, e-mail

Культура Контрибьютеры Нет группы поддержки (support) Общение с комьюнити – форум, e-mail У вашей фирмы есть секреты

Открытость тестирования Подготовка – Планирование – Инструменты – Результаты – Отчёты – Конфигурации - Данные Не касается модульных (unit) тестов! QA Open Source Нужно ли вам это? Готовы ли вы к этому? http://www.vocabahead.com/VocabularyVideos/Videos/TabId/59/VideoId/461/Default.aspx (unwieldy)

Построение продукта (build) Разные операционки

Построение продукта (build) Разные операционки Разные ключи запуска

Построение продукта (build) Разные операционки 3rd party soft Разные ключи запуска

Построение продукта (build) Разные операционки 3rd party soft Разные ключи запуска Уникальное оборудование

Функциональное тестирование При двойном лицензировании Дано: 1 лицензия → 1 продукт 1 продукт → количество тестов Vи (объём тестирования) Vи = [v1, v2, … vn] Надо: 2 продукта → Vдл?

Функциональное тестирование При двойном лицензировании Ответ 1: Vдл = 2 * Vи Ответ 2: Vдл = Va + Vb, где Va = [v1, v3, v5, …] , Vb = [v2, v4, v6, …] Ответ 3: Vдл = ((Va1 + Vb1) + (Va2 + Vb2))/2, где Va1 = Va для продукта 1, Va2 = Va для продукта 2 Vb1 = Vb для продукта 1, Vb2 = Vb для продукта 2

Функциональное тестирование При двойном лицензировании Мой Ответ: Vдл = Vобщ + Vx + Vy Где: Vобщ = [v1, v2, v3 … vk] # некий общий набор тестов Vx = [vk+1, vk+2 … vm] # тесты для продукта 1 Vy = [vm+1, vm+2 … vn] # тесты для продукта 2

Специфика тестирования при двойной лицензии Тестируйте разницу Общее Специфика продукта 1 Специфика продукта 2 (свободный) (коммерческий) Имена продуктов Номера версий Форма поставки (zip vs. installer) Наличие/отсутствие чего-нибудь (документация, примеры)

Специфика тестирования при двойной лицензии Сдвигайте время релизов t t T1 = T2 T1 ≠ T2 Поверьте, готовить к выпуску два очень похожих, но разных продукта одновременно реально неудобно и ведет к ошибкам

Минимизация усилий на тестирование Только свободный Двойная лицензия и дистрибутив разные возможности Закрытость Открытость тестирования тестирования Закрытость Открытость разработки разработки Закрытость Открытость исходного кода исходного и данных кода и данных проще сложнее

Польза открытости ПО для тестирования Тестирование Сообщество Находит пробелы и ошибки в Находит ошибки тестировании Использует пользовательские Предоставляет тестовые данные, конфигурации данные Предоставляет описание Помогает проводить тестов, сценарии и скрипты тестирование на своем оборудовании Приоритезирует и планирует Предоставляет знание об тестирование использовании продукта

Закон Линуса Все ошибки становятся заметны, если на них обращено достаточно много глаз Кто-то находит проблему. А кто-то еще ее понимает. И я часто замечаю, что поиск требует наибольшего навыка Линус Торвальдс Given enough eyeballs, all bugs are shallow

Вопросы

Вопросы • Сперва мои

Вопросы • Сперва мои ─ Зачем проверять исходники?

Вопросы • Сперва мои ✔ Зачем проверять исходники? ─ Какие тесты невозможны?

Вопросы • Сперва мои ✔ Зачем проверять исходники? ✔ Какие тесты невозможны? • А теперь ваши !

Спасибо! Alexey Lyanguzov Software Quality Specialist Sun Microsystems, St. Petersburg

Специфика тестирования проектов с открытым исходным кодом

by SQALab on May 17, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

2 Embeds 34

Statistics

Специфика тестирования проектов с открытым исходным кодом — Presentation Transcript

http://live-in-felix.blogspot.com	26
http://www.slideshare.net	8