Доклад Михаила Чумакова на конференции SQA Days-21 www.sqadays.com

1. Software quality assurance days
21 Международная конференция
по вопросам качества ПО
sqadays.com
Москва. 26–27 мая 2017
Михаил Чумаков
TechOps. Москва, Россия.
Тестирование нейронных сетей

2. Тестирование нейронных сетей
Докладчик
Профессионально тестирую 10 лет
Внедряю автоматизацию
Контролирую качество
Управляю командами тестировщиков
Работал в стартапах и enterprise

3. Disclaimer

4. Тестирование нейронных сетей
Содержание
- теория
- применение
- тестирование
- проблемы

7. Что за сети?

8. Тестирование нейронных сетей
Что за сети

9. Тестирование нейронных сетей
Что за сети
Алгоритмы Нейронные сети
VS.

10. Тестирование нейронных сетей
Применение нейронных сетей:
● социальные сети
● рекомендательные
сервисы - показывать
то что купит
пользователь
● работа с
изображением,
текстом, звуком.

11. Тестирование нейронных сетей
Применение нейронных сетей:
● поисковые системы
● анализ (текст, звук,
изображения и т.д.)
● классификация

12. Тестирование нейронных сетей
Применение нейронных сетей:
● биоинформатика
(расшифровка генома)
● финансовый сектор
● построение
суррогатных моделей -
предсказательное
моделирование (что
если?)

13. Тестирование нейронных сетей
Виды машинного обучения
● Нейронные сети
● Глубинное обучение

14. Тестирование нейронных сетей
Виды машинного обучения
● Обучение деревьев принятия решений
● Обучение правилам ассоциации
● Индуктивное логическое программирование
● Метод опорных векторов
● Кластерный анализ
● Байесовская сеть
● Обучение с подкреплением
● Обучение представлению (функциональное обучение)
● Обучение сходству и метрикам
● Генетический алгоритм
● Обучение на скудном словаре
● Основанное на правилах машинное обучение
● Системы обучающихся классификаторов
● Нейронные сети
● Глубинное обучение

15. Тестирование нейронных сетей
Обучение деревьев принятия решений

16. Тестирование нейронных сетей
Как работают нейронные сети?

17. Тестирование нейронных сетей
Как работают нейронные сети?

18. Тестирование нейронных сетей
Как работают нейронные сети?

19. Тестирование нейронных сетей
Как работают нейронные сети?
Переменные наблюдаемые Переменные скрытые

20. Тестирование нейронных сетей
Искусственный нейрон
Нейрон - линейный классификатор

21. Тестирование нейронных сетей
Обучение НС. Виды обучений
- Обучение с учителем
- Обучение без учителя

22. Тестирование нейронных сетей
Обучение с учителем

23. Тестирование нейронных сетей
Обучение без учителя

24. Тестирование нейронных сетей
Обучение НС. Виды обучений
● Обучение с учителем
● Обучение без учителя
● Обучение с подкреплением
● Активное обучение
● Обучение с частичным привлечением учителя
● Трансдуктивное обучение (англ. transduction
(machine learning))
● Многозадачное обучение (multi-task learning)
● Многовариантное обучение (multiple-instance
learning)

25. Тестирование нейронных сетей
Виды нейронных сетей
● Персептрон
● Свёрточная НС
● Рекуррентная НС

26. Тестирование нейронных сетей
Персептрон
Модель нейронной
сети, разработанная в
1957 г.

27. Тестирование нейронных сетей
Персептрон

28. Свёрточные нейронные сети

29. Тестирование нейронных сетей
Рекуррентные сети
“Помнят” что было на предыдущем слое.
Есть развития с более сложной логикой

30. Тестирование нейронных сетей
Виды нейронных сетей
● Персептрон
● Физическая НС
● Модулярная НС
● Сеть радиально - базисных функций
● НС с прямой связью
● Свёрточная НС
● Рекуррентная НС

31. Тестирование нейронных сетей

32. Тестирование нейронных сетей
Кто работает над продуктами с ИНС

33. Тестирование нейронных сетей
Кто работает над продуктами с ИНС

34. Тестирование нейронных сетей
Кто работает над продуктами с ИНС
● API
● Анализ текста,
изображения,
голоса
● Перевод

35. Тестирование нейронных сетей
Кто работает над продуктами с ИНС

36. Поиск с помощью рисунка
1. Работает только с
вектором
1. Поиск по мере рисования
наброска
2. Это позволяет не
переводить идею в
словоформы
3. Это позволяет искать
иконку по её очертаниям
4. Работа с вектором - очень
экономит “железо”
http://ai.icons8.com/

37. Ещё один сервис - CAPTCHA
Идея простая:
Пользователь не робот, если
смог нарисовать
предложенную иконку.
Да, мы изобретаем очередной велосипед
Да, скорее всего, это не составит труда
хакнуть
Мы надеемся хипстерам это понравится
http://captcha.icons8.com/

38. Тестирование нейронных сетей
Тестирование Нейронных сетей
FrontendFrontend Backend
AI

39. Тестирование нейронных сетей
Как мы тестировали
● Собрали данные
● Сделали выборки
● Обучали
● Тестировали на других выборках

40. Тестирование нейронных сетей
Как мы тестировали
● Собрали данные - 50000
● Сделали выборки - 4 штуки
● Обучали - 20-100 на одну картинку, 20 картинок на одну
сеть
● Тестировали на других выборках - микс из выборок

41. Тестирование нейронных сетей

42. Тестирование нейронных сетей
Проблемы машинного обучения
● Необходимость больших объёмов данных (обучающие выборки)
● Пропуски в данных (часть переменных пропущена)
● Ошибки в данных
● Прогнозирование необходимых переменных
● Экспериментальность в подборе количество нейронов в слое, самих слоёв.
● Проблема переобучения
● Большая вычислительная мощность

43. Тестирование нейронных сетей
Обучающие выборки

44. Тестирование нейронных сетей
Обучающие выборки

45. Тестирование нейронных сетей
Переобучение
Переобучение — явление, когда построенная модель хорошо объясняет примеры из
обучающей выборки, но относительно плохо работает на примерах, не участвовавших в
обучении (на примерах из тестовой выборки).

46. Тестирование нейронных сетей
Переобучение

47. Тестирование нейронных сетей
Переобучение

48. Тестирование нейронных сетей
Переобучение

49. Тестирование нейронных сетей
Применение нейронных сетей в тестировании
● Инструменты для обработки данных в
файлах
● Фреймворки для тестирования
визуальной части
● Возможно, помощь в выборе тестовых
данных
● Существуют исследования в применении
нейронных сетей в тестировании ПО

50. Тестирование нейронных сетей
Инструменты
- Matlab
- Github

51. Тестирование нейронных сетей
Что было в докладе?
1. Где применяются сети?
2.1. Машинное обучение - подходы (НС,
ГО)
2.2. Нейронные сети:
2.2.1. Обучение. Типы обучений
2.2.2. Типы нейронных сетей
2.3. Глубокое обучение
3. Применения
3.1. как я это тестировал
4. Проблемы нейронных сетей

52. Тестирование нейронных сетей
Контакты
aino@techops.ru
ainomc@gmail.com
https://ru.linkedin.com/in/mchumakov

53. Тестирование нейронных сетей
За кадром● История ML
● Обучение с подкреплением (средний вариант)
● Этическая сторона вопроса
● Квантовое машинное обучение
● Data Mining
● Нейрокомпьютеры
● Transfer learning (нейропластичность)
● Классические методы машинного обучения

54. Как мы параметризуем вектор
Определяем точки
пересечения
Сразу решается проблема
деформаций
1
Рассчитываем каждую точку
2
Сразу скалируем длину до интервала
(0,1)

55. Как мы мучали ИИ

56. Как мы учили ИИ
50.000
пользовательских
скриблов