Titanic.csv – Как заметить макушку айсберга в океане багов?
•Download as PPTX, PDF•
0 likes•268 views
Иван Панков, Лаборатория Касперского
Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
Similar to Titanic.csv – Как заметить макушку айсберга в океане багов?
Similar to Titanic.csv – Как заметить макушку айсберга в океане багов? (20)
More from CEE-SEC(R)
More from CEE-SEC(R) (20)
Titanic.csv – Как заметить макушку айсберга в океане багов?
- 1. XII международная конференция CEE-SECR / РАЗРАБОТКА ПО 28 - 29 октября, Москва Панков Иван Titanic.csv – Как заметить макушку айсберга в океане багов?
- 2. Как заметить макушку айсберга в океане багов? Знать, что такое айсберг Подключать профессионалов Настраивать свои инструменты 2
- 3. Что такое Баг с разных точек зрения Что видно в метаданных Что видно в описании дефекта Что известно из отзывов пользователей Тайное знание разработчиков 3
- 4. Взгляд на Баг с точки зрения Text Mining Заголовки Описания Переписки и приложенные файлы Программный код 4
- 5. Взгляд на Баг с точки зрения Text Mining Описание бага Связанные дефекты и документы Инциденты у клиентов Программный код Отчеты о падениях, логи 5
- 6. С чего начать приёмку? В первую очередь обращают внимание на уже известные характеристики – размер, скорость, категория риска. Но что, если они обманчивы? 6
- 7. Как сопоставлять: Сопоставление с другими примерами может выявить закономерности 7
- 8. Как сопоставлять: Скоринговые модели …похоже на Индию 8 Человек ошибается! Впрочем, как и машины
- 9. Как сопоставлять: Подход исторический 9
- 10. Как сопоставлять: Подход исторический 10
- 11. Как использовать сакральное знание на практике: Структура Phase 1 Collect texts Phase 3 Profit Phase 2 Machine Learning 11
- 12. Как использовать сакральное знание на практике. Phase 1: Сбор текстов • Сам сбор текстов – заголовки, описания, национальный корпус и корпоративный • Препроцессинг – переводы, нормальная форма, цензура, разбиение на смысловые части • Векторизация – статистика, нормализация, добавление оптимизируемых параметров 12
- 13. Текстовые данные Предметные Словари Национальный корпус Как использовать сакральное знание на практике. Phase 1: Сбор текстов 13 Заголовки Описания Переписки и приложенные файлы
- 14. Как использовать сакральное знание на практике. Phase 1: Препроцессинг Препроцессинг Тексты Модальность 1 Модальность 2 Модальность ... Модальность N Нормализация текстов Стемминг Переводы Построение коллокаций Удаление стоп слов Чистые тексты 14
- 15. Как использовать сакральное знание на практике. Phase 1: Векторизация 15 Векторизация Модальность 2 Токен 1 Токен 2 Токен ... Токен N Частотный учет Нормализация Чистые тексты Модальность 1 Модальность ... Стат. меры: tf-idf Применение взвешивания Фильтрация Вектор признаков
- 16. Как использовать сакральное знание на практике. Phase 2: Machine Learning Наши тексты теперь являются просто набором цифр, значит применяем стандартный арсенал Машинного обучения. Возможные шаги: • Линейная регрессия • Классификация методом ближайших соседей • Наивный байесовский классификатор • SVM • etc. 16
- 17. Как использовать сакральное знание на практике. Phase 3: Profit • Учет при очередности выполнения заданий по приёмочному тестированию • Внедрение в системы поддержки принятия решений • Поиск скрытых угроз по запросу или событию 17
- 18. Направления развития • Учет семантики предложения • Автоматический поиск синонимии несловарных терминов • Увеличение числа модальностей • Учет времени и эволюционных процессов 18
- 19. Спасибо за внимание Контакты Email: pankov.i.d@gmail.com Facebook: www.facebook.com/ivan.pankov.7 19