Downloaded 39 times
![24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Преобразование Хафа
Диапазон θ: [-90°, 90°]
Диапазон ρ: [-D√2, D√2]](https://image.slidesharecdn.com/random-150522145118-lva1-app6891/85/slide-24-320.jpg)
Uploaded byYandex
Анализ изображений и видео. Обнаружение текста на изображенияхслайды последней
Документ содержит лекцию о методах обнаружения текста на изображениях, включая преобразование хафа и анализ текстурных признаков. Рассматриваются различные задачи, такие как анализ структуры страниц, локализация текста и применение комбинированных методов. Также упоминаются алгоритмы и технологии, используемые в системах оптического распознавания текста (OCR) и автоматизации обработки изображений.
More Related Content
Similar to Анализ изображений и видео. Обнаружение текста на изображенияхслайды последней
Анализ изображений и видео. Обнаружение текста на изображенияхслайды последней
- 1. Анализ изображений ивидео Наталья Васильева nvassilieva@hp.com HP Labs Russia 23 ноября 2012, Computer Science Center Лекция 8: Обнаружение текста на изображениях
- 2. 2 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Вопросы (разбор ответов) 1. Преобразуйте цепной код 1527650432 так, чтобы он стал инвариантным по отношению к выбору начальной точки и к повороту. 2. Дано изображение шахматного поля с клетками размером nxn пикселей. Какие параметры сдвига будут порождать матрицу смежности диагонального вида? 3. К каким трансформациям изображения не инвариантен детектор Харриса? 4. Какая индексная структура требует меньшего объема памяти для организации индекса: kD-tree или Vocabulary tree? 5. Какова вероятность коллизии для двух объектов x и y при использовании b- битных хеш-кодов и t независимых хеш-таблиц, если известно что sim(x,y)=p? a) pt b) 1 – (1 – pb)t c) b(1 – pt)
- 3. 3 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Организационные объявления • 30 ноября: семинар по последнему домашнему заданию • 7 декабря: зачет по чтению статей • (мне никто не присылал запросы на скачивание статей!!!) • 14 декабря: консультация, досдача домашних заданий • 21 декабря: экзамен (начало в 18:30?)
- 4. 4 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
- 5. 5 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Зачем? • Необходимо для дальнейшего распознавания текста (OCR) • Документы (document images): • page layout analysis • Фотографии, чертежи, графики (scene images, charts, plots, diagrams): • text detection and localization • Самостоятельные приложения • Автоматическое построение коллажей • Автоматическое изменение размера изображений
- 6. 6 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Компоненты системы извлечения текста Fig. credit: J. Gllavata + Text Enhancement
- 7. 7 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Приложения • Оцифровка документов • Индексирование и извлечение информации из графиков и чертежей • Индексирование и поиск изображений, автоматическое построение аннотаций
- 8. 8 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
- 9. 9 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
- 10. 10 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Приложения • Оцифровка документов • Индексирование и извлечение информации из графиков и чертежей • Индексирование и поиск изображений, автоматическое построение аннотаций • Переводчик в кармане пример: Word Lens (http://questvisual.com/)
- 11. 11 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
- 12. 12 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Приложения • Оцифровка документов • Индексирование и извлечение информации из графиков и чертежей • Индексирование и поиск изображений, автоматическое построение аннотаций • Переводчик в кармане пример: Word Lens (http://questvisual.com/) • Помощь слабовидящим • Навигация роботов в помещениях, в городских условиях Fig. credit: N. Ezaki et al.
- 13. 13 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Обнаружение текста – газеты, журналы, книги • обнаружение текстовых областей • определение угла поворота текста (skew detection) • определение порядка чтения
- 14. 14 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Основные задачи Печатные документы • Анализ структуры страницы (layout analysis, geometric structure analysis, page segmentation, region classification) Fig. credit: Y.Y. Tang et al.
- 15. 15 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Основные задачи Печатные документы • Анализ структуры страницы (layout analysis, geometric structure analysis, page segmentation, region classification) Fig. credit: Y.Y. Tang et al. • Методы • «Сверху-вниз» (top-down) • XY-cuts, whitespace segmentation • «Сверху-вниз» (bottom-up) • группировка ближайших соседей, диаграммы Вороного
- 16. 16 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Projection profiles and XY-cuts Вертикальная проекция Горизонтальная проекция Fig. credit: Y.Y. Tang et al.
- 17. 17 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Результат алгоритма Docstrum Методы «снизу-вверх» Fig. credit: A. Namboodiri et al.
- 18. 18 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Использование диаграмм Вороного Методы «снизу-вверх» Fig. credit: A. Namboodiri et al.
- 19. 19 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Основные задачи Печатные документы • Определение поворота текста (page rotation, skew detection) • Projection profiles (для исходного изображения или компонент связности) • Использование преобразования Хафа • Определение угла наклона тектовых строк
- 20. 20 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Преобразование Хафа (Hough transform) • Каждая прямая задается уравнением • Через произвольную точку проходит бесконечное число прямых • Преобразование Хафа основано на «голосовании» точек за те линии, на которых они могут лежать • Линии с максимальным числом голосов выигрывают Основная идея
- 21. 21 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Преобразование Хафа image space Hough space • Для данного набора точек (x, y) найти все точки (a, b), такие что y = ax+b y=ax+b • Точке (xi, yi) соответсвует прямая в пространстве Хафа: b = –xia + yi
- 22. 22 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Преобразование Хафа • Разбиваем пространство параметров на «ячейки накопления» • Для каждой точки из заданного множества точек на плоскости перебираем все значения параметра a и вычисляем соответствующее значение параметра b, увеличиваем счетчик соответствующей ячейки • Выбираем ячейки с большим значением счетчика
- 23. 23 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Преобразование Хафа Обычно, используют полярные координаты:
- 24. 24 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Преобразование Хафа Диапазон θ: [-90°, 90°] Диапазон ρ: [-D√2, D√2]
- 25. 25 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Основные задачи Печатные документы • Определение поворота текста (page rotation, skew detection) • Обнаружение текстовых строк (text line finding, baseline finding) • Projection profiles (для исходного изображения или компонент связности) • Использование преобразования Хафа • Определение угла наклона тектовых строк
- 26. 26 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Обнаружение текста – произвольные изображения Исходное изображение Возможные результаты работы алгоритмов обнаружения текста
- 27. 27 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Классификация подходов Фотографии Text detection and localization Texture-based Region-based CC-based Edge-based K. Jung et al.
- 28. 28 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Методы, основанные на анализе текстуры Фотографии Построение пирамиды изображений Извлечение текстурных признаков (Gabor, Wevelets, DCT) Классификация регионов (SVM) Text NoText Объединение результатов
- 29. 29 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Методы, основанные на анализе текстуры Фотографии • Сложный фон • Вычислительно сложные (обработка нескольких масштабов, операции свертки) • Произвольная направленность текста (негоризонтальный текст) • Произвольный размер шрифта + –
- 30. 30 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Region-based methods (bottom-up) Фотографии • Выделение компонент связности на основе локальных признаков (близкий цвет или принадлежность границе) • Объединение выделенных компонент связности в группы по признакам близкого расположения и схожих локальных признаков (размер, цвет)
- 31. 31 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Region-based methods Фотографии • Произвольный размер шрифта • Произвольная направленность текста • Просты в реализации • Сложный фон • Шум и нерезкость изображения • Используют большое количество эвристик + –
- 32. 32 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Stroke Width Transform (SWT) B. Epshtein et al. Исходное изображение Результат SWT После фильтрации по признаку постоянства ширины штриха Найденный текст
- 33. 33 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Обнаружение текста при помощи SWT B. Epshtein et al.
- 34. 34 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Вычисление SWT (a) Фрагмент штриха (b) p – пиксель на границе штриха, q – пиксель на противоположной стороне штриха (градиенты в p и q направлены друг на друга) (c) Всем пикселям вдоль луча pq присваивается значение ширины штриха B. Epshtein et al.
- 35. 35 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Обнаружение текста с помощью SWT • Границы для нерезких изображений, низкого разрешения – • Погрешность SWT на стыках штрихов – • Эвристики для фильтрации компонент – • Двойной проход и интеграция результатов –
- 36. 36 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Saurav Kumar, Andrew Perrault
- 37. 37 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Комбинированные методы Y.-F. Pan et al., 2011
- 38. 38 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Шаг 1 – анализ текстуры Комбинированные методы Y.-F. Pan et al.
- 39. 39 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Шаг 2 – анализ компонент связности Комбинированные методы Y.-F. Pan et al.
- 40. 40 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Шаг 3 – выделение текстовых строк и слов Комбинированные методы Y.-F. Pan et al. • построение минимального остовного дерева • решение оптимизационной задачи
- 41. 41 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Robust Reading Competitions ICDAR (2003, 2005, 2009, 2011) • Распознавание символов • Распознавание слов • Локализация текста • Распознавание текста
- 42. 42 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Text detection with unsupervised feature learning 1. Построение словаря признаков • Кластеризация фрагментов 8x8 пикселей (аналог k-Means) • Словарь в виде матрицы D (64хd) 2. Представление произвольного фрагмента изображения 8х8 пикселей при помощи словаря: • z=max{0, |Dx|-α} 3. Представление фрагмента 32х32 пикселя: каждый пиксель как центр окрестности 8x8 пикселей, суммирование векторов для блоков изображения: финальная размерность признаков изображения = 9d 4. Классификация фрагментов
- 43. 43 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Обнаружение текста – чертежи и графики • Обнаружение текстовых областей • Определение угла поворота текстовых строк • Короткие фрагменты текста • Разнообразие шрифтов, текст под разными углами • Однородный фон • Высокая контрастность фотографии печатные документы
- 44. 44 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Графики и диаграммы Анализ компонент связности по цвету
- 45. 45 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Экспериментальная оценка LRR LPR TRR TPR Preprocess 79.0% 88.7% 44.7% 44.6% NoPreprocess 33.7% 84.2% 2.5% 2.9% LocationRecognitionRate = NLoc/NG LocationPrecisionRate = NLoc/NF TextPrecisionRate = NTxt/NF TextRecognitionRate = NTxt/NG NLoc – the number of correctly localized text blocks NTxt – the number of correctly recognized text blocks NG – the total number of text blocks NF – the total number of detected text blocks Тестовое множество: 1000 диаграмм, сгенерированных SWF/XML tool
- 46. 46 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Screenshots (+) Быстрая бинаризация − Время обработки изображения1600x008 • Tesseract OCR: ~6.56 секунд • Данный алгоритм: ~0.45 seconds (–) Требует фильтрации компонент − Naïve Bayes – Выделение границ и пороговая бинаризация – Удаление длинных горизонтальных и вертикальных границ – Выделение компонент связности – Классификация компонент связности и адаптивная бинаризация
- 47. 47 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Stroke Width Transform Script dependency
- 48. 48 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Adaptive binarization Script dependency
- 49. 49 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Stroke Width Transform Script dependency
- 50. 50 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Adaptive binarization Script dependency
- 51. 51 © Copyright2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Заключение • Зачем нужны алгоритмы обнаружения текста? – Распознавание текста: оцифровка, индексирование, извлечение информации, автоматический перевод, text to speech, навигация • Печатные документы (document images) – Анализ структуры документа, определение поворота, выделение текстовых строк • Фотографии (natural scenes) – Texture-based & region-based – Stroke Width Transform • Графики, диаграммы, обложки