"Анонимизация фото с помощью Vision", Хомутников Тимофей, Avito Avito Special iOS event (12.09.2017) https://avitotech.timepad.ru/event/566035/

1. Анонимизация фото
с помощью Vision
Тимофей Хомутников, Avito

2. Проблема
2

3. Проблема
3

4. Проблема
4

5. Мотивация
5
• Конфиденциальность
• Суеверие
• Комплексы
• Конфиденциальность
• Суеверие
• Комплексы

6. 6

7. 7

8. 8

9. Мотивация
9
• «Все закрашивают, и я закрашу»
• Плохая примета
• Страх перед мошенниками
• Могут узнать знакомые
• «Все закрашивают, и я закрашу»
• Плохая примета
• Страх перед мошенниками
• Могут узнать знакомые

10. Фильтры v.1
Система фильтров:
• Лица
• Номера
• Цветокоррекция
10
Система фильтров:
• Лица
• Номера
• Цветокоррекция

11. Фильтры v.1
Система фильтров:
• Лица
• Номера
• Цветокоррекция
11
• Свидетель

12. DeepBeliefSDK
12
• Большая модель
• Нет номеров
• Медленная
• Сторонний фреймворк 😱
• Большая модель
• Нет номеров
• Медленная
• Сторонний фреймворк 😱
[
"minivan",
"minibus",
"garbage truck",
"cab",
"tractor",
"harvester",
"limousine",
"ambulance",
"fire engine",
"steam locomotive",
"tow truck",
"car wheel",
"racer",
"car mirror",
"moving van",
"motor scooter",
"snowplow",
"grille"
]

13. Vision
• Не требует дополнительную модель
• Высокие скорость и точность
• Фичеринг 👀
13
• Не требует дополнительную модель
• Высокие скорость и точность
• Фичеринг 👀

14. Лица
14
let request = VNDetectFaceRectanglesRequest { [weak self] request, error in
guard let observations = request.results as? [VNFaceObservation]
...
}
let handler = VNImageRequestHandler(ciImage: ciImage, options: [:])
try handler.perform([request])

15. Лица
15
let request = VNDetectFaceRectanglesRequest { [weak self] request, error in
guard let observations = request.results as? [VNFaceObservation]
...
}
let handler = VNImageRequestHandler(ciImage: ciImage, options: [:])
try handler.perform([request])

16. Лица
16
let request = VNDetectFaceRectanglesRequest { [weak self] request, error in
guard let observations = request.results as? [VNFaceObservation]
...
}
let handler = VNImageRequestHandler(ciImage: ciImage, options: [:])
try handler.perform([request])

17. Лица
17
let request = VNDetectFaceRectanglesRequest { [weak self] request, error in
guard let observations = request.results as? [VNFaceObservation]
...
}
let handler = VNImageRequestHandler(ciImage: ciImage, options: [:])
try handler.perform([request])

18. Лица
18
let request = VNDetectFaceRectanglesRequest { [weak self] request, error in
guard let observations = request.results as? [VNFaceObservation]
...
}
let handler = VNImageRequestHandler(ciImage: ciImage, options: [:])
try handler.perform([request])

19. Номера
19

20. Алгоритм
• Предварительный поиск номера
• Нормализация номера
• Распознавание текста
20
• Предварительный поиск номера
• Нормализация номера
• Распознавание текста

21. Контурный анализ
21

22. Анализ части границ
22

23. Гистограммный анализ
23

24. Что не так?
24
• Жесткие требования к границам и качеству
• Сложные вычисления
• Сторонние зависимости 😱
• Жесткие требования к границам и качеству
• Сложные вычисления
• Сторонние зависимости 😱

25. Обученая модель
25

26. Плюсы
26
• Core ML
• Качество
• Core ML
• Качество

27. Минусы
27
• Отсутствие готовой
модели
• Увеличение веса
приложения 😱
• Отсутствие готовой
модели
• Увеличение веса
приложения 😱

28. Text detection
28
• Границы номера
• Количество символов
• Скорость
• Размер 🎉
• Границы номера
• Количество символов
• Скорость
• Размер 🎉

29. Результат
29

30. VNTextObservation
30
open var characterBoxes: [VNRectangleObservation]? { get }
open class VNRectangleObservation: VNDetectedObjectObservation {
open var topLeft: CGPoint { get }
open var topRight: CGPoint { get }
open var bottomLeft: CGPoint { get }
open var bottomRight: CGPoint { get }
}

31. Валидация номера
31
struct LicensePlateSpec {
// минимально обнаруживаемые символы в номере
let primaryNumbersMinCount = 6
// максимальное число символов в регионе
let regionNumbersMaxCount = 3
}

32. Результат
32

33. Результат
33

34. Валидация номера
34
// максимально занимаемая область на фото
let maxRatioToPhoto: CGFloat = 0.25
// минимальное соотношение сторон
let minimumAspectRatio: CGFloat = 0.1
// 0 - максимальное соотношение сторон
let maximumAspectRatio: CGFloat = 0.4

35. Результат
35

36. Валидация номера
36
struct LicensePlateSpec {
let primaryNumbersMinCount = 6
let regionNumbersMaxCount = 3
let maxRatioToPhoto: CGFloat = 0.25
let minimumAspectRatio: CGFloat = 0.1
let maximumAspectRatio: CGFloat = 0.4
}

37. Демо
37

38. 38

39. Плюсы
39
• Нет новых зависимостей
• Скорость
• Фичеринг $
• Нет новых зависимостей
• Скорость
• Фичеринг $

40. Минусы
40
• iOS 11 only
• Костыли ¯_(ツ)_/¯
• iOS 11 only
• Костыли ¯_(ツ)_/¯

41. Paparazzo
41
• Делать фото
• Забирать фото из галереи
• Поворачивать/обрезать
• Применять фильтры
• Делать фото
• Забирать фото из галереи
• Поворачивать/обрезать
• Применять фильтры

42. 42
Тимофей Хомутников, Avito