2. #msdevcon
Windows & More Personal Computing
Технологии компьютерного
зрения на платформе Windows
Дмитрий Андреев
Эксперт по стратегическим технологиям, Microsoft

3. OpenCV 3.0
https://github.com/Itseez/opencv
http://docs.opencv.org/
http://sourceforge.net/projects/opencvlibrary/files/

4. OpenCV 3.0 для Windows
• Классические приложения (desktop) – x86, x64
• Приложения Windows Store – x86, x64, ARM
• Windows 8.0
• Windows 8.1
• Windows Phone 8.0
• Windows Phone 8.1
• Windows 10 Universal Apps

6. http://docs.opencv.org/2.4/modules/calib3d/doc/camera
_calibration_and_3d_reconstruction.html
Матрица камеры

7. Калибрация камеры
http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html

10. Video Input/Output
Media Foundation
Значительно упрощено взаимодействие в W10 UWP
https://msdn.microsoft.com/en-us/windows/uwp/audio-video-
camera/get-a-preview-frame
RTSP
 Транспортный протокол, поддерживающий разные контейнеры

11. Инструментарий для сборки OpenCV 3.0
1. Visual Studio 2013, 2015
2. Git
3. Cmake

12. Установка переменных окружения VisualC++

13. Compile.bat
git clone https://github.com/Itseez/opencv.git
cd opencv
mkdir wp_arm
cd wp_arm
cmake.exe -DCMAKE_INSTALL_PREFIX=".install" -
DBUILD_WITH_STATIC_CRT=OFF -G "Visual Studio 12 2013 ARM"
-DBUILD_PERF_TESTS=OFF -DBUILD_STATIC_LIB=ON -
DBUILD_TESTS:BOOL=OFF -DBUILD_SHARED_LIBS=OFF -
DCMAKE_SYSTEM_NAME:String=WindowsStore -
DCMAKE_SYSTEM_VERSION:String="8.1" -
DCMAKE_VS_EFFECTIVE_PLATFORMS:String=ARM ..
msbuild INSTALL.vcxproj /p:Configuration=Release
/p:Platform="ARM"

15. -DCMAKE_INSTALL_PREFIX=".install"

16. Создание компонента обертки
WinRT компонент в дальнейшем может быть использован в Windows Store проектах C++, JavaScript, C#

18. include

19. lib

20. Unity3d

21. Windows 10
Интернет
вещей
Мини-
планшет
Настольный
компьютер
Смартфон
Планшет
Ноутбук

23. https://github.com/msopentech
https://github.com/microsoft

25. git clone https://github.com/Microsoft/opencv.git
test-vs2015
Visual Studio 14 2015
ARM
10.0

26. Хронология
 1943 год — Маккалок и Питтс формализуют понятие нейронной сети в фундаментальной
статье о логическом исчислении идей и нервной активности.
 1949 год — Хебб предлагает первый алгоритм обучения.
 В 1969 году Минский публикует формальное доказательство ограниченности
перцептрона и показывает, что он неспособен решать некоторые задачи, связанные с
инвариантностью представлений. Интерес к нейронным сетям резко спадает.
 1974 год — Пол Дж. Вербос, и А. И. Галушкин одновременно изобретают алгоритм
обратного распространения ошибки для обучения многослойных перцептронов.
Изобретение не привлекло особого внимания.
 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и
независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа)
переоткрыт и существенно развит метод обратного распространения ошибки. Начался
взрыв интереса к обучаемым нейронным сетям.

27. Нейронные сети
Нейронные сети — лишь одна из моделей машинного
обучения.
Обладающая тем недостатком, что построенные
модели невозможно интерпретировать.

28. Нейронные сети — математический аппарат
https://basegroup.ru/community/articles/math

29. Функция активации

30. Обратное распространение ошибки
Фактически – «подгонка под результат», подбор нужных
коэффициентов w[n]
ошибка распространяется от выходного слоя к
входному

31. Универсальная теорема аппроксимации
http://neuralnetworksanddeeplearning.com/chap4.html

32. Обучение
Supervised
 Training/Validation/Test наборы данных.
 60% 20% 20%
Unsupervised
Overfitting

33. Все это очень легко запрограммировать
И оптимизировать
https://channel9.msdn.com/Events/Build/2013/2-401
https://msdn.microsoft.com/en-us/magazine/jj190808.aspx
Cuda/CuDNN
 https://developer.nvidia.com/cudnn
https://nips.cc/Conferences/2015/Schedule

34. Softmax
https://en.wikipedia.org/wiki/Softmax_function

35. Пример из CNTK
label = 0.25*sin(2*pi*0.5*x) > y

36. Бинарная классификация
Больной/Здоровый
https://archive.ics.uci.edu/ml/datasets/Statlog+(Heart)
http://archive.ics.uci.edu/ml/datasets.html

37. Нормализация
Операция перевода данных в диапазон (-1 ; +1 )
3) Тип боли в груди - 4 значения, -1; -0,33; 0,33; +1

38. «Проклятие размерности»
С ростом количества измерений (параметров) растет
объем пространства
Данные становятся разреженными
Разреженность является проблемой в любом методе
требующем статистической значимости
Нужно больше^данных
https://en.wikipedia.org/wiki/Curse_of_dimensionality

39. Глубокое обучение (Deep Learning)

40. Производительные вычисления

41. Некоторые инструменты
http://deeplearning.net/software/theano/
https://www.tensorflow.org/
http://caffe.berkeleyvision.org/
http://torch.ch/
https://github.com/dmlc/mxnet
https://github.com/Microsoft/CNTK
http://www.vlfeat.org/matconvnet/

42. CNTK
http://research.microsoft.com/en-us/um/people/kahe/
https://habrahabr.ru/company/microsoft/blog/275959/

43. Анализ изображений
http://image-net.org/
http://mscoco.org/
http://image-
net.org/challenges/LSVRC/2
015/
http://journal.frontiersin.org/
article/10.3389/frobt.2015.00
036/full

44. Convolution Neural Networks (CNN)
http://yann.lecun.com/exdb/mnist/
http://scs.ryerson.ca/~aharley/vis/conv/
http://cs231n.github.io/convolutional-networks/

45. Convolution kernel
https://developer.apple.com/library/ios/documentation/Performance/Conceptual/vImage/ConvolutionOperations/ConvolutionOperations.html

47. Семантическая сегментация
https://www.youtube.com/watch?v=FroRjEejA30

48. ShapeNet
https://github.com/ShapeNet/RenderForCNN
https://github.com/suhangpro/mvcnn
http://shapenet.cs.stanford.edu/

49. Определение лица
https://www.youtube.com/watch?v=LZJOTRkjZA4
http://www.robots.ox.ac.uk/~vgg/software/vgg_face/
https://github.com/AlfredXiangWu/face_verification_experi
ment
https://github.com/cmusatyalab/openface
https://www.youtube.com/watch?v=byanSjglKeg

50. Увеличение разрешения
http://people.csail.mit.edu/celiu/FaceHallucination/
fh.html
https://www.youtube.com/watch?v=JMIHNiR3CP8
https://www.youtube.com/watch?v=I_8ZH1Ggjk0

51. Neural style
Deepart.io
https://github.com/jcjohnson/neural-style
https://www.youtube.com/watch?v=56CoHGxRg7c
http://gitxiv.com/posts/rCzAPjX5iCXT5E6cz/understanding
-deep-features-with-computer-generated-imagery

52. Автоматическое раскрашивание
http://tinyclouds.org/colorize/

53. Диабетическая ретинопатия
https://www.kaggle.com/c/diabetic-retinopathy-detection
Идентификация признаков заболевания
по изображениям сетчатки

54. Colon cancer
Using CUDA and
Machine Learning to
Detect Colon Cancer -
See more at:
https://news.developer.n
vidia.com/using-cuda-
and-machine-learning-
to-detect-colon-
cancer/#sthash.qspCAHf
0.dpuf

55. Детектирование аномалий в видео-потоке
https://www.youtube.com/watch?v=hHHmWmJG9Rw

56. Recurrent networks
http://jiwonkim.org/awesome-rnn/

57. Обработка языков/LSTM/RNN
 https://github.com/yandex/faster-rnnlm
 http://deeplearning.net/tutorial/rnnslu.html
 https://yandexdataschool.com/conference/program
 http://www.wildml.com/2015/12/
implementing-a-cnn-for-text-classification-in-tensorflow/
 AN4 Dataset
 Kaldi Project
 TIMIT
 Sequence-to-sequence neural net models for grapheme to phoneme conversion.
 SPOKEN LANGUAGE UNDERSTANDING USING LONG SHORT-TERM MEMORY NEURAL NETWORKS.

58. Project Oxford
https://habrahabr.ru/post/276411/
aka.ms/mlproject

59. Microsoft Cognitive Services
https://www.microsoft.com/cognitive-services/computer-
vision-api
https://github.com/Microsoft/ProjectOxford-ClientSDK

60. Azure ML
https://azure.microsoft.com/ru-
ru/services/machine-
learning/?WT.srch=1&WT.mc_id
=SEM_an164K8p
Azure Machine Learning:
разработка сервисов
машинного обучения и их
использование в мобильном
приложении
 https://habrahabr.ru/company/microsof
t/blog/275475/
 https://habrahabr.ru/company/microsof
t/blog/236823/

61. © 2016 Microsoft Corporation. All rights reserved.