Распознавание образов и технологии                     Augmented Reality в мобильных                            приложения...
What is AR ?пятница, 14 декабря 12 г.
Iron                            Manпятница, 14 декабря 12 г.
Minority reportпятница, 14 декабря 12 г.
In realпятница, 14 декабря 12 г.
Google Eyesпятница, 14 декабря 12 г.
Juniper research, 2011пятница, 14 декабря 12 г.
AR Types                ‣ Location based                ‣ Image recognition                ‣ Face recognitionпятница, 14 д...
Location based   ‣ Location (GPS)   ‣ Accelerometr   ‣ Magnetometr +           Gyroscope   ‣ Mapkitпятница, 14 декабря 12 г.
Location based                     ‣                     ‣                     ‣       ...пятница, 14 декабря 12 г.
ARKit              • https://github.com/zac/iphonearkit/              • https://github.com/nielswh/iPhone-AR-Toolkit      ...
• http://3dar.us/    ✓ Gyroscope (CoreMotion)    ✓ OpenGL 3D markers    - Free - branded    - 4 995 $ for unbrandedпятница...
Image based           ‣ Marker - based           ‣ Markerlessпятница, 14 декабря 12 г.
Marker - based       • https://github.com/benlodotcom/VRToolKit       ✓ Free Open source       - GPL       - Low performan...
Marker - based       • https://github.com/jonmarimba/NyArToolkit-iOS       ✓ Free Open source       ✓ Good performance    ...
✓ Українці                            ✓ Geo-position SDK                            - Licensing termsпятница, 14 декабря 1...
✓ Unity3D         ✓ Marker is more flexible         - 485 € : 1year, 1 app, 1 marker, brandable         - 6 795 € : 1year, ...
Markerless       • Pattern recognition       • Tracking       • 3D pose estimationпятница, 14 декабря 12 г.
OpenCVпятница, 14 декабря 12 г.
OpenCV        • http://opencv.org/        • https://github.com/Itseez/opencv        ✓ Standalone (MacOS, Linux, Windows)  ...
OpenCV   Optimization   http://www.aorensoftware.com/blog/2011/03/31/bullet-   physics-optimization-for-ios/   ✓ {opencv}/...
OpenCV   Optimization   https://github.com/aptogo/OpenCVForiPhone   Version 2.2-2.3   More about NEON :   http://habrahabr...
Pattern recognition    1.Feature detection                                                         •STAR                  ...
Pattern recognition    2. Descriptor                                    •BRIEF                                    •SURF   ...
Pattern recognition     2. Matchingпятница, 14 декабря 12 г.
Pattern recognition                            • Brute force                            • FLANN                           ...
Pattern recognition                            RANSACпятница, 14 декабря 12 г.
Tracking                            Lucas-Kanade Optical Flow algorithm • http://www.hatzlaha.co.il/150842/Lucas-Kanade-  ...
Tracking                            Template matching based tracking               • http://cvlab.epfl.ch/~lepetit/        ...
3D Pose estimation                            Frame                                                    Model view matrix  ...
My experience       • Ferns http://cvlab.epfl.ch/research/completed/               surface/ferns/       • Template matching...
Demoпятница, 14 декабря 12 г.
- Several markersпятница, 14 декабря 12 г.
• http://www.qualcomm.com/solutions/augmented-       reality     ✓ Free to use in commercial apps     ✓ iOS & Android     ...
✓ Fast and robustпятница, 14 декабря 12 г.
✓ Fast and robust         ✓ Really fast and robust !пятница, 14 декабря 12 г.
✓ Image target           Up to 50 markersпятница, 14 декабря 12 г.
✓ Virtual Buttonsпятница, 14 декабря 12 г.
✓ Multi Targetsпятница, 14 декабря 12 г.
✓ Online tool: https://ar.qualcomm.at/sdk                    Registration required         ✓ NinevehGL supports Vuforia SD...
Need Markerless AR ?                            Use        http://socialcompare.com/en/comparison/augmented-              ...
Face tracking         ✓ OpenCV Haar           classificationпятница, 14 декабря 12 г.
Face tracking      https://github.com/aptogo/FaceTracker      http://opencv.org/      ✓ Not only face,              but fa...
- Too slow                            - 2D onlyпятница, 14 декабря 12 г.
3D Face contours trackingпятница, 14 декабря 12 г.
3D Face contours tracking        ✓ Fast enough for 2 cores                    Smartphones CPU        ✓ Tracks contours in ...
Demoпятница, 14 декабря 12 г.
3D Face contours tracking        ✓ Licensing        ✓ iOS/Android                    App development partnershipпятница, 1...
Спасибо за                            внимание !                                   Степанов Александр                     ...
Upcoming SlideShare
Loading in...5
×

Alex Stepanov UAMobile2012

859

Published on

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
859
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
8
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Alex Stepanov UAMobile2012

  1. 1. Распознавание образов и технологии Augmented Reality в мобильных приложениях Степанов Александр iOS Developerпятница, 14 декабря 12 г.
  2. 2. What is AR ?пятница, 14 декабря 12 г.
  3. 3. Iron Manпятница, 14 декабря 12 г.
  4. 4. Minority reportпятница, 14 декабря 12 г.
  5. 5. In realпятница, 14 декабря 12 г.
  6. 6. Google Eyesпятница, 14 декабря 12 г.
  7. 7. Juniper research, 2011пятница, 14 декабря 12 г.
  8. 8. AR Types ‣ Location based ‣ Image recognition ‣ Face recognitionпятница, 14 декабря 12 г.
  9. 9. Location based ‣ Location (GPS) ‣ Accelerometr ‣ Magnetometr + Gyroscope ‣ Mapkitпятница, 14 декабря 12 г.
  10. 10. Location based ‣ ‣ ‣ ...пятница, 14 декабря 12 г.
  11. 11. ARKit • https://github.com/zac/iphonearkit/ • https://github.com/nielswh/iPhone-AR-Toolkit ✓ Free, open source (not GPL) - Gyroscope support - Different devices (iPhone, iPad, iPod) supportпятница, 14 декабря 12 г.
  12. 12. • http://3dar.us/ ✓ Gyroscope (CoreMotion) ✓ OpenGL 3D markers - Free - branded - 4 995 $ for unbrandedпятница, 14 декабря 12 г.
  13. 13. Image based ‣ Marker - based ‣ Markerlessпятница, 14 декабря 12 г.
  14. 14. Marker - based • https://github.com/benlodotcom/VRToolKit ✓ Free Open source - GPL - Low performanceпятница, 14 декабря 12 г.
  15. 15. Marker - based • https://github.com/jonmarimba/NyArToolkit-iOS ✓ Free Open source ✓ Good performance ✓ Unity3D - GPLпятница, 14 декабря 12 г.
  16. 16. ✓ Українці ✓ Geo-position SDK - Licensing termsпятница, 14 декабря 12 г.
  17. 17. ✓ Unity3D ✓ Marker is more flexible - 485 € : 1year, 1 app, 1 marker, brandable - 6 795 € : 1year, 1 app, no limitsпятница, 14 декабря 12 г.
  18. 18. Markerless • Pattern recognition • Tracking • 3D pose estimationпятница, 14 декабря 12 г.
  19. 19. OpenCVпятница, 14 декабря 12 г.
  20. 20. OpenCV • http://opencv.org/ • https://github.com/Itseez/opencv ✓ Standalone (MacOS, Linux, Windows) ✓ Mobile (Android, iOS from 2.3.1) - No optimization for mobile (NEON)пятница, 14 декабря 12 г.
  21. 21. OpenCV Optimization http://www.aorensoftware.com/blog/2011/03/31/bullet- physics-optimization-for-ios/ ✓ {opencv}/ios/cmake/Modules/Platform/iOS.cmake #43 set (CMAKE_CXX_FLAGS_RELEASE "-DNDEBUG -O3 -fomit-frame- pointer -ffast-math -mfpu=neon -mdynamic-no-pic") ✓ Compiler: Clang -> llvm-gcc4.2пятница, 14 декабря 12 г.
  22. 22. OpenCV Optimization https://github.com/aptogo/OpenCVForiPhone Version 2.2-2.3 More about NEON : http://habrahabr.ru/post/156809/пятница, 14 декабря 12 г.
  23. 23. Pattern recognition 1.Feature detection •STAR •MSER •SURF •GFTT •FAST http://computer-vision-talks.com/2011/07/comparison-of-the-opencvs-feature-detection-algorithms-ii/пятница, 14 декабря 12 г.
  24. 24. Pattern recognition 2. Descriptor •BRIEF •SURF •SIFTпятница, 14 декабря 12 г.
  25. 25. Pattern recognition 2. Matchingпятница, 14 декабря 12 г.
  26. 26. Pattern recognition • Brute force • FLANN • Find nearest • dist < Epsпятница, 14 декабря 12 г.
  27. 27. Pattern recognition RANSACпятница, 14 декабря 12 г.
  28. 28. Tracking Lucas-Kanade Optical Flow algorithm • http://www.hatzlaha.co.il/150842/Lucas-Kanade- Detection-for-the-iPhone ✓ Implemented in OpenCV - Low performanceпятница, 14 декабря 12 г.
  29. 29. Tracking Template matching based tracking • http://cvlab.epfl.ch/~lepetit/ ✓ Faster ✓ Accurate - Require hard-computational learningпятница, 14 декабря 12 г.
  30. 30. 3D Pose estimation Frame Model view matrix Polygon 3D Projection matrix Homography http://habrahabr.ru/post/139429/пятница, 14 декабря 12 г.
  31. 31. My experience • Ferns http://cvlab.epfl.ch/research/completed/ surface/ferns/ • Template matching tracking • http://isgl3d.com/пятница, 14 декабря 12 г.
  32. 32. Demoпятница, 14 декабря 12 г.
  33. 33. - Several markersпятница, 14 декабря 12 г.
  34. 34. • http://www.qualcomm.com/solutions/augmented- reality ✓ Free to use in commercial apps ✓ iOS & Android ✓ Unity3D extensionпятница, 14 декабря 12 г.
  35. 35. ✓ Fast and robustпятница, 14 декабря 12 г.
  36. 36. ✓ Fast and robust ✓ Really fast and robust !пятница, 14 декабря 12 г.
  37. 37. ✓ Image target Up to 50 markersпятница, 14 декабря 12 г.
  38. 38. ✓ Virtual Buttonsпятница, 14 декабря 12 г.
  39. 39. ✓ Multi Targetsпятница, 14 декабря 12 г.
  40. 40. ✓ Online tool: https://ar.qualcomm.at/sdk Registration required ✓ NinevehGL supports Vuforia SDK http://nineveh.gl/пятница, 14 декабря 12 г.
  41. 41. Need Markerless AR ? Use http://socialcompare.com/en/comparison/augmented- reality-sdksпятница, 14 декабря 12 г.
  42. 42. Face tracking ✓ OpenCV Haar classificationпятница, 14 декабря 12 г.
  43. 43. Face tracking https://github.com/aptogo/FaceTracker http://opencv.org/ ✓ Not only face, but face features too !пятница, 14 декабря 12 г.
  44. 44. - Too slow - 2D onlyпятница, 14 декабря 12 г.
  45. 45. 3D Face contours trackingпятница, 14 декабря 12 г.
  46. 46. 3D Face contours tracking ✓ Fast enough for 2 cores Smartphones CPU ✓ Tracks contours in realtime ✓Emotions recognitionпятница, 14 декабря 12 г.
  47. 47. Demoпятница, 14 декабря 12 г.
  48. 48. 3D Face contours tracking ✓ Licensing ✓ iOS/Android App development partnershipпятница, 14 декабря 12 г.
  49. 49. Спасибо за внимание ! Степанов Александр yltastep@gmail.comпятница, 14 декабря 12 г.
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×