MS Fest 2013, Praha (3.11. 2013), Fotografické API a rozšířená realita pro Windows Phone. Přednášehjí Objekty PhotoCamera, PhotoCaptureDevice, Nokia Imaging SDK, integrace do telefonu, real-time filtry, GART, SLAR Toolkit

1. Foto API a rozšířená realita
na Windows Phone
Tomáš Slavíček
@tomasslavicek

2. Agenda
možnosti foto API na WP
integrace do telefonu, Lens app
živý stream a filtry
další cool API :)
detekce obličejů
čtení QR kódů
„Nokia City Lens“
augmented reality

3. Windows Phone
mladá platforma
Nokia – důraz na focení
1.

4. Windows Phone
prodeje mezi smartphony: ČR 14%
(EU 9%, USA 3,2%)

5. Windows Phone
využívání internetu… (vč. Symbianu)
zdroj: O2, T-mobile

6. Windows Phone
cca 70% už jsou Win Phone 8

7. Aplikace
velké možnosti foto API

8. Integrace do systému
možnost odkazů, provázání…

9. Aplikace pro WP

10. Moje aplikace
Photogotchi
…ukázka

11. Camera Capture Task
spustí systémové UI
pak vrátí fotku do aplikace
…ukázka 1

12. Vlastní UI fotoaparátu?
PhotoCamera
PhotoCaptureDevice (WP8)
Nokia Image SDK (WP8)
…ukázka 2
pozor na ID_CAP_ISV_CAMERA

13. PhotoCamera
čtení dat z fotoaparátu
do Image, nebo raw data
ovládání parametrů
přední / zadní kamera
zaostření na bod
hardwarové tlačítko
volba rozlišení, získání thumbnailu

14. PhotoCamera
eventy
bylo zaostřeno…
byla pořízená fotka…
ukázka 2.1: Basic Camera Sample
http://code.msdn.microsoft.com/wpapps/Basic-Camera-Sample-52dae359

15. PhotoCaptureDevice
rozšířené API pro WP8
nastavení
vyvážení bílé
ISO, čas expozice
makro
přisvětlovací dioda…

16. PhotoCaptureDevice
další výhody
rozlišení pro čtení z raw bufferu
dávkové focení
zpracování obřích fotek
Nokia Camera Explorer
http://projects.developer.nokia.com/cameraexplorer

17. Nokia Imaging SDK
50 real-time filtrů
nastavení úrovně / hue / saturace (u
některých)
lze kombinovat dohromady
nejde přidávat vlastní
úpravy
crop, resize, rotate, mask
undo

18. Nokia Imaging SDK
psané v C++, velmi rychlé
lze použít ze C#
využívá částečné dekódování JPG

19. Nokia Imaging SDK
Filter Effects, Filter Explorer, Real-time Filter demo

20. Nokia Imaging SDK
Photo Inspector
zpracování velkých fotek
http://developer.nokia.com/forms/
imaging_sdk_download.xhtml
http://developer.nokia.com/Resources/
Library/Lumia/#!nokia-imaging-sdk/
sample-projects.html

21. Nokia Imaging SDK
ukázka 5: Aplikace filtrů
http://developer.nokia.com/Community/Wiki/
Using_Nokia_Imaging_SDK_Create_Cartoon_Photo
„Cartoon me app“ via Nokia Wiki (highcedar)

22. Integrace do telefonu
odkaz ve Photos hubu
2.

23. Integrace do telefonu
odkaz ve Photos hubu
WMAppManifest.xml

24. Integrace do telefonu
rozšíření detailu fotky
(WP7)

25. Integrace do telefonu
share, edit…
do aplikace se předá launch URI

26. Lens app
opět odkaz na aplikaci (přímo z fotoaparátu)

27. Pomocné třídy pro WP8
MediaViewer
ThumbnailedImageViewer
viz BasicLensSample
http://code.msdn.microsoft.com/
wpapps/Basic-Lens-sample-359fda1b

28. Živý stream z kamery
chceme přímo raw data + aplikovat filtry
3.

29. Živý stream z kamery
camera.GetPreviewBufferArgb32
camera.GetPreviewBufferYCbCr
rychlejší získání dat
konvertujeme jen vybrané pixely
Real-time camera effects on WP7 and WP8
http://developer.nokia.com/Community/Wiki/
Real-time_camera_effects_on_Windows_Phone_7_and_8

30. 8-bit efekt
využití XNA / MonoGame
každý pixel = bitmapa
využíváme výkon GPU
…ukázka

31. 8-bit efekt

32. Další cool API :)
Rozpoznávání obličejů
Microsoft Face SDK pro WP7
Face Detection Library
FaceLight for WP (René Schulte)
4.

33. Čtení QR kódů
Bing Vision / WP SDK – není API pro
vývojáře
ZXing library, WP7 i WP8
http://silverlightzxing.codeplex.com/ (nebo přes NuGet)

34. GART – Geo AR Toolkit
WP7, WP8 i Win8

35. GART – Geo AR Toolkit
využívá GPS, Motion API
otáčení mapy
umisťování objektů
obdoba Nokia City Lens
http://gart.codeplex.com/

36. GART – Geo AR Toolkit
lze vytvořit vlastní ARItem,
i změnit vzhled položek (v XAML)
parametr: GPS pozice
…ukázka

37. SLAR – Silverlight AR Toolkit
zobrazení objektu na markeru

38. SLAR – Silverlight AR Toolkit
…ukázka

39. Goblin XNA (WP7)
research projekt, už neaktivní

40. Shrnutí
možnosti foto API na WP
integrace do telefonu, Lens app
živý stream a filtry
další cool API :)

41. Díky za pozornost!
prostor pro dotazy
Tomáš Slavíček mail @
tomasslavicek.cz
@tomasslavicek