Krešimir Prcela - Tehnologija iza popularnih Augmented reality aplikacija na iPhoneu (IT Showoff)

1,143 views

Published on

Osvrt na mogućnosti i ograničenja tehnologije za razvoj Augmented Reality aplikacija na iPhoneu što uključuje koordinaciju GPS-a, akcelerometara i magnetometra uz korištenje OpenGLES frameworka. Pregled popularnih aplikacija koje ostvaruju Augmented Reality, te primjer kako je to učinjeno unutar iPhone Shoutem applikacije.

Published in: Travel, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,143
On SlideShare
0
From Embeds
0
Number of Embeds
9
Actions
Shares
0
Downloads
10
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Cilj “Augmented reality”-ja ili pojačane stvarnosti je dodavanje informacija nekom objektu iz stvarnog svijeta. Tu se ne koristi simulacija stvarnog svijeta nego se samo o informativnom sadržaju koji je vezan za neki stvarni objekt ili mjesto. Npr. AR može biti podatak o nekoj lokaciji, npr. ime lokacije, eventi koji će se desiti u skoroj budućnosti, zabilježeni video isječak povijesnog događaja, audio komentar na objekt... dakle sve što može pojačati korisnikovo iskustvo. Zanimljivo, nije nužno da se korisnik nalazi na određenoj lokaciji. Primjeri upotrebe AR-a: - piloti imaju display na kojem vide informacije o krajoliku iznad kojeg leti - na putovanjima uz pomoć GPS uređaja dobivamo dodatne informacije o nekim lokacijama - u medicini, npr. magnetskom rezonancom se skupljaju podaci i vežu na model ljudskog tijela. Važna je jer pojačava korisnikovo iskustvo i znanje o svijetu u kojem živi, a sa druge strane on i sam može pridonositi dodavajući svoje znanje u takav tehnološki sustav. Nedostaci AR-a su načešće skupa i kompleksna tehnologija. Ali zato je tu iphone, sa iznimnim tehnološkim mogućnostima za AR, a ujedno je i dostupan velikom broju korisnika.
  • Dakle prvu ću navesti koji su tehnološki preduvjeti na iphoneu potrebni da bi se ovakav scenarij ostvario. Za AR nas zanima GPS lokacija i orijentacija mobitela. Integriran akcelerometar – daje izlazne vrijednost sa frekvencijom od 100Hz i 400Hz Preciznost 1g, ovisna o temperaturi Vektor sile se dobiva u lokalnom koordinatnom sustavu Filtriranjem dobivene sile u svakom frameu se čuva konstantna sila G Nije dovoljna informacija za dobivanje potpune orijentacije
  • Integriran je u novi 3GS model Preko update evenata dobiva se vektor magnetske indukcije u lokalnom koordinatnom sustavu Moguće magnetsko ometanje uređaja, i često je potrebna kalibracija Sporiji odziv Uz kombinaciju sa GPS api daje pravi kut prema geografskom polu
  • Iphone ima podršku za davanje geografske lokacije sa više razina preciznosti. Rang preciznosti je od 3km pa do 10m. Najveća preciznost uzrokuje veću aktivnost i konzumaciju baterije. Najveća preciznost ima brži odziv. Na otvorenom prostoru brzo i precizno se dobije lokacija. U zatvorenim prostorima čak nije moguće dobiti novu lokaciju nego se dobiva zadnja spremljena lokacija. Korisnik se stavlja u centar XYZ sustava, a geo-lokacije bliskih mjesta se preračunavaju u taj relativni sustav
  • OpenGL – open graphics language koji služi za ostvarenje trodimenzionalne virtualne scene OpenGL ES 1.0 – restrikcije na kompleksne GPU operacije, Izbačeno: quadovi i poligoni, 3d texture, direktno pisanje u front buffer, kopiranje pixela, display liste, spremanje i loadanje stanja Dodano: support za fixed point hardware OpenGL ES 2.0 – uvedeni shaderi, automatsko genereiranje mipmapa, multitexturing i operacije na texturama Odvojen support za ES1 i ES2 aplikacije iPhone SDK ima OpenGLES framework koji se može jednostavno dodati i koristiti unutar projekta. Aplikacije rade na način da se postavi timer koji poziva rendanje scene sa fixnim framerateom. Na taj način se daje aplikaciji prostora za ostale taskove. Orijentacija promatrača koja smo izračunali uz pomoć akcelerometra i magnetometra se setira u svakom frameu kao matrica projekcije za rendanje scene.
  • GPS daje novu dimenziju shoutemu. Korisnicima je omogućeno da se ucheckiraju na mjesto, da dodaju nova mjesta, da vide koja su mjesta u blizini, da vide gdje su im prijatelji, da vide o čemu se priča na nekom mjestu. Posebna motivacija da bi ljudi koristili ovakav sustav je nagrađivanje, bilo virtualno sa bedževima ili sa stvarnim novčanim nagradama. Ovdje leži potencijal da se povežu i budući važni događaji sa određenim mjestima, da se vidi tko od prijatelja će doći na taj događaj i šta se priča o takvom eventu.
  • Pokretanjem AR viewa aktivira se kamera, GPS, kompas i akcelerometar. Na displayu se preko realnih objekata prikazuju dodatne informacije o tom objektu. Trenutno nije implementirano ali mogla bi se mjesta filtrirati po imenu, kategoriji, udaljenosti ili ratingu kako bi se korisnik lakše snalazio u urbanoj džungli. Kada se iPhone postavi u horizontalan položaj onda AR nema smisla pa se aktivira map view na način da se mapa sama okreće prema pravom sjeveru. AR je procesorski zahtjevan, aktivirana je kamera, GPS, kompas i akcelerometar. Unatoč tome aplikacija radi fluentno i zadovoljavajuće.
  • Krešimir Prcela - Tehnologija iza popularnih Augmented reality aplikacija na iPhoneu (IT Showoff)

    1. 1. Tehnologija iza popularnih Augmented Reality aplikacija na iPhoneu <ul>predavač Krešimir Prcela </ul>
    2. 2. Augmented Reality “Proširena”, “Dopunjena”, “Poboljšana” Stvarnost Što je to? Tko to koristi? Zašto je važna? Nedostaci? Budućnost?
    3. 3. iPhone & AR <ul><li>Akcelerometar </li><ul><li>Vektor sile
    4. 4. Preciznost
    5. 5. Odziv
    6. 6. Filtriranje G sile </li></ul></ul>
    7. 7. iPhone & AR <ul><li>Magnetometar </li><ul><li>3GS
    8. 8. Vektor magnetskog polja
    9. 9. Preciznost
    10. 10. Kalibracija
    11. 11. “Pravi” sjever </li></ul></ul>
    12. 12. iPhone & AR <ul><li>GPS </li><ul><li>Aktivacija
    13. 13. Preciznost
    14. 14. Odziv
    15. 15. Pretvaranje koordinata
    16. 16. u lokalni XYZ sustav </li></ul></ul>
    17. 17. iPhone & AR <ul><li>OpenGLES </li><ul><li>Ostvarenje virtualne scene
    18. 18. OpenGL ES – restrikcije na kompleksne GPU operacije
    19. 19. iPhone: arm11, 667MHz, gpu fpu, 128 MB ram
    20. 20. iPhone SDK, framework, fiksni FPS
    21. 21. Orijentacija promatrača </li></ul></ul>
    22. 22. ShoutEm <ul><li>Integracija AR-a u ShoutEm
    23. 23. Klijent aplikacija za društvene mreže </li><ul><li>Zrikka, NHL shouts, Cigar, RaceShout...
    24. 24. Male privatne mreže
    25. 25. What are you doing now?
    26. 26. Javni statusi i privatne poruke
    27. 27. Praćenje statusa željenih osoba </li></ul></ul>
    28. 28. ShoutEm & GPS <ul><li>GPS je dao novu dimenziju shoutemu </li><ul><li>Check-in i dodavanje mjesta
    29. 29. Gdje su mi prijatelji?
    30. 30. Koja su mjesta u blizini, tko je unutra i o čemu se priča
    31. 31. Nagrade kao motivacija za posjetitelje </li></ul><li>Potencijal </li><ul><li>Buduća događanja na mjestima u blizini
    32. 32. Korisnici ocjenjuju kvalitetu mjesta </li></ul></ul>
    33. 34. ShoutEm & AR <ul><li>Stvarne bliske lokacije koje možemo vidjeti kroz kameru “pojačane” su ShoutEm sadržajem: </li><ul><li>Ime mjesta, kategorija, udaljenost, lista prijatelja, adresa, rating, slika
    34. 35. Filtriranje mjesta po imenu, kategoriji, udaljenosti, ratingu... </li></ul><li>Automatsko prebacivanje u map view
    35. 36. Procesorski zahtjevno, ali fluentno </li></ul>
    36. 37. ShoutEm & AR /Users/kprcela/Desktop/AR1.mov
    37. 38. AR interijer <ul><li>Stavljanje promatrača u centar 3D kocke na koju se projiciraju fotografije interijera (google street view)
    38. 39. GPS nije dobar u zatvorenom prostoru
    39. 40. Muzeji, trgovine, kafići, restorani...
    40. 41. Ucheckiranim korisnicima je omogućena interakcija: </li><ul><li>Promatraju interijer kao da su na tom mjestu i imaju aktiviranu kameru
    41. 42. Koriste, tj. čitaju, gledaju ili slušaju sadržaje sa odabranih točaka unutar kocke
    42. 43. Korisnici stvaraju sadržaj u željenim točkama:
    43. 44. Tekst, URL, foto, video ili audio sadržaj
    44. 45. 3d sadržaj: namještaj, police, animirani vodič...
    45. 46. Vrata mogu teleportirati korisnika u drugu sobu </li></ul></ul>
    46. 48. AR interijer /Users/kprcela/Desktop/AR2.mov
    47. 49. iPhone & AR aplikacije

    ×