• Like
Валентин Симонов ( Interactive Lab) - “Выбросьте свои клавиатуру и мышь! Разработка Flash игр под multi-touch и kinect.”
Upcoming SlideShare
Loading in...5
×

Валентин Симонов ( Interactive Lab) - “Выбросьте свои клавиатуру и мышь! Разработка Flash игр под multi-touch и kinect.”

  • 3,920 views
Uploaded on

Компьютерная мышь кардинально не менялась уже 30 лет, чего уж говорить о клавиатуре. А тем временем за последние 5 лет появились и другие интерфейсы, которые с каждым днем все больше укрепляются в …

Компьютерная мышь кардинально не менялась уже 30 лет, чего уж говорить о клавиатуре. А тем временем за последние 5 лет появились и другие интерфейсы, которые с каждым днем все больше укрепляются в повседневной жизни. Речь пойдет о том, как разрабатывать на ActionScript под multi-touch устройства и использовать в своих играх MS Kinect, который безусловно стал хитом прошедшего года. Начиная с сугубо технического введения, докладчик остановится на специфике разработки приложений, расскажет о существующих решениях и возникших проблемах в реальных проектах.

More in: Education , Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
3,920
On Slideshare
0
From Embeds
0
Number of Embeds
4

Actions

Shares
Downloads
12
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Flash += `multi-touch` | kinect;Valentin “valyard” SimonovInteractive Lab, 2011valentin.simonov@interactivelab.ruhttp://va.lent.inhttp://onenterframe.ru
  • 2. NUI – Natural User InterfaceЕстественный Пользовательский Интерфейс NUI GUICLI 2
  • 3. 3
  • 4. Multi-touch ≥2“это как большой iPhone” “it’s like a big iPhone”Multi: два и более Multi: two or moreодновременных касания simultaneous touch pointsSingle-, double-, multi Single-, double-, multiДля большинства жестов нужно For most gestures 2 touch pointsвсего 2 точки касания is enoughИстория, описание, Description, history, use cases:применение: workshops.vvvv.org/MultitouchParadigms/workshops.vvvv.org/MultitouchParadigms/ 4
  • 5. Microsoft KinectDepth-камера, Depth-camera,видит расстояние до объектов sees distance to objectsТехнология от PrimeSense за $150 PrimeSense technology for $150Аналоги (например, Other cameras (for example,Panasonic D-Imager) стоят от $1500 Panasonic D-Imager) cost $1500+Презентация Алексея Хохулина: Alex Hohulin’s presentation (in Russian):prezi.com/hdi9sykqsr6o/kinect/ prezi.com/hdi9sykqsr6o/kinect/Появляются аналогичные продукты New similar products to appear(Asus WAVI Xtion) (Asus WAVI Xtion) 5
  • 6. Multi-touch hardwareПроекционные технологии –камера видит прикосновенияTouch-рамки – детекторы покраям видят измененияпаттерна или расстоянияProjection-based – camera seesfingersTouch-frames – detectors catchdistance or light patterns changes 6
  • 7. Multi-touch hardware: projection technology Camera > Tracker > Framework > ApplicationPC, Windows, камера без IR фильтра, PC, Windows, camera w/o IR filter, IRисточник IR света, короткофокусный light emitter, short-focus projector,проектор, проекционная поверхность projection planeМного информации по теме A lot of useful infoworkshops.vvvv.org/MultitouchParadigms/ workshops.vvvv.org/MultitouchParadigms/Community Core Vision Community Core Visionccv.nuigroup.com ccv.nuigroup.comСписок TUIO трэкеров: List of TUIO trackers:tuio.org/?software tuio.org/?software 7
  • 8. TUIO: Tangible User Interface Objects 8
  • 9. Multi-touch developmentБольшой интерес разработчиков и Huge interest from developers andзаказчиков clientsВ том числе и в связи со Also because of Adobe’s strategy toстратегией Adobe по захвату рынка rule mobile applications marketмобильных приложений Many proprietary frameworksБольшое числозакрытых разработок Right before the talk, a new multi- touch library – Gestouch (github.com/fljot/В последний момент перед Gestouch)докладом новая библиотека –Gestouch (github.com/fljot/Gestouch) 9
  • 10. Multi-touch developmentOS’ Native TouchTUIO-as3 GestureWorks 42fingers*code.google.com/ gestureworks.com interactivelab.rup/tuio-as3/Homebrew & proprietary 10
  • 11. Native touch and gestures supportWindows 7 поддерживает Windows 7 can handler only oneодновременно только один жест gesture at a timeLee Brimelows MultiDragable Lee Brimelows MultiDragableblog.theflashblog.com/?p=2118 blog.theflashblog.com/?p=2118Zoom работает через Zoom works around dynamic centerдинамический центр между point between two active ones,точками, что неправильно which is wrongНедоделки исправят, выпустят They will fix software, make newжелезо. Ждем Windows 8? hardware. Waiting for Windows 8? 11
  • 12. TUIO-as3Стабильная солидная Stable well-known open-sourceopen-source библиотека libraryРазработчики делают ставки TUIO objects and events as firstна TUIO объекты и события class citizensИнтересный движок жестов Interesting gestures frameworkХороший набор туториалов Big number of tutorials andи документация для docs for developersразработчиков Active developmentАктивно развивается 12
  • 13. GestureWorksРазработка Ideum для своего Developed by Ideum for theirжелеза, платная: $249 hardware, costs $249Не так давно обновилась до 2.0 Lately version 2.0 was releasedМало доков и скудная поддержка Lack of docs and supportСильно завязывает на себя Introduces many dependencies onприложение, все нужно itself, all touch objects mustнаследовать от TouchSprite inherit TouchSpriteПоддерживает 200+ жестов (sic!) Supports 200+ gestures (sic!)Неидеальный трекинг Tracking is far from idealМожет использовать модули open Can use open exhibits modulesexhibits (openexhibits.org/software) (openexhibits.org/software) 13
  • 14. 42fingers Другая идеология: Different concept:1.  Нативные TouchEvents 1.  NativeTouchEvents2.  TUIO TouchEvents 2.  TUIO TouchEvents3.  Нет центрального менеджера 3.  No global gestures manager жестов 4.  Gestures are attached to objects4.  Поведения крепятся к which need them объектам, которым нужны 5.  Touch points are divided into события и жесты clusters5.  Разбиение точек на кластеры 14
  • 15. 42fingersРаботает как с Windows 7 Works with Windows 7 touch eventsприкосновениями, так и TUIO and TUIO messagesсобытиями TUIO tracker errors compensationКомпенсация ошибок трэкера Zoom and pan with proper centerЗум и поворот pointот правильной точки Can be easily integrated into anyЛегко интегрируется в project, doesn’t introduce newсуществующий проект и не dependencies into applicationзавязывает архитектуру под architectureсебя 15
  • 16. TUIO sendersЕсли вдруг под рукой нет If you don’t have a multi-touch tableмультитач-стола aroundiPhone/iPad – TuioPad iPhone/iPad – TuioPadmsavisuals.com/tuiopad msavisuals.com/tuiopadAndroid – TuioDroid Android – TuioDroidcode.google.com/p/tuiodroid/ code.google.com/p/tuiodroid/Mac touchpad или Magic Mouse Mac touchpad или Magic Mousegithub.com/fajran/tongseng/ github.com/fajran/tongseng/Огромное количество You can find more software at www.tuio.org/?software«переходников» и конвертеровможно найти наwww.tuio.org/?software 16
  • 17. Kinect development 17
  • 18. Kinect developmentOpenNI – попытка разработать OpenNI – attempt to develop NUIстандарт NUI, создать API для standard and create API forразнообразных устройств openni.org various devices openni.orgNITE (PrimeSense) – middleware NITE (PrimeSense) – middleware forдля трэкинга скелета, жестов skeleton and gestures trackingOpenKinect – движение за самый OpenKinect – movement for theпервый драйвер для Кинекта, very first open-source driver forlibfreenect openkinect.org Kinect, libfreenect openkinect.orgMicrosoft Framework Microsoft Framework 18
  • 19. Kinect developmentПодключение к нативному Socket connection to native serverсерверу, который работает с which works with actual deviceустройством AS3OpenNI – actively developedAS3OpenNI – активно AS3 wrapper for OpenNI and NITE code.google.com/p/as3openni/развивающийся враппер OpenNI иNITE для AS3 as3kinect – libfreenect wrappercode.google.com/p/as3openni/ as3kinect.orgas3kinect – враппер libfreenectas3kinect.org 19
  • 20. Kinect development 20
  • 21. Experience / Flash 21
  • 22. Experience / Flash+  Высокая скорость разработки +  Fast development+  Удобный tool-chain, анимация +  Convenient tool-chain, animation+  AIR приложения, нативные +  AIR applications, native processes процессы, UDP сокеты and UDP sockets−  Баги, странные ограничения, −  Bugs, strange limitations, slow низкая скорость, отсутствие 3D execution speed, no 3D−  Adobe делает самый −  Adobe develops the slowest медленный и часто software which crashes вылетающий софт all the time 22
  • 23. ExperienceНет стандартов на поведение There’s no standards for gesturesжестов behaviorsВсе следуют за Apple и iPhone Everyone follows Apple and iPhoneСовершенно другой интерфейс, Totally different interface, youнельзя продолжать GUI в NUI must not continue GUI into NUIPoint-and-click не удобно и не Point-and-click doesn’t work nor withработает как на мультитач, multi-touch nor Kinectтак и с Кинектом Observing users. Children are theНаблюдение за пользователями. fastest to learn new interfacesДети быстрее всех понимаютинтерфейс 23
  • 24. Experience 24
  • 25. ExperienceВсе становится на порядок Everything gets MUCH moreсложнее, когда появляется второе complicated with just one more touchкасание Most of gestures need only (andДля большинства жестов no more than) 2 touchesнеобходимо и достаточно двухкасаний Flex components (even mobile ones) don’t support multi-touchFlex компоненты(в том числе и mobile)не поддерживают мультитач 25
  • 26. ExperienceРазмер имеет значение – для Size matters – for multi-touch tableстола и стены совсем другие and multi-touch wall we need totallyнастройки и параметры жестов different gestures settings 26
  • 27. Experience / KinectOpenNI – калибровочная поза, OpenNI – calibration pose, must beнужно видеть ноги able to see legsХороший трэкинг скелета Good skeleton trackingПроблема с черной одеждой Issues with black clothsСлепнет на улице Gets blind outdoorУмудряется слепить сам себя, Can blind itself if positioned in frontесли поставить прямо перед of glass or windowстеклом 27
  • 28. References and links Links: va.lent.in/blog/2011/05/11/flashgamm2011/ interactivelab.ru valentin.simonov@interactivelab.ru We want your games! Мы открыты для сотрудничества. 28