Luxiangju模式识别在数字家庭娱乐中的应用

810 views
743 views

Published on

Published in: Technology, News & Politics
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
810
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
14
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • 体感游戏( PK 类,竞技类,有氧类……) 现场试衣(试衣魔镜) 用户身材识别(?) 语音输入,语音控制 防盗监控(?)
  • Animating Pictures with Stochastic Motion Textures
  • 增强现实的“天文互动指南”,利用 GPS ,指南针和陀螺仪教你辨别星座,跟 Google 星空差不多。它分为 iPhone 和 iPad 两个版本,售价是 2.99 美元和 4.99 美元
  • demoed as a concept Android app at Mobile World Congress 2010 and what the Swedish design collective called “Recognizr”. It works by tying into your social networks so that, when someone hovers their phone over you, the app pulls down and displays whatever you’ve just posted on them
  • 红外投影头发射经过编码的红外线( Light Coding ),红外摄像头根据反射回来的红外线判断场景的深度(物体和 Kinect 的距离)从而形成场景深度视频。 可见光摄像头拍摄场景颜色视频(普通视频)。 麦克风阵列组成具有指向性的声音接收器,接收来自控制者方位的声音。 场景深度视频配合 CPU 运算生成运动骨骼数据(跟踪人体 20 个骨骼点)。 售价较高 $150 目前只能识别站立状态的人体动作 最近识别距离是 1.2 米,有点远 需要 CPU 参与运算,对 CPU 有些许占用 只能用于 Windows 平台(微软的产品)
  • Kinect 中的核心芯片是以色列 primesense 公司提供的 PrimeSense PS1080-A2 芯片 它可为 xbox 提供分辨率为 320x240 , 30 帧每秒的深度图像 --- 一个可见光摄像头(拍摄场景颜色视频) 一个红外线投影头和红外线摄像头(拍摄场景深度视频) 四个麦克风组成麦克风阵列(滤除环境杂音,捕捉有效声音) 电动底座(自动跟踪)
  • Kinect 有丰富的体感互动游戏共家庭娱乐,人们可以不用任何控制器,只凭借自己的身体运动,做动作就可以控制游戏中的人物完成相应的动作 而且提供多人模式可供家庭成员一起娱乐 ------------ 颜色视频 深度视频 人体骨骼运动数据(每个人 20 个骨骼点,最多同时跟踪 2 个人) 音频 这些输出信号可以通过调用 SDK 中的 API 获得
  • 微软拟在 xbox 上推出的 AVATAR KINECT 可利用自己的动画人物,在虚拟的场景里与好友进行面对面的聊天交流 具有多种社交服务功能,比如聊天,一起打牌,游戏等
  • Kinect fub lab 是微软夏天新推出的互动娱乐体验,其中有多种游戏可供选择 比如 kinect me 是把自己变成虚拟化人物,也就是 avatar kinect 中的自己 Build a buddy 是把现实中一个毛绒玩具虚拟化为 3d 玩偶,它可以受你身体控制,完成动作
  • 操作系统 Windows 7 ( x86 或 x64 均可) 硬件需求 CPU 双核 2.66-GHz 支持 DirectX 9.0c 的显卡 2GB 内存 开发系统 VS2010 , .NET Framework 4.0 , DirectX SDK 2010.6
  • Luxiangju模式识别在数字家庭娱乐中的应用

    1. 1. 路香菊 博士 盛大创新院 多媒体主题院 研究员 2011. 9. 10
    2. 2. <ul><li>互动电视 </li></ul><ul><li>自然交互娱乐 </li></ul>
    3. 3. 互动电视 <ul><li>用户接入端 (IPTV 机顶盒 ) </li></ul><ul><li>节目发送 / 共享端 ( 电视台 / 视频网站 ) </li></ul><ul><li>用户移动端 ( 智能手机 ) </li></ul>
    4. 4. 用户接入端——人声遥控器
    5. 5. 用户接入端——智能播放
    6. 6. 机顶盒–智能终端 <ul><li>语音控制 </li></ul><ul><li>人脸识别 </li></ul><ul><li>行为分析 / 机器学习 / 个性节目推荐 </li></ul><ul><ul><li>视频检索技术 </li></ul></ul><ul><li>交互 - 用户移动端 OR 智能终端 </li></ul><ul><ul><li>图像检索 - 电子商务 </li></ul></ul><ul><ul><li>人脸搜索 - 社交 </li></ul></ul><ul><ul><li>AR </li></ul></ul>
    7. 7. 互动电视 -Google TV & Yahoo TV
    8. 8. Google TV –PC
    9. 9. Google TV –PC
    10. 10. 智能手机 – Best apps <ul><li>Snappy TV </li></ul><ul><ul><li>Win ‘best social TV idea’:see it, Snap it, and share it </li></ul></ul>
    11. 11. 智能手机 – Best apps <ul><li>Shazam </li></ul><ul><ul><li>Discover, buy and share the song that is playing </li></ul></ul><ul><ul><li>TV shows, movies, music </li></ul></ul>
    12. 12. 智能手机 – Best apps <ul><li>IntoNow </li></ul><ul><ul><li>let iphone listening 30 seconds, then automatically check in what you’re watching </li></ul></ul>
    13. 13. Google TV –smart phone
    14. 14. 智能手机 – Best apps <ul><li>Snappy TV </li></ul><ul><ul><li>Win ‘best social TV idea’:see it, Snap it, and share it </li></ul></ul>
    15. 15. 智能手机 – Best apps <ul><li>Shazam </li></ul><ul><ul><li>Discover, buy and share the song that is playing </li></ul></ul><ul><ul><li>TV shows, movies, music </li></ul></ul>
    16. 16. 智能手机 – Best apps <ul><li>IntoNow </li></ul><ul><ul><li>let iphone listening 30 seconds, then automatically check in what you’re watching </li></ul></ul>
    17. 17. 机顶盒–智能终端 <ul><li>语音控制 </li></ul><ul><li>人脸识别 </li></ul><ul><li>行为分析 / 机器学习 / 个性节目推荐 </li></ul><ul><ul><li>视频检索技术 </li></ul></ul><ul><li>交互 - 用户移动端 OR 智能终端 </li></ul><ul><ul><li>图像检索 - 电子商务 </li></ul></ul><ul><ul><li>人脸搜索 - 社交 </li></ul></ul><ul><ul><li>AR </li></ul></ul>
    18. 18. 广告监测、广告替换 <ul><li>3G Mobiles </li></ul>
    19. 19. 广告监测、广告替换
    20. 20. 视频检索
    21. 21. 机顶盒–智能终端 <ul><li>语音控制 </li></ul><ul><li>人脸识别 </li></ul><ul><li>行为分析 / 机器学习 / 个性节目推荐 </li></ul><ul><ul><li>视频检索技术 </li></ul></ul><ul><li>交互 - 用户移动端 OR 智能终端 </li></ul><ul><ul><li>图像检索 - 电子商务 </li></ul></ul><ul><ul><li>人脸搜索 - 社交 </li></ul></ul><ul><ul><li>AR </li></ul></ul>
    22. 22. 图像检索
    23. 23. 图像检索
    24. 24. 图像检索 - 现有 PC 端应用 <ul><li>www.like.com </li></ul>
    25. 25. 图像检索 -Face search <ul><li>PicTriev </li></ul>
    26. 26. 图像检索 -Face search <ul><li>Google 图片搜索 – 脸部特写 </li></ul>
    27. 27. AR - Ads <ul><li>Augmented Reality at Wellington Zoo </li></ul>
    28. 28. AR –Ads, 电子商务 <ul><li>虚拟试衣间 </li></ul>
    29. 29. AR – 秀 <ul><li>cinemagraphs </li></ul>
    30. 30. AR –Game <ul><li>Star Walk </li></ul>
    31. 31. AR – Social network <ul><li>TAT (The Astonishing Tribe ) </li></ul><ul><li>Tweet360 </li></ul>
    32. 32. <ul><li>互动电视 </li></ul><ul><li>自然交互娱乐 </li></ul>
    33. 33. 自然交互娱乐 <ul><li>Kinect 简介 </li></ul><ul><li>Kinect 应用 </li></ul><ul><li>相关技术 </li></ul>
    34. 34. KINECT 简介 <ul><li>Kinect 是微软研制的一种体感输入设备,属于 Natural User Interfaces ( NUI ,自然用户界面)。 </li></ul><ul><li>是微软游戏机 XBOX360 的外设,以增强 XBOX360 的人机互动能力。 </li></ul><ul><li>相比 Sony 的 PS Move 和 PS Eye 体感输入设备, Kinect 更加先进。 </li></ul>
    35. 35. KINECT 简介
    36. 36. KINECT 简介
    37. 37. KINECT 应用——体感游戏
    38. 38. KINECT 应用—— Avatar Kinect AVATAR KINECT 社交服务 利用自己的动画人物,在虚拟的场景里与好友进行面对面的聊天交流
    39. 39. Kinect 应用—— Fun Lab
    40. 40. 相关技术——深度图像(前景分离) iSec Kinect Time of Flight DepthSense Light Coding PrimeSensor 3D Image SoftKinetic PrimeSense
    41. 41. 相关技术——骨架提取
    42. 42. 相关技术——人脸检测 ( avatar kinect )
    43. 43. 相关技术——手势识别、语音识别
    44. 44. Kinect 应用——其他 <ul><li>体感游戏( PK 类,竞技类,有氧类……) </li></ul><ul><li>现场试衣(试衣魔镜) </li></ul><ul><li>语音输入,语音控制 </li></ul>
    45. 45. KINECT SDK <ul><li>操作系统 </li></ul><ul><li>Windows 7 ( x86 或 x64 均可) </li></ul><ul><li>硬件需求 </li></ul><ul><li>CPU 双核 2.66-GHz </li></ul><ul><li>支持 DirectX 9.0c 的显卡 </li></ul><ul><li>2GB 内存 </li></ul><ul><li>开发系统 </li></ul><ul><li>VS2010 , .NET Framework 4.0 , DirectX SDK 2010.6 </li></ul>
    46. 46. 其他 <ul><li>Sixth Sense - MIT </li></ul><ul><ul><li>a wearable gestural interface that augments the physical world around us with digital information and lets us use natural hand gestures to interact with that information , MIT media lab </li></ul></ul><ul><ul><li>http://www.pranavmistry.com/projects/sixthsense/ </li></ul></ul>
    47. 47. 未来趋势——自然用户界面 FREE
    48. 48. 未来趋势——自然用户界面 Natural Interaction Touch Screen Mouse Key board FREE
    49. 49. <ul><li>谢 谢 </li></ul>

    ×