Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Appleの先を行くポストタッチインターフェース

11,954 views

Published on

ヤフー vs クラスメソッド勉強会で発表した「Appleの先を行くポストタッチインターフェース」です。

Published in: Technology
  • Be the first to comment

Appleの先を行くポストタッチインターフェース

  1. 1. Appleの先を行く ポストタッチインターフ ェース @issay
  2. 2. 今までにないアプリを作 りたい
  3. 3. 加速度センサー、ジャイロ スコープ、磁力センサー、 近接センサー、カメラ、 GPS、etc...
  4. 4. Core Image、Core Motion、iBeacon、 Core Location、etc...
  5. 5. AppStoreのアプリ数 100万本以上
  6. 6. 既存のAPIをそのまま使う アイディアは他の誰かに実 現されている!
  7. 7. 「普通のやつらの上を行け」 by Paul Graham
  8. 8. Appleが未だ実現できて いない機能を先に作れ
  9. 9. それが世界初のアプリを 作る道
  10. 10. iPhoneのフロントカメ ラ
  11. 11. 自然な体制で常に顔を捉えている
  12. 12. 顔の情報を活用しきれて いない
  13. 13. Core Imageの顔検出 • • • • • • 顔検出 目、口の位置 笑顔かどうか まばたきをしているか 頭のx軸方向の回転(リアルタイムは難しい) 遅い(頑張ってもiPhone5で5fpsぐらい)
  14. 14. 顔の細かい表情はとらえ られない
  15. 15. Core Imageでできない こと • • • • • • • 視線 頭のy軸、z軸方向の回転 眉の形、位置 目の形 鼻の形、位置 口の形 輪郭の形、位置
  16. 16. 仕方ない、作るか
  17. 17. 顔情報はUIに活用できる
  18. 18. デモ動画を是非ご覧下さ い! http://youtu.be/jMniE-YYP9g
  19. 19. 例えば • • • • • • • リモコンを使わずにテレビの制御 Google GlassなどARメガネの制御 サイネージディスプレイの制御 料理中のiPadの制御 フライトゲーム 障害者のためのインターフェース etc...
  20. 20. しくみ
  21. 21. Face Tracking • 多くの顔の特徴点をトラッキ ングするライブラリを独自開 発 • スマホでもリアルタイムで動 作するのが特徴(iPhone5で 20fps以上) • 顔画像とあらかじめ正解の特 徴点を与えたデータから、学 習させる
  22. 22. Face Tracking • はじめにiOSのAPIとOpenCVで顔検出、トラッキ ング • ブースティングという手法を使って、だんだんと実 際の顔に特徴点をフィッティングさせていく • 顔画像の任意の2点のピクセルの値の差分を元に計 算しているので高速
  23. 23. 特徴点に合わせて
  24. 24. 画像を合成
  25. 25. 以上

×