Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

#FTMA15 第二回課題 鬼コースサーベイ

5,346 views

Published on

#FTMA15 先端技術とメディア表現#3
5月22日の講義の後半で用いた資料です.
授業でやったサーベイの一枚まとめをシェアします.
鬼コースでは週25本論文を読みます.
まとめてくれた@yopitaさんに感謝.

Published in: Education
  • Be the first to comment

#FTMA15 第二回課題 鬼コースサーベイ

  1. 1. 201211106 河原圭佑 #2 (鬼) SmartSkin : An Infrastructure for Freehand Manipulation on Interactive Surfaces Jun Rekimoto 何をしたか 静電容量センサーを用いて, 複数の人の手や 指を認識するセンサーアーキテクチャやイン タラクションの提案 CHI2002 何が新しいか 今までのマウスは1点のカーソルだったが, そ れを複数にして, 手で操作できるようにした. 静電容量の手のセンシングの方法は, テルミ ンやZimerrmans氏らによって既にあったが, 本研究はそれらを用いたインタラクションの 設計などについて. やりのこしたこと ・平面じゃないところの面のインタラクション ・触覚フィードバック ・透明な静電容量計測素子 ・静電容量を用いたデバイス間の通信 実装方法 https://www.youtube.com/watch?v=waSXkJBKT1s 静電容量のメッシュを用いた. 検出した静電容量をbicubic補完して, 手 の位置をメッシュの細かさ以上に検出
  2. 2. 201211106 河原圭佑 #2 (鬼) CyberCode: Designing Augmented Reality Environmentswith Visual Tags Jun Rekimoto Yuji Ayatsuka 何をしたか DARE 2000 Augmented Realty に適用可能な二次元コード (現在で言うARマーカ)を提案. 他のシステム RFタグ 2次元バーコード 赤外線IDコード メリット 印刷できる カメラの解像度が低い モバイル端末でも使用可能 カメラからの3次元的な位置が計測可能. アプリケーション 物理的なものにリンクを埋め込む 屋内ナビゲーション 映像に 注釈情報を重畳させる Direct manipulation device for physical environments テレビにARマーカを表示する ユビキタス・コンピューティング 紙から三次元的に像を映し出す
  3. 3. 201211106 河原圭佑 #2 (鬼) Pinwheels: Visualizing Information Flow in an Architectural Space Hiroshi Ishii, Sandia Ren, and Phil Frei CHI 2001 何をしたか 風車を使って, 情報世界のbitsの風を現実で 表現している. なぜ風車なのか 風自体の制御や, 情報化は大変だが, 風車が 回るというメタファーを通じて, 情報の流れ を物理的/情報的に可視化できるから. 要件 1. スケーラビリティがある風車のシステム 2. コンテンツの模索 3. 時空間的にコンテンツがいろんな模索ができる アプリケーション a. 人の存在 b. 原子的な, 宇宙的な現象 c. 巨大なシステムの状態表示 道の混み具合, 地下鉄の人の量, エレベータの位置 情報空間からの通知 添付ファイルが大きいメールが来ると強く回って, 小さいメッセージだと一瞬だけ回る. 時間軸がある.→風が通るのを再現
  4. 4. 201211106 河原圭佑 #2 (鬼) PegBlocks: a Learning Aid for the Elementary Classroom Ben Piper and Hiroshi Ishii CHI 2002 何をしたか PegBlockという初等教育の物理を教えるの に良い教育的おもちゃを作った. 主張 物理を教えるのに, 抽象的な概念からスター トする場合が多いが, PegBlockを用いて, 具 体的なモノで遊びながら勉強を初められる. 実装 9つのペグがついており, すべてにピニオンとラッ クとモータが入っている. 一つを押すと, モータで発電されて, 他のPegBlock のペグに電気的に信号が伝わる. 評価 小学校に実際に導入はしていないが, 多くの子供が 遊んだ. 物理法則 バッテリーが入ってると思いこんだ子供が, バッテ リーが入っていないと聞かされて, 驚いたようだっ た. このPegBlocksはエネルギーの変換を子どもたちに 実感させるのに適している. 次 Intouch [CHI97]
  5. 5. 201211106 河原圭佑 #2 (鬼) inTouch: A Medium for Haptic Interpersonal Communication Scott Brave and Andrew Dahley CHI 1997 何をしたか 遠隔にいる人と触覚的なフィードバックを 介して, コミュニケーションできるinTouch というコミュニケーションツールを試作し た. 触覚的なテレポーテーションを目指す. 目標 他の触覚系の研究と違って,この研究では物 理的な形の知覚にこだわっていない. だが, 人の存在感を感じられる. 触れるということは親密なコミュニケーショ ンの場面で多い. デザイン ローラを使うことで, 前後どっちの方向に でも回転することができ, また, アクティブ にもパッシブにも切り替えることができる. 将来 この論文ではメカニカルな柔らかいシャフ トで接続されているが, 電気的な接続をする ものを構築中である.
  6. 6. 201211106 河原圭佑 #2 (鬼) Facial Performance Sensing Head-Mounted Display Hao Li  Laura Trutoiu  Kyle Olszewski  Lingyu Wei Tristan Trutna  Pei-Lun Hsieh  Aaron Nicholls  Chongyang Ma 何をしたか SIGGRAPH2015 https://www.youtube.com/watch?v=rgKkEnaaSDc HMDを装着していても表情を計測できる システムの提案, 構築 実装方法 HMDで隠れる部分  → ひずみゲージ8つから機械学習 隠れていない部分(口など)  → RGB-Dカメラ(Intel Realsense)で認識 処理 教師データ : ディスプレイを外して, 3D計測 特徴量ベクトル : ひずみゲージの値 + 口元の3D計測 線形回帰モデルを用いて 下式のT, Cを計算 x = T( s b )+ c Future work ひずみゲージの数を増やして, より表現力を増やす. EyeTrackerと組み合わせて, より表情らしく.
  7. 7. ! ! #2! 201313095! body-centric digital!wallet 14 in!public social! acceptance ! •  Tsukada,!K.,!and!Yasumura,!M.!AcEvebelt:!Belt-type!wearable!tacEle! display!for!direcEonal!navigaEon.!In!Proc.!of!UbiComp.!Springer,!2004,! 384–399.! •  Rekimoto,!J.!Gesturewrist!and!gesturepad:!Unobtrusive!wearable! interacEon!devices.!In!Proc.!of!ISWC,!IEEE!(2001),!21–27. Belt:&An&Unobtrusive&Touch&Input&Device&for&Head;worn&Displays&(CHI’15) David!Dobbelstein,!Philipp!Hock,!Enrico!Rukzio h]ps://www.youtube.com/watch?v=y8Ub3u2IhsA
  8. 8. ! ! #2! 201313095! Poke Poke 25 Poke 3 noEceability 3 •  Harrison,!C.,!Lim,!B.!Y.,!Shick,!A.,!&!Hudson,!S.!E.!(2009,!April).! Where!to!locate!wearable!displays?!reacEon!Eme!performance! of!visual!alerts!from!Ep!to!toe.!In!Proc.!CHI’09,!ACM,!941-944.! •  Campbell,!C.!S.,!&!Tarasewich,!P.!Designing!visual!noEficaEon! cues!for!mobile!devices.!In!CHI!EA'04,!ACM,!1199-1202.! NoERing:&A&ComparaEve&Study&of&NoEficaEon&Channels&for&Wearable&InteracEve&Rings&(CHI’15) Thijs!Roumen,!Simon!T.!Perrault,!Shengdong!Zhao h]ps://www.youtube.com/watch?v=kOaphlSryf4
  9. 9. ! ! #2! 201313095! 7 2 3 ! ; ! on-body •  Gemperle,!F.,!Kasabach,!C.,!SEvoric,!J.,!Bauer,!M.,!and! MarEn,!R.!Design!for!Wearability.!In!Proc.!ISWC!’98,! 116-122. Where&to&Locate&Wearable&Displays?&ReacEon&Time&Performance&of&Visual&Alerts&from&Tip&to&Toe&(CHI’09) Chris!Harrison,!Brian!Y.!Lim!Aubrey,!Shick!Sco]!E.!Hudson
  10. 10. ! ! #2! 201313095! FingerReader ! 4 93.9% 3 4 5 ! •  Nanayakkara,!S.,!Shilkrot,!R.,!Yeo,!K.!P.,!and!Maes,!P.! EyeRing:!a!finger-worn!input!device!for!seamless! interacEons!with!our!surroundings.!In!Proc.!of!Augmented! Human!(2013),!13-20.! FingerReader:&A&Wearable&Device&to&Explore&Printed&Text&on&the&Go&(CHI’15) Roy!Shilkrot,!Jochen!Huber,!Meng!Ee!Wong,!Pane!Maes,!Suranga!Nanayakkara h]ps://vimeo.com/86912300
  11. 11. ! ! #2! 201313095! Cyclops 1 360° MHI RDF ! 20 20 MHI 79% RDF 92% ! •  Morris,!D.,!Saponas,!T.!S.,!Guillory,!A.,!and!Kelner,!I.! Recofit:!Using!a!wearable!sensor!to!find,!recognize,!and! count!repeEEve!exercises.!In!Proc.&ACM&CHI&’14&(2014),! 3225–3234.!! Cyclops:&Wearable&and&Single;Piece&Full;Body&Gesture&Input&Devices&(CHI’15)& Liwei!Chan,!Chi-Hao!Hsieh,!Yi-Ling!Chen,!Shuo!Yang,!Da-Yuan!Huang,!Rong-Hao!Liang,!Bing-Yu!Chen!! h]ps://www.youtube.com/watch?v=JYm_3oNUGIk
  12. 12. ! ! #2! 201313095! ! Muehlbauer!et!al.![24] ! SVM 114 94 30 20 95 99 4 98 7 96 13 93 ! •  Muehlbauer,!M.,!Bahle,!G.,!Lukowicz,!P.!What!can!an!arm! holster!worn!smart!phone!do!for!acEvity!recogni-!Eon?! Proc!IEEE!ISWC!2011. RecoFit:&Using&a&Wearable&Sensor&to&Find,&Recognize,&and&Count&RepeEEve&Exercises&(CHI’14) Dan!Morris,!T.!Sco]!Saponas,!Andrew!Guillory,!Ilya!Kelner h]ps://www.youtube.com/watch?v=zpa4rVGlO68
  13. 13. ! ! #2! 201313095! ! 2 3 1 2 15-20% 90-95% Hambone •  B.Amento,W.Hill,andL.Terveen.Thesoundofonehand:!a!wrist- mounted!bio-acousEc!fingerEp!gesture!interface.!In!!CHI!’02:!CHI! ’02!extended!abstracts!on!Human!factors!in!compuEng!systems,! pages!724–725,!New!York,!NY,!USA,!2002.!ACM!Press. Hambone:&A&Bio;AcousEc&Gesture&Interface&(ISWC’07) Travis!Deyle,!Szabolcs!Palinko,!Erika!Shehan!Poole,!and!Thad!Starner h]ps://www.youtube.com/watch?v=Uxj-vyal84M
  14. 14. ! ! #2! 201313095! •  Rabiner,!L.R.!(1989).!A!Tutorial!on!Hidden!Markov!Models! and!Selected!ApplicaEons!in!Speech!Recogni-!Eon.!Proc.! IEEE,!Vol.!77,!257-28 The&Sound&of&One&Hand:&A&Wrist;mounted&Bio;acousEc&FingerEp&Gesture&Interface&(CHI’02) Brian!Amento,!Will!Hill,!Loren!Terveen
  15. 15. ! ! #2! 201313095! Non-linear!SpaEal!Sampling ! SVM 12 94.8% 15cm ! ! •  Nakatsuma,!K.,!Shinoda,!H.,!Makino,!Y.,!Sato,!K.,!and!Maeno,!T.!Touch! interface!on!back!of!the!hand.!In!proc.!of!SIGGRAPH!’11!(2011),!39:1– 39:1.! •  !Butler,!A.,!Izadi,!S.,!and!Hodges,!S.!Sidesight:!mulE-!touch!interacEon! around!small!devices.!In!Proc.!of!UIST!’08!(2008),!201–204. zSense:&Enabling&Shallow&Depth&Gesture&RecogniEon&for&Greater&Input&Expressivity&on&Smart&Wearables&(CHI’15) Anusha!Withana,!Roshan!Peiris,!Nipuna!Samarasekara,!Suranga!Nanayakkara h]ps://www.youtube.com/watch?v=fQobwL8eSU4
  16. 16. ! ! #2! 201313095! •  HARRISON,!C.,!TAN,!D.,!AND!MORRIS,!D.!2010.!Skinput:!ap-! propriaEng!the!body!as!an!input!surface.!In!Proceedings!of!the! 28th!internaEonal!conference!on!Human!factors!in!compuEng! systems,!ACM,!New!York,!NY,!USA,!CHI!’10,!453–462. Touch&interface&on&back&of&the&hand&(SIGGRAPH'11) !Kei!Nakatsuma,!Hiroyuki!Shinoda,!Yasutoshi!Makino,!Katsunari!Sato,!Takashi!Maeno! h]ps://www.youtube.com/watch?v=tKNLxh9Yw2M
  17. 17. ! ! #2! 201313095! Pose-IO EMS ! Pose-IO EMS ! EMS 5.8° 4.6 :!5 be]er •  Roudaut,!A.,!Rau,!A.,!Sterz,!C.,!Plauth,!M.,!Lopes,!P.,!and! Baudisch,!P.!Gesture!output:!eyes-free!output!using!a!force! feedback!touch!surface.!Proc.!CHI'13,!25472556.!! PropriocepEve&InteracEon&(CHI’15)& Pedro!Lopes,!Alexandra!Ion,!Willi!Mueller,!Daniel!Hoffmann,!Patrik!Jonell,!Patrick!Baudisch!! h]ps://www.youtube.com/watch?v=KMxIw7zhlw
  18. 18. ! ! #2! 201313095! EMS AR EMS EMS ! GPS •  Tamaki,!E.,!Miyaki,!T.,!and!Rekimoto,!J.!PossessedHand:!A! hand!gesture!manipulaEon!system!using!electrical!sEmuli.! In!Proc.&AH’10&(2010),!2:1–2:5.!! Cruise&Control&for&Pedestrians:&Controlling&Walking&DirecEon&using&Electrical&Muscle&SEmulaEon&(CHI’15)& Max!Pfeiffer,!Tim!Du!̈nte,!Stefan!Schneegass,!Florian!Alt,!Michael!Rohs! h]ps://www.youtube.com/watch?v=JSfnm_HoUv4
  19. 19. ! ! #2! 201313095! EMS EMS EMS 16 automaEc!calibraEon!system auto-calibraEon!systems 16 ! 88.75g ! •  Kruijff,!E.,!SchmalsEeg,!D.,!and!Beckhaus,!S.!Using! neuromuscular!electrical!sEmulaEon!for!pseudo-hapEc! feedback.!In!Proceedings!of!the!ACM!symposium!on!Virtual! reality!soyware!and!technology,!VRST!’06,!ACM!(New!York,!NY,! USA,!2006),!316–319. PossessedHand:&Techniques&for&Controlling&Human&Hands&using&Electrical&Muscles&SEmuli&(CHI’11)& Emi!Tamaki,!Takashi!Miyaki,!Jun!Rekimoto!! h]ps://vimeo.com/27044937
  20. 20. ! ! #2! 201313095! EMS EMS RFID EMS 12 76% ! ! •  Kruijff,!E.,!SchmalsEeg,!D.,!and!Beckhaus,!D.!Using! neuromuscular!electrical!sEmulaEon!for!pseudo-hapEc feedback.!Proc.!VRST!'06,!316—319. Affordance++:&allowing&objects&to&communicate&dynamic&use&(CHI’15) Pedro!Lopes,!Patrik!Jonell,!Patrick!Baudisch h]ps://www.youtube.com/watch?v=d0J7V37zQjY
  21. 21. ! ! #2! 201313095! EMS ! EMS EMS ! ! ReacEon!loss EMS Using&Neuromuscular&Electrical&SEmulaEon&for&Pseudo;HapEc&Feedback&(VRST’06) Ernst!Kruijff,!Dieter!SchmalsEeg,!Steffi!Beckhaus
  22. 22. ! ! #2! 201313095! SVM 10 6 Per-User 86.3% 71.2% •  Sato,!M.,!Poupyrev,!I.,!and!Harrison,!C.!Touche!́:!enhancing! touch!interacEon!on!humans,!screens,!liquids,!and!everyday! objects.!In!CHI!’12,!483–492.! •  Tim!Collins.!AcEve!acousEc!touch!interface.!Electronics!Le]ers,! Vol.!45,!No.!20,!pp.!1055!–1056,!24!2009. Touch&&&AcEvate:&Adding&InteracEvity&to&ExisEng&Objects&using&AcEve&AcousEc&Sensing&(UIST’13) Makoto!Ono,!Buntarou!Shizuki,!Jiro!Tanaka h]ps://www.youtube.com/watch?v=XgxXi6w8IQc
  23. 23. ! ! #2! 201313095! SVM on-body per- user 5 96.7% 4 98.7% •  Harrison,!C.,!Benko,!H.,!Wilson,!A.,!OmniTouch:!wearable mulEtouch!interacEon!everywhere.!in!UIST'11,!441-450.! •  Matsushita,!N.!and!Rekimoto,!J.,!HoloWall:!designing!a!finger,! hand,!body!and!object!sensiEve!wall.!UIST'97,!209-210. Touché:&Enhancing&Touch&InteracEon&on&Humans,&Screens,&Liquids,&and&Everyday&Objects&(CHI’12) Munehiko!Sato,!Ivan!Poupyrev,!Chris!Harrison h]ps://www.youtube.com/watch?v=E4tYpXVTjxA
  24. 24. ! ! #2! 201313095! SVM 9 9 TapSense 4 95% 99% TapSense Delete •  Harrison,!C.,!Tan,!D.,!and!Morris,!D.!Skinput:!appropriat-! ing!the!body!as!an!input!surface.!In!Proc.!CHI!'10.!453-!462. TapSense:&Enhancing&Finger&InteracEon&on&Touch&Surfaces&(UIST’11) Chris!Harrison,!Julia!Schwarz,!Sco]!E.!Hudson h]ps://www.youtube.com/watch?v=-oN96cucBr4
  25. 25. ! ! #2! 201313095! ! 2 2 SVM 13 Fingers,!Whole!Arm,! Forearm 87.6% Fingers 87.7% Whole!Arm 95.5% 88.3% Forearm 81.5% 83.3% GUI •  Saponas,!T.S.,!Tan,!D.S.,!Morris,!D.,!and!Balakrishnan,!R.! DemonstraEng!the!feasibility!of!using!forearm! electromyography!for!muscle-computer!interfaces.!In!Proc.! CHI!’09,!515-24.! Skinput:&AppropriaEng&the&Body&as&an&Input&Surface&(CHI’10) Chris!Harrison,!Desney!Tan,!Dan!Morris h]ps://www.youtube.com/watch?v=g3XPUdW9Ryg
  26. 26. ! ! #2! 201313095! Fiberio ! 10 3 30 150 148 2 Fiberio •  Matsushita,!N.!and!Rekimoto,!J.!HoloWall:!Designing!a! Finger,!Hand,!Body,!Object!SensiEve!Wall.!Proc.!UIST!'97,! 209–210.! Fiberio:&A&Touchscreen&that&Senses&Fingerprints&(UIST’13) ChrisEan!Holz,!Patrick!Baudisch h]ps://www.youtube.com/watch?v=p1a5yLzuTqA
  27. 27. ! ! #2! 201313095! 3D 3D ! •  Geiger,!M.,!Vollertsen,!F.!The!Mechanisms!of!Laser!Forming.! CIRP!ANNALS!‘93,!42,!1,!301-304.! •  Willis,!K.D.D.,!Xu,!C.,!Wu,!J.K.,!Levin,!G.,!Gross,!M.D.!InteracEve! fabricaEon:!new!interfaces!for!digital!fabricaEon.!Proc.!TEI!'11,! pp.!69-72.! LaserOrigami:&Laser;Cugng&3D&Objects&(CHI’13) Stefanie!Mueller,!BasEan!Kruck,!Patrick!Baudisch h]ps://www.youtube.com/watch?v=arjRtCjI9AQ
  28. 28. ! ! #2! 201313095! bend •  Hyunyoung!Song!,!François!GuimbreEère!,!Chang!Hu!,!Hod! Lipson,!ModelCray:!capturing!freehand!annotaEons!and!edits! on!physical!3D!models,!Proceedings!of!the!19th!annual!ACM! symposium!on!User!interface!soyware!and!technology,!October! 15-18,!2006,!Montreux,!Switzerland InteracEve&ConstrucEon:&InteracEve&FabricaEon&of&FuncEonal&Mechanical&Devices&(UIST’12) Stefanie!Mueller,!Pedro!Lopes,!Patrick!Baudisch h]p://dl.acm.org/citaEon.cfm?id=2380116.2380191
  29. 29. ! ! #2! 201313095! 3D ! 3D •  Savage,!V.,!Schmidt,!R.,!Grossman,!T.,!Fitzmaurice,!G.,!and! Hartmann,!B.!A!series!of!tubes:!Adding!interacEvity!to!3d! prints!using!internal!pipes.!In!Proc.!UIST'14!(2014).! 3D&PrinEng&PneumaEc&Device&Controls&with&Variable&AcEvaEon&Force&CapabiliEes&(CHI’15)& Marynel!Va!́zquez,!Eric!Brockmeyer,!Ruta!Desai,!Chris!Harrison,!Sco]!E.!Hudson h]ps://www.youtube.com/watch?v=-4gFYvhkz0Y
  30. 30. ! ! #2! 201313095! OpenFab 3D fablets 3 3 •  CHEN,!D.,!MATUSIK,!W.,!SITTHI-AMORN,!P.,!DIDYK,!P.,!AND! LEVIN,!D.!2013.!Spec2Fab:!A!reducer-tuner!model!for! translat-!ing!specificaEons!to!3D!prints.!ACM!Trans.!Graph.! 32,!4!(July). OpenFab:&A&Programmable&Pipeline&for&MulE;Material&FabricaEon&(SIGGRAPH’13) Kiril!Vidimcˇe,!Szu-Po!Wang,!Jonathan!Ragan-Kelley,!Wojciech!Matusik
  31. 31. ! ! #2! 201313095! 3D 3D 3D 3D 14 30 67 ! 2.44 14 ! ! 3D •  Mueller,!S.,!Kruck,!B.,!Baudisch,!P.!LaserOrigami:!Laser- Cunng!3D!Objects.!Proc.!CHI’13,!2585-2592. faBrickaEon:&Fast&3D&PrinEng&of&FuncEonal&Objects&by&IntegraEng&ConstrucEon&Kit&Building&Blocks&(CHI’14)& Stefanie!Mueller,!Tobias!Mohr,!KersEn!Guenther,!Johannes!Frohnhofen,!Patrick!Baudisch h]ps://www.youtube.com/watch?v=BlO6YRcLJjE
  32. 32. Touching  the  Void:  Direct-­‐Touch  Interac4on  for  Intangible  Displays(CHI’10) Li-Wei Chan Hui-Shan Kao Mike Y. Chen Ming-Sui Jane Yi-Ping Hung 201413109 久保勇貴 #2(鬼コース) どんなもの? 空中像へのタッチのエラーに関する調 査及び影や音のフィードバックを付与 することによるパーフォーマンス向上 を示した研究 先行研究と比べてどこがすごい? 平面画像をタッチする際の奥行きに関 するエラーの正確な取得を初めて検 証。 技術や手法のキモはどこ? 2つの赤外線カメラを用いた正確な タッチの検出 どうやって有効だと検証した? タッチ時の奥行きの正確さに関する被 験者実験を実施。また、タッチする際 に影や音を付けた際の反応時間を被 験者実験で検証。 議論はある? ユーザは慣れるまで、影や音のフィー ドバックが必要だが、そのあとは必要 なくなる 次に読むべき論文は? MirageTable  (CHI'12)
  33. 33. MirageTable:  Freehand  Interac4on  on  a  Projected    Augmented  Reality  Tabletop(CHI’12) Hrvoje Benko Ricardo Jota Andrew D. Wilson 201413109 久保勇貴 #2(鬼コース) どんなもの? テーブル上においてバーチャルな物 体をリアルタイムで現実でものを動か すことと同様な動作に操作可能なシス テム   先行研究と比べてどこがすごい? 現実の物体をリアルタイムで画面に 取りこむことができ、質の高いフリー ハンドインタラクションを実現した点 技術や手法のキモはどこ? 色、深度、前景、頭追跡、プロキシ パーティクルを駆使したリアルタイム メッシュの作成 どうやって有効だと検証した? 凹凸など例外な表面に対しての投影 した際の画像の質についての評価実 験。また、仮想物体の奥行き知覚に 関する実験も行った 議論はある? 前面のみしかキャプチャしていないた め、差が生じる。握っている場所の再 現は未解決な課題である。 次に読むべき論文は? Hirsch  et  al.  2014  (SIGGRAPH’14)
  34. 34. A  Compressive  Light  Field  Projec4on  System  (SIGGRAPH’14) MaChew  Hirsch  Gordon  Wetzstein  Ramesh  Raskar 201413109 久保勇貴 #2(鬼コース) どんなもの? 通常の3Dディスプレイに比べて、解像 度、輝度、コントラストを改善した圧縮 ライトフィードディスプレイ 先行研究と比べてどこがすごい? 多視点立体視を複数でなく1台のプロ ジェクタを用いて実現した 技術や手法のキモはどこ? 受動的スクリーンと高速切り替えプロ ジェクタによる新しい光学設計 どうやって有効だと検証した? 4つのシーン例を投影したものを示し た。アニメーションの3D効果について 観察を行った。 議論はある? 光路長を広げると、観察できる画質が 大幅に制限され、他のライトフィード ビューと混線が生じる。 次に読むべき論文は? Butler  et  al.  2011
  35. 35. Vermeer:  Direct  Interac4on  with  a  360°  Viewable  3D  Display(UIST’11) Alex Butler, Otmar Hilliges, Shahram Izadi, Steve Hodges, David Molyneaux, David Kim 201413109 久保勇貴 #2(鬼コース) どんなもの? 映し出された3Dオブジェクトとインタラ クションを行えるシステム 先行研究と比べてどこがすごい? ディスプレイ内の画像とのインタラク ションを提案。ボリュームディスプレイ を支援する新しいセンシング法の提案 技術や手法のキモはどこ? パラボラ鏡に取り付けた赤外線カメ ラ・センサによる指先検出 どうやって有効だと検証した? アプリケーション例を示した。 議論はある? パラボラ鏡の大きさよりもディスプレイ サイズが小さくなってしまう 次に読むべき論文は? Hirsch  et  al.  2012
  36. 36. 8D:  Interac4ng  with  a  Relightable  Glasses-­‐Free  3D  Display(CHI’12) Li-Wei Chan Hui-Shan Kao Mike Y. Chen Ming-Sui Jane Yi-Ping Hung 201413109 久保勇貴 #2(鬼コース) どんなもの? ライトフィードによる入力とライトフィー ルドによる表示を行うリアルタイム8D ディスプレイ 先行研究と比べてどこがすごい? リアルタイムでの8Dディスプレイの実 現(先行研究は7fps) 技術や手法のキモはどこ? GPUにおけるレンダリング処理 どうやって有効だと検証した? MRIデータを用いたディスプレイのデ モを示した。 議論はある? 現在はグレースケールの入力のみだ が、カラーでの入力できればより強力 になるだろう 次に読むべき論文は? Sahoo  et  al.  2015
  37. 37. Control  of  Non-­‐Solid  Diffusers  by  Electrosta4c  Charging  (CHI’15) Deepak Ranjan Sahoo, Diego Martinez Plasencia, Sriram Subramanian 201413109 久保勇貴 #2(鬼コース) どんなもの? シャボン玉や霧などの非固体を電場 による制御を試みた研究 先行研究と比べてどこがすごい? 非固体の形や位置の制御法を提案し た点 技術や手法のキモはどこ? [Intra  et  al.  11]中の“wire-­‐to-­‐ Cylinde”を用いたエアゾール粒子の帯 電   どうやって有効だと検証した? 霧及びシャボン玉によるディスプレイ のアプリケーション例で実際に制御し て見せた。 議論はある? 風による影響を本手法は打ち消すこ とができた 次に読むべき論文は? Barnum  et  al.  2010
  38. 38. A  Mul4-­‐Layered  Display  with  Water  Drops(SIGGRAPH’10) Peter C. Barnum Srinivasa G. Narasimhan, Takeo Kanade 201413109 久保勇貴 #2(鬼コース) どんなもの? 複数層の落下水滴にプロジェクション マッピングを行いディスプレイとした研 究 先行研究と比べてどこがすごい? 水滴の制御を行うことで単一のプロ ジェクタによって複数層の映像投影を 可能とした点。 技術や手法のキモはどこ? [Ambravaneswaran  et  al.  2002]及び本 研究における実験結果に基づく水滴 生成 どうやって有効だと検証した? 複数のディスプレイ例を示した。   例)顔の投影、水槽シミュレータなど 議論はある? 本当の3Dディスプレイにするにはより 多くの水滴制御が必要。 次に読むべき論文は? Lee  et  al.  2007
  39. 39. An  Immaterial  Depth-­‐Fused  3D  Display(VRST’07) Cha Lee, Stephen DiVerdi, Tobias H¨ollerer 201413109 久保勇貴 #2(鬼コース) どんなもの? 2つのスクリーンを駆使し3Dディスプ レイを実現するdepth-­‐fused  3D(DFD)に 関する評価を行い、その結果よりディ スプレイを提案した研究。 先行研究と比べてどこがすごい? DFDが任意のスクリーン設定及び見る 位置に対して有効であることを示した。 技術や手法のキモはどこ? 6通りのスクリーン組合せから2つを 抽出し、見え方の違いを検証した点。 どうやって有効だと検証した? 6通りのスクリーンについて立体的に 見えるか被験者実験を実施。その後、 それぞれに有意差がみられるか調べ た。   議論はある? ステレオイメージを認めることができな かったユーザに対しても強い3D効果 が見られた。 次に読むべき論文は? Tokuda  et  al.  2010
  40. 40. Cloud  Display  (ACE’10) Yutaka Tokuda, Yasuhiro Suzuki, Kunihiro Nishimura, Tomohiro Tanikawa, Michitaka Hirose 201413109 久保勇貴 #2(鬼コース) どんなもの? 煙の渦輪を用いた空間を埋めるディ スプレイ 先行研究と比べてどこがすごい? 制御可能な手法により高所へのパー ティクルを運搬することに着目した点。 技術や手法のキモはどこ? コンピュータによって制御が行われる 空気砲アレイ どうやって有効だと検証した? 箱の中で実験を行い、安定して渦輪を できるようにした。実際に、デモを行っ たことを示した。 議論はある? 今の試作機をより早く、リフレッシュ速 度を高めることにより、より濃く空間を 埋められることを目指す。 次に読むべき論文は? Sato  et  al.  2009
  41. 41. Par]cle  Display  System (JVRC'09)   -­‐  A  Large  Scale  Display  for  Public  Space  -­‐ Munehiko  Sato,  Yasuhiro  Suzuki  ,  Atsushi  Hiyama,  Tomohiro  Tanikawa,  Michitaka  Hirose 201413109 久保勇貴 #2(鬼コース) どんなもの? パーティクルディスプレイによる公共 スペースのための大画面ディスプレイ の提案 先行研究と比べてどこがすごい? 公共スペースにおける要求と制限に 基づいたシステムを提案した点 技術や手法のキモはどこ? 実験に基づく表示画像のスクロール 時間の制御 どうやって有効だと検証した? Aという文字の知覚実験によって最適 な点滅周期の調査を行った。 議論はある? 現在の試作機を組合せより高解像度 にする必要がある。 次に読むべき論文は? Kwon  et  al.  2015
  42. 42. FugaciousFilm:  Exploring  Aen4ve  Interac4on  with  Ephemeral  Material  (CHI’15) Hyosun  Kwon,  Shashank  Jaiswal,  Steve  Benford,  Sue  Ann  Seah,    Peter  BenneC,  Boriana  Koleva,  Holger  Schnädelbach 201413109 久保勇貴 #2(鬼コース) どんなもの? 膜を押す、引く、飛び出ることができる 新しい石鹸膜インタフェースの提案 先行研究と比べてどこがすごい? 徐々に消えるインタフェースは高い注 意を有するインタラクションを提供する という点を示したこと。 技術や手法のキモはどこ? 水:グリセリンを20:1の対比で混ぜる ことで、“pop”がきれいになるようにし、 かつ膜の耐久性を向上させた どうやって有効だと検証した? 3目並べを用いた被験者実験を実施。   ユーザは膜を割ると負け。膜を自分の マスにするには、タッチ、押す、引くの 書かれた通りの操作を行う。 議論はある? ユーザに精密な動作を要求すること は、とりわけ注意を払うことを誘発す る。 次に読むべき論文は? Wetzstein  et  al.  2012  
  43. 43. Tensor  Displays:  Compressive  Light  Field  Synthesis   using  Mul4layer  Displays  with  Direc4onal  Backligh4ng(SIGGRAPH’12) Gordon  Wetzstein  Douglas  Lanman  MaChew  Hirsch  Ramesh  Raskar 201413109 久保勇貴 #2(鬼コース) どんなもの? 視点によって異なる立体映像を見るこ とができる複数の層からなるディスプ レイ 先行研究と比べてどこがすごい? 既存の手法を合成したcomputa(onal   displaysというディスプレイの新しいフ レームワークを提案した 技術や手法のキモはどこ? 時分割で視差マスクを表示することで、 ユーザの視線ごとに立体像を表現す る。 どうやって有効だと検証した? 通常のディスプレイ、3層LCD、LCD及 び指向性バックライトの例による比較。     議論はある? 波紋を含むこと、色チャンネルが悪影 響を与える、相互反射、不均一などの 問題が見られた。 次に読むべき論文は? Matoba  et  al.  12
  44. 44. SplashDisplay(VRIC’12) Yasuo Matoba Taro Tokui Ryo Sato Tochiki Sato Hideki Koike 201413109 久保勇貴 #2(鬼コース) どんなもの? パーティクルにCGを投射し、パーティ クルがテーブル上に投げられると爆発 しパーティクルが噴きあがる 先行研究と比べてどこがすごい? ビーズがミリメートルからメートル単位 までZ軸方向について空中で奥行きを 表現する 技術や手法のキモはどこ? スピーカによって風力が発生させ、 ビーズを舞い上げる点。 どうやって有効だと検証した? ビーズを投げると花火が打ちあがって いるかのようなアプリケーション例を 示した。 議論はある? 高いレベルの表現及び幅広い入力範 囲を提供できた。 次に読むべき論文は? Kim  et  al.  14
  45. 45. MARIO:  Mid-­‐air  Augmented  Reality  Interac4on  with  Objects  (EC’14) Hanyuool  Kim  ,  Issei  Takahashi,  Hiroki  Yamamoto,  Satoshi  Maekawa,  Takeshi  Naemura 201413109 久保勇貴 #2(鬼コース) どんなもの? 350×300×250のテーブル上のスペー スにおいて自由に動かせる空中像を 造りだすことができる 先行研究と比べてどこがすごい? 凹面鏡や凹レンズのように曲面でな いため、画像の歪曲が発生しない。 技術や手法のキモはどこ? Aerial  Imaging  Plate(AIP)を用いた空中 像の生成及び、そのためのディスプレ イ移動装置。 どうやって有効だと検証した? 左右からの視差の考慮及び、奥行き 表現時の画像提示。視野角の検証な どを行った。   議論はある? 投影しているひよこを叩いたり、払い のけたりするような動作がデモ中見ら れた。 次に読むべき論文は?
  46. 46. Tactile Feedback on Flat Surfaces for the Visually Impaired Ali Israr , Olivier Bau , Seung-Chan Kim , Ivan Poupyrev どのようなものか? 視覚障害者のための触覚を用いた視覚代用デバイス 先行研究と比べてどこがすごいか? 道案内をしてくれる機械などはあるが、日用品の場所 を教えたり探すのを手伝ってくれるデバイスはない。 技術や手法のキモ タッチパネルとカメラを搭載したデバイス。 触覚を与える技術はTeslaTouchを利用。 色を基準にオブジェクトの位置を認識。 有用性の確認 視覚障害者二人に対して実験。このデバイスを使 わなくても各自の方法で物を見つけられるが、間 違えることが多い。このデバイスを使用すること で、間違えることなく正確に物の位置を特定でき た。 課題 一つの色でしか判断できない。 触感のあるなしでしか情報を伝えられない 関連論文 TeslaTouch [Bau, et al. 2010] 2015/05/22 橋爪智 #2鬼
  47. 47. Fingernail-Mounted Display of Attraction Force and Texture Masataka Niwa, Tomoko Nozaki, Taro Maeda, and Hideyuki And どのようなものか? 指先に取り付けて、触感と力を両方表現できるデバイ ス 先行研究と比べてどこがすごいか? 触感と引力をそれぞれ表現するデバイスはあるが、両 方を一つのデバイスで表現した例は少ない。 引力は自由な方向に付加することができる。 技術や手法のキモ 偏心に重さを付けた円盤を4枚使用する。 5-9Hz : 引力。 100-200Hz : 触感 それぞれの円盤の位相や、回転数を調整することで、 触感と力 を表現する。 4つのモータを使い、それぞれの円盤を独立して制御す る 有用性の確認 4人の男性に対して実験。80%以上の精度で認識 できた。 関連論文 The nail-mounted attraction force/bump display. [Nozaki, et al. 2008] 2015/05/22 橋爪智 #2 鬼
  48. 48. Gilded gait: reshaping the urban experience with augmented footsteps Yuichiro Takeuchi どのようなものか? 靴に装着し、地面の触感をコントロールするデバイス 先行研究と比べてどこがすごいか? 単独で動作しなかったり、特定の環境のみでしか動作 しなかったりする→靴単体で動作。環境に依存しない 技術や手法のキモ 6個の振動パネルを取り付け、ゲルでカバー。 app modulesを取り替えることができ、様々な機能を 付加できる(GPS,sound) 4種類の地面を再現。 •  Hard Ground : 振動させない •  Soft Ground : すべてのパネルを振動 •  Bumpy Ground : ジグザグに振動 •  Godzilla : 全てのパネルを振動、何回か繰り返す 課題 モーターを使っているため、波形をプログラミングで きない。→圧電素子を使用する。 関連論文 Haptic Shoes [Fu, et al. 2010] 2015/05/22 橋爪智 #2鬼
  49. 49. ExoInterfaces novel exosceleton haptic interfaces for virtual reality, augmented sport and rehabilitation Dzmitry Tsetserukou , Katsunari Sato , Susumu Tachi どのようなものか? 腕に装着し、物理的なinteractionを可能にするデバイス 先行研究と比べてどこがすごいか? Exoskeleton : 力を増幅するためだが、重たく危険なこ ともある String-based : wireが視界をまたぐ。動きに制限がある →腕の動きに制限を与えない。安全。 技術や手法のキモ 「FlexTorque」人間の筋肉の構造を再現する。ベルト とモーターを使用する。肩の近くに装着することで、 腕に負担がかかりにくい。 触覚feedback:弱いトルク 運動を支援:強いトルク 課題 物理的な接触を表現する。ゲームやスポーツにより没 頭させる。リハビリのサポートをする。視覚障害者の 支援(ものの場所を教える) 関連論文 FlexTorque [Dzmitry, et al. 2010] 2015/05/22 橋爪智 #2 鬼
  50. 50. Perception of Ultrasonic Haptic Feedback on the Hand: Localisation and Apparent Motion Graham Wilson , Tom Carter , Sriram Subramanian , Stephen Brewster どのようなものか? 超音波を用いた触覚フィードバック。有効性の検討を 行う。 先行研究と比べてどこがすごいか? 超音波触覚フィードバックは比較的新しく、研究や操 作方法に関する知識が少ない。 腕を自由に動かすことができ、小さいものは着用可能 技術や手法のキモ 8*8のアレイ状に超音波発生器を設置。 有効性の確認 •  局所的な触感    25箇所に分割し、それぞれに超音波を当てる    触感を感じた:98.9%    場所の誤差:8.5mm •  手のひらを動く触感 上下左右に動く    動いてると感じた:62.9%。 2015/05/22 橋爪智 #2 鬼
  51. 51. Friction Measurements on a Large Area TPaD Nicholas D. Marchuk , J. Edward Colgate , Michael A. Peshkin どのようなものか? 超音波の振動により触感を与える。 先行研究と比べてどこがすごいか? ガラス板を使うので透明。後ろにディスプレイを配置 可能。 技術や手法のキモ 「Squeeze Film Effect(スクイズ膜効果)」 ガラス板に取り付けた圧電素子の円盤に、高周波信号 をかける。 実験 振動しない部分=摩擦が発生しない部分が発生。周波 数により場所が変わる。 →摩擦を大きさをかける力の大きさから計測。 →指の場所に合わせて複数の周波数を使い分ける。 関連論文 T-PaD[Winfield, et al. 2007] 2015/05/22 橋爪智 #2 鬼
  52. 52. STIMTAC, a Tactile Input Device with Programmable Friction Michel Amberg , Frédéric Giraud , Betty Semail , Paolo Olivo , Géry Casiez , Nicolas Roussel どのようなものか? 触感を与えられるタッチデバイス 先行研究と比べてどこがすごいか? LATPaD : サイズ大きい。ノイズが大きい TeslaTouch : 高い電圧付加が必要。GNDに接続しなけ ればいけない 技術や手法のキモ 「Squeeze Film Effect」超音波を用いて、振動を与え る。 圧電性セラミックを電極にコーディング。 指トラッキングは力センサを用いる 活用法 マウス。キーボード。絵を描く 関連論文 LATPaD[Vincent, et al. 2011] TeslaTouch[Bau, et al. 2010] 2015/05/22 橋爪智 #2 鬼
  53. 53. Surround Haptics: Tactile Feedback for Immersive Gaming Experiences Ali Israr , Seung-Chan Kim , Ivan Poupyrev , Jan Stec どのようなものか? ゲームに合わせて、高解像度の触覚フィードバックを ユーザーに与える椅子 先行研究と比べてどこがすごいか? 荒く配置した安価な振動アクチュエータで高解像度の 触覚フィードバックを行える。 一点の振動、連続した動き、範囲の振動などを再現 技術や手法のキモ 仮想的な振動アクチュエータをいくつかの振動アク チュエータを使って作り出す。 physical-physical,physical-virtual,virtual-virtual ゲームにHaptics Engineを導入し、Haptics APIを用い てHaptic Displayを操作する。 関連論文 Exploring Surround Haptics Displays[Israr, et al. 2010] 2015/05/22 橋爪智 #2 鬼
  54. 54. Audio-Haptic Feedback in Mobile Phones Angela Chang , Conor O’Sullivan どのようなものか? haptics機能のついてない携帯電話に、オーディオ機能 を利用した触覚フィードバックを追加する。 先行研究と比べてどこがすごいか? 簡単に作れて、non-haptic mobile devicesでも大丈夫。 技術や手法のキモ 「MultiFunction Transducer(MFT)」 スピーカーから、音と信号の両方を出力できる。 •  Haptic Inheritance   音を2つの周波数帯に分ける •  Synthesis and Matching   低周波数帯(20-300Hz)を使い、触感を伝える 有効性の検討 42人の人を対象に実験を行う。83%の人が触感を感じ た 2015/05/22 橋爪智 #2 鬼
  55. 55. Resolution of Sleep Deprivation Problems using ZZZoo Pillows Shunsuke Yanaka , Motoki Ishida どのようなものか? 近年、不眠症の人が多い →誰かと接していると、安心し睡眠に導入しやすくな る →まるで添い寝をしているような、リアルな抱きまく らを使う。 技術や手法のキモ breathing sensation : 風船を使って人の呼吸を再現。肺 の形の風船。弱く長い呼吸をする。 heating :お湯を使って人の体温を再現。45℃ 有効性の確認 84人の人が実験 呼吸が睡眠を誘ったか→61% 体温が睡眠を誘ったか→85% 関連論文 The Impact of Sleep Disorders on Social Life[Komada, et al. 2007] 2015/05/22 橋爪智 #2 鬼
  56. 56. まとめ 超音波 モーター 風 2015/05/22 橋爪智 #2 鬼 コイル 電気刺激 Electrovibration 振動 音 お湯
  57. 57. なかの Temporally Consistent Disparity and Optical Flow via Efficient Spatio-temporal Filtering1 技術や⼿手法のキモはどこか? どんなもの? 先⾏行行研究と⽐比べてどこがすごい? 次に読む論論⽂文は? どうやって有効性を⽰示した? 議論論はあるか? 時間的に⼀一定の視差を算出する⼿手法.静⽌止画ステレ オよりも精度度が良良いことを⽰示す.従来よりも推定精 度度が良良い.オプティカルフローも算出する. ⼀一枚の静⽌止画に対するフィルタリング[1]をステレオ 動画に拡張している. ケンブリッジのステレオ動画のデータセットを利利⽤用 実写動画に対する⽐比較も⾏行行う.ノイズ耐性も検証する. フィルタベースとエネルギーベースの関係性を良良 り理理解することで推定精度度を上げる 実装が簡単でリアルタイム視差推定が可能. ・Fast Cost-Volume Filtering for Visual Correspondence and Beyond. [Rhemann, C., Hosni, A., Bleyer, M., Rother, C., Gelautz, M. / CVPR2011] ・Real-time Spatiotemporal Stereo Matching Using the Dual-Cross-Bilateral Grid [Richardt, C., Orr, D., Davies, I., Criminisi, A., Dodgson, N.A. / ECCV2010] ・Secrets of optical flow estimation and their principles [Sun, D., Roth, S., Black, M.J.: / 2010] ・Motion estimation with non-local total variation regularization [Werlberger, M., Pock, T., Bischof, H / CVPR2010] ・Temporally Consistent Disparity Maps from Uncalibrated Stereo Videos. [Bleyer, M., Gelatuz, M.: / ISPA2011]
  58. 58. なかの SymStereo: Matching using Induced Symmetry (2014)2 技術や⼿手法のキモはどこか? どんなもの? 先⾏行行研究と⽐比べてどこがすごい? 次に読む論論⽂文は? どうやって有効性を⽰示した? 議論論はあるか? 画像の対称性を⽤用いてステレオマッチングを⾏行行う. 左右の画像を反転させて重ね合わせることで対称 性を測る. 絵的な類似の代わりに対称性を使う.今まで対称 性を⽤用いる⼿手法はなく新規性が⼤大きい. 三つのSymmetry-baseの⼿手法で精度度を検証.従来⼿手 法よりも精度度が向上している.Middlebury , Oxford Corridor,fountain-P11のデータセット使⽤用. ステレオの問題である不不連続な箇所、オクルー ジョン部分は未解決である.演算時間はやや増加. 1-Dラインのコストを考える.今までは撮像⾯面に 対して平⾏行行な平⾯面でデプスを考えていたが,垂直 な平⾯面を考える. BT[Birchfield and Tomasi 1998] Census transform[Zabih and Woodfill 1994] Log N[Kovesi 1997] radio-metoric differences[Hirschmuller ,Scharstein 2009]
  59. 59. なかの Camouflaging an Object from Many Viewpoints3 どんなもの 先⾏行行研究と⽐比べてどこがすごい? 技術や⼿手法のキモはどこ? どうやって有効性を⽰示した? 議論論はある? 多くの視点から三次元の物体をカモフラージュする. カモフラージュによってオクルージョン部分の不不連 続がどの程度度⽣生じるか,他の視点ではどれほどにな るかの検証. MRF(Markov Random Fields)ベース 新しい三次元物体のカモフラージュモデルを構築 37種類のデータセットを作る 箱形の物体に対してカモフラージュ処理理を施し, 結果を評価する. オクルージョン,不不連続,テクスチャの歪みが問題 照明や画像の貼りつけに制限あり.
  60. 60. なかの Aliasing Detection and Reduction in Plenoptic Imaging4 どんなもの 先⾏行行研究と⽐比べてどこがすごい? 技術や⼿手法のキモはどこ? どうやって有効性を⽰示した? 議論論はある? 次に読むべき論論⽂文は? カメラアレイ撮影の⾓角度度のエイリアシングを除去す る.エイリアシングの探索索と打ち消しを⾏行行う. 周波数領領域ではなく空間領領域で探索索を⾏行行う 先⾏行行研究がフィルタ,デモザイキング,再パラメー タ調整などの前処理理でエイリアシング除去を⾏行行うの に対し,エイリアシング探索索後にリフォーカスの段 階でエイリアシングを取り除く. 8×8の平⾏行行カメラアレイで検証する.カメラ間の 基線⻑⾧長は70mm 今回は基線⻑⾧長が⻑⾧長いデータセットを使った. 次はLytroなどのマイクロレンズアレイで検証する Globally consistent multi-label assignment on the ray space of 4d light fields [S. Wanner, C. Straehle, B. Goldluecke / CVPR2013] Lineassisted light field triangulation and stereo matching. [Z. Yu, X. Guo, H. Lin, A. Lumsdaine, J. Yu. / ICCV 2013]
  61. 61. なかの Globally Consistent Multi-Label Assignment on the Ray Space of 4D Light Fields5 どんなもの 技術や⼿手法のキモはどこ? 次に読むべき論論⽂文は? 四次元ライトフィールドの光線情報において, マルチラベルの領領域分割を⾏行行う. 深度度情報,光線情報を⽤用いて領領域分割することで, ⼆二次元(空間)情報だけでは分割が難しかった 領領域を分割可能とする. The light field camera: Extended depth of field, aliasing, and superresolution. [T. Bishop, P. Favaro / IEEE Transactions on Pattern Analysis and Machine Intelligence 2012]
  62. 62. なかの Line Assisted Light Field Triangulation and Stereo Matching 6 どんなもの 技術や⼿手法のキモはどこ? 次に読むべき論論⽂文は? 光線情報を利利⽤用してステレオマッチングの精度度を 向上させる⼿手法.三⾓角測量量の誤差を減らす. Light Field Stereo Matchingとかいう⼿手法 グラフ構造を作成 Variational light field analysis for disparity estimation and super-resolution. [S. Wanner and B. Goldl¨uecke/ 2013]
  63. 63. なかの Adaptive stereo similarity fusion using confidence measures / 20157 どんなもの 先⾏行行研究と⽐比べてどこがすごい? 技術や⼿手法のキモはどこ? どうやって有効性を⽰示した? 議論論はある? 次に読むべき論論⽂文は? ステレオマッチングの新しい⽅方式,fusion weights を提案.複数の⼿手法を組み合わせてコスト計算を⾏行行 う⼿手法.付録に既存⼿手法のコスト関数⼀一覧あり. パラメータに依存する⼿手法を⽤用いないことで⾼高速化 を図っている. ⼀一つのアルゴリズムでは異異なる特性を持つ領領域全て に対して適切切なマッチングはできない.複数を組み 合わせることでそれを補う.13種と多い. middleburyとKITTIのデータセットで評価 ⼀一枚あたり0.3sと⾼高速だが,0.01sとより⾼高速なアル ゴリズムが存在する. ・Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure [A. Klaus, M. Sormann, K. Karner / ICPR2006] ・On building an accurate stereo matching system on graphics hardware [X. Mei, X. Sun, M. Zhou, S. Jiao, H. Wang, X. Zhang / ICCV2011] ・Similarity measures for depth estimation [K. Wegner, O. Stankiewicz / 3DTV-CON2009] ・On accurate dense stereo-matching using a local adaptive multi-cost approach [C. Stentoumis, L. Grammatikopoulos, I. Kalisperakis, G. Karras / ISPRS2014] ・A quantitative evaluation of confidence measures for stereo vision [X. Hu, P. Mordohai / PAMI2012]
  64. 64. なかの SIMILARITY MEASURE FOR DEPTH ESTIMATIOM / 20098 どんなもの 技術や⼿手法のキモはどこ? どうやって有効性を⽰示した? 次に読むべき論論⽂文は? 4種類の視差推定アルゴリズムを組み合わせている. 類似度度の選択性の解析. Belief Propagationの枠組みを⽤用いる. 名古屋⼤大学の多視点データベースを利利⽤用 ・HHI Test Material for 3D Video [I. Feldmann, M. Muller, F. Zilly, R. Tanger, A. Smolic,P. Kauff, T. Wiegand / 2008] ・  Multiview Video Test Sequence and Camera Parameters [Yo-Sung Ho, Eun-Kyung Lee, and Cheon Lee / 2008] ・ 1D Parallel Test Sequences for MPEG-FTV [M. Tanimoto, T. Fujii, N. Fukushima / 2008] ・Non-parametric Local Transforms for Computing Visual Correspondence [R. Zabih, J. Woodfill / 1994]
  65. 65. なかの Spatiotemporal Stereo via Spatiotemporal Quadric Element (Stequel) Matching9 どんなもの 技術や⼿手法のキモはどこ? 新しいマッチング⼿手法を提案,動き考慮することな く時間情報を取り込むことができる. 時間⽅方向のエピ線を考える. オプティカルフロー推定は3D境界や低テクスチャ で弱いが提案⼿手法はロバストである.
  66. 66. なかの Depth Video Enhancement Based on Weighted Mode Filtering10 どんなもの 議論論はある? ノイズを含んだ低解像度度のデプスマップの質を⾼高め る⼿手法(超解像度度とデノイズ).時間⽅方向も使⽤用, 簡単なオプティカルフローを計算し利利⽤用する. ⾮非反復復アルゴリズムのためGPUに載せやすく,⾼高速 化が考えられる.
  67. 67. なかの Fast Bilateral-Space Stereo for Synthetic Defocus11 どんなもの 先⾏行行研究と⽐比べてどこがすごい? 技術や⼿手法のキモはどこ? 議論論はある? 次に読むべき論論⽂文は? ⾼高速な⾃自由焦点ぼけ画像の作成. Bilateral-spaceを提案 従来研究よりも10から100倍速く,ぼけ具合の精度度 も良良い. ぼけを作成するというアプリケーションに利利⽤用する 距離離という⾯面では提案⼿手法が有益であるが,実測的 な距離離という⾯面での精度度は悪い.背景と前景が同じ ⾊色で近くにある場合,同⼀一ととらえてしまう. ・Efficient high-resolution stereo matching using local plane sweeps. [S. N. Sinha, D. Scharstein, and R. Szeliski./CVPR2014] ・Bilateral filtering-based optical flow estimation with occlusion detection. [J. Xiao, H. Cheng, H. Sawhney, C. Rao, and M. Isnardi./ECCV2006] ・Efficient nonlocal regularization for optical flow. [P. Kr¨ahenb¨uhl and V. Koltun./ECCV2012] ・Real-time spatiotemporal stereo matching using the dual-cross-bilateral grid [C. Richardt, D. Orr, I. Davies, A. Criminisi, and N. A. Dodgson./ECCV2010] どうやって有効性を⽰示した? 視差推定の精度度はmiddlebury,KITTI
  68. 68. なかの Robust Spatiotemporal Stereo for Dynamic Scenes12 どんなもの 先⾏行行研究と⽐比べてどこがすごい? 技術や⼿手法のキモはどこ? ステレオ動画のフレーム間情報を取り⼊入れることで ノイズ耐性を向上させる.また動きの⼤大きなものも 考える. 時間を含めたウインドウの提案.⾃自動的にそのよう な変化に対応する画像領領域を検出する. 従来の時空間ステレオと⽐比べ,⼤大きな動きによる急 激な視差の時間変化に対して頑健である.
  69. 69. なかの Spacetime Stereo: A Unifying Framework for Depth from Triangulation13 どんなもの 先⾏行行研究と⽐比べてどこがすごい? space time stereoを提案.ステレオカメラの視差推 定でも構造光を⽤用いた視差推定でも利利⽤用可能. 動的なシーンでの利利⽤用も可能. フレームごとマッチングを取っていたが,複数フ レームでのマッチングを可能とした.
  70. 70. なかの Learning to Select and Order Vacation Photographs (Disney research)14 技術や⼿手法のキモはどこか? どんなもの? 先⾏行行研究と⽐比べてどこがすごい? 次に読む論論⽂文は? どうやって有効性を⽰示した? あまりにもたくさん撮影した写真たちから⾃自動的に フォトアルバムを作成する研究. 複雑な視覚での区別を試みたのはこの論論⽂文が初. 5つの異異なるトピックから63の個⼈人的な写真コレク ションのデータセットを利利⽤用し定量量的に評価する. 写真間の差別かを定義する.顔、全体の絵、何が 写っているか/写っていないかを評価する. ・Jointly aligning and segmenting multiple web photo streams for the inference of collective photo storylines [G. Kim and E. P. Xing. / CVPR2013] ・Photo sequencing. [T. Basha, Y. Moses, and S. Avidan.. / CVPR2012]
  71. 71. なかの A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms15 どんなもの どうやって有効性を⽰示した? 次に読むべき論論⽂文は? ステレオマッチングに関する分類を⾏行行う. 新たなデータセットを作成する. というよりも他の⼿手法が有効性を⽰示すことができる ようにデータセットを作成した. 今ではmiddleburyのデータセットと⾔言えばステレオ 業界では超有名 High-resolution stereo datasets with subpixel-accurate ground truth.
  72. 72. なかの Discriminability Limits in Spatio-Temporal Stereo Block Matching1 どんなもの 先⾏行行研究と⽐比べてどこがすごい? 技術や⼿手法のキモはどこ? どうやって有効性を⽰示した? 次に読むべき論論⽂文は? spatio-temporal disparity estimationの根本的な前提 の正当性を解析し,マッチング処理理の際に動きが助 けとなる程度度を決定する. 時空間マッチングのエラーを分析し,誤りの原因を 確率率率で導出する(フレーム数,動きの分散,画像特 徴,ノイズの関数). [3,4,24,33,34]は時空間マッチングの利利点を指摘し ていたが本論論⽂文はマッチング精度度の向上のために動 きを⽤用いる⼿手法の程度度や性質を研究する. 6つのステレオビデオを⽤用いて検証を⾏行行った. ・Spacetime stereo: Shape recovery for dynamic scenes [L. Zhang, B. Curless, and S. Seitz / CVPR2003] ・ Spatiotemporal stereo and scene flow via stequel matching [M. Sizintsev and R. Wildes / PAMI2012] ・ Temporally consistent disparity and optical flow via efficient spatio-temporal filtering [A. Hosni, C. Rhemann, M. Bleyer, and M. Gelautz / PRCAIVT2012] ・  Spacetime stereo: A unifying framework for depth from triangulation [PAMI2005] ・ Dynamic depth recovery from multiple synchronized video streams [H. Tao, H. Sawhney, and R. Kumar / CVPR2001] ・ Spatiotemporal descriptor for wide-baseline stereo reconstruction of non-rigid and ambiguous scenes [ECCV2003]
  73. 73. なかの Depth-Based Patch Scaling for Content-Aware Stereo Image Completion2 どんなもの どうやって有効性を⽰示した? ステレオでデプスを取り,物体の三次元情報を使っ てインペインティングを⾏行行う. bookのデータセット,背景が繰り返しパターンが多 いものを使っている.
  74. 74. なかの Fast Semi-dense Surface Reconstruction from Stereoscopic Video in Laparoscopic Surgery3 どんなもの ⼿手法の流流れ 次に読むべき論論⽂文は? 腹腔内⼿手術の際にステレオビデオから⾼高速に物体の 三次元再構成を⾏行行う研究. Evaluation of stereo matching costs on images with radiometric differences [Hirschmueller, H., Scharstein, D / PAMI2008] スコープカメラから画像取得,GPUで演算する. 視差を算出し,フィルタにかける.距離離に変換. 点群を再びフィルタにかけて三次元再構成.
  75. 75. なかの 3D Reconstruction from Accidental Motion4 どんなもの 技術や⼿手法のキモはどこ? 議論論はある? 数秒のビデオ(単眼)から三次元再構成を⾏行行う. ⼿手ぶれなどの動きから再構成が可能で,特定の動き や機材を必要としない. 短い基線⻑⾧長でも再構成が可能(3mmの基線⻑⾧長) 基線⻑⾧長が短いため,背景の精度度が低くなる. リフォーカス画像作成には⼗十分. 練習では上⼿手く動作したが,検証がまだ必要.
  76. 76. なかの Panoramic Video from Unstructured Camera Arrays5 どんなもの 技術や⼿手法のキモはどこ? 議論論はある? 複数のカメラを⽤用いたパノラマ撮影を⾏行行う. その際に不不⾃自然さがないような動画を作成する. 不不⾃自然さを感じる感覚特性を提⽰示し,それにのっ とって対策を講じている. ⼀一つのカメラの解像度度と品質を向上させるよりも複 数台のカメラを組み合わせることがはるかに簡単で 有益である.専⾨門家でなくてもGoProのカメラセッ トを組み合わせることは容易易. カメラの配置は厳密に決められていない.完璧な時 間同期やローリングシャッターの不不⾜足のような実撮 影での問題もクリアしている. 先⾏行行研究と⽐比べてどこがすごい? どうやって有効性を⽰示した? 左のシステムは14台のカメラを使⽤用. 右のシステムはGoProを5台使⽤用. Disney 2015/5/8
  77. 77. なかの Floating Scale Surface Reconstruction6 どんなもの 技術や⼿手法のキモはどこ? 流流動的にスケールを変えられる三次元再構成⼿手法 サンプル規模に依存するパラメータがない. →どのスケールのサンプルにも対応できる. siggraph2014
  78. 78. なかの A Super Resolution Reconstruction Scheme for Mixed Spatio-Temporal Stereo Video 7 どんなもの 技術や⼿手法のキモはどこ? ビデオ超解像アルゴリズム ⼆二台のカメラを使⽤用. ⼀一台は低解像度度で⾼高速,⼀一台は⾼高解像度度で低速. HHI 3DV ftp siteのBookarrivalとbeergadenを使⽤用 どうやって有効性を⽰示した?
  79. 79. なかの What Is a Good Day for Outdoor Photometric Stereo?8 どんなもの 先⾏行行研究と⽐比べてどこがすごい? 議論論はある? 次に読むべき論論⽂文は? 屋外における照度度差があるステレオの研究. 屋外でステレオを⾏行行う際に有利利or不不利利な⽇日照条件を 明らかにする. 点光源を⽤用いた研究は⾏行行われていたが,屋外での研 究はされていなかった. 晴れより曇りの⽅方が精度度が良良い.雲があるから特徴 量量を取りやすい.雑⾳音を⽩白⾊色ガウスモデルを想定. 季節ごとのデータセットを利利⽤用してみても良良い Time-lapse photometric stereo and applications. [F. Shen, K. Sunkavalli, N. Bonneel, S. Rusinkiewicz, H. Pfister,and X. Tong./ 2014] Outdoor photometric stereo [L.-F. Yu, S.-K. Yeung, Y.-W. Tai, D. Terzopoulos, and T. F.Chan /ICCP2013] どうやって有効性を⽰示した? 屋外の照明に関するHDR環境マップのデータベース を利利⽤用. Disney 2015/4/24
  80. 80. なかの COLORBRUSH: ANIMATED DIFFUSION FOR INTUITIVE COLORIZATION SIMULATING WATER PAINTING9 どんなもの アニメを⽔水彩画で描いたように変換する. ⽔水彩画を描くには経験が必要であるが,それを作成 するアルゴリズムを考案.絵具が⽔水によりどうにじ むかシュミレーションしている. Disney 2014/10/27 ICIP2014 次に読むべき論論⽂文は? ・Gabor-space geodesic active contours,” In Algebraic Frames for the Perception-Action Cycle [C. Sagiv, N.A. Sochen, and Y.Y. Zeevi ./2000] ・Practical temporal consistency for image-based graphics applications [M. Lang, O. Wang, T. Aydin, A. Smolic and M. Gross /SIGGRAPH2012] ・Computer-Generated Watercolor [C.J. Curtis, S.E. Anderson, J.E. Seims, K.W. Fleischer, and D.H. Salesin, /SIGGRAPH1997]
  81. 81. なかの From Sound to Sight: Using Audio Processing to enable Visible Light Communication10 どんなもの 光に情報を載せる技術.プロジェクトページがあって光関係の研究が8個載っている http://www.disneyresearch.com/project/visible-light-communication/ ビデオのURL http://www.disneyresearch.com/wpcontent/ uploads/ Pub_̲InvisibleLightCommunication_̲Siggraph14_̲video. mp4

×