Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

#FTMA15 第一回 仏・人間コース全PDF

4,786 views

Published on

授業でやったサーベイの一枚まとめをシェアします. 第一回の提出された課題を共有します!これをそのまま次の週の課題にして提出するのはなしです(すぐバレます)

Published in: Education
  • Be the first to comment

#FTMA15 第一回 仏・人間コース全PDF

  1. 1. Learning(Bicycle(Stunts Jie$Tan Yu*ng$Gu C.Karen$Liu$ Greg$Turk
  2. 2. Anima3ng(Human(Athle3cs Jessica$K.$Hodgins$$Wayne$L.$Wooten$ David$C.$Brogan$ $James$F.$O’Brien HODGINS,$J.$K.,$WOOTEN,$W.$L.,$ BROGAN,$D.$C.,$AND$O’BRIEN,$J.$F.$1995.$ Anima*ng$human$athle*cs.$In$SIGGRAPH,$71–78. Interac3ve(Simula3on(of( Stylized(Human(Locomo3on Marco$da$Silva Yeuhi$Abe Jovan$Popovi´c DA$SILVA,$M.,$ABE,$Y.,$AND$POPOVIC´,$J.$$ 2008.$Interac*ve$simula*on$of$$ stylized$human$locomo*on.$$ In$ACM$SIGGRAPH$2008$Papers,$ACM,$ $New$York,$NY,$USA,$$ SIGGRAPH$’08,$82:1–$82:10.
  3. 3. Limit(Cycle(Control(And(( Its(Applica3on(To(The(Anima3on( Of(Balancing(And(Walking Joseph$Laszlo†$Michiel$van$de$Panne$ Eugene$Fiume LASZLO,$J.,$VAN$DE$PANNE,$M.,$AND$FIUME,$E.$$ 1996.Limit$cycle$control$and$its$applica*on$to$the$$ anima*on$of$balancing$and$walking.$$ In$Proceedings$of$the$23rd$Annual$Conference$on$$ Computer$Graphics$and$Interac*ve$Techniques,$$ ACM,$New$York,$NY,$USA,$SIGGRAPH$’96,$155–162. ContactBaware(( nonlinear(control(of(( dynamic(characters. Uldarico$Muico Yongjoon$Lee $ Jovan$Popovic´$ $Zoran$Popovic MUICO,$U.,$LEE,$Y.,$POPOVIC´,$J.,$$ AND$POPOVIC´,$Z.$2009.$$ Contactdaware$nonlinear$control$of$$ dynamic$characters.$In$ACM$SIGGRAPH$2009$$ Papers,$ACM,$New$York,$NY,$USA,$$ SIGGRAPH$’09,$81:1–81:9.$
  4. 4. Op3mal(feedback(control(for( character(anima3on(using(an(abstract(model Yu*ng$Ye C.$Karen$Liu$ YE,$Y.,$AND$LIU,$C.$K.$2010.$$ Op*mal$feedback$control$for$character$anima*on$$ using$an$abstract$model.$In$SIGGRAPH$’10:$$ ACM$SIGGRAPH$2010$papers,$ACM,$New$York,$$ NY,$USA,$1–$9.
  5. 5. ! Color!transfer!between!images. REINHARD!! 2001 h=ps://www.youtube.com/watch? v=cYbDJ4NR6WY !
  6. 6. 2D 3D https://www.youtube.com/ watch?v=e2H35SlLmUA
  7. 7. ①Feature Extraction! ②Parameter Estimation Example-Guided Physically Based !Sound Synthesis ③Residual comprehension! ④Residual Transfer
  8. 8. Motion-driven Concatenative Synthesis of !Cloth Sounds “We present a practical data-driven method for automatically synthesizing plausible soundtracks for physics-based cloth animations running at graphics rates. Given a cloth animation, we analyze the deformations and use motion events to drive crumpling and friction sound models estimated from cloth measurements.” (from Abstract)
  9. 9. ! ! ! ! ! ! Tracking!Surfaces!with!Evolving!Topology!! !!!!!!!!!!!!!!!!!!! ! ! ! !!!!!!!!!! ! ! ! 4D 3D ! ! !
  10. 10. ! AutoCAD SketchUp Maya ! Exploring!local!modificaCons!for!constrained!meshes! 3D ! ! 3D ! ! ! ! 3 5 PushPull++! Markus!Lipp!!!!!!!!!!Peter!Wonka!!!!!!!!!!Pascal!Muller hIp://dl.acm.org/citaCon.cfm?doid=2601097.2601197
  11. 11. ! D ! D ! Photoshop Context-Aware!Fill Zheng!et!al.[2012]!Interac?ve!images:! cuboid!proxies!for!smart!image! manipula?on.! Xu!et!al.[2011]!Photo-inspired!model- driven!3d!object!modeling.
  12. 12. !The$$$$Roly)))Poly$$$$Mouse:$$$$Designing$$$$a$$$$Rolling$$$$Input$$$$Device$$$$Unifying$$$$2D$$$$and$$$$3D$$$$In Gary%%%%Perelman,%%%%Marcos%%%%Serrano,%%%%Mathieu%%%%Raynal,%%%%Celia%%%%Picard,%%%%Mustapha%%%%Derras,%%%%Emmanuel%%%%D ! ! ! !!!!! ! 2 3 !!!!! ! ! ! ! ! !!!!! ! 3D 2D 3D 2D! !!!!! ! ! ! ! !!!!! ! !!!!! ! !!!!! ! !!!!! ! ! ! ! !!!!! ! ! !!!!! Z !!!!! ! ! ! ! !!!!! ! !!!!! he####Rockin’Mouse:integral####3D##### manipula8on####on####plane#####
  13. 13. Wearable Telepresence System Based on Multimodal Communication for Effective Teleoperation with a Humanoid どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと検証した? 議論はある? 次に読むべき論文は? 「テレプレゼンスロボット」に指令を与える 新たなコントローラー 同研究では無視されがちな「動かしやすさ、 身につけやすさ」に着目した すべてが人が装着するデバイス内に って おり直感的な操作が可能 力学計算を行い、実際に操作者と ロボの動きを検証し動作の有効性を確認 どうしても妥協するしかなかった 精密性等の性能面をどう補うか? Interactive multi-modal robot programming システム面にも注目したい Yong-Ho SEO, Hum-Young PARK, Taewoo HAN, and Hyun Seung YANG
  14. 14. 動画URL:https://www.youtube.com/watch?v=-oN96cucBr4 論文URL: http://chrisharrison.net/projects/tapsense/tapsense.pdf TapSense: Enhancing Finger Interaction on Touch Surfaces 95%の精度で,指の爪/腹/関節/指先の4つを 画面との衝突音により検出できる. Chris Harrison Julia Schwarz Scott E. Hudson Human-Computer Interaction Institute and Heinz College Center for the Future of Work Carnegie Mellon University, 5000 Forbes Avenue, Pittsburgh PA 15213 どんなもの? タッチペンや特殊な装着物を必要とせず, 指の一部分を利用して入力ができる. 比較的安価である. 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと検証した? 論議はある? 次に進むべき論文は?音響ベースの入力である. 衝突音の音響特徴を分類している. ユーザーが追加してデバイスをつける必要がない. 様々なアプリケーションを使い,技術検証を行っ た.曇りガラスを使ったテーブルでの検証や,スマ ートフォンの小さな画面の中での文字入力や描画 を実際に検証した. ペンと指を組み合わせると99%の精度が出るが、 4種類の指の分類は95%の精度. Scratch Input: Creating Large, Inexpensive, Unpowered and Mobile finger Input Surfaces. In Proc. とか
  15. 15. 論文URL: https://www.sonycsl.co.jp/person/rekimoto/papers/uist97holo.pdf HoloWall: Designing a Finger,Hand,Body, and Object Sensitive Wall 壁越しに赤外線カメラを置いて,指,手,体を検出する Abstract this techNote reports on our initial results of realizing a computer augmented wall called the Holo Wall. Using an infrared camera located behind the wall, this system allow a user to interact with this computerized wall us-ing fingers, hands, their body, or even a, physical object such as a document folder Nobuyuki Matsushita Department of Computer Science,Keio University Jun Rekimoto Sony Computer Science Laboratory Inc. タップした場所を皮膚の伝播により解析し, 入力操作を可能にする腕章 Skinput: Appropriating the Body as an Input Surface ABSTRACT We present Skinput, a technology that appropriates the human body for acoustic transmission, allowing the skin to be used as an input surface. In particular, we resolve the location of finger taps on the arm and hand by analyzing mechanical vibrations that propagate through the body. We collect these signals using a novel array of sensors worn as an armband. This approach provides an always available, naturally portable, and on- body finger input system. We assess the capabilities, accuracy and limitations of our technique through a two-part, twenty-participant user study. To further illustrate the utility of our approach, we conclude with several proof-of-concept applications we developed. Chris Harrison1,2, Desney Tan2, Dan Morris2 1 Human-Computer Interaction Institute 2 Microsoft Research 動画URL: https://www.youtube.com/watch?v=g3XPUdW9Ryg 論文URL: http://www.kevinli.net/courses/mobilehci_w2013/papers/skinput.pdf
  16. 16. 動画URL: https://www.youtube.com/watch?v=2E8vsQB4pug 論文URL: http://www.chrisharrison.net/projects/scratchinput/Harrison_122.pdf Scratch Input: Creating Large, Inexpensive, Unpoweredand Mobile Finger Input Surfaces 任意の場所に描かれた、 6種類の入力パターンを音で分類する ABSTRACT We present Scratch Input, an acoustic-based input technique that relies on the unique sound produced when a fingernail is dragged over the surface of a textured material, such as wood, fabric, or wall paint. We employ a simple sensor that can be easily coupled with existing surfaces, such as walls and tables, turning them into large, unpowered and ad hoc finger input surfaces. Our sensor is sufficiently small that it could be incorporated into a mobile device, allowing any suitable surface on which it rests to be appropriated as a gestural input surface. Several example applications were developed to demonstrate possible interactions. We conclude with a study that shows users can perform six Scratch Input gestures at about 90% accuracy with less than five minutes of training and on wide variety of surfaces. Chris Harrison Scott E. Hudson Human-Computer Interaction Institute 運動動作とタッチの組み合わせによる 入力方法の提案とそのアプローチ 傾けながら親指タップでズームしたり Sensor Synaesthesia: Touch in Motion, and Motion in Touch ABSTRACT We explore techniques for hand-held devices that leverage the multimodal combination of touch and motion. Hybrid touch + motion gestures exhibit interaction properties that combine the strengths of multi-touch with those of motionsensing. This affords touch-enhanced motion gestures, such as one-handed zooming by holding one s thumb on the screen while tilting a device. We also consider the reverse perspective, that of motion-enhanced touch, which uses motion sensors to probe what happens underneath the surface of touch. Touching the screen induces secondary accelerations and angular velocities in the sensors. For example, our prototype uses motion sensors to distinguish gently swiping a finger on the screen from drags with a hard onset to enable more expressive touch interactions. Ken Hinckley1, Hyunyoung Song1,2 1Microsoft Research 2University of Maryland 動画URL: https://www.youtube.com/watch?v=Zuu7ZnyWrJA 論文URL: http://research.microsoft.com/en-us/um/people /kenh/papers/touch-motion-camera-ready-final.pdf
  17. 17. 動画URL: https://vimeo.com/30574433 論文URL: http://www.olwal.com/projects/research/surfacefusion/olwal_surfacefusion_gi_2008.pdf SurfaceFusion: Unobtrusive Tracking of Everyday Objects in Tangible User Interfaces RFIDとカメラを使った,特定の場所の中での位置検出とタグ付け ABSTRACT Interactive surfaces and related tangible user interfaces often involve everyday objects that are identified, tracked, and augmented with digital information. Traditional approaches for recognizing these objects typically rely on complex pattern recognition techniques, or the addition of active electronics or fiducials that alter the visual qualities of those objects, making them less practical for real-world use. Radio Frequency Identification (RFID) technology provides an unobtrusive method of sensing the presence of and identifying tagged nearby objects but has no inherent means of determining the position of tagged objects. Computer vision, on the other hand, is an established approach to track objects with a camera. While shapes and movement on an interactive surface can be determined from classic image processing techniques, object recognition tends to be complex, computationally expensive and sensitive to environmental conditions. We present a set of techniques in which movement and shape information from the computer vision system is fused with RFID events that identify what objects are in the image. By synchronizing these two complementary sensing modalities, we can associate changes in the image with events in the RFID data, in order to recover position, shape and identification of the objects on the surface, while avoiding complex computer vision processes and exotic RFID solutions. Alex Olwal School of Computer Science and Communication, KTH1 Andrew D. Wilson Microsoft Research2
  18. 18. Learning to be a Depth Camera Sean Ryan Fanello, Cem Keskin, Shahram Izadi, Pushmeet Koshli, David Kim, Dabid Sweeney, Antonio Criminisi, Jamie Shotton, Sing Bing Kang, and Tim Paek
  19. 19. どんな研究か ・2DカメラとLEDライトを使って深度センサーをつくる デモビデオ(YouTubeより)
  20. 20. 先行研究と比べてどこがすごいか ・高価なものはいらない! ・自分のカメラを深度センサーにできる!
  21. 21. 技術や手法のキモはどこか ・Kinectのように赤外線センサーではなく、LEDによ る赤い光の反射を読み取る。 ・RandomForest(Breiman)という既存の機械学習ア ルゴリズムを改良してMulti-layer decision Forestを 開発
  22. 22. どうやって有効だと検証したか ・Xbox Oneで取得したデータとの平均誤差を比較 0.01m以下だった
  23. 23. 議論はあるか ・Kinectの方が性能いいじゃん ・光が当たるところしか反応しない ・特定の人の顔など概要が分かっているものにしか使えない ・複雑な表面をしているものには使えない(正しく反射しない) ・カメラで認識できるくらいの反射が必要
  24. 24. 次に読むべきもの Lanman, D. and Taubin, G. Build your own 3D scanner: #d photography for beginners. ACM SIGGRAPH 2009
  25. 25. Graffiti Fur: Turning Your Carpet into a Computer Display Yuta Sugiura, Koki Toda, Takayuki Hoshi,Youichi Kamiyama, Takeo Igarashi and Masahiko Inami
  26. 26. ・どんな研究か カーペットの毛が逆立つと模様ができる性質を利用して、ペ ンデバイス、ローラーデバイス、圧力投影装置で、カーペッ トをディスプレイとして使用する。 デモビデオ https://www.youtube.com/watch? v=L0hrETGddLQ&feature=youtu.be&list=UUlvXcoEnxecj WGwGXvki9Mw
  27. 27. ・先行研究と比べてどこがすごいか 生活空間にあるもので、電力を抑え、グレア効果を 生じさせないで情報を表現できる。  
  28. 28. ・技術や手法のキモはどこか  ロッドを制御する手法…読み込んだ画像を再現できる  毛の流れを感知する技術…どの方向にペンを動かしても     書くことができる  超音波を利用した手法…物理的に触れることなく絵がかける
  29. 29. ・どうやって有効だと検証したか  リビング空間に似た環境で、親子を招待し、デバイ スを与えたときの行動を観察した
  30. 30. ・議論はあるか  デバイスが重いこと、ローラー端末では自動で位置 を判別できないので、ユーザーが慎重にデバイスを動 かす必要があること、カーペットにある程度の耐久性 が必要なこと
  31. 31. ・次に読むべきもの Wooden Mirror - 1999 DANIEL ROZIN http://www.smoothware.com/danny/woodenmirror.html 
  32. 32. •  ! AutoCAD SketchUp Maya •  ! Exploring!local!modifica<ons!for!constrained!meshes! 3D ! •  ! 3D •  ! ! •  ! •  ! 3 5 PushPull++! Markus!Lipp!!!!!!!!!!Peter!Wonka!!!!!!!!!!Pascal!Muller hEp://dl.acm.org/cita<on.cfm?doid=2601097.2601197
  33. 33. ! ! ! ! ! Tracking!Surfaces!with!Evolving!Topology!! ! ! ! ! ! 4D 3D ! ! !
  34. 34. Inverse'Foley,Anima1on:,Synchronizing,rigid'body,mo1ons,to,sound, ,,Timothy,R.,Langlois,,,,,,,,,,,,,,,,,Doug,L.,James,, , , , , , , , , , , , , Hofer,,M.,,and,PoGmann,,H.,2004., Energy'minizing,splines,in,manifolds., ,
  35. 35. Generalizing,Locomo1on,Style,to,New,Animals,With,Inverse,Op1mal,Regression, Kevin,Wampler Adobe,Research, Zoran,Popović University,of,Washington, Jovan,Popović Adobe,Research, , , , , , , , , , Geijtenbeek,,T.,,Van,de,Panne,,M.,,and, Van,de,Stappen,,A.,F.,2013, Flexible,muscle'based,locomo1on, ,for,bipedal,creatures.,
  36. 36. Generalizing Locomotion Style to New Animals! !http://grail.cs.washington.edu/projects/ 概要 ! ! ! 動物の形状のみからデータ補完と逆最適化を組み合わせることで動物の動きを再現する。従来のように筋肉のつき方などを考慮 する必要がないため、データ数が多ければ時間はかかるがごくわずかな手順で動きを再現することができる。 使用するアルゴリズムは joint inverse optimization という。 ! ! ! さらに、これを絶滅した動物にも当てはめ、動きの再現を試みる
  37. 37. Generalizing Locomotion Style to New Animals! ! !http://grail.cs.washington.edu/projects/! ! ! ! ! !・手順 !まずは現存する生物の平面上でのモーションデータを収集、蓄積していく。この際、2足歩行だけでなく4足歩行 !もふくめ幅広くデータを収集した。アルゴリズムの流れは1.モーションデータベースの作成 2.モデルの作成 3. !joint inverse optimizationの適用 となる。 骨格の形だけではなく、大きさも考慮した場合 データベースの内容
  38. 38. ・結果&結論 現存する生物から得られたデータをもとに、絶滅した生物のモデルに当てはめたところそれっぽい動きが得られた。 データベースが充実すればより自然に動かすことができるはずである。ただし、データベース上では非常に類似している 骨格を持つ生物でも全く異なる動きをとる生物もいるため、その調整が必要になる。 今回は生物に限った研究であったが、将来的には生物以外にも応用ができるはずである。 ! ! ! ! ! !動画:https://www.youtube.com/watch?v=KF_a1c7zytw#t=122 Generalizing Locomotion Style to New Animals! !http://grail.cs.washington.edu/projects/
  39. 39. 関連 Learning Physics-Based Motion Style with Nonlinear Inverse Optimization ! 生物の動きは再現が難しい。そこで、Nonlinear Inverse Optimizationを用いることにした。 ! 短いモーションからでも物理パラメータを得ることができる。 Energy-Information Trade-Offs between Movement and Sensing 感覚情報を得るための仕組みやコストを電気魚をつかって調べることで、どれほど能率的に感 ! 覚を得ているかの定量化に成功した。 Discovery of Complex Behaviors through Contact-Invariant Optimization ! 人間の様々な動きを合成する完全に自動化されたフレームワークを開発した。 Animating Human Lower Limbs Using Contact-Invariant Optimization 従来のデータややり方に依らない方法で人の下半身による運動のアニメーションを最適化した。 Articulated Swimming Creatures 流体シミュレーションと生物のモーションパラメータの最適化により動物の動きを再現し、ま ! た現存しない生物への適用も可能とした
  40. 40. Stitch Meshes for Modeling Knitted Clothing with Yarn-level Detail Cem$$$$Yuksel † Jonathan$$$$M.$$$$Kaldor ‡$$$$ Doug$$$$L.$$$$James $$$$ Steve$$$$Marschner $$$$$ Cornell$$$$University$$$$ †University$$$$of$$$$Utah$$$$ ‡FaceBook $ $ $ $ $ $ $$$$$ $ $ $ $ $ $ $ $ $$$$$ $$$$$ $$$$$ $ $ $ $ $$$$$ $$$$$ CG $$$$$ $ $ $ $ CG $$$$$ $$$$$ $$$$$ $ $ $ $ $ $ $$$$$ $ $$$$$ $ $$$$$ $ $ $ $ $ 2008.$$$$SimulaGng$$$$kniHed$$$$cloth$$$$at$$$$$ the$$$$yarn$$$$level.$$$$ACM$$$$T.$$$$Graph.$$$$$$$
  41. 41. AIREAL:'Interac.ve'Tac.le'Experiences'in'Free'Air'! ! 3D ! ! ! AIREAL ! ! ! TeslaTouch:!electrovibra8on!for!touch! surfaces.! Skinput:!appropria8ng!the!body!as!an!input! surface.!! ! ! ! ' ! ! ! ! ! ! ! ! ! hBps://www.youtube.com/watch?v=xaFBjUJj00M
  42. 42. Precomputed Wave Simulation for Real-Time Sound Propagation of Dynamic Sources in Complex Scenes Nikunj Raghuvanshi† John Snyder Ravish Mehra† Ming Lin† Naga Govindaraju どんなもの? 先行研究と比べてどこがすごい? 技術や手汰のキモは何? どうやって有効だと検証した? 議論はある? 次に読むべき論文は? 動画のリンク http://dl.acm.org/citation.cfm?id=2601184&picked=formats 動的なプレイヤーに聞こえる音を、周りの状況や音源の動きに 合わせて、リアルタイムに反映させることができる。 音の反響に関して、部屋の机の下など細かい部分の回折する音を 表現できる。また同時に30の動く音源に対してもリアルタイムに 反映させ、実行環境も先行のものより低スペックで済む 事前にいる位置上の計算を行うことで、動的なものの音に対して 合わせて計算を重ね合わせていく。 音源のデジベルがある領域外のものだと、正常に計算が行われない ことがある。人間の可聴域も関係する可能性がある。 反響する音を、初期の波とその後の波に分けて計算した。 部屋の中や屋外などさまざまな場所で検証を繰り返した。 同じ場所でも音の広がり方による比較をした。 「Real time modeling of acoustic propagation in complex environments.」リアルタイム計算についての関連項目
  43. 43. !VideoSnapping: Interactive Synchronization of Multiple Videos! ! Oliver Wang∗, Christopher Schroers∗, Henning Zimmer∗, Markus Gross∗†,Alexander Sorkine-Hornung∗ ∗Disney Research Zurich, †ETH Zurich !! ! ! !どんなもの?! ! ! !!ビデオフレームの特徴を解析して、似た雑な撮り方の! !!動画さえも同期して再生・合成できる。 ソフトも実装。 ! ! ! ! !! !先行研究と比べてどこがすごい?! ! ! !既存手法では、同期信号(時刻や音声など)が使えないと ! !最終的な位置合わせが手動だった。本手法では、なくても! !視覚的類似点が最大になるように自動調整される。! ! ! ! ! !! ! !技術や手法のキモはどこ?! ! ! ・制約最短経路法の改変版 ・部分重複のためのグラフ構造! ・グラフベースのペアワイズアラインメント法 !! !どうやって有効だと検証した?! ! ! ! 2フレーム間の特徴の類似を観察し、ヒストグラムからコスト! 行列を作る。「最小コスト=マッチする」として動画を整列。 ! 最短経路を求めて写像を計算し、部分重複の動画を一致させる。! ! ! ! ! !! ! ! !議論はある?! ! ! !Kinectを組み込めば、別人が対象の動画も同期可能に。! !他にどんなセンサーが同期する可能性を広げられる?! ! ! ! !! ! !次に読むべき論文は?! ! ! !!Evangelidis and Bauckhage [2013]! !!(対照的なアプローチで、時空間のマッチングをしている)
  44. 44. どんなもの? 他者のポートレート写真を入力写真とし、自 分のポートレート写真の画質や雰囲気を入力 写真に合わせて自動修正することができる。 先行研究と比べてどこがすごい? 今までのポートレートの修正は、画像全体 を修正していた。 (global transfer) が、この技術は、人物の目、肌などの特定 の部分を修正して精度を高めている。 (local transfer)
  45. 45. 技術や手法のキモはどこ? 入力画像と参考画像にそれぞれ3種類 の加工を施し、その入力画像と参考 画像とを合成し、最終的に1枚の画像 に合成する。 有効性は? 従来のものよりも仕上がりが綺 麗。 参考画像の目のハイライトや背 景も反映されるので、参考画像 を変えれば仕上がりも変わる。
  46. 46. 議論はある? 入力画像と参考画像の人物の顔の特徴 (肌の色など)はなるべく近い方がいい。 強い影がある画像は入力画像には向かない In IEEE Conference on Computer Vision, 1034‒1041.2009. Face alignment through subspace constrained mean-shifts. In IEEE Conference on Computer Vision, 1034‒1041.
  47. 47. Anima&ng(Fire(with(Sound( (Cornell(University CG SE CG SE SE CLAVIN,(P.,(AND(SIGGIA,(E.(D.(1991.(Turbulent( premixed(flames(and(sound(genera&on.
  48. 48. Pixie%Dust Graphics%Generated%by%Levitated%and%Animated%Objects%in% Computa<onal%Acous<c>Poten<al%Field% Yoichi%Ochiai,%Takayuki%Hoshi,%Jun%Rekimoto ○どんなもの?  音響場で物体を空中に浮揚させる.Graphicな視点で の応用についての実装も行われていた. ○先行研究と比べてどこがすごい?  従来の研究では音響場を使って物体を空中に浮揚 させるだけであったが, この研究では空中に浮揚して いる小さい粒子をつかってgraphicsを描くことを実装 した. ○技術や手法のキモはどこ?  コンピュータを使い位相配列レーダーを操作して, 位相の違う定常波を流し, 場(computational potential- field)を作った. ○どうやって有効だと検証したか  空気や電磁力の特徴と比較して, サイズ以外に制約 がない音響場が物体を浮揚させるのに有効だとした. また, ドライアイスを使って場の可視化をした. ○議論はあるか  サイズによる制約がある. 浮揚しても不安定な状態 である. ただ, プラズマの3D映像は触れることができ ないが, この技術であれば可能? ○次に読むべき論文は?  “Mounting and Application of Bubble Display System: Bubble cosmos” が気になる… !
  49. 49. Compact%Ultrasound%Device%for%Noncontact%Interac<on% Takayuki%Hoshi ○どんなもの?  集束超音波装置を小型化した. ○先行研究と比べて何がすごいの?  これまでの集束超音波装置は本体や周辺機器がとても 大きく, 場所をとったので簡単に使えるものではなかっ た. 小型化したことによってより多くの研究者などの手 にとりやすくなり、使用されることが容易になった. ○技法や手法のキモはどこ?  回路の設計値に拡張性を持たせず, 設定値を固定すること によって小型化を図った. ○どうやって有効だと検証した?  開発した装置から発生させた超音波の空間分布, 時間波形, 周波数応答, 強度制御の評価実験をした. また, 複数の共同研 究によっても有効性が検証されている? ○議論はある?  物体を離れた場所から押すことしかできず、引くことはで きない.また,発生する力も弱い. ○次に読むべき論文は?  小型集束超音波装置を使った研究・実装についての論文.
  50. 50. 研究概要 距離センサによる手、顔の認識を webカメラと機械学習の利用により 安価に実現させている。 他との違い 光の反射による深度情報の取得に NIR(近赤外線)を用い、既存の webカメラの改造で安価に作成可能 な点。 技術の中心となる点 実用性 人の顔及び手の認識に機械学習を用 い、取得する映像の解像度を本来の カメラのものより落とすなどをして リアルタイムで処理可能にしてい る。おかげでスマートフォンにも応 用可能。 性能 性能としてもこれまでの深度センサ を超えることはなくとも同程度のも のがある。安価な点で勝るといえ 元はwebカメラであり、改造の手法 も載っているので安価に広く深度セ ンサを用いることができる。新たな NUIとしての開発などへの発展性が ある。 読むべき他の論文 [Fredembachand Susstrunk 2008; Krishnan and Fergus 2009]
  51. 51. 近赤外線(NIR)を可視化するこ とで目に見えない情報を取得する 研究 深度情報から人間の骨格情報をう まく取得する手法の研究
  52. 52. 通常の人物画像からそのポー ズを推定する 機械学習を用いてShape from Shading法による画像からの物体の深 度情報取得の高速化
  53. 53. 光の当て方を変えた複数枚の画像から3Dモデルの復元
  54. 54. どんなもの? 先行技術と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと検証した? 議論はある? 次に読む論文は? スマホを傾け水のしぶきをあげ、的に 当てるというゲーム。 不自然な粒子の動きが少なく、 なめらかなシュミレーションができる点。 解析学とstate graphを用いて粒子の動きを 計算する。 3DCGの水の動きは複雑なので、 全てを正確に制御するのは難しいのでは。 実際のプールでシュミレーションを行い、 それをアニメーションにすることで正確な 状態遷移図を作成した。 Highly Adaptive Liquid Simulations on Tetrahedral Meshes 2013
  55. 55. どんな3Dの物体もキューブ状に たたむことができる! 液体で3Dの物体を作成した ときの粒子をシュミレーショ ン できる!
  56. 56. 光を当てると、思い通りの 絵を移すガラスを作る技術 平面の絵を3Dに見せる技術
  57. 57. 2枚の液晶と、奥のLEDライトで 3Dの映像を表現!
  58. 58. Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms Hiroshi Ishii and Brygg Ullmer どういうものか 先行技術と比べて何がすごいか どうやって有効だと検証したか 次に読みたい論文:OmniTouch: Wearable Multitouch Interaction Everywhere 議論はあるのか 物質的な環境にある、つかめるオブジェクトや取り巻 くメディア(ambient media)を通して、ビットとアトム の垣根に橋渡しをするtangible bits(触って感知できる ビット)というHCI 従来のGUIのようなウィンドウやアイコンではなく、 物質的に触れることのできるレンズやファイコンなどを通して 操作できるTUIを採用している点。 光や音、水、空気の流れなど周囲を取り巻くメディアを用いる点。 GUIを現実世界に物質的なものとして持ってくるmetaDESK, ホワイトボードに書いた物質的なデータをビットに変換する インタラクティブなtransBOARD, 周囲を取り巻くメディアを用いるambientROOMを実装した 物質的空間とデジタルの光のインタラクションというアイディアは ミラーやプリズム、透明、不透明、異なるスペクトラムの光、貫通 の力などの新しいたくさんの可能性を切り開く。
  59. 59. Iterative Design of Seamless Collaboration Media ‘Smart Clothing’: Wearable Multimedia Computing and ‘Personal Imaging’ to Restore the Technological Balance Between People and Their Environments Hiroshi Ishii, Minoru Kohayashi, and Kazuho Arita リアルタイムで相手とアイコンタクトをしながら ワークスペースを共有しやり取りできるクリアーボード ヘッドマウントディスプレイ、カメラ、センサーなどの付いた、 パーソナルでWearableなマルチメディアコンピューター Steve Mann MIT Media Lab
  60. 60. Bricks: Laying the Foundations for Graspable User Interfaces The Computer for the 21st Century 物質的なハンドルを通して、電子的でバーチャルなオ ブジェクトを直接 制御できるより発展的なGUI これから人間がマシンの中に入るのではなく、 マシンが人間の環境に適合していく。 それによって、森の中を散歩するかのように、 新鮮に自然に我々はコンピューターを使うことになる だろう。 George W. Fitzmaurice Hiroshi Ishii William Buxton Mark Weiser
  61. 61. Living in Augmented Reality: Ubiquitous Media and Reactive Environments. リモート通信によって会議に参加したり、 オフィスをシェアしたり、顔と顔を合わせて連絡を 取り合うことができる。 ユビキタスメディアに取り入れられるデザイン。 William A.S. Buxton Computer Systems Research Institute, University of Tornonto & Alias | Wavefront Inc., Toronto
  62. 62. どんなもの? 先行研究と比べてどこがすごい? 議論 どうやって有効だと証明したか? 次に進むべき論文 技術や手法のキモはどこか? 距離を測定できるカメラ(Kinect)を用い たタッチセンサーの開発 対象物が本や机などタッチセンサを持たな いものであっても、また平面でなくても、 その物体に触れているか否かがわかる 距離を測定できるカメラを用い、物体まで の距離と手の距離を比較してタッチしてるか 否かを判定する 実際に本の片方に手を置き、もう片方は浮 かせてカメラでその様子を撮影し、触れて るか判定できたことを確認(上図) OmniTouch: wearable multitouch interaction everywhereかな? さすがに従来のタッチスクリーンには精度 等で及ばないが、どこでもタッチパネルに なるから様々な用途に有用なのでは? Using&a&Depth&Camera&as&a&Touch&Sensor
  63. 63. どんなもの? 先行研究と比べてどこがすごい? 議論 どうやって有効だと証明したか? 次に進むべき論文 技術や手法のキモはどこか? 手や本、壁を認識し、そこに画面を投影 し、タッチスクリーンのように指の動作に よって操作できる 動画では実際に手とノートを例に検証 スクリーンと違い、場所を制限されずに インターフェース操作ができる 環境にプロジェクションし動きに合わせて 動く手法(The Everywhere Displays projector等)と、指の動きを検出、表面を触 る動作を検出する手法(Skinput等) 被験者に実際に投影した画面を指でクリッ クしたり、線を描いてもらって入力の整合 性を調べた The Everywhere Displays projectorか…? もっと入力、投影等を正確にできるのではない か? OmniTouch:&wearable&mul;touch&interac;on&everywhere
  64. 64. どんなものか? 先行研究と比べてどこがすごいか? 技術や手法のキモはどこか? 次に読むべき論文は? 議論はあるか? どうやって有効だと検証したか? 写真上で、2Dのものを3Dとして合成し、動 かせるようにする。 既存の3Dモデルを合成する際、写真に写っ ていない背面部分も、写真から補完して合成 してしまうこと。 複雑な物や小さなパーツは失敗が起こりや すい 従来は写真の合成は二次元空間に制限されて いたが、この研究では3次元的な合成ができ ること。 計算により、物体の歪みを調節、光源の見積もり、 隠れた部分と見える部分の形状の対称性の関係を 確立。MRFの使用。MSEの比較。 Zheng et al. [2012]
  65. 65. 視覚要素を使用し、2Dで表現 された物を3Dに復元する。 違和感無く画像の拡大縮小を 行い、様々なサイズの画像を 作り出せるようにする。
  66. 66. ある部分と一番似ている部分を見つ けることで、画像編集をする 物体の対称性等を利用し、自由にオ ブジェクトを変化させられるスライ ドドッカー作成
  67. 67. 閉塞の分析、MRFの使用、2Dと3 Dのつなぎの最適化を提案すること でフレームワークの表示をする
  68. 68. Air+Touch:+Interweaving+Touch+&+In Air+Gestures+ + +(2014 ) 20 ,2 , 5 , 15 , + + An+in?air+poinAng+technique+to+manipulate+ out?of?reach+targets+on+tabletops.+
  69. 69. >+ + >+ + >+ + >+ + >+ + > Globally+consistent+depth+labeling+of+4D+light+fields.++ Scene Reconstruction from High Spatio-Angular Resolution Light Fields Changil+Kim1,2+Henning+Zimmer1,2+Yael+Pritch1+Alexander+Sorkine?Hornung1+Markus+Gross1,2+1Disney+Research+Zurich+2ETH+Zurich
  70. 70. •  3D # •  # •  3D # •  < > # •  < >Jaap’s#sphere # •  3D # •  Sensi&ve(Couture( for(Interac&ve(Garment(Modeling(and( Edi&ng # Computa&onal(Design(of(Twisty(Joints(and(Puzzles(#
  71. 71. Configura&on(Transforma&on(Theory(from(a(ChainCType( Reconfigurable(Modular(MechanismCRubik’(Snake # # ( ) #
  72. 72. 3DCPrin&ng(of(NonCassembly,(Ar&culate(Models( # # 3D # #
  73. 73. Computa&onal(Design(of(LinkageCBased( (Characters( # # #
  74. 74. Plushie:(An(Interac&ve(Design(System(for(Plush(Toy( # # 2D 3D #
  75. 75. Sensi&ve(Couture( for(Interac&ve(Garment(Modeling(and(Edi&ng # # 2D 3D # #
  76. 76. FlashTouch:+Data+Communica2on+through+Touchscreens 先行研究と比べてどこがすごい? どんなもの? 技術や手法のキモはどこ? どうやって有効性を検証した? 議論はある? 次に読むべき論文は? 可視光と静電容量式タッチを利用したタッチパネルを 搭載したモバイル端末間や周辺機器の新しいデータ通 信の技術. 可視光と静電容量式タッチの2種類の手法を用いて データを伝達する点. 初期設定が不要なことや実装の手軽さ. 画面の可視光を受け取り、データを保存して、静電容 量式タッチパネルにデータを伝える手法. NFCに似た電子決済システムやロボットのコントロー ラーとして実装した. ペン型の外部のデバイスを必要となる. 速くて大容量でも安定したデータ通信の手法は存在す るが、接続の難しさやネットワークにつながっていな い時のデータ通信の問題を解決できる. ・Visible'light'communica1on'and'display5based'compu1ng ・Phone'as'a'pixel Masa'Ogata,'Yuta'Sugiura,'Hirotaka'Osawa,'Michita'Imai
  77. 77. Slide'Swipe:'Detec1ng'In5air'Gestures'Around'Mobile'Devices'Using'Actual'GSM'Signals ~ ~+ AM # # ~ ~+ 3G TDMA GMSK # ~ ~# ~ ~+ TI 14 ( 87.2%)# + ~ ~+ # + ~ ~+ RF7ID#raw:Virtual#Touch#Screen#in#the#Air#Using#RF#Signals# (Deepak#Vasisht,Jue#Wang#and#Dina#Katabi#/MIT)#
  78. 78. From 3D to VR and farther to Telexistence 3D . VR 30 . 2020 . Telexistence : , . Telepresence ) Telexistence Master-Slave system TELESAR TELESAR Master-slave , , , . slave . S. Tachi : From 3D to VR and farther to Telexistence Artificial Reality and Telexistence (ICAT), 2013 23rd International Conference on, Fig.3 TELESARFig.2 TelexistenceFig.1 3D-VR Fig.4
  79. 79. Telexistence Cockpit for Humanoid Robot Control Telexistence Master-Slave system Cockpit , . feedback HMD( ) . Slave- . S. Tachi, K. Komoriya, K. Sawada, T. Nishiyama, T. Itoko, M. Kobayashi, and K. Inoue: Telexistence Cockpit for Humanoid Robot Control, Advanced Robotics, vol.17, no.3, pp.199-217, 2003. TORSO: Development of a Telexistence Visual System Using a 6-d.o.f. Robot Head K. Watanabe, I. Kawabuchi, N. Kawakami, T. Maeda, and S. Tachi: TORSO: Development of a Telexistence Visual System using a 6-d.o.f. Robot Head: Advanced Robotics, vol.22, pp.1053- 1073, 2008. D.O.F.(=degree of freedom) D.O.F.
  80. 80. TELEsarPHONE: Mutual Telexistence Master-Slave Communication System Based on Retrore-flective Projection Technology S. Tachi, K. Watanabe, and K. Minamizawa: TELEsarPHONE: Mutual Telexistence Master Slave Communication System based on Retro-Reflective Projection Technology, SICE Journal of Control, Measurement, and System Integration, vol.1, no.5, pp.1-10, 2008. Telexistnce TELEsarPHONE . . Design of TELESAR V for Transferring Bodily Consciousness in Telexistence Telexistence Master-slave system TELESAR . , , , D.O.F.(=Degree of freedom) D.O.F. D.O.F. D.O.F. Fig 1. TELESAR C. L. Fernando and S. Tachi: Design of TELESAR V for Transferring Bodily Consciousness in Telexistence, Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2012), pp.5112-5118, Vilamoura, Algarve, Portugal, 2012.
  81. 81. Mutual Hand Representation for Telexistence Robots using Projected Virtual Hands MHD Yamen Saraiji, Charith Lasantha Fernando, Kouta Minamizawa, and Susumu Tachi : Mutual hand representation for telexistence robots using projected virtual hands. In Proceedings of the 6th Augmented Human International Conference (AH '15), Singapore, pp.221-222 (2015.3) [demonstration] . Telexistence
  82. 82. Imaginary)Reality)Gaming:)Ball)Games)Without)a)Ball AR # # HMD # # # # # # Monte#Carlo#Methods#for#Managing# Interac7ve#State,#Ac7on#and# Feedback#Under#Uncertainty##
  83. 83. Development#of#the# Mo7onBControllable#Ball
  84. 84. Monte#Carlo#Methods#for#Managing# Interac7ve#State,#Ac7on#and#Feedback# Under#Uncertainty
  85. 85. Stochas7cks:#Augmen7ng#the#Billiards# Experience#with#Probabilis7c#Vision#and# Wearable#Computers# 3D HMD
  86. 86. Target#Assistance#for#Subtly#Balancing# Compe77ve#Play
  87. 87. Imaginary#Interfaces:#Spa7al#Interac7on#with# Empty#Hands#and#without#Visual#Feedback
  88. 88. Coexistent)Space:)Toward)Seamless)Integra7on)of)Real,)Virtual,)and)Remote) Worlds)for)4D+)Interpersonal)Interac7on)and)Collabora7on) ! ! 4D+ ! 4D+ ,3D!vision, , , , , ! ! !
  89. 89. Immersive)GroupDtoDGroup)Telepresence 3D ! TELEPORT)–)Towards)immersive) copresence ! ! Stephan!Beck,!Andre!Kunert,!Alexander!Kulik,!and! Bernd!Froehlich,!´!Member,!IEEE Simon!J.!Gibbs,!ConstanGn!Arapis,!ChrisGan!J.! Breiteneder
  90. 90. A)NOVEL)SEEDTHROUGH)SCREEN)BASED) ON)WEAVE)FABRICS ! ! ! A)Framework)for)Collabora7ve)RealDTime) 3D)Teleimmersion)in)a)Geographically) Distributed)Environment 3D ! 3 ! TriangulaGon ! Cha!Zhang†!,!Ruigang!Yang‡!,!Tim!Large†!,! Zhengyou!Zhang† Gregorij!Kurillo,!Ramanarayan!Vasudevan,! Edgar!Lobaton,!and!Ruzena!Bajcsy
  91. 91. Rapid)3D)Modeling)and)Parts) Recogni7on)on)Automo7ve) Vehicles)Using)a)Network)of)RGBDD) Sensors)for)Robot)Guidance) Kinect Kinect 3D ! Alberto!ChávezUAragón,!Rizwan!Macknojia,!Pierre! Payeur,!and!Robert!Laganière
  92. 92. A"Probabilis+c"Model"for"Component6Based"Shape"Synthesis" Evangelos*Kalogerakis* Siddhartha*Chaudhuri* Daphne*Koller* Vladlen*Koltun** 100 1267 KALOGERAKIS,*E.,*HERTZMANN,*A.,*AND*SINGH,*K.*2010.*Learning* 3D*mesh*segmentaLon*and*labeling.*ACM$Transac+$,ons$on$ Graphics$29,*4.**
  93. 93. Unsupervised+Co.Segmenta4on+of+a+Set+of+Shapes+via+ Descriptor.Space+Spectral+Clustering Oana+Sidi ++Oliver+van+Kaick†++Yanir+Kleiman ++Hao+Zhang†+Daniel+ Cohen.Or Joint+Shape+Segmenta4on+with+Linear+Programming++ Qixing+Huang++Vladlen+Koltun++Leonidas+Guibas++
  94. 94. Upright+Orienta4on+of+Man.Made+Objects+ Hongbo+Fu+++Daniel+Cohen.O+++Gideon+Dror+++Alla+Sheffer+ Learning+3D+Mesh+Segmenta4on+and+Labeling+ Evangelos+Kalogerakis+++Aaron+Hertzmann++Karan+Singh+
  95. 95. A+3D+Shape+Benchmark+for+Retrieval+and+Automa4c+ Classifica4on+of+Architectural+Data Raoul+Wessel+++++Ina+Blümel+++++Reinhard+Klein
  96. 96. 2D 3D ( ) 2 ( ) IR(cut(filter IR(bandpass(filter NIR ToF( (Xbox(One(Kinect) [Hoiem(et(al.(2005]
  97. 97. 1 3D 2
  98. 98. 2D ( ( RDF ( ( ( (
  99. 99. ( 3D ( ( 3D
  100. 100. 2D 3D ( ) ( 2 ( ) IR(cut(filter IR(bandpass(filter NIR ToF( (Xbox(One(Kinect) ( [Hoiem(et(al.(2005]
  101. 101. Focus 3D: Compressive Accommodation Display ANDREW MAIMONE! University of North Carolina at Chapel Hill! GORDON WETZSTEIN, MATTHEW HIRSCH, DOUGLAS LANMAN and RAMESH RASKAR MIT Media Lab! and! HENRY FUCHS! University of North Carolina at Chapel Hill
  102. 102. どんなもの? •  3Dによる立体映像をメガネなしで提供するディス プレイ
  103. 103. 先行研究と比べて何がすご い? •  光学的な構造および、コンピュータを利用した際の コストが低い •  明るさ、解像度、framerateの値が従来よりすぐれ ている
  104. 104. 技術や手法のキモはどこ? ・[Lanman et al. 2010] による、ディスプレイへ  の最適化された高速な調整 •  従来にはない新しいコンピュータの表示構造
  105. 105. どうやって有効だと検証し た? •  従来のディスプレイとの解像度、framrate、立体 度を、比べた。
  106. 106. 議論など •  ディスプレイに対して垂 直な位置でなければ3D 表示が上手く表示されな い 次に読むべき 論文は? •  従来の3Dディスプレイの構造と比較する必要 があると考え •  [Sullivan 2003] •  [Putilin et al. 2001; Gotoda 2010; Wetzstein et al. 2011; Lanman et al. 2011; Wetzstein et al. 2012] •  [Chu et al. 2005; Chien and Shieh 2006; Brott and Schultz 2010] •  [Toyooka et al. 2001; Mather et al. 2009; Kwon and Choi 2012] •  などを読むべきだと思っている。 [
  107. 107. CICHOCKI, A., ZDUNEK, R., PHAN, A. H., AND ICHI AMARI, S. 2009. Nonnegative Matrix and Tensor Factorizations. Wiley. 画像処理における、ベクトルの因数 分解処理のアルゴリズムを利用 BROTT, R. AND SCHULTZ, J. 2010. Directional backlight lightguide con- siderations for full resolution autostereoscopic 3D displays. SID Digest, 218–221. 3Dディスプレイで高解像度のを実現 するための理論を利用
  108. 108. AKELEY, K., WATT, S. J., GIRSHICK, A. R., AND BANKS, M. S. 2004. A stereo display prototype with multiple focal distances. ACM Trans. Graph. (SIGGRAPH) 23, 804–813. •  正確な焦点距離の取得に利用 LANMAN, D., HIRSCH, M., KIM, Y., AND RASKAR, R. 2010. Content- adaptive parallax barriers: Optimizing dual-layer 3D displays using low- rank light field factorization. ACM Trans. Graph. (SIGGRAPH Asia) 29, 163:1–163:10. •  3Dディスプレイへの最適化表示に利用
  109. 109. MARWAH, K., WETZSTEIN, G., BANDO, Y., AND RASKAR, R. 2013. Compressive Light Field Photography using Overcomplete Dictionaries and Optimized Projections. ACM Trans. Graph. (Proc. SIGGRAPH). 明視野の効率的な圧縮技術

×