Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

#FTMA15 第二回課題 仏・人間コース サーベイ

3,763 views

Published on

#FTMA15 先端技術とメディア表現#3
落合陽一の筑波大講義の3回目.
5月22日の講義の後半で用いた資料です.
授業でやった学生によるサーベイの一枚まとめをシェアします.仏コースではグループで週2本の論文を読みます.
人間コースでは週1本の論文と関連研究5本を読みます.
まとめてくれた@yopitaさんに感謝.

Published in: Education

#FTMA15 第二回課題 仏・人間コース サーベイ

  1. 1. Foreign  Manga  Reader Geza  Kovacs    Robert  C.Miller 何をした? 外国語を楽しく学ぶために漫画から⽂文法や発⾳音、意味を勉強できるようにした 先行研究より進んだ点は? ビデオから外国語を勉強するものは既にある  が  漫画の⽅方が学びやすい どんな技術を使った? PDFで漫画を読みこみ、ユーザーがドラッグした⽂文章を光学⽂文字認識識で読み取る。 翻訳や発⾳音はGoogle翻訳(⼤大丈夫?)を、構⽂文解析はBerkeley  parserを⽤用いる。 何ができた? ⽇日本語で書かれた漫画を英語に翻訳。⽇日本語の発⾳音を聞くことができる。 また、⽂文章の⽂文法的な関係(⾃自⽴立立語と助詞など)を分かりやすく表⽰示。 今後に向けた議論のポイントは? もっと難しい⾔言葉葉にも対応が必要、光学⽂文字認識識の精度度を上げる
  2. 2. Correc/ng  Automa/c  Transla/ons   through  Collabora/ons  between   MT  and  Monolingual   Target-­‐Language  Users   Joshua  S.Albrecht      Rebecca  Hwa   G.Elisabeta  Marai Albrecht,  Joshua  et  al.  "Correc>ng  automa>c   transla>ons  through  collabora>ons  between  MT   and  monolingual  target-­‐language  users."     Proceedings  of  the  Associa>on  for     Computa>onal  Linguis>cs,  2009.   ⽂文章構造を可視化するソフトを開発し、 機械翻訳のミスを検出する。 ESTABLISHING  A  METHODOLOGY   FOR  BENCHMARKING  SPEECH   SYNTHESIS  FOR  COMPUTER-­‐   ASSISTED  LANGUAGE  LEARNING Zöe  Handley    Marie-­‐Josée  Hamel   Handley,  Zöe,  and  Marie-­‐Josée  Hamel.   "Establishing  a  methodology  for   benchmarking  speech  synthesis  for   computer-­‐assisted  language  learning  (CALL)."   Language  Learning  &  Technology  9.3  (2005):    99-­‐120.   コンピューターを使⽤用した語学の 勉強法について、「発⾳音」の学習を 導⼊入することに関する議論論。
  3. 3. Smart  Sub/tles  for     Language  Learning   Geza  Kovacs Kovacs,  Geza.  “Smart  Sub>tles  for  Language   Learning”.  CHI  2013  Extended  Abstracts.   映像で使われている⾔言語を 瞬時に翻訳し、字幕を出す。 Learning  Accurate,  Compact,     and  Interpretable     Tree  Annota/on   Slav  Petrov      Leon  Barre]   Romain  Thibaux      Dan  Klein Petrov,  Slav  et  al.  Learning  Accurate,     Compact,  and Interpretable  Tree  Annota>on. COLING-­‐ACL  2006   今回紹介した「Foreign  Manga  Reader」 で⽤用いられているBerkeley  parserという 構⽂文解析を⽣生み出している。
  4. 4. Successful  classroom  deployment     of  a  social  document  annota/on  system Sacha  Zyto      David  R.  Karger   Mark  S.  Ackerman   Sanjoy  Mahajan Zyto,  Sacha  et  al.   "Successful  classroom  deployment  of   a  social  document  annota>on  system."  CHI  2012.   オンライン上で配布した資料料に アノテーション(付箋のような)を付加し、 その項⽬目についてクラスで議論論や質問を ⾏行行うことができるWebアプリケーションを開発。 これで授業はさらに活性化する! #2 終
  5. 5. The  Rockin’  Mouse:Integral  3D  Manipula9on  on  a  Plane   Ravin  Balakrishnan,  Thomas  Baudel,  Gordon  Kurtenbach,  George  Fitzmaurice 先行研究と比べてどこがすごい?   どんなもの?   2次元的な操作と3次元的な操作が 同時に行うことが可能なマウス。   技術や手法のキモは?   次に読むべき論文は?   議論はある?   どうやって有効だと検証した?   従来のマウスと同じような形状を維 持しつつ、3D操作を可能にした。   マウスの裏を球面状にすることで傾 けるという操作を生み自由度が2か ら4になった。   コンピュータ上の3Dの物体を操作するタ スクを普通のマウスとRockin’    Mouseで やらせその時間を計測する   普通のマウスに比べて操作性は高い。   また学習もしやすく、同じタスクを繰り返 した際のパフォーマンスの向上にも差が 見られた。   ジョイスティック関連   その他の操作関係のデバイス  
  6. 6. EyePoint:Prac9cal  Poin9ng  and   Selec9on  Using  Gaze  and  Keyboard     Manu  Kumar,  Andreas  Paepcke,  Terry   Winograd   視線とキーボードを組み合 わせてコンピュータを操作 するという試み   A  Two  Ball  Mouse  Affords  Three   Degrees  of  Freedom     I.Sco@  MaKenzie,  R.William  Souoref,  &   Chris  Pal   昔のマウスに入ってた ボールを2個にした3自 由度のマウス  
  7. 7. EyeWindows:Evalua9on  of  Controlled   Zooming  Windows  for  Focus  Selec9on     David  Fono  and  Roel  Vertegaal   複数ウィンドウの操作に視 線を用いた代物   Eye  Tracking    off  the  Shelf     Dan  Witzner  Hansen,  David  MacKay,  John   Paulin  Hansen     市販のWebカメラを 使って視線の情報を取 得する  
  8. 8. Auditory  and  Visual  Feedback  During   Eye  Typing     Paivi  Majaranta,  I.Sco@  MacKenzie,   Anne  Aula,  and  Kari-­‐Jouko  Raiha 視線でのタイピングの際に聴覚的や 視覚的なフィードバックを与えるとどう 影響が及ぶか      
  9. 9. 論文URL: http://www.nue.org/ okuno/icslp02-okuno.pdf The Generalized Perceived Input Point Model and How to Double Touch Accuracy by Extracting Fingerprints . Holz, C. and Baudisch, P. The generalized perceived input point model and how to double touch accuracy by extracting fingerprints. In Proc. CHI '10. 581-590. どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと検証した? 論議はある? 次に進むべき論文は? タッチした時の指の傾きを指紋により検出するこ とによって,より精度のあるタッチ入力を実現す る. 従来の2次元的タッチ入力とは違い,指の姿勢か ら3次元的に位置を取得して,指先の柔らかさで 意図しない場所を検出しないようにする. 指紋と傾きを掛け合わせて,3次元的に入力を考 えること. 予想しないユーザーのタッチを対応できなかっ た.ユーザーが行いたい画面操作が,人によって異 なった. デバイスそれぞれの、95%の精度で取得できる 最小のターゲットサイズ 指紋インターフェース,制御インターフェース,光学追跡イ ンターフェースのターゲットサイズの検証した.指紋イン ターフェースは制御インターフェースと比べて1.8倍の縮 小に成功した.制御インターフェースボタンの10%未満の 大きさで実装できるようになった. Shift: A Technique for Operating Pen-Based Interfaces Using Touch とか
  10. 10. High precision touch screen interaction. Albinsson, P. Zhai, S. 2003. High precision touch screen interaction. In Proc. CHI 03, 105‒112. Back-of-Device Interaction Allows Creating Very Small Touch Devices Baudisch, P. and Chu, G. 2009. Back-of-device interaction allows creating very small touch devices. In Proc. CHI 09, 1923‒1932. 仮想上の十字カーソルキーと,指先の動きをアナログ 信号的に増幅させて精度を上げる方法を使い,高精度 で画面操作タッチを行う.これは2点タッチを前提と していて、ズームや十字カーソルキーを使ったハン ドル操作により画面操作を行う.素手のポインティン グが重要である.タッチペンやデバイスを利用しない. しかしアンカーポイントを見失ってしまうため実装 はまだ早い. だが、この研究はシステムを設計することが目的だ ったらしい (a)はハンドル操作,(b)は拡大,(c)(d)は移動 緑色の円は位置を強調したもの, その中の灰色の円は動きのある円, 白い部分は支点となり,もう一方の手の入力をサポートする 小さなスクリーンを裏側から入力操作ができる デバイス ▼a)ボタン付きのデバイス,b)指で画面が隠れるデバ イス,c)使用可能なサイズのスクリーン,後ろから操作 できるタッチスクリーン ◀︎開発したデバイスの使い方として提唱する方法. a)2.4画面のクリップ b)1.2画面の時計 c)半分未満のサイズの指輪 使用例
  11. 11. Empirical Evaluation for Finger Input Properties In Multi-touch Interaction Wang, F. and Ren, X. 2009. Empirical evaluation for finger input properties in multi-touch interaction. In Proc. CHI’09 . 1063–1072. Low-Cost Multi-Touch Sensing through Frustrated Total Internal Refl ection Han, J. Y. 2005. Low-cost multi-touch sensing through frustrated total internal reflection. In Proc. UIST 05, 115‒118. 接触面積,接触形状及びマルチタッチ選択,指の向きな どの特性を見つけ,マルチタッチの精度を検証してい る マルチタッチ感知をローコストで! エンジニアリングの労力と費用を最低限に し,FTIR(全反射しているアクリル板を上から触ると 反射が崩れタッチされた場所を検出する技術)によっ てマルチタッチを実装する. (a)指の組み合わせカーソル,(b)メニュー,(c)指のポインタ,(d)指の交差を選択
  12. 12. Improving the accuracy of touch screens: an experimental evaluation of three strategies. Potter, R., Weldon, L., Shneiderman, B. 1988. Improving the accuracy of touch screens: an experimental evaluation of three strategies. In Proc. CHI 88, 27‒32. タッチスクリーンの精度の評価を,3つのタッチ方法 で検証している. とくに指が離れる時の直前の動きは無視した方がい い.
  13. 13. Mobility-Trees for Indoor Scenes Manipulation http://vcc.siat.ac.cn/console/homepage/info?id=48 繰り返し物体を動かしその情報を蓄積、分析して、室内の物体を 操作する高度なコントローラを作成した。 かつては物体単体で考えていたが、これは周辺の状況を踏まえて 動作を考察している。 どんなもの? 先行研究との違いは? 技術や手法のキモ 家具同士の相互作用を考慮する。家具同士は木構造でその場面を 連結している。 例:天井→壁→家具→etc Google 3D Warehouse を用いて物体を配置、繰り返し操作してそれぞれ の状況での動作を検証。また、計測と修正にかかる時間も記録していった 前提となる過程が崩れた場合正しく動作しない。全く同じ状況では同じ状 況しか再現されず、時にはおかしな動作をするのでその場合は手作業によ る修正が必要となる。 検証方法 議論 次に読むもの Computer-Generated Residential Building Layouts
  14. 14. Structure Preserving Reshape for Textured Architectural Scenes テクスチャーが施されたモデルをユーザーが対話式で長さなどの形状を決め、構造物を組み立てることができるアプ リケーションを製作。 Example-based Synthesis of 3D Object Arrangements ユーザーが幾つかの同じような場面を与えると(机周りの写真など)、提供されたデータベースを元にそれと同じよ うな全く新しい環境を構築するアプリケーションを作成。
  15. 15. Automatic Furniture Population of Large Architectural Models テンプレートを用いて部屋に家具を自動で配置する。 Acquiring 3D Indoor Environments with Variability and Repetition 画像から家具を検出、モデリングする? Non-homogeneous Resizing of Complex Models モデル(家具など)のサイズを変更する際に、その機能性を損なうことがないような変形を可能とする
  16. 16. 研究概要 他との違い 次に読むべき論文 さらなる発展 技術の中心となる点 何ができるようになるか リアルタイムで生成できるモ デルの大きさの向上、そして そのデータの詳細化 用いている無線が802.11n (300Mbps)であったため現在は 802.11ac(1.6Gbps)によるさら なるデータの増加が見込める。 KinectFusion: Real-time dense surface mapping and tracking 3D reconstruction and tracking. In Proc.3DIMPVT 2012, IEEE, 524-530 データの取得に大掛かりな機材 を必要とせず処理をサーバに任 せて範囲に制限なくモデルの生 成が可能。ロボット,ARなどへの 応用。おそらくHoloLensにも用 いられているであろう技術。 GPUで用いるメモリの利用方法 の効率化、ノイズのフィルタリ ング改善、それにより無線でデ ータを送ることができ、データ の取得が容易になった。 効率的な手法により動かして いる深度カメラから得たデー タにより、大きくも詳細な表 面モデルをリアルタイムに生 成
  17. 17. Depthセンサを用いた室内でのマップ作成及 びそれらの応用 マッチングキューブ法(医療画像などから 3Dモデルを生成)のアルゴリズムの開発
  18. 18. ミケランジェロの像(複雑で細かい)全 体をスキャンし3Dモデルとする為手法の 研究 ロボット等向けの3DMapを生成する八分木を 用いたフレームワークの開発、提供
  19. 19. どんなもの? 先行技術と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと検証した? 議論はある? 次に読む論文は? 2Dのスケッチを自動で3DCGにモデリング するという作品。 同時に複数の家具のスケッチを同時に3D に 直すことができ、正確なスケッチでなくても 認識できる点。 テーブル、テレビなど家具の種類をグループわけ することで、一つのスケッチから複数の部屋のレイアウト に置き換えることができる。 掛け時計など、垂直な物体の認識を もっと精度良くするべきでは? 実際に、19もの家具を描いたスケッチを、 6パターンでモデリングした。 (次スライド参照) O-Snap: Optimization-Based Snapping for Modeling Architecture  2013
  20. 20. 建物の構造を示す点がなくても、 点や線を認識し、多角形で表す ことができる。 1秒間に2兆ものフレームを使う ことで物体に光が当たる様子を 再現する。
  21. 21. 皮にしわがよる様子を硬度に応じて シュミレーションすることができる。 Folding and Crumpling Adaptive Sheets 紙を丸めたり、折ったりする様子を シュミレーションすることができる。
  22. 22. 球体から特定の形を作るとき、 物体の表面の曲がり具合を精密に再現する ことができる。
  23. 23. NailO: Fingernails as an Input Surface Hsin-­‐Liu  (Cindy)  Kao,  Artem  Dementyev,  Joseph  A.  Paradiso,  and  Chris  Schmandt どういうものか 先行技術と比べて何がすごいか どうやって有効だと検証したか 次に読みたい論文:Traxion:  A  Tactile  Interaction  Device  with  Virtual      Force  Sensation 議論はあるのか 爪に備え付けるウェアラブルなジェスチャー入力装置。   一つの指で操作可能で、目立たなく、ユーザーが好き な見た目にカスタマイズすることができる。   化粧品からインスピレーションを受けた。   今までは爪にディスプレイを付けたり、指先をタッチパッドに   したりすることはあったが、爪の表面を入力装置とすることは   なかった。また、今までの装置はワイアーがついていたが、この   装置はbluetoothを使用しておりワイアレスである。 10人(男女5人ずつ)に5つのジェスチャーをそれぞれ   12回ずつ試行してもらった(各ジェスチャー60回)。   結果、測った正確率は92.3%であった。   爪のひずみが原因と思われるが、スワイプダウンのジェスチャー   が一番検出されにくかった(正確率83.5)   中指や薬指でスワイプするのは多くの人にとって難しかったが、   指の長い人は自然で快適にできた。今後は10本分のセンサーを   用意し、個人の特徴に合わせて選べるようにする。  
  24. 24. Nenya:  Subtle  and  Eyes-­‐Free  Mobile  Input  with  a  Magnetically-­‐ Tracked  Finger  Ring FingerPad:  Private  and  Subtle  Interaction  Using  Fingertips Daniel  Ashbrook  ,  Patrick  Baudisch,  Sean  White リングを回したり、指に沿ってリングをスライドするこ とによって操作する指輪型の入力デバイス   人差し指の指先をタッチパッドとして操作できる入力 デバイス   Liwei  Chan∗  Rong-­‐Hao  Liang∗†  Ming-­‐Chang  Tsai‡  Kai-­‐Yin  Cheng†  Chao-­‐Huai  Su†  Mike  Y.   Chen‡  Wen-­‐Huang  Cheng∗  Bing-­‐Yu  Chen‡
  25. 25. Fingersight:  Fingertip  Visual  Haptic  Sensing  and  Control NailDisplay:  Bringing  an  Always-­‐Available  Visual  Display  To  Fingertips 指先にカメラとバイブレーションを付けてスクリーンのオ ブジェクトを動かしたり回転させたりでき る”Fingersight”というセンサー。   指の下の何を操作するのかが目で見てわかる爪に   取り付け可能なディスプレイ   George  Stetten  1,2  ,  Roberta  Klatzky3  ,  Brock  Nichol1  ,  John  Galeotti  2  ,  Kenneth   Rockot1  ,  Kimberly  Zawrotny1  ,  David  Weiser  1  ,  Nathan  Sendgikoski1  ,  Samantha   Horvath1 Chao-­‐Huai  Su∗  Liwei  Chan†  Chien-­‐Ting  Weng∗  Rong-­‐Hao   Liang∗¶  Kai-­‐Yin  Cheng∗  Bing-­‐Yu  Chen
  26. 26. Beauty  Technology:  Body  Surface  Computing 肌に直接あてはめられるセンサーや電子装置などの ウェアラブルな技術が日常生活の機関として重要に なっていく。   Katia  Vega  and  Hugo  Fuks
  27. 27. Sensi&ve  Couture  for  Interac&ve  Garment   Modeling  and  Edi&ng •  検証     2D生地の局所的な密度と、モデルが生地に覆わ れる時の剛性のシミュレーション     •  議論の余地     3Dモデルによっては2D着衣の継ぎ目が見えてし まい、その解決策が予期せず複雑なものになること がある     •  次に読むべき論文     Self-­‐Refining  Games  using  Player  Analy8cs   •  どんなもの?     2Dの着衣を3Dモデルに載せる     •  新規性     2Dデザインの変更を即座に3Dモデルに反映で きる     •  手法の肝     視点、2Dイラスト(特に頂点)、3Dモデルの内部 的なリンクによる、2次元↔︎3次元の双方向変換 と反映  
  28. 28. A  simple  approach  to  nonlinear  tensile  s8ffness   for  accurate  cloth  simula8on •  布地をCADなどの3Dの仮装オブジェクトに適応させるときの、 生地の変化における異方性や非線形性による複雑な問題と シミュレーションによるその改善策
  29. 29. Mul8-­‐Resolu8on  Cloth  Simula8on 3Dオブジェクトを覆うときの布地の動きや、3Dの物体や人物が 動くときの着衣の動きの、多数のシミュレーション手法について
  30. 30. Example-­‐Based  Wrinkle  Synthesis  for  Clothing   Anima8on •  ズボンやシャツなどのように比較的体表にフィットするような着衣を 着た人の動きが服をどのように動かすかをシミュレートしたアニ メーション
  31. 31. Precompu8ng  Interac8ve  Dynamic  Deformable   Scenes •  複雑さと相互作用の折り合いをつけながら、なるべく短時間 でモデルの形状変化を予測的にシミュレートする
  32. 32. Interac8ve  Cover  Design  Considering  Physical   Constraints •  3Dオブジェクトを完全に覆い尽くし、かつ開いて中身を取り出 すことも容易にできるカバーを設計するアルゴリズム
  33. 33. どんなものか 先行研究と比べてどこがすごい? Brain interface として特徴脳波を検 出. 検出した脳波を用いてマウスの 簡単な操作を行うシステム. 脳波を用いることでマウスとの Brain to Brain を実現.またそれら のシステムを実装し有用性を確 認. 技術のキモはどこか どうやって有効だと検証した? 議論はある? 次に進むべき論文は? Operatorの脳波を三つの命令で 分類すること,また分類する上 での精度(カラーマップ確認 できず).マウス視点での評価 実際にシステムを構築しオペレータ側 は脳波によってマウスを操作.迷路にお ける探索というタスクで評価. 非人道的と言われることへの配慮. マウスのトレーニング精度 EEG Mouse:A Machine Learning- Based Brain Computer Interface Mind-controlled Ratbot: A Brain-to-brain System Yipeng Yu,Cunle Qian, Zhaohui Wu, Gang Pan*
  34. 34. Common spatial subspace decomposition applied to analysis of brain responses under multiple task conditions: a simulation study Motor Imagery計測のための電極のレイアウトの提案 補運動野エリア(SMA)→全ての運動イメージ下で活性化 ↓ どのようにSMAでの運動イメージを分類するか? ↓ SMAと一次運動野間の時空間関係に触発された電極配置の 提案 Y. Wang, B. Hong, X. Gao and S. Gao Psycho-Physiological Measures for Assessing Cognitive Load 認知的負荷を評価のための一般化方法の提案 および評価 あるタイミングで情報を開示した時の 認知的負荷を心電図など各センサを用いて計測 電図中央絶対偏差値と中央値の熱流束の測定を併用 ↓ 負荷の高低レベルの区別において80%以上の分類精度 Eija Haapalainen, SeungJun Kim, Jodi F. Forlizzi, Anind K. Dey
  35. 35. Common spatial subspace decomposition applied to analysis of brain responses under multiple task conditions: a simulation study 複数タスク下における 脳波解析手法の提案. 特徴抽出において、 複数のタスクおよび条件下で得られた 脳波データをもとに特定の信号を抽出する手法. Yunhua Wanga, b, Patrick Bergc, Michael Scherga,* Clinical Neurophysiology 110 (1999) 604±614 Automatic Navigation for Rat-Robots with Modeling of the Human Guidance Chao Sun, Nenggan Zheng, Xinlu Zhang, Weidong Chen, Xiaoxiang Zheng Bio-robotのための 自動ナビゲーション手法の提案 コンセプトとして生物的な知性と 人工的な知性のハイブリッドな知性の創出 A General Regression Neural Networkを用いた手法 Rat-robotに対して高度な制度を計測
  36. 36. NeuroPhone: Brain-Mobile Phone Interface using a Wireless EEG Headset 神経信号を用いて携帯電話を制御する手法の提案 ↑なぜ? 神経信号は携帯電話のようにあふれている←???? プロトタイプシステムの設計 無線を用いたEmotiv Epoc EEGヘッドセットと iPhoneを繋ぐ 脳波によるiPhoneのアプリケーション操作 Andrew T. Campbell, Tanzeem Choudhury, Shaohan Hu, Hong Lu, Matthew K. Mukerjee∗, Mashfiqui Rabbi, and Rajeev D. S. Raizada
  37. 37. Spin-­‐It:  Op+mizing  Moment  of  Iner+a  for  Spinnable  Objects どんなものか 3Dモデルと回転軸を入力すること で、非対称な形状でも回転する駒 やヨーヨーを作ることができる。   先行研究と比べてどこが凄いか 静的なモデルの重心を制御するので はなく、質量と慣性モーメントの両方 を制御し回転運動下で安定させる。   また、先行研究より静止状態でもさら に安定するようになった。   技術や手法のキモはどこなのか 回転による抵抗などを計算し、形 状を保ったまま回転できそうな内 部の質量分布を割り出すアルゴリ ズム。 どうやって有効だと検証したか 実際に3Dプリンタで出力し、回して みた。     今後の課題や議論 キャラクターから抽象的な形まで作 れて、アクチュエーターの低電力化 などにつながるかもしれないが、リ アクションホイールで制御する機械 や落下やジャンプする機械はこの 研究の範囲外かもしれない。   次に読むべき論文 Make  It  Stand:  Balancing  Shapes  for   3D  Fabrica;on  
  38. 38. Make  It  Stand:  Balancing  Shapes  for  3D   Fabrica;on 静止した物体が自立する、あるいは 吊るして理想の形で静止するような 質量分布を計算するアルゴリズム
  39. 39. Fabrica;ng  Ar;culated  Characters  from   Skinned  Meshes 表面のメッシュデータと関節を入力すると関 節が可動するモデルを出力する
  40. 40. Automa;c  Rigging  and  Anima;on  of  3D   Characters メッシュデータと骨格を入力すると、自動でモデルに骨格を適用してくれる。   1つの骨格を多くのモデルに適用できるため、アニメーション付けが楽になる。
  41. 41. Tangible  Interac;on  +  Graphical   Interpreta;on:  A  New  Approach  to  3D   Modeling   専用のブロックか粘土で物理的に組み立てると、組 み立てたものに装飾を施した3Dモデルが生成される
  42. 42. EigenSkin:  Real  Time  Large  Deforma;on   Character  Skinning  in  Hardware 専用の手袋型デバイスを装備し動かすことで手 のモデルの非線形な動きを計算し変形の過程 を正確に補完することができる
  43. 43. Dyna:  A  Model  of  Dynamic  Human  Shape  in  Mo6on   Gerard  Pons-­‐Moll∗Javier  Romero∗Naureen  Mahmood∗Michael  J.  Black∗Max  Planck   Ins6tute  for  Intelligent  Systems,  T¨ubingen,  Germany どんなものか ・柔らかな変形のできるリアルなモデリング技術。   ・4Dスキャンと3Dスキャンしたテンプレートメッシュの 配列を用いて研究を行った。   ・これまでは静的なキャプチャはできるが実際に運動し ている体の動的な柔らかな変形は難しかった。   ・学習モデルでこれを可能にしている 先行研究と比べてどこがすごい? 技術や手法のキモ ・体の動きの物理的な要素(速度や加速度、角速度な ど)から次の変形を予測する。   ・低次元線形部分空間を使用して変形を近似す る。 これからの課題 次に読む論文は? ・より多くのスポーツの動きはキャプチャできない   ・重力や他の力の効果もキャプチャできるようにしたい ・SCAPE[Anguelov  et  al.  2005]
  44. 44. MoSh:  Mo6on  and  Shape  Capture  from   Sparse  Markers   ・人間の体の3Dデータを骨格検出に役立てた mocap。   ・疎なマーカーでもよりリアルで緻密な動きを再 現できる。   Breathing  Life  into  Shape: Capturing,  Modeling  and  Anima6ng  3D   Human  Breathing ・高解像度の3Dスキャンで人間のポーズと息を する時の形状の変化をキャプチャし、よりリアル な息をする時のアニメーションを再現した研究   Ma?hew  Loper∗  Naureen  Mahmood†  Michael  J.   Black‡  Max  Planck  InsOtute  for  Intelligent   Systems,  Tubingen,  Germany Aggeliki  Tsoli∗  Naureen  Mahmood†  Michael  J.   Black‡ Max  Planck  InsOtute  for  Intelligent   Systems,  Tubingen,  Germany
  45. 45. High  Fidelity  Facial  Anima6on  Capture   and  Retarge6ng  With  Contours ・顔の輪郭のmocap   ・フレームごとにの調整としてブレンドシェイプア ニメーションの上に、効果的なラプラシアンフィ ルターをかけている   SCAPE:  Shape  Comple6on  and  Anima6on   of  People ・リアルな筋肉の変化や人間の動きなどをキャプチャ する   ・観測できないところも予測して3Dメッシュをあてはめ 完成させる   ・キャプチャした3Dデータを基にアニメーションを予測 する   Kiran  S.  Bhat∗  Rony  Goldenthal†  YuOng  Ye‡   Ronald  Mallet§  Michael  Koperwas¶   Dragomir  Anguelov∗  Praveen  Srinivasan∗   Daphne  Koller∗  SebasOan  Thrun∗  Jim   Rodgers∗  Stanford  University  James   Davis†  University  of  California,  Santa  Cruz
  46. 46. Real-­‐Time  Character  Anima6on   Techniques   ・当時のアニメーションについての技術をレビューし た論文。特にリアルな人間の動きと合成を行う技術 についてフォーカスしている。   ・ FFDは筋肉の変形の表現に最も汎用性がある   ・Mass-­‐springシステムは表面や外層の表現に適して いる(肌や髪、衣服など)   ・(当時:たぶん2000年ごろ(^^;)   Thanh  Giang  Robert  Mooney  Christopher  Peters   Carol  O'Sullivan MOCAP・アニメーション辺りを読んでみて思ったこと ・学習アルゴリズムがよく使われている   ・あらかじめ被験者からデータをとり、マーカー 数が少なくても高品質な検出をできるようにして いる。   ・SCAPE[Anguelov  et  al.  2005]がよく引用されている感 じがした   ・近年はとてもリアルな動きが表現できるようになって いると思う
  47. 47. Eyeglasses-­‐free  Display:    Towards  Correc6ng  Visual  Aberra6ons  with  Computa6onal  Light  Field  Displays      Fu-­‐Chung  Huang      Gordon  Wetzstein      Brian  A.  Barsky      Ramesh  Raskar   どんな研究か? 近視の人でも眼鏡やコンタクトレンズなしで見ることができ るディスプレイ用のフィルタを開発した.   これまでのフィルタとの比較や3D化もしたみた. 先行研究と比べて何がすごいか? [Huang  et  al.  2012]  のMulElayer  Displayや[Pamplona  et  al.   2012]  のLight  Field  Display  よりもくっきりと見え,コントラスト も高い.   この手法のキモは? 細かいレンズを敷き詰めたフィルタをディスプレイに乗せる だけという手軽さとローコストさで実現した. 検証方法・結果 10インチタブレットに表示した画像に対してこれまでの手法 のフィルタリングと提案手法でのフィルタリングをそれぞれ かけてそのコントラストと鮮明さを数値化して比べた. 議論はあるか? 目とディスプレイの位置が固定されていることを前提として 検証している.動いている場合にはアイトラッキングの技術 が必要となる. 次に読むべきもの HUANG,    F.-­‐C.,    LANMAN,    D.,    BARSKY,    B.    A.,ANDRASKAR,R.      2012.       CorrecEng    for    opEcal    aberraEons    using    mulElayerdisplays.ACM  Trans.   Graph.  (SIGGRAPH  Asia)  31,  6,  185:1–185:12. (マルチレイヤーディスプ レイ)  
  48. 48. Correc6ng  for  Op6cal  Aberra6ons  using  Mul6layer   Displays     Fu-­‐Chung  Huang      Douglas  Lanman      Brian  A.  Barsky         Ramesh  Raskar CATRA:  Interac6ve  Measuring  and  Modeling  of  Cataracts     Vitor  F.  Pamplona      Erick  B.  Passos      Jan  Zizka         Manuel  M.  Oliveria      Everea  Lawson      Esteban  Clua         Remesh  Raskar    マルチレイヤーフィルタリングを用いた目が 悪い人でも見やすいディスプレイの提案.   鮮明に見えるようにすることができたがコント ラストが約80%低下してしまった. 白内障の人の目をインタラクティブに測定し てモデリングを行った.   患者の目をスキャンして眼球の中に像を作る ことにで白内障によるレンズの前方散乱を測 定するための光学設計を行った.   個人の視力のシミュレーションが可能
  49. 49. NETRA:  Interac6ve  Display  for  Es6ma6ng  Refrac6ve   Errors  and  Focal  Range     Vitor  F.  Pamplona      Ankit  Mohan      Manuel  M.  Oliveira         Ramesh  Raskar   Tailored  Displays  to  Compensate  for  Visual  Aberra6ons   Vitor  F.  Pamplona      Manuel  M.  Oliveira      Daniel  G.  Aliaga       Ramesh  Raskar   人間の目の屈折異常を克服するための解決法の 提案.   ピンホールとマイクロレンズアレイを用いて眼球内 での焦点のズレを修正する. マイクロレンズアレイを用いて目が悪い人が眼鏡や コンタクトなしでも見ることができるディスプレイの開 発.   その人に合わせたディスプレイを仕立てることで HMDなどを目が悪くても快適に使うことができるよう になる.  
  50. 50. HDR-­‐VDP-­‐2:  A  calibrated  visual  metric  for  visibility  and   quality  predic6ons  in  all  luminance  condi6ons     Rafal  ManEuk    Kil  Joohn  Kim      Allan  G.  Rampel         Wolfgang  Heidrich 画像の可視性と質を評価するための視覚的な指 標の提案.   測定対象の画像をいくつかのデータセットで検証 する.以前のHDR-­‐VDPに対して低コントラスト域で の検証が改善されている.   この論文の提案手法はインラインで利用可能.  
  51. 51. どんなもの?  形状ディスプレイを用いて物理的な物体の 共有を行い、遠隔者とのコミュニケーションを 支援する。 他と比べてどこがすごい? ・物理的存在感により、視覚からの支援以上 のコラボレーション支援を可能にする。   ・ロボットでは人間の手などの表現しかできな いが、Tangible  UI(TUI)を用いることですべて の物体(コンテンツ)の表現が可能。 ・形状ディスプレイのモータのためのPID制御、 画像の歪みや遅延時間に対するフィルタリン グ、深度情報から手やオブジェクトを判断する アルゴリズムなど、広い分野にわたるソフト ウェアシステム。 キモとなる手法・技術 ・プロジェクタと形状ディスプレイを用いた、物 理的、仮想的な表現の融合。 問題点・今後の課題 ・物体を握ることが出来ないなど、まだまだ複 雑な動きが出来ない   ・形状ディスプレイの解像度が低い   ・ネットワーク遅延と、遅延が操作者に与える 影響の調査         etc... 次に読むべき論文は?  Tangible  Bitsで原点を知る
  52. 52. “Physical  Telepresence”の元となる論文。   (考えの大元は”Tangible  Bits”)   物理的な物を同期させシェアするという考え に基づいた研究で、物理的に触れることので きるインターフェイス(TUI)を用いて、物理的な 情報を含んだCSCWを行う。 初期の2.5D形状ディスプレイ研究。   アクチュエータとプロジェクタを用いることで、視覚的な情 報だけでなく触ることで形状や硬さを感じることができる ような、フレキシブルなスクリーンを提案している。
  53. 53. 形状ディスプレイとARを統合して使用することより、物体の物理的な 形状と仮想的な形状を同一空間で表現している。   イメージ的には、“Physical  Telepresence”のプロジェクタを用いた投影 の部分が、  ARに代わったもの。   硬さや形状が変わる、フレキシブルなユーザインタフェースについての 研究。硬さが変わるものや感覚のフィードバックがあるもの、形状が変 わるものなど、4つのプロトタイプを紹介している。  
  54. 54. 触るインタラクションに加え、空中でのジェスチャに対応した2.5D形状ディスプレイ。   ジェスチャにより、引っ張る動作や、物体の回転・拡大縮小など、操作の幅が広くなった。  
  55. 55. どんなもの? 先行研究と比べてどこがすごいの? 技術や手法のキモはどこ? どうやって有効だと検証した? 次に読むべき論文は? hat Base: Differing Player Experiences in Video Game Genres and the Unique Case of MOB Daniel Johnson Lennart E. Nacke Peta Wyeth 異なるゲームジャンルのPX(プレイヤー経験) の違いを調査したのと、 MOBAというジャンルのゲームのPXを掘 り下げて説明したもの 調査の際には、PENS・GEQと呼ばれる2つ のアンケート手法によって統計を取っている点 実際に様々なゲームを行っているプレイヤ ー700人程度にアンケート調査を行って 統計をとった。MOBAについては6人に 面談を行ってアンケート調査を行った。 新しいジャンルであるMOBAのPXについては、 この分野で研究者によく理解されていない。 他ジャンルとの比較によって、MOBAのPX を確立する部分が今までにないものである。 The Identification of Deviance and its Impact on Retention in a Multiplayer Game. Proc CSCW '14, 1356– 1365.
  56. 56. The Identification of Deviance and its Impact on Retention in a Multiplayer Game Kenneth Shores    Yilin He    Kristina L. Swanenburg     Robert Kraut    John Riedl マルチプレーヤーゲームにおける、周りに 不快感を与えるプレイヤーの影響とその対策 実際にあるオンラインゲームのプレイヤーに アンケートをとって統計を出している。 Personality, Genre and Videogame Play Experience .Johnson, D., Wyeth, P., Sweetser, P., and Gardner, J. ゲームジャンル別、個人的見解をアン ケートとしてまとめたもの。 GEQと呼ばれるアンケート手法をと っている。
  57. 57. ネットゲーム等に潜在的に構築される、プ レイヤー間の関係を統計・調査したもの ゲームのサポートを目的に調査されている Analyzing Implicit Social Networks in Multiplayer Online Games Iosup, A., van de Bovenkam, R., Jia, A., and Kuipers, F. GEQ (Game Engagement/Experience Questionnaire): A Review of Two Papers Kent L. Norman プレイヤーの主観的なゲーム経験・ ゲームをすることでの関わり度合い について調査を行ったその結果のレ ビュー
  58. 58. Effects of Skill Balancing for Physical Abilities on Player Performance, Experience and Self-Esteem in Exergames Gerling, K., Miller, M., and Mandryk, R. ゲームバランスの与える影響と、 バランスの取り方について論じている。 どのようにプレイヤーの満足度を満 たすか?について実際に実験を行い、調 査している
  59. 59. Automa'ng  Image  Morphing  using  Structural  Similarity  on  a  Halfway  Domain   Jing Liao, Rodolfo Lima, Diego Nehab, Hugues Hoppe, Pedro Sander, Jinhui Yu. 先行研究と比べてどこがすごい? どんなもの? 技術や手法のキモはどこ? どうやって有効と検証した? 議論はある? 次に読むべき論文は? 2つの画の間で品質の高いモーフを自 動生成する 相関関係を樹立するための途中の遷 移画面がたった一つで行っており、な おかつ連続的で単純であること 相関関係の最適化に用いたエネル ギー関数の計算、方形運動経路、遷移 させるピクセルそのものの評価 より複雑な画像を取り扱うことに加え、 色の変化もモーフに合わせてスムーズ に見せる、ビデオ・シーケンス間にこの 技術を応用する 実際に2つの画を用いて、従来の技術 と比較検証し、この論文で用いた技術 の方がより品質の良いモーフが出来た Morphing  of  Face  Image  by  Feature   Extrac'on[2005]
  60. 60. Origamizing Polyhedral Surfaces Tomohiro Tachi どんなもの? どうやって有効と検証した? 先行研究と比べてどこがすごい? 議論はある? 立体折り紙図形を作図するシステムを作り、 複雑な立体折り紙図形を対話的に作成で きるようにする 木構造や多面体の折り畳みでおり方を示す 方法があったが、本手法では折り紙分子を 詰め込み、状態を形式化し、形状に媒介変 数を与えるという幾何学的なことを持ち込 んでいる 技術や手法のキモはどこ? 折り紙分子の集合表現   頂点・角を用いた状態導出・変形・マッピング CG構成アルゴリズムをテストする際によく使 われる図形を用いて、不安定度、効率、折 り畳み時間、そして計算時間を調べた。 3次元折り畳み図形を400ポリゴン以内で、 短時間に導きだすことに成功。   時々非常に非効率な図形を作り出すか、条 件を満たすことに失敗することがある。 次に読むべき論文は? “3D  Origami  Design  Based  on  Tucking   Molecule,”  2009  (同一著者)
  61. 61. Unified  Par+cle  Physics  for  Real-­‐Time Applica+ons どんなもの? 先行研究を比べてどこがすごい? 技術や思考のキモはどこ? 議論はある? 次に読むべき論文は? Miles  Macklin   Ma<hias  Müller  Nu<apong  Chentanez  Tae-­‐Yong  Kim リアルタイムな視覚的効果を演出するために、パーティクル (粒子)に基づいた統合的な動力学の枠組みを提案する。 柔軟物体、剛体、液体、ガス、布をそれらの相互作用も 含めて、統合的に表現している。 柔軟物体を表現するShape-Matching 法を剛体でも用いた。 また初めてガスをPosition Based Dynamicsで表現した。 Position Based Dynamics Position Based Fluids Meshless Deformations Based on Shape Matching Shape-Matching 法の収束はパーティクルの数に依存する ため、大きな形状の剛体に適していない。 動画:https://vimeo.com/94622661
  62. 62. Transient  A<ributes  for  High-­‐Level  Understanding  and  Edi+ng  of  Outdoor  Scenes   屋外のシーンに焦点を当てているので車やクローズアップし たオブジェクトの写真には弱い。ありえないシーンの追加は できない制約がある。(例:より夏っぽい雪に覆われた風景)       BONNEEL,  N.,  SUNKAVALLI,  K.,  PARIS,  S.,  AND  PFISTER,  H.  2013.  Example-­‐ based  video  color  grading.  ACM  Trans.  Graph.  (proc.  SIGGRAPH)  32.     BYCHKOVSKY,  V.,  PARIS,  S.,  CHAN,  E.,  AND  DURAND,  F.  2011.  Learning   photographic  global  tonal  adjustment  with  a  database  of  input  /  output   image  pairs.  In  CVPR.     CAICEDO,  J.  C.,  KAPOOR,  A.,  AND  KANG,  S.  B.  2011.  Collab-­‐  oraVve   personalizaVon  of  image  enhancement.  In  CVPR.       研究内容   写真の季節属性を単純なユーザーインターフェイスで編集すること ができるもの     先行研究との違い   単純なユーザーインターフェイスでユーザーが写真に変更したい属 性を自由に指定できること。多くのシーンを動的に操作するフレーム ワークの実現。   先行研究よりそれっぽい感がでていること。       101個のウェブカメラから得た何千もの風景をクラウドソーシング で分類し、一時的な属性データベースを作り機械学習することで 新たなイメージの属性も認識できること。         動画:hXps://www.youtube.com/watch?v=yhtKKYi]qc 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? 議論はある? 次に読むべき論文は? どんなもの?
  63. 63. どんなもの?   ユーザーは物理的デバイスの着用は不必要であり、ユーザーを感 知して、空気の渦を送り、自由大気中で触覚を実現させるもの。     先行研究と比べてどこがすごい?   風を送ったり、超音波によって生じた圧力を利用したものはあった が、空気の渦の利用は初めてであり、ユーザーは物理デバイスの 着用を必要とせず豊かな触覚を提供される。   技術や手法のキモはどこ?   ターゲットを認識して空気の渦の周波数、強さを調整し、正確に当 てる技術。また、これを利用してタブレット等を直接触れずに操作可 能になる。 どうやって有効だと検証した?   空気の渦は比較的に長い距離にいるユーザーに感触を感じ させることができる。また、デバイスが低コスト     議論はある?   利用時、聞こえる音が生じてしまう。   AIREALデバイスを設置する際、三脚などの最低限の環境の 準備が必要   次に読むべき論文は?   TAKAMORI,  F.,  TSURUYAMA,  N.,  AND  TAKEDA,  T.  2010.  Effect   of  Vortext  Ring  using  Air  Canon  on  Sense  of  Touch.  In  Proc.  of     IEICE.      
  64. 64. A  Reduced  Model  for  Interac1ve  Hairs   Menglei  Chai  Changxi  Zheng  Kun  Zhou どんなもの?   毛量を減らした大雑把な髪のモデルをもと に補間するdata-­‐driven  solu6onを使用した、 リアルタイムで正確な髪のモデリング。 どうやって有効だと証明した?   髪を無作為に抽出してサンプリング、単に 最適化してサンプリング、似た髪の束でグ ループ分けをしてサンプリング(本研究)の 3つでエラー数と処理時間を比較。 先行研究と比べてどこがすごい?   計算コストが小さく、かつ正確で自然なシ ミュレーション。 議論はある?   髪同士の衝突の再現が不十分である。   髪同士のこすれあいのシミュレーションも 導入する。   技術や手法のキモは?   ガイドとなる大まかな髪の線をさらに小さな 粒状に分けて配置データを収集し、似た髪 の動きで髪の束をグループ分けをする方 法をとることで、多くのアニメーションサンプ ルを作ることができ、様々な髪質によって 異なる動きをつけることができる。 次に読むべき論文は?   Precompu6ng  Interac6ve  Dynamic   Deformable  Scenes (Doug  L  James,  Kayvon   Fatahalian)   Data-­‐drivenを利用したモデリング hHp://gaps-­‐zju.org/reducedhair/
  65. 65. どんなもの?   ユーザーは物理的デバイスの着用は不必要であり、ユーザーを感 知して、空気の渦を送り、自由大気中で触覚を実現させるもの。     先行研究と比べてどこがすごい?   風を送ったり、超音波によって生じた圧力を利用したものはあった が、空気の渦の利用は初めてであり、ユーザーは物理デバイスの 着用を必要とせず豊かな触覚を提供される。   技術や手法のキモはどこ?   ターゲットを認識して空気の渦の周波数、強さを調整し、正確に当 てる技術。また、これを利用してタブレット等を直接触れずに操作可 能になる。 どうやって有効だと検証した?   空気の渦は比較的に長い距離にいるユーザーに感触を感じ させることができる。また、デバイスが低コスト     議論はある?   利用時、聞こえる音が生じてしまう。   AIREALデバイスを設置する際、三脚などの最低限の環境の 準備が必要   次に読むべき論文は?   TAKAMORI,  F.,  TSURUYAMA,  N.,  AND  TAKEDA,  T.  2010.  Effect   of  Vortext  Ring  using  Air  Canon  on  Sense  of  Touch.  In  Proc.  of     IEICE.      
  66. 66. どんなもの? カメラで撮影した人の表情を、リアルタ イムで3Dアニメーションのキャラクター に反映させる。 https://www.youtube.com/watch? v=DBoChIFrj2c 先行研究と比べてどこがすごい? 消費者(利用者)が専門知識を持ってい なくても、手間なく、リアルタイムで 自動で正確に、被写体の表情を読み取 り、キャラクターに反映できる。 技術や手法のキモはどこ? オンライン式のDEM(Dynamic 3D Expression model)学習を表情の追跡技術ア ルゴリズムに取り入れている。 有効性は? 特定の被写体の顔の特徴を従来より正確に 読み取ることにより、正確に表情を読み取 ることができる。 議論はある? Blendshape modelのテンプレートに よって人間の顔の幾何的特徴が制限 されること。 テンプレートに子供やお年寄りのも のが少なく、表現しづらいこと。 次に読むべき論文は? BALTRUSAITIS, T., ROBINSON, P., AND MORENCY, L.-P. 2012. 3d constrained local model for rigid and non-rigid facial tracking. In CVPR, 2610‒2617.
  67. 67. Anima&ng  Human  Dressing   Alexander  Clegg          Georgia  Ins&tute  of  Technology   概要 人間が服を着る動きをシミュレートする。   h<ps://youtu.be/PS76m6ApOus 先行研究との比較 従来できなかったTシャツの上にYシャツを重ね着 するなどのシミュレーションも行うことができ、より リアルなCGアニメーションを作れるようになった 手法のキモ   服の構造を解析して、どこを引っ張るべきかや、 腕や足を通すかなど決定しいくつかのモーション から最適なものを使ってシミュレートする 有効性   実際の人間と比較したり重ね着をさせて、従来の シミュレーションよりもより人間らしい物が生成さ れた 議論の余地   服のポリゴン数が約5~30kで、服の動きと適切な 着方のモーションをシミュレートしなければならず、 多いもので計算時間が20時間になる場合もある。 次に読むべき論文   BAI,  Y.,  AND  LIU,  C.  K.  2014.  Coupling  cloth  and   rigid  bodies for  dexterous  manipula&on
  68. 68.  RetroDepth: 3D Silhoue/e Sensing for High-­‐Precision Input On and Above Physical Surfaces   David Kim1,3, Shahram Izadi1, Jakub Dostal4, Christoph Rhemann1, Cem Keskin1 Christopher Zach1, Jamie Shotton1, Tim Large2, Steven Bathiche2 Matthias Nießner5, D. Alex Butler1, Sean Fanello6, Vivek Pradeep2 1Microsoft Research 2Microsoft 3Newcastle University 4University of St. Andrews 5Stanford University 6Italian Institute of Technology      どうやって検証したか        KinectやLeap Mo-onと比較した。                  議論はあるか   既に安価なものであるが、実用化時に どれくらい安価にできるかがわからない。          次に読むべき論文  Akaoka, E., Ginn, T., and Vertegaal, R.   Displayobjects: prototyping func-onal physical   interfaces on 3d styrofoam, paper or cardboard   models. In TEI’10, ACM (2010), 49–56            どんなもの?   ステレオカメラと赤外線LEDで手や物体の 3次元輪郭を高精度に取得し、非常に細かい 3D操作インターフェースを構築した。          先行研究と比べて   既存のLeap Mo-onと比べて、こちらの方が 出来るインタラクションが多い。        技術や手法のキモ    Retro-­‐reflec-veなデバイスを床に置き、  画像のセグメンテーションを助けることで  綺麗な3D輪郭を取得している。    
  69. 69. Andrew D. Wilson   MicrosoV Research   Shahram Izadi, Otmar Hilliges, Armando Garcia-­‐Mendoza,   David Kirk   Bringing Physics to the Surface    MicrosoV Research Cambridge          どんなもの?   インタラクティブサーフェイスで物理エンジンを 使ったインタラクションをする際にタッチ入力を      どうやって検証したか    提示した5種類の指のモデル化の種類の内  3種類についてユーザテストを行った。            議論はあるか      球などの曲面をもつ物体に掴むなどの動作が    うまくいかなかった。          次に読むべき論文   Wilson, A.   Simula-ng Grasping Behavior on an Imaging   Interac-ve Surface   Interac-ve Tabletops and Surfaces (ITS) 2009   どのようにモデル化すればよいかというもの。            先行研究と比べて    既存のタッチ画面上で物理的に動いて  見える効果は事前にプログラムされていた  ものだったが、この論文では一般的な物理  エンジンを用いている。          技術や手法のキモ      Vision-­‐basedなタッチデバイスを使用する    ことで指の形や画面付近の物体の様子    などの情報も得た。      
  70. 70. どんなもの? 体の胸に魚眼カメラを取り付けて、1人 称視点で全身のジェスチャーを取得す る。 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? 次に読むべき論文は? キャプチャがウェアラブルな魚眼カメラ だけ。   4つの実用的な例で、概念実証を行っ た。 どうやって有効だと検証した? 議論はある? h#ps://www.youtube.com/watch?v=JYm_3oNUGIk 魚眼レンズで撮影できない、背中側の   モーションはキャプチャできない。 Humantenna:Sensing  Gestures  Using  the  Body  as  an  Antenna   2012,  Gabe  A.  Cohn 赤外線カメラで体のパーツや動きを 正確にキャプチャできる。
  71. 71. 内容     風による木の揺れ、枝折れ、葉の落下を 再現した成長の変化のシミュレーション A  Study  on  the  AnimaMons  of  Swaying  and  Breaking  Trees  based  on  a  ParMcle-­‐based  SimulaMon   Yasuhiro  AKAGI  Tokyo  University  of  Agriculture  and  Technology Katsuhiro  KITAJIMA  Tokyo  University  of  Agriculture  and  Technology       先行研究との比較     •  SPH法を使用することでメッシュの 生成のミスを防げ、木の変形や破 壊のシミュレーションが可能   •  速度によって枝の折れる位置など が違う   SPH法の利点     •  簡単に粒子同士の問題として シミュレーション   •  構造の変化に強い   •  並列化による高速化   注目する技術     •  ばね質量系を使用した木の内 部の力の計算   •  枝が折れた後の表面の再現   次に読むべき論文     Windy  Trees:  Compu4ng  Stress  Response   for  Developmental  Tree  Models     (内容)   木の風の影響による成長の変化   ユーザーによる操作     •  折れる力の設定   •  パーティクル間の距離  
  72. 72. どんなもの? 先行研究と比べてどこがすごい? 議論 どうやって有効だと証明したか? 次に進むべき論文 技術や手法のキモはどこか? テーブルをタッチパネルのようにできるシ ステム。 本来画面ではない机などをタッチディスプ レイとして利用できる。モニタのないモバ イルコンピュータが作れる。 プロジェクターで画面を投影し、カメラを用 いて手を検出し、タッチしてるか否かなどを 判定する 実際にプロトタイプを作成し、狙い通りの 動作ができることを技術的に実証した。 OmniTouch: wearable multitouch interaction everywhereかな? 柔軟性という点ではとても有用な技術だが、 特定の作業においてはコストや精度に関し て従来技術の方が優れている PlayAnywhere: A Compact Interactive Tabletop Projection-Vision System
  73. 73. どんなもの? 先行研究と比べてどこがすごい? 議論 どうやって有効だと証明したか? 次に進むべき論文技術や手法のキモはどこか? 最大6人しか使用できない Combining  Mul,ple  Depth  Cameras  and  Projectors   for  Interac,ons  On,  Above,  and  Between  Surfaces   LightSpaceという部屋装置   仮想物体を持つことができる   ユーザーをより完全な仮想3D環境に入れることにより   オブジェクトを「拾う」ことができる   机と壁に投影できる技術(Surround-­‐screen  projec7on-­‐ based  virtual  reality等)   マルチタッチ(DepthTouch、Interac7ons  in  the  Air)   デモイベントで800人の人に利用してもらい応答性との 堅牢性をテストした The  Office  of  the  Future
  74. 74. Rigid-Body Fracture Sound with Precomputed Soundbanks どうやって有効だと検証した? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? 議論はある? 次に読むべき論文は? どんなもの? 脆い物が壊れたときに発生する小さな欠片の落 下音をあらかじめ計算されたサンプルデータか ら自動生成する 脆い物が落下する3D映像に合わせて音が自動生 成されること。以前は実際に録音した落下音に 合わせて映像が作られていたが、これは逆。 欠片の落下音を自動生成する時にサウンドバン ク(音のデータベース)から選択することで、新た に生成するより時間や労力の短縮になる 3D映像で作成された欠片を全て楕円体に置き換 えて、素材の固有周波数や落下距離によって音 が変わるようにした。 粉砕するのではなく割れ目が入る物には適用で きない。何の物質で構成されているか分からな いものの音は生成できない。 O BRIEN, J. F., AND HODGINS, J. K. 1999. Graphical modeling and animation of brittle fracture. In SIGGRAPH 99
  75. 75. Video Collections in Panoramic Contexts James Tompkin Fabrizio Pece Rajvi Shah Shahram Izadi Jan Kautz Christian Theobalt  パノラマ画像に映像を埋め込んだも の 動画を空間的にも、時間的にも探す ことができ、複数の動画の再生がで きる。 方位データや特徴抽出を利用してパ ノラマと動画をマッチさせる手法 被験者が正しく動画集を空間的・時間 的に把握できるか実験した。 動画の方向データが必要・方向データ に依存する Video Enhanced Gigapixel Panoramas. Pirk, S., Cohen, M. F., Deussen, O., Uyttendaele, M., and Kopf, J. 先行研究と比べてどこがすごい? どんなものか? 技術や手法のキモはどこ? どうやって有効だと検証した? 議論はあるか? 次に読むべき論文は?
  76. 76. Phone  as  a  Pixel:  Enabling  Ad-­‐Hoc,  Large-­‐Scale  Displays  Using  Mobile  Devices 先行研究と比べてどこがすごい? どんなもの? 技術や手法のキモはどこ? どうやって有効性を検証した? 議論はある? 次に読むべき論文は? 小さなデバイスを集めて大きなアドホックディスプレ イを創造したい.そのための拡張が容易で、自由な同 期ができる独立したプラットフォームシステム. デバイスを任意に配置でき、いつでも再調整なしにデ バイスを追加でき、必要なものは普通のカメラ1台と インターネット接続、webブラウザだけである点. 同時に多くのデバイスを認識・識別し、位置を把握し て同期する技術。 ディスプレイの認識・識別にかかる時間を100から 1000台まで100台ごとに、ディスプレイにデバイスの シミュレータを表示して調べたところ、カメラは全て のデバイスを識別するのに3 6秒かかった. 屋外の晴れた状態での使用が光の反射等により困難. 識別中、識別後のデバイスの移動は駄目. ・Si#ables:  Towards  Sensor  Network  User  Interfaces Julia  Schwarz,  David  Klionsky,  Chris  Harrison,  Paul  Dietz,  Andy  Wilson
  77. 77. The  Throat  Ⅲ  Disforming  OperaJc  Voices  Through  a  Novel  InteracJve  Instrument ~どんなもの~   一般人の人間は、声で表現をする(歌う)時、持っている歌 唱能力が追い付いていない。
 この研究では、手に取り付けたセンサを”喉”と想定して読 み取った値を音声に反映するというものである。
   ~先行研究と比べてすごいところ~   完全に実用レベルまで来ている点。     ~技術や手法の肝はどこか~   Body  voiceという通り、人が歌う際に感情が高まると手にそ の動きが反映される。これを似たパターンで認識して音声 に反映させている点。 ~有効性の検証方法~   被験者二人に実際にオペラを演じてもらった。     ~議論はあるか?~   マイクで拾ってPCで処理をかけるのではなく、変調(声の加 工)は直接筋刺激や電磁力駆動にして、処理もマイコンなど を使ってリアルタイム処理させられそう。出したい声への差 がわかれば、歌唱練習にも使えそう。   ~次に読むべき論文は?~   “The  new  Interface  for  Musical  Expression”  2011  Elbasus,L  
  78. 78. Bundled camera paths for video stabilization Shuaicheng Liu, Lu Yuan, Ping Tan, Jian Sun どんなもの? •  スタビライザの機能を果たすソフト ウェア 先行研究と比べてどこがすごい? •  修正時の映像の歪みが従来のものに 比べて小さい 技術や手法のキモはどこ? •  ビデオの領域を分割し、それぞれの領 域ごとに手ブレ補正をかけて合成する どうやって有効だと判断した? 次に読むべき論文は? 議論はある? •  実際に動画に対して実行し、従来の ものと実行結果を比較 CHO, S., WANG, J., AND LEE, S. 2012. Video deblurring for hand-held cameras using patch-based synthesis. ACM Trans. Graph. (Proc. of SIGGRAPH) 31, 4. •  モーションの精度とスタビライズ実 行結果の安定性が犠牲になっている
  79. 79. Toward High-Quality Modal Contact Sound Dynamic Sources in Complex Scenes Changxi Zheng Doug L. James どんなもの? 先行研究と比べてどこがすごい? 技術や手汰のキモは何? どうやって有効だと検証した? 議論はある? 次に読むべき論文は? 動画のリンク https://www.youtube.com/watch?t=108&v=BjZ7CV6giII 物理モデルにおける、剛体が衝突するときに発生する音について、より 品質の高い音を生成することに成功した。 従来よりノイズを抑えること、チャタリングを再現すること、接触による 音の減衰に成功している。 従来解決されていなっ方各問題に対して新しいアルゴリズムを用いて 、物理モデルの衝突の動きから音をレンダリングすることに成功している 点。 より早くより正確にする方法を探る。もっと複雑な状況でも再現できる する。フォークがマグカップに落ちた時の空洞内での共鳴などは上手く することができない。 同環境での物理実験においてサンプリングされたデータを、実際に生 された音の成分と比較することによって検証した。 「Precomputed Acoustic Transfer」同著者の、複雑な物体から発 音の生成についての論文
  80. 80.  どんなものか     粒子状の物体をそれぞれの制約に従って結合さ せ、実時間で気体や液体、やわらかい物体や硬い 物体や布に至る物理現象を表現する。      先行研究と比べてすごいところ     物体の種類によって分割してシミュレートするのが 一般的だったが、このソフトウェアでは統一された 環境内で幅広い種類の現象を実時間でシミュレー トすることができる。      技術や手法について     全ての物体の基礎として粒子状の物体を使用す る。粒子状の物体に反発する性質や結合が弱い 性質など様々な条件を適用し液体や固体の性質 を擬似的に表現している。 Unified Particle Physics for Real-Time Applications  有効だと検証した方法     実際に複数の異なる性質を持つ物体同士の相互 効果をシミュレートした。流体に布やロープや固体 が着水したり気体の流れが布を押す現象、流体が 硬い物質にぶつかった時の現象などを再現した。      議論     実時間でのシミュレーションを目標としているので、 物理処理のリアルさという点においては多少の妥 協がある。シミュレート効率にまだ少し悪さが残る。      次に読むべき論文     Linear(me  smoke  anima(on  with  vortex  sheet  meshes.    
  81. 81. Facial  Performance  Sensing  Head-­‐Mounted  Display どんなもの? 先行文献と比べてどこがすごい? 技術や手法のキモはどこ?   どうやって有効だと検証した? 議論はある?   次に読むべき論文は? ヘッドマウントディスプレイ(HMD)を身につ けたままユーザーの表情をリアルタイムに アニメーションにできる。 歪みセンサを用いることで、現状のRGB-­‐ D(色以外に奥行きを見る)カメラでは曖昧 にしか認識できなかった部分を正確にトラッ キングできた。 目元をトラッキングするのに、歪みセンサを 用いた。表情を機械学習して一瞬先の表情 を予測する。 異なる複数人のユーザーに開発したHMDを つけて様々な表情をしてもらった。生成され たアニメーションはユーザーの表情を正確 に捉えた。 開発したフレームワークは、ユーザーごとに 使用前に調整が必要。将来的には人の顔 のモデルをデータベース化して、その工程 を覗けるようにしたい。   Real(me  performance-­‐based  facial   anima(on.    
  82. 82. Emo$onal  Remapping  of  Music  to  Facial  Anima$on Steve  DiPaola          Ali  Arya どんなもの?   音楽から感情に関するデータを抜き出し、そのデータを翻 訳・変換し、3Dの顔表情動画を作成する手法についての 研究     先行研究と比べてどこがすごい?   翻訳といえば、記述されたイベントや文章に対する、文字 上の変形であったが、本研究は、感情を異なる形へと変 形させる。     技術や手法のキモはどこ?   人間の動作から顔の表情を表現するFace  Objectとその データを異なる変量で保持する多次元空間Facespaceを 用いた点     議論はある?   データを表情にマッピングするルールを増やすことで、よ り自然な表情を作ることができる     次に読むべき論文は?   Arya,  Ali,  and  Steve  DiPaola.  "Face  As  A  Mul$media   Object."  Intl  Workshop  on  Image  Analysis  for  Mul7media   Interac7ve  Services.  2004.     参考動画URL   hJps://www.youtube.com/watch?v=c1sCWfpYvSI      
  83. 83. Tabletop:  Touch-­‐Enabled  Virtual  Percussion  Instruments   Zhimin  Ren,  Ravish  Mehra,  Jason  Coposky,  and  Ming  C.Lin どんなもの?   ユーザーが一つのディスプレイ上にて共同で音楽を競うことができ、仮 想空間の柔軟性をもった、仮想パーカッション演奏システム     先行研究と比べてどこがすごい?   一つのプラットフォームで同時に異なる楽器を演奏できる   音合成と音響効果シミュレーションの連結で、多様な音が表現できる   異なる素材、形、大きさの新しい楽器を柔軟に作ることができる     技術や手法のキモはどこ?   物理ベースの音合成   マルチタッチの卓上ディスプレイで仮想パーカッション演奏を実現でき るアルゴリズム     議論はある?   手のどこで叩くかを正確に予測することができない。また人によっても 手の大きさ、太さが違う   スポンジのマレットをつかわなければならない   叩く強さの上限がきまってしまっている     どうやって有効だと検証した?   異なる年齢の様々な音楽経験をもつ人々に使用してもらう     次に読むべき論文は?   物理モデル、マルチディスプレイ、音声合成関係の論文     参考動画   hJps://www.youtube.com/watch?v=i7D_ao-­‐LUBw  
  84. 84. A  Programmable  System  for  Ar1s1c  Volumetric  Lightning   Derek  Nowrouzezahrai,  Jared  Johnson,  Andrew  Selle,  Dylan  Lacewell,  Michael  Kaschalk,  Wojciech  Jarosz   Disney  Research  Zurich  Walt  Disney  Anima1on  Studios  (hHps://www.youtube.com/watch?v=C83PuWiAvbg)                         どんなもの? 2Dで描いた炎や煙などのイラストに時間や動く向き の情報を加えることで、ボリューメトリックなエフェク トを作ることができる。   先行研究と比べて何がすごいの? 今まで直観的だったボリューメトリックなエフェクトを光 子ビームの考え方を使って一般化してコントロールで きるようにした。   技法や手法のキモはどこ? ベテランアーティストがボリューメトリックエフェクトを 使用する際にモデリングとシェーディングの作業を 別々に行っていたのを模倣した。今まで幾何学的に やってきたことを光子ビームの考え方に変えた。   どうやって有効だと検証した?   実際にこの技術は2010年公開の映画「塔の上のラ プンツェル」の作品の中で使用された。   議論はある? 実践的なボリューメトリック現象にすべてが対応し ていないこと。しかし、従来難しいとされていた束の 表現は光子ビームによって簡単に表現できるように なるだろう。   次に読むべき論文は?   Kerr  and  Pellacini  [2009;  2010]  
  85. 85. A  material  point  method  for  snow  simula1on   Alexey  Stomakhin,  Craig  Schroeder,  Lawrence  Chai,  Joseph  Teran,  Andrew  Selle   University  of  California  Los  Angels    Walt  Disney  Anima1on  Studios   (hHps://www.youtube.com/watch?v=9H1gRQ6S7gg)   どんなもの? 雪に関するCGアニメーション生成テクノロジーを開発 した。   先行研究と比べて何がすごいの? 雪の水分量を調節して、さまざまなタイプの雪による 趣味レーションが可能。   技法や手法のキモはどこ? 固体力学と流体力学をまとめた連続体力学による技 法を利用した。   どうやって有効だと検証した?   実際にこの技術は2014年公開の映画「アナと雪の 女王」の作品の中で使用された。本物と見間違える ようなその美しさに全米が泣いた。   議論はある? なだれや粉雪の表現で重要な空気とのインタラク ションに改善の余地があった。   次に読むべき論文は?   Anima9ng  sand  as  a  surface  flow.   Zhu  and  Bridson  [2005]  

×