授業でやったサーベイの一枚まとめをシェアします． 第一回の提出された課題を共有します！これをそのまま次の週の課題にして提出するのはなしです（すぐバレます）

1. Learning(Bicycle(Stunts
Jie$Tan Yu*ng$Gu C.Karen$Liu$ Greg$Turk

2. Anima3ng(Human(Athle3cs
Jessica$K.$Hodgins$$Wayne$L.$Wooten$
David$C.$Brogan$ $James$F.$O’Brien
HODGINS,$J.$K.,$WOOTEN,$W.$L.,$
BROGAN,$D.$C.,$AND$O’BRIEN,$J.$F.$1995.$
Anima*ng$human$athle*cs.$In$SIGGRAPH,$71–78.
Interac3ve(Simula3on(of(
Stylized(Human(Locomo3on
Marco$da$Silva Yeuhi$Abe Jovan$Popovi´c
DA$SILVA,$M.,$ABE,$Y.,$AND$POPOVIC´,$J.$$
2008.$Interac*ve$simula*on$of$$
stylized$human$locomo*on.$$
In$ACM$SIGGRAPH$2008$Papers,$ACM,$
$New$York,$NY,$USA,$$
SIGGRAPH$’08,$82:1–$82:10.

3. Limit(Cycle(Control(And((
Its(Applica3on(To(The(Anima3on(
Of(Balancing(And(Walking
Joseph$Laszlo†$Michiel$van$de$Panne$
Eugene$Fiume
LASZLO,$J.,$VAN$DE$PANNE,$M.,$AND$FIUME,$E.$$
1996.Limit$cycle$control$and$its$applica*on$to$the$$
anima*on$of$balancing$and$walking.$$
In$Proceedings$of$the$23rd$Annual$Conference$on$$
Computer$Graphics$and$Interac*ve$Techniques,$$
ACM,$New$York,$NY,$USA,$SIGGRAPH$’96,$155–162.
ContactBaware((
nonlinear(control(of((
dynamic(characters.
Uldarico$Muico Yongjoon$Lee $
Jovan$Popovic´$ $Zoran$Popovic
MUICO,$U.,$LEE,$Y.,$POPOVIC´,$J.,$$
AND$POPOVIC´,$Z.$2009.$$
Contactdaware$nonlinear$control$of$$
dynamic$characters.$In$ACM$SIGGRAPH$2009$$
Papers,$ACM,$New$York,$NY,$USA,$$
SIGGRAPH$’09,$81:1–81:9.$

4. Op3mal(feedback(control(for(
character(anima3on(using(an(abstract(model
Yu*ng$Ye C.$Karen$Liu$
YE,$Y.,$AND$LIU,$C.$K.$2010.$$
Op*mal$feedback$control$for$character$anima*on$$
using$an$abstract$model.$In$SIGGRAPH$’10:$$
ACM$SIGGRAPH$2010$papers,$ACM,$New$York,$$
NY,$USA,$1–$9.

5. !
Color!transfer!between!images. REINHARD!!
2001
h=ps://www.youtube.com/watch?
v=cYbDJ4NR6WY
!

6. 2D 3D
https://www.youtube.com/
watch?v=e2H35SlLmUA

7. ①Feature Extraction!
②Parameter Estimation
Example-Guided Physically Based
!Sound Synthesis
③Residual comprehension!
④Residual Transfer

8. Motion-driven Concatenative Synthesis of
!Cloth Sounds
“We present a practical data-driven method for automatically
synthesizing plausible soundtracks for physics-based cloth
animations running at graphics rates. Given a cloth animation,
we analyze the deformations and use motion events to drive
crumpling and friction sound models estimated from cloth
measurements.” (from Abstract)

9. !
!
!
!
!
!
Tracking!Surfaces!with!Evolving!Topology!!
!!!!!!!!!!!!!!!!!!! ! !
!
!!!!!!!!!! !
!
!
4D 3D
!
!
!

10. !
AutoCAD SketchUp Maya
!
Exploring!local!modificaCons!for!constrained!meshes!
3D
!
!
3D
!
!
!
!
3 5
PushPull++!
Markus!Lipp!!!!!!!!!!Peter!Wonka!!!!!!!!!!Pascal!Muller
hIp://dl.acm.org/citaCon.cfm?doid=2601097.2601197

11. !
D
!
D
!
Photoshop Context-Aware!Fill
Zheng!et!al.[2012]!Interac?ve!images:!
cuboid!proxies!for!smart!image!
manipula?on.!
Xu!et!al.[2011]!Photo-inspired!model-
driven!3d!object!modeling.

12. !The$$$$Roly)))Poly$$$$Mouse:$$$$Designing$$$$a$$$$Rolling$$$$Input$$$$Device$$$$Unifying$$$$2D$$$$and$$$$3D$$$$In
Gary%%%%Perelman,%%%%Marcos%%%%Serrano,%%%%Mathieu%%%%Raynal,%%%%Celia%%%%Picard,%%%%Mustapha%%%%Derras,%%%%Emmanuel%%%%D
! ! ! !!!!!
!
2 3
!!!!!
!
!
!
!
! !!!!!
!
3D
2D
3D 2D!
!!!!!
!
!
! ! !!!!!
!
!!!!!
! !!!!!
!
!!!!!
!
! ! ! !!!!!
!
!
!!!!!
Z
!!!!!
!
!
! ! !!!!!
!
!!!!!
he####Rockin’Mouse:integral####3D#####
manipula8on####on####plane#####

13. Wearable Telepresence System Based on Multimodal
Communication for Effective Teleoperation with a Humanoid
どんなもの？
先行研究と比べてどこがすごい？
技術や手法のキモはどこ？
どうやって有効だと検証した？
議論はある？
次に読むべき論文は？
「テレプレゼンスロボット」に指令を与える
新たなコントローラー
同研究では無視されがちな「動かしやすさ、
身につけやすさ」に着目した
すべてが人が装着するデバイス内に って
おり直感的な操作が可能
力学計算を行い、実際に操作者と
ロボの動きを検証し動作の有効性を確認
どうしても妥協するしかなかった
精密性等の性能面をどう補うか？
Interactive multi-modal robot programming
システム面にも注目したい
Yong-Ho SEO, Hum-Young PARK, Taewoo HAN, and Hyun Seung YANG

14. 動画URL:https://www.youtube.com/watch?v=-oN96cucBr4
論文URL: http://chrisharrison.net/projects/tapsense/tapsense.pdf
TapSense: Enhancing Finger Interaction on Touch Surfaces
95%の精度で,指の爪/腹/関節/指先の４つを
画面との衝突音により検出できる.
Chris Harrison Julia Schwarz Scott E. Hudson Human-Computer Interaction Institute and Heinz College Center for the Future of Work
Carnegie Mellon University, 5000 Forbes Avenue, Pittsburgh PA 15213
どんなもの？
タッチペンや特殊な装着物を必要とせず,
指の一部分を利用して入力ができる.
比較的安価である.
先行研究と比べてどこがすごい？
技術や手法のキモはどこ？
どうやって有効だと検証した？
論議はある？
次に進むべき論文は？音響ベースの入力である.
衝突音の音響特徴を分類している.
ユーザーが追加してデバイスをつける必要がない.
様々なアプリケーションを使い,技術検証を行っ
た.曇りガラスを使ったテーブルでの検証や,スマ
ートフォンの小さな画面の中での文字入力や描画
を実際に検証した.
ペンと指を組み合わせると99%の精度が出るが、
4種類の指の分類は95%の精度.
Scratch Input: Creating
Large, Inexpensive, Unpowered and Mobile finger Input
Surfaces. In Proc.
とか

15. 論文URL: https://www.sonycsl.co.jp/person/rekimoto/papers/uist97holo.pdf
HoloWall: Designing a Finger,Hand,Body,
and Object Sensitive Wall
壁越しに赤外線カメラを置いて,指,手,体を検出する
Abstract
this techNote reports on our initial results of realizing a
computer augmented wall called the Holo Wall.
Using an infrared camera located behind the wall,
this system allow a user to interact with this computerized wall
us-ing fingers, hands, their body, or even a, physical object such
as a document folder
Nobuyuki Matsushita
Department of Computer Science,Keio University
Jun Rekimoto
Sony Computer Science Laboratory Inc.
タップした場所を皮膚の伝播により解析し,
入力操作を可能にする腕章
Skinput: Appropriating the Body
as an Input Surface
ABSTRACT
We present Skinput, a technology that appropriates the human body for acoustic transmission, allowing the
skin to be used as an input surface. In particular, we resolve the location of finger taps on the arm and hand
by analyzing mechanical vibrations that propagate through the body. We collect these signals using a novel
array of sensors worn as an armband. This approach provides an always available, naturally portable, and on-
body finger input system. We assess the capabilities, accuracy and limitations of our technique through a
two-part, twenty-participant user study. To further illustrate the utility of our approach, we conclude with
several proof-of-concept applications we developed.
Chris Harrison1,2, Desney Tan2, Dan Morris2
1 Human-Computer Interaction Institute
2 Microsoft Research
動画URL: https://www.youtube.com/watch?v=g3XPUdW9Ryg
論文URL: http://www.kevinli.net/courses/mobilehci_w2013/papers/skinput.pdf

16. 動画URL: https://www.youtube.com/watch?v=2E8vsQB4pug
論文URL: http://www.chrisharrison.net/projects/scratchinput/Harrison_122.pdf
Scratch Input: Creating Large, Inexpensive,
Unpoweredand Mobile Finger Input Surfaces
任意の場所に描かれた、
6種類の入力パターンを音で分類する
ABSTRACT
We present Scratch Input, an acoustic-based input technique that relies on the unique sound produced
when a fingernail is dragged over the surface of a textured material, such as wood, fabric, or wall paint.
We employ a simple sensor that can be easily coupled with existing surfaces, such as walls and tables,
turning them into large, unpowered and ad hoc finger input surfaces. Our sensor is sufficiently small
that it could be incorporated into a mobile device, allowing any suitable surface on which it rests to be
appropriated as a gestural input surface. Several example applications were developed to demonstrate
possible interactions. We conclude with a study that shows users can perform six Scratch Input
gestures at about 90% accuracy with less than five minutes of training and on wide variety of surfaces.
Chris Harrison Scott E. Hudson
Human-Computer Interaction Institute
運動動作とタッチの組み合わせによる
入力方法の提案とそのアプローチ
傾けながら親指タップでズームしたり
Sensor Synaesthesia: Touch in Motion,
and Motion in Touch
ABSTRACT
We explore techniques for hand-held devices that leverage the multimodal combination of touch and motion.
Hybrid touch + motion gestures exhibit interaction properties that
combine the strengths of multi-touch with those of motionsensing. This affords touch-enhanced motion
gestures, such as one-handed zooming by holding one s thumb on the screen while tilting a device. We also
consider the reverse perspective, that of motion-enhanced touch, which uses motion sensors to probe what
happens underneath the surface of touch. Touching the screen induces secondary accelerations and angular
velocities in the sensors. For example, our prototype uses motion sensors to distinguish gently swiping a
finger on the screen from drags with a hard onset to enable more expressive touch interactions.
Ken Hinckley1, Hyunyoung Song1,2
1Microsoft Research
2University of Maryland
動画URL: https://www.youtube.com/watch?v=Zuu7ZnyWrJA
論文URL: http://research.microsoft.com/en-us/um/people
/kenh/papers/touch-motion-camera-ready-final.pdf

17. 動画URL: https://vimeo.com/30574433
論文URL: http://www.olwal.com/projects/research/surfacefusion/olwal_surfacefusion_gi_2008.pdf
SurfaceFusion: Unobtrusive Tracking of Everyday
Objects in Tangible User Interfaces
RFIDとカメラを使った,特定の場所の中での位置検出とタグ付け
ABSTRACT
Interactive surfaces and related tangible user interfaces often involve everyday objects that are
identified, tracked, and augmented with digital information. Traditional approaches for recognizing
these objects typically rely on complex pattern recognition techniques, or the addition of active
electronics or fiducials that alter the visual qualities of those objects, making them less practical for
real-world use. Radio Frequency Identification (RFID) technology provides an unobtrusive method of
sensing the presence of and identifying tagged nearby objects but has no inherent means of
determining the position of tagged objects. Computer vision, on the other hand, is an established
approach to track objects with a camera. While shapes and movement on an interactive surface can be
determined from classic image processing techniques, object recognition tends to be complex,
computationally expensive and sensitive to environmental conditions. We present a set of techniques in
which movement and shape information from the computer vision system is fused with RFID events
that identify what objects are in the image. By synchronizing these two complementary sensing
modalities, we can associate changes in the image with events in the RFID data, in order to recover
position, shape and identification of the objects on the surface, while avoiding complex computer vision
processes and exotic RFID solutions.
Alex Olwal
School of Computer Science and Communication, KTH1
Andrew D. Wilson
Microsoft Research2

18. Learning to be a Depth Camera
Sean Ryan Fanello, Cem Keskin, Shahram Izadi, Pushmeet Koshli,
David Kim, Dabid Sweeney, Antonio Criminisi, Jamie Shotton,
Sing Bing Kang, and Tim Paek

19. どんな研究か
・2DカメラとLEDライトを使って深度センサーをつくる
デモビデオ(YouTubeより)

20. 先行研究と比べてどこがすごいか
・高価なものはいらない！
・自分のカメラを深度センサーにできる！

21. 技術や手法のキモはどこか
・Kinectのように赤外線センサーではなく、LEDによ
る赤い光の反射を読み取る。
・RandomForest(Breiman)という既存の機械学習ア
ルゴリズムを改良してMulti-layer decision Forestを
開発

22. どうやって有効だと検証したか
・Xbox Oneで取得したデータとの平均誤差を比較
０.01m以下だった

23. 議論はあるか
・Kinectの方が性能いいじゃん
・光が当たるところしか反応しない
・特定の人の顔など概要が分かっているものにしか使えない
・複雑な表面をしているものには使えない(正しく反射しない)
・カメラで認識できるくらいの反射が必要

24. 次に読むべきもの
Lanman, D. and Taubin, G.
Build your own 3D scanner: #d photography for
beginners.
ACM SIGGRAPH 2009

25. Graffiti Fur: Turning Your Carpet into a Computer
Display
Yuta Sugiura, Koki Toda, Takayuki Hoshi,Youichi Kamiyama,
Takeo Igarashi and Masahiko Inami

26. ・どんな研究か
カーペットの毛が逆立つと模様ができる性質を利用して、ペ
ンデバイス、ローラーデバイス、圧力投影装置で、カーペッ
トをディスプレイとして使用する。
デモビデオ
https://www.youtube.com/watch?
v=L0hrETGddLQ&feature=youtu.be&list=UUlvXcoEnxecj
WGwGXvki9Mw

27. ・先行研究と比べてどこがすごいか
生活空間にあるもので、電力を抑え、グレア効果を
生じさせないで情報を表現できる。

28. ・技術や手法のキモはどこか
ロッドを制御する手法…読み込んだ画像を再現できる
毛の流れを感知する技術…どの方向にペンを動かしても
書くことができる
超音波を利用した手法…物理的に触れることなく絵がかける

29. ・どうやって有効だと検証したか
リビング空間に似た環境で、親子を招待し、デバイ
スを与えたときの行動を観察した

30. ・議論はあるか
デバイスが重いこと、ローラー端末では自動で位置
を判別できないので、ユーザーが慎重にデバイスを動
かす必要があること、カーペットにある程度の耐久性
が必要なこと

31. ・次に読むべきもの
Wooden Mirror - 1999
DANIEL ROZIN
http://www.smoothware.com/danny/woodenmirror.html

32. • !
AutoCAD SketchUp Maya
• !
Exploring!local!modifica<ons!for!constrained!meshes!
3D
!
• !
3D
• !
!
• !
• !
3
5
PushPull++!
Markus!Lipp!!!!!!!!!!Peter!Wonka!!!!!!!!!!Pascal!Muller
hEp://dl.acm.org/cita<on.cfm?doid=2601097.2601197

33. !
!
!
!
!
Tracking!Surfaces!with!Evolving!Topology!!
!
!
!
!
!
4D 3D
!
!
!

34. Inverse'Foley,Anima1on:,Synchronizing,rigid'body,mo1ons,to,sound,
,,Timothy,R.,Langlois,,,,,,,,,,,,,,,,,Doug,L.,James,,
,
,
,
,
,
,
,
,
,
,
,
,
Hofer,,M.,,and,PoGmann,,H.,2004.,
Energy'minizing,splines,in,manifolds.,
,

35. Generalizing,Locomo1on,Style,to,New,Animals,With,Inverse,Op1mal,Regression,
Kevin,Wampler Adobe,Research,
Zoran,Popović University,of,Washington,
Jovan,Popović Adobe,Research,
,
,
,
,
,
,
,
,
,
Geijtenbeek,,T.,,Van,de,Panne,,M.,,and,
Van,de,Stappen,,A.,F.,2013,
Flexible,muscle'based,locomo1on,
,for,bipedal,creatures.,

36. Generalizing Locomotion Style to New Animals!
!http://grail.cs.washington.edu/projects/
概要
!
!
!
動物の形状のみからデータ補完と逆最適化を組み合わせることで動物の動きを再現する。従来のように筋肉のつき方などを考慮
する必要がないため、データ数が多ければ時間はかかるがごくわずかな手順で動きを再現することができる。
使用するアルゴリズムは joint inverse optimization という。
!
!
!
さらに、これを絶滅した動物にも当てはめ、動きの再現を試みる

37. Generalizing Locomotion Style to New Animals!
! !http://grail.cs.washington.edu/projects/!
!
!
!
!
!・手順
!まずは現存する生物の平面上でのモーションデータを収集、蓄積していく。この際、2足歩行だけでなく4足歩行
!もふくめ幅広くデータを収集した。アルゴリズムの流れは1.モーションデータベースの作成 2.モデルの作成 3.
!joint inverse optimizationの適用 となる。
骨格の形だけではなく、大きさも考慮した場合
データベースの内容

38. ・結果＆結論
現存する生物から得られたデータをもとに、絶滅した生物のモデルに当てはめたところそれっぽい動きが得られた。
データベースが充実すればより自然に動かすことができるはずである。ただし、データベース上では非常に類似している
骨格を持つ生物でも全く異なる動きをとる生物もいるため、その調整が必要になる。
今回は生物に限った研究であったが、将来的には生物以外にも応用ができるはずである。
!
!
!
!
!
!動画：https://www.youtube.com/watch?v=KF_a1c7zytw#t=122
Generalizing Locomotion Style to New Animals!
!http://grail.cs.washington.edu/projects/

39. 関連
Learning Physics-Based Motion Style with Nonlinear Inverse Optimization
!
生物の動きは再現が難しい。そこで、Nonlinear Inverse Optimizationを用いることにした。
!
短いモーションからでも物理パラメータを得ることができる。
Energy-Information Trade-Offs between Movement and Sensing
感覚情報を得るための仕組みやコストを電気魚をつかって調べることで、どれほど能率的に感
!
覚を得ているかの定量化に成功した。
Discovery of Complex Behaviors through Contact-Invariant Optimization
!
人間の様々な動きを合成する完全に自動化されたフレームワークを開発した。
Animating Human Lower Limbs Using Contact-Invariant Optimization
従来のデータややり方に依らない方法で人の下半身による運動のアニメーションを最適化した。
Articulated Swimming Creatures
流体シミュレーションと生物のモーションパラメータの最適化により動物の動きを再現し、ま
!
た現存しない生物への適用も可能とした

40. Stitch Meshes for Modeling Knitted Clothing with Yarn-level Detail
Cem$$$$Yuksel † Jonathan$$$$M.$$$$Kaldor ‡$$$$ Doug$$$$L.$$$$James $$$$ Steve$$$$Marschner $$$$$
Cornell$$$$University$$$$ †University$$$$of$$$$Utah$$$$ ‡FaceBook
$ $ $
$
$
$ $$$$$
$
$
$
$
$ $
$
$
$$$$$
$$$$$
$$$$$
$ $
$
$
$$$$$
$$$$$
CG $$$$$
$
$
$
$
CG $$$$$
$$$$$
$$$$$
$ $ $
$
$
$ $$$$$
$ $$$$$
$ $$$$$
$
$ $
$
$
2008.$$$$SimulaGng$$$$kniHed$$$$cloth$$$$at$$$$$
the$$$$yarn$$$$level.$$$$ACM$$$$T.$$$$Graph.$$$$$$$

41. AIREAL:'Interac.ve'Tac.le'Experiences'in'Free'Air'!
!
3D
!
!
!
AIREAL
!
!
!
TeslaTouch:!electrovibra8on!for!touch!
surfaces.!
Skinput:!appropria8ng!the!body!as!an!input!
surface.!!
!
!
!
'
!
!
!
!
!
!
!
!
!
hBps://www.youtube.com/watch?v=xaFBjUJj00M

42. Precomputed Wave Simulation for Real-Time Sound Propagation of
Dynamic Sources in Complex Scenes
Nikunj Raghuvanshi† John Snyder Ravish Mehra† Ming Lin† Naga Govindaraju
どんなもの？
先行研究と比べてどこがすごい？
技術や手汰のキモは何？
どうやって有効だと検証した？
議論はある？
次に読むべき論文は？
動画のリンク http://dl.acm.org/citation.cfm?id=2601184&picked=formats
動的なプレイヤーに聞こえる音を、周りの状況や音源の動きに
合わせて、リアルタイムに反映させることができる。
音の反響に関して、部屋の机の下など細かい部分の回折する音を
表現できる。また同時に３０の動く音源に対してもリアルタイムに
反映させ、実行環境も先行のものより低スペックで済む
事前にいる位置上の計算を行うことで、動的なものの音に対して
合わせて計算を重ね合わせていく。
音源のデジベルがある領域外のものだと、正常に計算が行われない
ことがある。人間の可聴域も関係する可能性がある。
反響する音を、初期の波とその後の波に分けて計算した。
部屋の中や屋外などさまざまな場所で検証を繰り返した。
同じ場所でも音の広がり方による比較をした。
「Real time modeling of acoustic propagation in complex
environments.」リアルタイム計算についての関連項目

43. !VideoSnapping: Interactive Synchronization of Multiple Videos!
!
Oliver Wang∗, Christopher Schroers∗, Henning Zimmer∗, Markus Gross∗†,Alexander Sorkine-Hornung∗ ∗Disney Research Zurich, †ETH Zurich
!! ! ! !どんなもの？!
!
!
!!ビデオフレームの特徴を解析して、似た雑な撮り方の!
!!動画さえも同期して再生・合成できる。 ソフトも実装。
!
!
!
!
!! !先行研究と比べてどこがすごい？!
!
!
!既存手法では、同期信号（時刻や音声など）が使えないと
!
!最終的な位置合わせが手動だった。本手法では、なくても!
!視覚的類似点が最大になるように自動調整される。!
!
!
!
!
!! ! !技術や手法のキモはどこ？!
!
!
・制約最短経路法の改変版 ・部分重複のためのグラフ構造!
・グラフベースのペアワイズアラインメント法
!! !どうやって有効だと検証した？!
!
!
!
2フレーム間の特徴の類似を観察し、ヒストグラムからコスト!
行列を作る。「最小コスト=マッチする」として動画を整列。
!
最短経路を求めて写像を計算し、部分重複の動画を一致させる。!
!
!
!
!
!! ! ! !議論はある？!
!
!
!Kinectを組み込めば、別人が対象の動画も同期可能に。!
!他にどんなセンサーが同期する可能性を広げられる？!
!
!
!
!! ! !次に読むべき論文は？!
!
!
!!Evangelidis and Bauckhage [2013]!
!!（対照的なアプローチで、時空間のマッチングをしている）

44. どんなもの？
他者のポートレート写真を入力写真とし、自
分のポートレート写真の画質や雰囲気を入力
写真に合わせて自動修正することができる。
先行研究と比べてどこがすごい？
今までのポートレートの修正は、画像全体
を修正していた。
(global transfer)
が、この技術は、人物の目、肌などの特定
の部分を修正して精度を高めている。
(local transfer)

45. 技術や手法のキモはどこ？
入力画像と参考画像にそれぞれ3種類
の加工を施し、その入力画像と参考
画像とを合成し、最終的に1枚の画像
に合成する。
有効性は？
従来のものよりも仕上がりが綺
麗。
参考画像の目のハイライトや背
景も反映されるので、参考画像
を変えれば仕上がりも変わる。

46. 議論はある？
入力画像と参考画像の人物の顔の特徴
(肌の色など)はなるべく近い方がいい。
強い影がある画像は入力画像には向かない
In IEEE Conference on Computer Vision,
1034‒1041.2009.
Face alignment through subspace
constrained mean-shifts.
In IEEE Conference on Computer Vision,
1034‒1041.

47. Anima&ng(Fire(with(Sound(
(Cornell(University
CG
SE
CG
SE
SE
CLAVIN,(P.,(AND(SIGGIA,(E.(D.(1991.(Turbulent(
premixed(flames(and(sound(genera&on.

48. Pixie%Dust Graphics%Generated%by%Levitated%and%Animated%Objects%in%
Computa<onal%Acous<c>Poten<al%Field%
Yoichi%Ochiai,%Takayuki%Hoshi,%Jun%Rekimoto
○どんなもの？
音響場で物体を空中に浮揚させる.Graphicな視点で
の応用についての実装も行われていた.
○先行研究と比べてどこがすごい？
従来の研究では音響場を使って物体を空中に浮揚
させるだけであったが, この研究では空中に浮揚して
いる小さい粒子をつかってgraphicsを描くことを実装
した.
○技術や手法のキモはどこ？
コンピュータを使い位相配列レーダーを操作して,
位相の違う定常波を流し, 場(computational potential-
field)を作った.
○どうやって有効だと検証したか
空気や電磁力の特徴と比較して, サイズ以外に制約
がない音響場が物体を浮揚させるのに有効だとした.
また, ドライアイスを使って場の可視化をした.
○議論はあるか
サイズによる制約がある. 浮揚しても不安定な状態
である. ただ, プラズマの3D映像は触れることができ
ないが, この技術であれば可能？
○次に読むべき論文は？
“Mounting and Application of Bubble Display
System: Bubble cosmos” が気になる…
!

49. Compact%Ultrasound%Device%for%Noncontact%Interac<on%
Takayuki%Hoshi
○どんなもの？
集束超音波装置を小型化した.
○先行研究と比べて何がすごいの？
これまでの集束超音波装置は本体や周辺機器がとても
大きく, 場所をとったので簡単に使えるものではなかっ
た. 小型化したことによってより多くの研究者などの手
にとりやすくなり、使用されることが容易になった.
○技法や手法のキモはどこ？
回路の設計値に拡張性を持たせず, 設定値を固定すること
によって小型化を図った.
○どうやって有効だと検証した？
開発した装置から発生させた超音波の空間分布, 時間波形,
周波数応答, 強度制御の評価実験をした. また, 複数の共同研
究によっても有効性が検証されている？
○議論はある？
物体を離れた場所から押すことしかできず、引くことはで
きない.また,発生する力も弱い.
○次に読むべき論文は？
小型集束超音波装置を使った研究・実装についての論文.

50. 研究概要
距離センサによる手、顔の認識を
webカメラと機械学習の利用により
安価に実現させている。
他との違い
光の反射による深度情報の取得に
NIR（近赤外線）を用い、既存の
webカメラの改造で安価に作成可能
な点。
技術の中心となる点 実用性
人の顔及び手の認識に機械学習を用
い、取得する映像の解像度を本来の
カメラのものより落とすなどをして
リアルタイムで処理可能にしてい
る。おかげでスマートフォンにも応
用可能。
性能
性能としてもこれまでの深度センサ
を超えることはなくとも同程度のも
のがある。安価な点で勝るといえ
元はwebカメラであり、改造の手法
も載っているので安価に広く深度セ
ンサを用いることができる。新たな
NUIとしての開発などへの発展性が
ある。
読むべき他の論文
[Fredembachand Susstrunk 2008;
Krishnan and Fergus 2009]

51. 近赤外線（NIR）を可視化するこ
とで目に見えない情報を取得する
研究
深度情報から人間の骨格情報をう
まく取得する手法の研究

52. 通常の人物画像からそのポー
ズを推定する
機械学習を用いてShape from
Shading法による画像からの物体の深
度情報取得の高速化

53. 光の当て方を変えた複数枚の画像から３Dモデルの復元

54. どんなもの？
先行技術と比べてどこがすごい？
技術や手法のキモはどこ？
どうやって有効だと検証した？
議論はある？
次に読む論文は？
スマホを傾け水のしぶきをあげ、的に
当てるというゲーム。
不自然な粒子の動きが少なく、
なめらかなシュミレーションができる点。
解析学とstate graphを用いて粒子の動きを
計算する。
3DCGの水の動きは複雑なので、
全てを正確に制御するのは難しいのでは。
実際のプールでシュミレーションを行い、
それをアニメーションにすることで正確な
状態遷移図を作成した。
Highly Adaptive Liquid Simulations
on Tetrahedral Meshes 2013

55. どんな3Dの物体もキューブ状に
たたむことができる！
液体で3Dの物体を作成した
ときの粒子をシュミレーショ
ン
できる！

56. 光を当てると、思い通りの
絵を移すガラスを作る技術
平面の絵を３Ｄに見せる技術

57. 2枚の液晶と、奥のＬＥＤライトで
３Ｄの映像を表現！

58. Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms
Hiroshi Ishii and Brygg Ullmer
どういうものか 先行技術と比べて何がすごいか
どうやって有効だと検証したか
次に読みたい論文：OmniTouch:
Wearable Multitouch Interaction Everywhere
議論はあるのか
物質的な環境にある、つかめるオブジェクトや取り巻
くメディア(ambient media)を通して、ビットとアトム
の垣根に橋渡しをするtangible bits(触って感知できる
ビット)というHCI
従来のGUIのようなウィンドウやアイコンではなく、
物質的に触れることのできるレンズやファイコンなどを通して
操作できるTUIを採用している点。
光や音、水、空気の流れなど周囲を取り巻くメディアを用いる点。
GUIを現実世界に物質的なものとして持ってくるmetaDESK,
ホワイトボードに書いた物質的なデータをビットに変換する
インタラクティブなtransBOARD,
周囲を取り巻くメディアを用いるambientROOMを実装した
物質的空間とデジタルの光のインタラクションというアイディアは
ミラーやプリズム、透明、不透明、異なるスペクトラムの光、貫通
の力などの新しいたくさんの可能性を切り開く。

59. Iterative Design of Seamless Collaboration Media
‘Smart Clothing’: Wearable Multimedia Computing and
‘Personal Imaging’ to Restore the Technological Balance
Between People and Their Environments
Hiroshi Ishii, Minoru Kohayashi, and Kazuho Arita
リアルタイムで相手とアイコンタクトをしながら
ワークスペースを共有しやり取りできるクリアーボード
ヘッドマウントディスプレイ、カメラ、センサーなどの付いた、
パーソナルでWearableなマルチメディアコンピューター
Steve Mann
MIT Media Lab

60. Bricks: Laying the Foundations for Graspable User Interfaces The Computer for the 21st Century
物質的なハンドルを通して、電子的でバーチャルなオ
ブジェクトを直接 制御できるより発展的なGUI
これから人間がマシンの中に入るのではなく、
マシンが人間の環境に適合していく。
それによって、森の中を散歩するかのように、
新鮮に自然に我々はコンピューターを使うことになる
だろう。
George W. Fitzmaurice Hiroshi Ishii William Buxton Mark Weiser

61. Living in Augmented Reality: Ubiquitous Media
and Reactive Environments.
リモート通信によって会議に参加したり、
オフィスをシェアしたり、顔と顔を合わせて連絡を
取り合うことができる。
ユビキタスメディアに取り入れられるデザイン。
William A.S. Buxton Computer Systems Research Institute, University of Tornonto &
Alias | Wavefront Inc., Toronto

62. どんなもの？
先行研究と比べてどこがすごい？
議論
どうやって有効だと証明したか？
次に進むべき論文
技術や手法のキモはどこか？
距離を測定できるカメラ（Kinect）を用い
たタッチセンサーの開発
対象物が本や机などタッチセンサを持たな
いものであっても、また平面でなくても、
その物体に触れているか否かがわかる
距離を測定できるカメラを用い、物体まで
の距離と手の距離を比較してタッチしてるか
否かを判定する
実際に本の片方に手を置き、もう片方は浮
かせてカメラでその様子を撮影し、触れて
るか判定できたことを確認（上図）
OmniTouch: wearable multitouch interaction
everywhereかな？
さすがに従来のタッチスクリーンには精度
等で及ばないが、どこでもタッチパネルに
なるから様々な用途に有用なのでは？
Using&a&Depth&Camera&as&a&Touch&Sensor

63. どんなもの？
先行研究と比べてどこがすごい？
議論
どうやって有効だと証明したか？
次に進むべき論文
技術や手法のキモはどこか？
手や本、壁を認識し、そこに画面を投影
し、タッチスクリーンのように指の動作に
よって操作できる
動画では実際に手とノートを例に検証
スクリーンと違い、場所を制限されずに
インターフェース操作ができる
環境にプロジェクションし動きに合わせて
動く手法（The Everywhere Displays
projector等）と、指の動きを検出、表面を触
る動作を検出する手法（Skinput等）
被験者に実際に投影した画面を指でクリッ
クしたり、線を描いてもらって入力の整合
性を調べた
The Everywhere Displays projectorか…？
もっと入力、投影等を正確にできるのではない
か？
OmniTouch:&wearable&mul;touch&interac;on&everywhere

64. どんなものか？
先行研究と比べてどこがすごいか？
技術や手法のキモはどこか？ 次に読むべき論文は？
議論はあるか？
どうやって有効だと検証したか？
写真上で、２Dのものを3Dとして合成し、動
かせるようにする。
既存の3Dモデルを合成する際、写真に写っ
ていない背面部分も、写真から補完して合成
してしまうこと。
複雑な物や小さなパーツは失敗が起こりや
すい
従来は写真の合成は二次元空間に制限されて
いたが、この研究では３次元的な合成ができ
ること。
計算により、物体の歪みを調節、光源の見積もり、
隠れた部分と見える部分の形状の対称性の関係を
確立。MRFの使用。MSEの比較。
Zheng et al. [2012]

65. 視覚要素を使用し、2Dで表現
された物を3Dに復元する。
違和感無く画像の拡大縮小を
行い、様々なサイズの画像を
作り出せるようにする。

66. ある部分と一番似ている部分を見つ
けることで、画像編集をする
物体の対称性等を利用し、自由にオ
ブジェクトを変化させられるスライ
ドドッカー作成

67. 閉塞の分析、MRFの使用、２Dと３
Dのつなぎの最適化を提案すること
でフレームワークの表示をする

68. Air+Touch:+Interweaving+Touch+&+In Air+Gestures+
+
+(2014 )
20
,2 ,
5 , 15
,
+
+
An+in?air+poinAng+technique+to+manipulate+
out?of?reach+targets+on+tabletops.+

69. >+
+
>+
+
>+
+
>+
+
>+
+
> Globally+consistent+depth+labeling+of+4D+light+fields.++
Scene Reconstruction from High Spatio-Angular Resolution Light Fields
Changil+Kim1,2+Henning+Zimmer1,2+Yael+Pritch1+Alexander+Sorkine?Hornung1+Markus+Gross1,2+1Disney+Research+Zurich+2ETH+Zurich

70. • 3D
#
•
#
• 3D
#
• < >
#
• < >Jaap’s#sphere
#
• 3D
#
• Sensi&ve(Couture(
for(Interac&ve(Garment(Modeling(and(
Edi&ng #
Computa&onal(Design(of(Twisty(Joints(and(Puzzles(#

71. Configura&on(Transforma&on(Theory(from(a(ChainCType(
Reconfigurable(Modular(MechanismCRubik’(Snake
#
#
( )
#

72. 3DCPrin&ng(of(NonCassembly,(Ar&culate(Models(
#
#
3D #
#

73. Computa&onal(Design(of(LinkageCBased(
(Characters(
#
#
#

74. Plushie:(An(Interac&ve(Design(System(for(Plush(Toy(
#
#
2D
3D
#

75. Sensi&ve(Couture(
for(Interac&ve(Garment(Modeling(and(Edi&ng
#
#
2D 3D #
#

76. FlashTouch:+Data+Communica2on+through+Touchscreens
先行研究と比べてどこがすごい？
どんなもの？
技術や手法のキモはどこ？
どうやって有効性を検証した？
議論はある？
次に読むべき論文は？
可視光と静電容量式タッチを利用したタッチパネルを
搭載したモバイル端末間や周辺機器の新しいデータ通
信の技術.
可視光と静電容量式タッチの2種類の手法を用いて
データを伝達する点.
初期設定が不要なことや実装の手軽さ.
画面の可視光を受け取り、データを保存して、静電容
量式タッチパネルにデータを伝える手法.
NFCに似た電子決済システムやロボットのコントロー
ラーとして実装した.
ペン型の外部のデバイスを必要となる.
速くて大容量でも安定したデータ通信の手法は存在す
るが、接続の難しさやネットワークにつながっていな
い時のデータ通信の問題を解決できる.
・Visible'light'communica1on'and'display5based'compu1ng
・Phone'as'a'pixel
Masa'Ogata,'Yuta'Sugiura,'Hirotaka'Osawa,'Michita'Imai

77. Slide'Swipe:'Detec1ng'In5air'Gestures'Around'Mobile'Devices'Using'Actual'GSM'Signals
~ ~+
AM
#
#
~ ~+
3G TDMA GMSK
#
~ ~#
~ ~+
TI 14
( 87.2%)#
+
~ ~+
#
+
~ ~+
RF7ID#raw:Virtual#Touch#Screen#in#the#Air#Using#RF#Signals#
(Deepak#Vasisht,Jue#Wang#and#Dina#Katabi#/MIT)#

78. From 3D to VR and farther to Telexistence
3D . VR 30 .
2020 .
Telexistence : , . Telepresence )
Telexistence Master-Slave system TELESAR
TELESAR Master-slave , , , .
slave .
S. Tachi : From 3D to VR and farther to Telexistence
Artificial Reality and Telexistence (ICAT), 2013 23rd International Conference on,
Fig.3 TELESARFig.2 TelexistenceFig.1 3D-VR Fig.4

79. Telexistence Cockpit
for Humanoid Robot Control
Telexistence Master-Slave system
Cockpit , .
feedback HMD(
)
.
Slave- .
S. Tachi, K. Komoriya, K. Sawada, T. Nishiyama, T. Itoko, M. Kobayashi, and
K. Inoue: Telexistence Cockpit for Humanoid Robot Control, Advanced
Robotics, vol.17, no.3, pp.199-217, 2003.
TORSO: Development of a Telexistence
Visual System Using a 6-d.o.f. Robot Head
K. Watanabe, I. Kawabuchi, N. Kawakami, T. Maeda, and S. Tachi: TORSO:
Development of a Telexistence Visual System using a 6-d.o.f. Robot Head: Advanced
Robotics, vol.22, pp.1053- 1073, 2008.
D.O.F.(=degree of freedom)
D.O.F.

80. TELEsarPHONE: Mutual Telexistence Master-Slave
Communication System Based on Retrore-flective
Projection Technology
S. Tachi, K. Watanabe, and K. Minamizawa: TELEsarPHONE: Mutual Telexistence Master
Slave Communication System based on Retro-Reflective Projection Technology, SICE
Journal of Control, Measurement, and System Integration, vol.1, no.5, pp.1-10, 2008.
Telexistnce
TELEsarPHONE
.
.
Design of TELESAR V for Transferring
Bodily Consciousness in Telexistence
Telexistence Master-slave system TELESAR .
, , ,
D.O.F.(=Degree of freedom) D.O.F.
D.O.F. D.O.F.
Fig 1. TELESAR
C. L. Fernando and S. Tachi: Design of TELESAR V for Transferring Bodily
Consciousness in Telexistence, Proceedings of IEEE/RSJ International
Conference on Intelligent Robots and Systems (IROS2012), pp.5112-5118,
Vilamoura, Algarve, Portugal, 2012.

81. Mutual Hand Representation for Telexistence Robots
using Projected Virtual Hands
MHD Yamen Saraiji, Charith Lasantha Fernando, Kouta Minamizawa, and Susumu
Tachi : Mutual hand representation for telexistence robots using projected virtual
hands. In Proceedings of the 6th Augmented Human International Conference (AH
'15), Singapore, pp.221-222 (2015.3) [demonstration]
.
Telexistence

82. Imaginary)Reality)Gaming:)Ball)Games)Without)a)Ball
AR #
#
HMD
#
#
#
#
#
#
Monte#Carlo#Methods#for#Managing#
Interac7ve#State,#Ac7on#and#
Feedback#Under#Uncertainty##

83. Development#of#the#
Mo7onBControllable#Ball

84. Monte#Carlo#Methods#for#Managing#
Interac7ve#State,#Ac7on#and#Feedback#
Under#Uncertainty

85. Stochas7cks:#Augmen7ng#the#Billiards#
Experience#with#Probabilis7c#Vision#and#
Wearable#Computers#
3D
HMD

86. Target#Assistance#for#Subtly#Balancing#
Compe77ve#Play

87. Imaginary#Interfaces:#Spa7al#Interac7on#with#
Empty#Hands#and#without#Visual#Feedback

88. Coexistent)Space:)Toward)Seamless)Integra7on)of)Real,)Virtual,)and)Remote)
Worlds)for)4D+)Interpersonal)Interac7on)and)Collabora7on)
!
!
4D+
!
4D+ ,3D!vision, , , , ,
!
!
!

89. Immersive)GroupDtoDGroup)Telepresence
3D !
TELEPORT)–)Towards)immersive)
copresence
!
!
Stephan!Beck,!Andre!Kunert,!Alexander!Kulik,!and!
Bernd!Froehlich,!´!Member,!IEEE Simon!J.!Gibbs,!ConstanGn!Arapis,!ChrisGan!J.!
Breiteneder

90. A)NOVEL)SEEDTHROUGH)SCREEN)BASED)
ON)WEAVE)FABRICS
!
!
!
A)Framework)for)Collabora7ve)RealDTime)
3D)Teleimmersion)in)a)Geographically)
Distributed)Environment
3D
!
3
!
TriangulaGon !
Cha!Zhang†!,!Ruigang!Yang‡!,!Tim!Large†!,!
Zhengyou!Zhang† Gregorij!Kurillo,!Ramanarayan!Vasudevan,!
Edgar!Lobaton,!and!Ruzena!Bajcsy

91. Rapid)3D)Modeling)and)Parts)
Recogni7on)on)Automo7ve)
Vehicles)Using)a)Network)of)RGBDD)
Sensors)for)Robot)Guidance)
Kinect
Kinect
3D !
Alberto!ChávezUAragón,!Rizwan!Macknojia,!Pierre!
Payeur,!and!Robert!Laganière

92. A"Probabilis+c"Model"for"Component6Based"Shape"Synthesis"
Evangelos*Kalogerakis* Siddhartha*Chaudhuri* Daphne*Koller* Vladlen*Koltun**
100 1267
KALOGERAKIS,*E.,*HERTZMANN,*A.,*AND*SINGH,*K.*2010.*Learning*
3D*mesh*segmentaLon*and*labeling.*ACM$Transac+$,ons$on$
Graphics$29,*4.**

93. Unsupervised+Co.Segmenta4on+of+a+Set+of+Shapes+via+
Descriptor.Space+Spectral+Clustering
Oana+Sidi ++Oliver+van+Kaick†++Yanir+Kleiman ++Hao+Zhang†+Daniel+
Cohen.Or
Joint+Shape+Segmenta4on+with+Linear+Programming++
Qixing+Huang++Vladlen+Koltun++Leonidas+Guibas++

94. Upright+Orienta4on+of+Man.Made+Objects+
Hongbo+Fu+++Daniel+Cohen.O+++Gideon+Dror+++Alla+Sheffer+
Learning+3D+Mesh+Segmenta4on+and+Labeling+
Evangelos+Kalogerakis+++Aaron+Hertzmann++Karan+Singh+

95. A+3D+Shape+Benchmark+for+Retrieval+and+Automa4c+
Classifica4on+of+Architectural+Data
Raoul+Wessel+++++Ina+Blümel+++++Reinhard+Klein

96. 2D
3D
( )
2
( )
IR(cut(filter IR(bandpass(filter
NIR
ToF( (Xbox(One(Kinect)
[Hoiem(et(al.(2005]

97. 1 3D
2

98. 2D (
(
RDF
(
(
(
(

99. (
3D (
(
3D

100. 2D
3D
( )
(
2
( )
IR(cut(filter IR(bandpass(filter NIR
ToF( (Xbox(One(Kinect)
(
[Hoiem(et(al.(2005]

101. Focus 3D: Compressive Accommodation Display
ANDREW MAIMONE!
University of North Carolina at Chapel Hill!
GORDON WETZSTEIN, MATTHEW HIRSCH, DOUGLAS LANMAN and RAMESH RASKAR MIT Media Lab!
and!
HENRY FUCHS!
University of North Carolina at Chapel Hill

102. どんなもの？
• 3Dによる立体映像をメガネなしで提供するディス
プレイ

103. 先行研究と比べて何がすご
い？
• 光学的な構造および、コンピュータを利用した際の
コストが低い
• 明るさ、解像度、framerateの値が従来よりすぐれ
ている

104. 技術や手法のキモはどこ？
・[Lanman et al. 2010] による、ディスプレイへ
の最適化された高速な調整
• 従来にはない新しいコンピュータの表示構造

105. どうやって有効だと検証し
た？
• 従来のディスプレイとの解像度、framrate、立体
度を、比べた。

106. 議論など
• ディスプレイに対して垂
直な位置でなければ3D
表示が上手く表示されな
い
次に読むべき
論文は？
• 従来の3Dディスプレイの構造と比較する必要
があると考え
• [Sullivan 2003]
• [Putilin et al. 2001; Gotoda 2010;
Wetzstein et al. 2011; Lanman et al.
2011; Wetzstein et al. 2012]
• [Chu et al. 2005; Chien and Shieh 2006;
Brott and Schultz 2010]
• [Toyooka et al. 2001; Mather et al. 2009;
Kwon and Choi 2012]
• などを読むべきだと思っている。
[

107. CICHOCKI, A., ZDUNEK, R., PHAN,
A. H., AND ICHI AMARI, S. 2009.
Nonnegative Matrix and Tensor
Factorizations. Wiley.
画像処理における、ベクトルの因数
分解処理のアルゴリズムを利用
BROTT, R. AND SCHULTZ, J. 2010.
Directional backlight lightguide con-
siderations for full resolution
autostereoscopic 3D displays. SID Digest,
218–221.
3Dディスプレイで高解像度のを実現
するための理論を利用

108. AKELEY, K., WATT, S. J., GIRSHICK, A. R.,
AND BANKS, M. S. 2004. A stereo display
prototype with multiple focal distances. ACM Trans.
Graph. (SIGGRAPH) 23, 804–813.
• 正確な焦点距離の取得に利用
LANMAN, D., HIRSCH, M., KIM, Y., AND
RASKAR, R. 2010. Content- adaptive
parallax barriers: Optimizing dual-layer 3D
displays using low- rank light field
factorization. ACM Trans. Graph.
(SIGGRAPH Asia) 29, 163:1–163:10.
• 3Dディスプレイへの最適化表示に利用

109. MARWAH, K., WETZSTEIN, G., BANDO,
Y., AND RASKAR, R. 2013. Compressive
Light Field Photography using Overcomplete
Dictionaries and Optimized Projections. ACM
Trans. Graph. (Proc. SIGGRAPH).
明視野の効率的な圧縮技術