Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Deep Visual-Semantic Alignments for Generating Image Descriptions
Andrej Karpathy Li Fei-Fei
201613036 LI ZHENYU (人間コース)
ど...
先行研究と比べてどこがすごい?
議論はある?
次に読むべき論文は?
技術や手法のキモはどこ?
どうやって有効だと検証した?どんなもの?
Jean Lahoud, Bernard Ghanem
King Abdullah University o...
先行研究と比べてどこがすごい?
議論はある?
次に読むべき論文は?技術や手法のキモはどこ?
どうやって有効だと検証した?どんなもの?
Sliding Shapes for 3D Object Detection in Depth Images
...
先行研究と比べてどこがすごい? 議論はある?
次に読むべき論文は?技術や手法のキモはどこ?
どうやって有効だと検証した?どんなもの?
Learning Rich Features from RGB-D Images for Object
Det...
先行研究と比べてどこがすごい? 議論はある?
次に読むべき論文は?
技術や手法のキモはどこ?
どうやって有効だと検証した?どんなもの?
Holistic Scene Understanding for 3D Object Detection w...
先行研究と比べてどこがすごい? 議論はある?
次に読むべき論文は?
技術や手法のキモはどこ?
どうやって有効だと検証した?どんなもの?
You Only Look Once: Unified, Real-Time Object Detection...
先行研究と比べてどこがすごい? 議論はある?
次に読むべき論文は?技術や手法のキモはどこ?
どうやって有効だと検証した?どんなもの?
Three-Dimensional Object Detection and Layout Predictio...
Toward Multimodal Image-to-Image Translation - NIPS 2017
Jun-Yan Zhu UC Berkeley Trevor Darrell UC Berkeley Richard Zhang ...
Autoencoding beyond pixels using a learned similarity metric - ICML 2016
Anders Boesen Lindbo Larsen1 Søren Kaae Sønderby2...
InfoGAN: Interpretable Representation Learning by Information Maximizing
Generative Adversarial Nets - NIPS 2016
• X. Chen...
Image-to-Image Translation with Conditional Adversarial Networks - CVPR 2017
• P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efr...
D 1 8
52 0
D 5 C
D W N VN
W V 8 N 8
N C N
D D VN 5
R N 7
D 2 4 2 05 N
D 2 0
. .
45 5
15 2 6 5 21
21 064 21
t b l I A
as o n R 7 C r I
A c
Vid
0 1
2 1 5
17 5
sicVn S kl b mVI
4-- E OI sic n Por OV I
f e
7 54 1 7 2A 5 7 2 5 7 V p Rda C
7
4 5 254
54 7254
1 54 20 7
de N R N M D1 R M f N
bI C A
f A
a c
5 4
2 4 7 0 2
2 1750 2
W RA C 88
A DI 8
45 5
15 2 6 5 21
21 064 21
26 1 0
c as l n dA sl R
o t C r J I J
a s i u C 7
b
Graffiti Fur: Turning Your Carpet into a Computer Display
Yuta Sugiura1, Koki Toda1, Takayuki Hoshi2,Youichi Kamiyama1, Tak...
OmniTouch: Wearable Multitouch Interaction
Everywhere
Chris Harrison1,2 Hrvoje Benko1 Andrew D. Wilson1
Uist’11
このデバイスを使用す...
WorldKit: Rapid and Easy Creation of Ad-hoc
InteractiveApplications on Everyday Surfaces
Robert Xiao Chris Harrison Scott ...
Detecting Shape Deformation of Soft Objects Using
Directional Photoreflectivity Measurement
Yuta Sugiura1&2, Gota Kakehi1 ,...
r s u
orgc h
u
r mo l i
t d
Z Y 2 - ,
JPRSCK PFCKJRV JM RIF C F LFMR SMEFP RCMEJMH CME
RPFCRLFMR NG LFMRCK IFCKRI EJ NPEFP...
Semantic Soft Segmentation
Yagiz Aksoy, Tae-Hyun Oh, Sylvain Paris, Marc Pollefeys and Wojciech Matusik
画像内の異なるオブジェクト間の境界を...
関連論文
・KNN Matting [Qifeng Chen, Dingzeyu Li, Chi-Keung Tang]

k-nearest neighbor algorithmを用いて,Image mattingを行う.Image
matt...
・A Perceptually Motivated Online Benchmark for Image Matting [Christoph Rhemann, Carsten Rother, Jue
Wang, Margrit Gelautz...
Adding Force Feedback to Mixed Reality Experiences and Games using Electrical Muscle Stimulation - CHI2018
Pedro Lopes, Si...
Providing Haptics to Walls & Heavy Objects in Virtual Reality by Means of Electrical Muscle - CHI2017
Abst
Introduction
Co...
HapThimble: A Wearable Haptic Device towards Usable Virtual Touch Screen - CHI2016
Abst
Introduction
Conclusion
光学式シースルーHM...
Annexing Reality: Enabling Opportunistic Use of Everyday Objects as Tangible Proxies in Augmented - CHI2016
Abst
Introduct...
AIREAL: Interactive Tactile Experiences in Free Air - TOG2013
Abst
Introduction
Conclusion
AIREALは、ユーザーが物理的なデバイスを着用することなく、...
UltraHaptics: Multi-Point Mid-Air Haptic Feedback for Touch Surfaces - UIST2013
Abst
Introduction
Conclusion
超音波の集中を使用して,触...
HUMAN ACTION GENERATION WITH GENERATIVE ADVERSARIAL NETWORKS
Mohammad Ahangar Kiasari, Dennis Singh Moirangthem, Minho Lee...
HP-GAN: PROBABILISTIC 3D HUMAN MOTION PREDICTION VIA GAN
Emad Barsoum, John Kender, Zicheng Liu
どんなもの?
先行研究と比べてどこがすごい?
技術や...
SKELETON-AIDED ARTICULATED MOTION GENERATION
Yichao Yan* , Jingwei Xu* , Bingbing Ni, Wendong Zhang, Xiaokang Yang
どんなもの?
...
DEEP REPRESENTATION LEARNING FOR HUMAN MOTION PREDICTION AND CLASSIFICATION
Judith Butepage, Michael J. Black, Danica Krag...
ON HUMAN MOTION PREDICTION USING RECURRENT NEURAL NETWORKS
Julieta Martinez , Michael J. Black , and Javier Romero
どんなもの?
...
GENERATIVE ADVERSARIAL NETS
Ian J. Goodfellow , Jean Pouget-Abadie , Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Oza...
2
PROCEDURALVORONOI FOAMS FOR ADDITIVE MANUFACTURING
TRANSACTIONS ON GRAPHICS 2017
e b p
P
p P P
P
10 -4 e b
pP
u pPch m
P...
3
# ## me h
o B lra B
Bt 2 1-
b i
Bd 5
- 2 0 s 4
4
5 ### 21 #
0
4 0
0 5
0
5
#
0 1 4 1 12 2 5 R
a
Virtual Reality and Attitudes toward Tourism Destinations
Iis P. Tussyadiah, Dan Wang , Chenge (Helen) Jia
どんなもの? どうやって有効だ...
Virtual Shopping: Breakthrough in Marketing Research
Raymond R. Burke
VR上で(Not HMD)仮想的な買い物をおこなった場合と、被験者が実
際に買い物に行った際の購入する傾...
Creating virtual product experiences: The role of telepresence
LR Klein
商品の3Dオブジェクトを操作してもらい、実際に触ったときの状態と仮
想的に触ったときの状態とで購買意...
Depth of Presence in Virtual Environments
Mel Slater , Martin Usoh , Anthony Steed
VR体験が身体にどれくらいの影響をもたらしているのかを実験し、
また、「没頭し...
Navigating Large-Scale Virtual Environments:
What Differences Occur Between Helmet-Mounted and Desk-Top Displays?
Roy A. Ru...
A Conceptual Model of the Sense of Presence in Virtual Environments
KE Bystrom, W Barfield, C Hendrix
仮想環境における概念モデルの新しい提案。
...
elopment of an EMG controlled hand exoskeleton for post-stroke rehabilitation
n
“ xh vdP y cw ~
n o il ge
m rp sn
BLCA E 1...
FLIPPIN’ : Exploring a Paper-based Book UI Design
in a Public Space CHI ‘17
Koichi Yoshino, Koichi Obata, and Satoru Tokuh...
Bookisheet: Bendable device for browsing content using the metaphor of leafing through the pages
UbiComp 2008
Jun-ichiro W...
PaperID: A Technique for Drawing Functional Battery-Free Wireless Interfaces on Paper
CHI ‘16
Hanchuan Li, Eric Brockmeyer...
QOOK: a new physical-virtual coupling experience for active reading
UIST ‘13
Yuhang Zhao, Yongqiang Qin, Yang Liu, Siqi Li...
The mixed reality book: a new multimedia reading experience
CHI EA ‘07
Raphael Grasset, Andreas Duenser, Hartmut Seichter,...
SequenceBook: interactive paper book capable of changing the storylines by shuffling pages
CHI EA ‘10
Hiroki Yamada
201713...
Deep Video Portraits
HYEONGWOO KIM, PABLO GARRIDO,AYUSH TEWARI, WEIPENG XU,JUSTUS THIES, MATTHIAS
NIESSNER,PATRICK PÉREZ,C...
Instant noodles as a major cause of pediatric burns
どんな内容?
小さいころ多くの人が経験する火傷という
傷害。最も多いやけどの原因はインスタン
トラーメンによるものだった。
どうやって分析し...
Modeling Vellus Facial Hair from Asperity Scattering Silhouettes
Chloe LeGendre Loc Hyunh Shanhe Wang Paul Debevec SIGGRAP...
Comicolorization: Semi-Automatic Manga Colorization
Chie Furusawa, Kazuyuki Hiroshiba, Keisuke Ogaki, Yuri Odagiri
どんなもの?
...
- - -
#, 7 2 7 4 7C 1 6 -7A 7 1 7H7AA #, 7 7
H C 7A C 7 C 0 7
oaicK
La n M u c
a n X
n X
ct d K
Z YK
d K
b hgT dK
( ) M
ru...
人間 201611451 都築陵佑
Rapid Interactive Real-time Application Prototyping for Media Arts and Stage Performance
SIGGRAPH ASIA 2...
.34
3 JRON FRRF MJSI NE 7JDI FL 8FGG
B C E
V R
E
B
a
a
G DF SO G DF 1 1 n e Y
yr FMCOE V Ypdr
NOAFMCOE m
e ji rms
hc Yr s ...
ClothCap: Seamless 4D Clothing Capture and Retargeting
服を着た人物から4Dスキャンによって衣服と動き
を捉えて, 服のみを抽出し, 新しい体型に調整する技
術. バーチャル試着などに応用す...
どんなもの? どうやって検証した?
先行研究と比べて
技術のキモは?
議論
次に読む論文
伊藤




ChromaGlasses: Computational Glasses for
Compensating Colour Blindness...
どんなもの? どうやって検証した?
先行研究と比べて
技術のキモは?
議論
次に読む論文
伊藤




HydroMorph: Shape Changing Water Membrane
for Display and Interaction
...
どんなもの? どうやって検証した?
先行研究と比べて
技術のキモは?
議論
次に読む論文
伊藤


Resolution Enhanced Light Field Near-to-Eye
Display Using E-shifting Met...
どんなもの? どうやって検証した?
先行研究と比べて
技術のキモは?
議論
次に読む論文
伊藤




Optical see-through Maxwellian near-to-eye
display with an enlarged ey...
どんなもの? どうやって検証した?
先行研究と比べて
技術のキモは?
議論
次に読む論文
伊藤


High-resolution additive light field near-eye
display by switchable Panch...
どんなもの? どうやって検証した?
先行研究と比べて
技術のキモは?
議論
次に読む論文
伊藤




Towards passive 6D reflectance field displays
背後からの照明によって変化する4D
light fie...
どんなもの? どうやって検証した?
先行研究と比べて
技術のキモは?
議論
次に読む論文
伊藤




Spec2Fab: A Reducer-Tuner Model for Translating
Specifications to 3D Pr...
2018年6月8日 金曜日
今週
- 今週はもう一個の方を動かそうと頑張ってたら動いたのが今日の2時だった
- なのでまだdenseregは動かせてない 今日からやる
- Caffe とか色々使わないと動かないっぽい
- 実装が思いつかなくて考え...
先端技術とメディア表現 第4回レポートまとめ
先端技術とメディア表現 第4回レポートまとめ
Upcoming SlideShare
Loading in …5
×

先端技術とメディア表現 第4回レポートまとめ

1,852 views

Published on

先端技術とメディア表現のレポート全員分のまとめです

Published in: Education
  • Be the first to comment

先端技術とメディア表現 第4回レポートまとめ

  1. 1. Deep Visual-Semantic Alignments for Generating Image Descriptions Andrej Karpathy Li Fei-Fei 201613036 LI ZHENYU (人間コース) どんなもの 画像のデータセットとその文章の説明 言語間のモーダル間の対応について ビジュアルデータ 先行研究と比べてどこがすごい 生成された記述が、フルイメージの検索 ベースラインを上回ります 技術や手法のキモはどこ 畳み込みニューラルネットワークの過剰画像領域、 文章の双方向反復ニューラルネットワーク、 に基づく。 どうやって有効だと検証した イメージセンテンスアライメント評価 議論はある? モデルは1つの入力ピクセル配列の記述を生成する 固定解像度。 次に読むべき論文 Green Internet of Things for Smart World
  2. 2. 先行研究と比べてどこがすごい? 議論はある? 次に読むべき論文は? 技術や手法のキモはどこ? どうやって有効だと検証した?どんなもの? Jean Lahoud, Bernard Ghanem King Abdullah University of Science and Technology (KAUST) Thuwal, Saudi Arabia 2D-Driven 3D Object Detection in RGB-D Images RGB-Dカメラを用いた3次元的な物体認識手法 単一の画像で奥行きを測定して 立体的な物体認識を実現した ICCV ‘17 他の2つの手法と比較し、3倍高速かつ良好な検出性能 を達成 RGB画像と奥行きの情報を与え、周りの物体と目標物 の境界の区別をパーセプトロンで学習 [9] S. Gupta, R. Girshick, P. Arbel´aez, and J. Malik. Learning rich features from rgb-d images for object detection and segmentation. In ECCV, pages 345–360. Springer, 2014. [19] D. Lin, S. Fidler, and R. Urtasun. Holistic scene understanding for 3d object detection with rgbd cameras. In ICCV, pages 1417–1424, 2013. [23] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You only look once: Unified, real-time object detection. In CVPR, pages 779–788, 2016. [26] Z. Ren and E. B. Sudderth. Three-dimensional object detection and layout prediction using clouds of oriented gradients. CVPR, 2016. [30] S. Song and J. Xiao. Sliding shapes for 3d object detection in depth images. In ECCV, pages 634–651. Springer, 2014. 201711443_人間_加藤優一
  3. 3. 先行研究と比べてどこがすごい? 議論はある? 次に読むべき論文は?技術や手法のキモはどこ? どうやって有効だと検証した?どんなもの? Sliding Shapes for 3D Object Detection in Depth Images Shuran Song and Jianxiong Xiao RGB-D画像から一般的な3D物体を検出するアルゴリズム RGBベースの検出とどのように結合し、 データから自動的に3D特徴を学習するか オブジェクト検出、すなわちテクスチャ、照明、形状、視点、自 己閉塞、クラッタ、オクルージョンおよびセンサ雑音の変化の主 な制限を克服するためにデータ駆動方式で奥行き情報を利用 いくつかの物体について、複数の手法 と画像形式に分けて比較実験を行った 奥行きの検出器がRGBとRGBDの両方の画像に対して最先 端のアルゴリズムよりも大幅に優れていることを示した 201711443_人間_加藤優一
  4. 4. 先行研究と比べてどこがすごい? 議論はある? 次に読むべき論文は?技術や手法のキモはどこ? どうやって有効だと検証した?どんなもの? Learning Rich Features from RGB-D Images for Object Detection and Segmentation Saurabh Gupta1 , Ross Girshick1 , Pablo Arbelaez 1;2 , and Jitendra Malik1 ECCV '14 RGB画像と奥行き情報を用いたRGB-D画像 のオブジェクト検出手法 37.3%の平均精度を達成、既存の 方法よりも56%相対的に改善した RGB-D輪郭検出と2.5次元領域の提示、 畳み込みニューラルネットワークによる検出 物体検出精度を他の検出手法と比較し、 高精度であることを示した 201711443_人間_加藤優一
  5. 5. 先行研究と比べてどこがすごい? 議論はある? 次に読むべき論文は? 技術や手法のキモはどこ? どうやって有効だと検証した?どんなもの? Holistic Scene Understanding for 3D Object Detection with RGBD cameras Dahua Lin Sanja Fidler Raquel Urtasun ICCV ‘13 RGBDデータを用いた屋内の物体の判断、認識 異なるソースからの情報を統合してキューボイドを分類す る条件付きランダムフィールドを開発、シーン分類と3D物 体認識が結合され、確率論的推論によって解くことが可能 ハイレベルなNYU v2データセットに 対する有効性をテストした 他のソース(動画など)からの情報 を組み込むことで、パフォーマンス をさらに向上させることができる 既存の方法よりも大幅な改善を示した 201711443_人間_加藤優一
  6. 6. 先行研究と比べてどこがすごい? 議論はある? 次に読むべき論文は? 技術や手法のキモはどこ? どうやって有効だと検証した?どんなもの? You Only Look Once: Unified, Real-Time Object Detection Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi CVPR ‘16 先行研究とは異なるアプローチで高速なアーキテクチャを持ち、 判別に要する時間が極めて短い 1つの評価で完全な画像から直接境界ボックスおよびクラス 確率を予測するニューラルネットワーク 新しいドメインや予期しない入力に適用 すると分解しにくくなる、先端の検出シス テムよりも精度がまだ劣っている オブジェクト検出の新しいアプローチ 201711443_人間_加藤優一
  7. 7. 先行研究と比べてどこがすごい? 議論はある? 次に読むべき論文は?技術や手法のキモはどこ? どうやって有効だと検証した?どんなもの? Three-Dimensional Object Detection and Layout Prediction using Clouds of Oriented Gradients Zhile Ren and Erik B. Sudderth 屋内の3次元物体検出と空間レイアウト予測のための 新しい表現とアルゴリズム SUN RGB-Dデータベースを用いた際の性能で 先行研究を大幅に上回る 3Dオブジェクトの姿勢を2D画像境界に強く結 びつける新しい勾配勾配(COG)特徴を導入 大規模なSUN-RGBDデータセットを用いて アプローチを検証 201711443_人間_加藤優一
  8. 8. Toward Multimodal Image-to-Image Translation - NIPS 2017 Jun-Yan Zhu UC Berkeley Trevor Darrell UC Berkeley Richard Zhang UC Berkeley Alexei A. Efros Oliver Wang Deepak Pathak UC Berkeley Eli Shechtman Adobe Research UC Berkeley Adobe Research どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? 議論はある? 次に読むべき論文は? 画像の画風変換を1パターンではなく複数できる. pix2pixでは生成時に与えるseedノイズを工夫しても mode collapseしてしまったが,しなくなった. cVAE-GANとcLR-GANをまとめた,BicycleGANというモデ ル. どうやって有効だと検証した? edges → photos , Google maps → satellite, labels → images, and outdoor night → day images の変換をpix2pix+noise, cAE-GAN, cVAE-GAN, cVAE-GAN++, cLR-GAN, BicycleGAN でやってみた.Google maps → satellites でLPIPSという多様性を測るスコアを比較. Amazon メカニカルタークで された率を比較. 多様性を測るLPIPSという指標のスコアは画像が不自然なときも 高くなる. latentの次元は少なすぎるとmode collapseするが,多すぎると より多くの情報量を持ってしまうため良くない. • A. B. L. Larsen, S. K. Sønderby, H. Larochelle, and O. Winther. Autoencoding beyond pixels using a learned similarity metric. In ICML, 2016. 201611429 大曽根宏幸 #4 (人間コース) 1
  9. 9. Autoencoding beyond pixels using a learned similarity metric - ICML 2016 Anders Boesen Lindbo Larsen1 Søren Kaae Sønderby2 Hugo Larochelle3 Ole Winther1,2 1 Department for Applied Mathematics and Computer Science, Technical University of Denmark 2 Bioinformatics Centre, Department of Biology, University of Copenhagen, Denmark 3 Twitter, Cambridge, MA, USA どんなもの? VAEとGANを組み合わせた.GANのdiscriminatorで 学習された特徴表現をVAEのobjectiveに使用できる. 201611429 大曽根宏幸 #4 (人間コース) 2 Vincent Dumoulin1 , Ishmael Belghazi1 , Ben Poole2 
 Olivier Mastropietro1 , Alex Lamb1 , Martin Arjovsky3 
 Aaron Courville1† 
 1 MILA, Université de Montréal, firstname.lastname@umontreal.ca.
 2 Neural Dynamics and Computation Lab, Stanford, poole@cs.stanford.edu. 3 New York University, martinarjovsky@gmail.com. † CIFAR Fellow. どんなもの? xからGeneratorによって推論したzと,zから Generatorによって推論したペア同士をDiscriminator によって比べる. ADVERSARIALLY LEARNED INFERENCE - ICLR 2017
  10. 10. InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets - NIPS 2016 • X. Chen, Y. Duan, R. Houthooft, J. Schulman, I. Sutskever, and P. Abbeel. どんなもの? 教師なし学習で生成画像を制御できる 潜在変数と観察の間の相互情報量を最大化する 201611429 大曽根宏幸 #4 (人間コース) 3 • R. Zhang, J.-Y. Zhu, P. Isola, X. Geng, A. S. Lin, T. Yu, and A. A. Efros. どんなもの? 白黒写真をリアルタイムで着色できる.ユーザーイン プット型とデータドリブン型の着色手法の融合. 1. 疎な入力から全体を推測. 2. 適したカラーパレットをサジェスト. 3. 1分で良い着色ができるか実験. 4. unusualな着色も生成できる. 5. Real-Time User-Guided Image Colorization with Learned Deep Priors - SIGGRAPH 2017
  11. 11. Image-to-Image Translation with Conditional Adversarial Networks - CVPR 2017 • P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros. どんなもの? pix2pix 画像と画像の変換をおこなう. GeneratorにU-Net,PatchGANをDiscriminatorに 使用. 201611429 大曽根宏幸 #4 (人間コース) 4
  12. 12. D 1 8 52 0 D 5 C D W N VN W V 8 N 8 N C N D D VN 5 R N 7 D 2 4 2 05 N D 2 0 . .
  13. 13. 45 5 15 2 6 5 21 21 064 21 t b l I A as o n R 7 C r I A c Vid
  14. 14. 0 1 2 1 5 17 5 sicVn S kl b mVI 4-- E OI sic n Por OV I f e 7 54 1 7 2A 5 7 2 5 7 V p Rda C
  15. 15. 7 4 5 254 54 7254 1 54 20 7 de N R N M D1 R M f N bI C A f A a c
  16. 16. 5 4 2 4 7 0 2 2 1750 2 W RA C 88 A DI 8
  17. 17. 45 5 15 2 6 5 21 21 064 21 26 1 0 c as l n dA sl R o t C r J I J a s i u C 7 b
  18. 18. Graffiti Fur: Turning Your Carpet into a Computer Display Yuta Sugiura1, Koki Toda1, Takayuki Hoshi2,Youichi Kamiyama1, Takeo Igarashi3 and Masahiko Inami1 どんなもの? カーペットの毛の向きを変えて、 カーペットで絵を描くデバイス,UI の開発 先行研究と比べてどこがすごい? グレア効果を生じさせることがないディ スプレイとして使用でき、維持には電力 を消費しない。 技術や手法のキモはどこ? 毛皮の向きで絵がかけるので、 AUFDで毛を押すことによっても 絵がかける。 議論はある? 位置のキャリブレーションを人が やらなければならない。カーペッ トによって性質が変わる。 次に読むべき論文 OmniTouch どうやって有効だと検証した? 子供がいる6家族を招待して使い 心地などを聞いた。 UIST’14, 201611426 人間コース 岩崎里玖
  19. 19. OmniTouch: Wearable Multitouch Interaction Everywhere Chris Harrison1,2 Hrvoje Benko1 Andrew D. Wilson1 Uist’11 このデバイスを使用することでユーザーはあらゆる場 所をデバイスの表面として使用することができる。 デプスセンサーで投影先の形状を取得することによっ て、クリックなどの動きを取得することができる。ス マホよりも広い面に東映することで能力をより発揮す る。 FoldMe: Interacting with Double-sided Foldable Displays Mohammadreza Khalilbeigi Roman Lissermann Wolfgang Kleine Jürgen Steimle TEI’12 自由に折りたためることができるデバイスの開発を行った。 折りたたむことによって、折りたたんだ背面の画面にもアク セスすることができる。 201611426 人間コース 岩崎里玖
  20. 20. WorldKit: Rapid and Easy Creation of Ad-hoc InteractiveApplications on Everyday Surfaces Robert Xiao Chris Harrison Scott E. Hudson CHI 2013 WorldKit システムはデプスカメラとプロジェクターを利用す ることによって、様々な物体の表面をインターフェースとし て使用することができる。あらゆるものをインターフェース として使用できることによって、コンピューティングの即時 アクセスが可能となる。キャリブレーションなしで日常にお ける様々なものをタッチディスプレイとして使うことができ る。 PINOKY: A Ring That Animates Your Plush Toys Yuta Sugiura1&2, Calista Lee1&2, Masayasu Ogata1&2, Anusha Withana1, Yasutoshi Makino1, Daisuke Sakamoto2&3, Masahiko Inami1&2, Takeo Igarashi2& CHI 2012 ぬいぐるみに腕輪を取り付けることによって、ぬいぐるみ を外部から操作することのできるロボットにすることが できる。ぬいぐるみを使うことによって、子供のストレス を軽減させることができる。ぬいぐるみは日常において様々 な場所にあるため、このデバイスには応用性があると考え ている。 201611426 人間コース 岩崎里玖
  21. 21. Detecting Shape Deformation of Soft Objects Using Directional Photoreflectivity Measurement Yuta Sugiura1&2, Gota Kakehi1 , Anusha Withana1&2, Calista Lee1 , Daisuke Sakamoto2&3, Maki Sugimoto1&2, Masahiko Inami1&2 and Takeo Igarashi2& UIST 2011 ぬいぐるみやクッションのような柔らかいものの形状の変化を計測す ることができる無線デバイスの開発。LEDによって発せられた光をIR センサーが反射エネルギーを計測することによって、タッチ位置と形 状変化を検出することができる。 ボタンのようなデバイスと違ってかたくないため、子供にとって優し いデバイスである。 201611426 人間コース 岩崎里玖
  22. 22. r s u orgc h u r mo l i t d Z Y 2 - , JPRSCK PFCKJRV JM RIF C F LFMR SMEFP RCMEJMH CME RPFCRLFMR NG LFMRCK IFCKRI EJ NPEFP 533 - 4 nu' y ou t p u4 0u p v c s isf wpd s m c tpd tsm nu u t mo sru u u nf g t mo t ao CMNPCLJD RFPFN TJEFN JRI C JMHKF DCLFPC 2C R .JKCRFPCK OCDF RFPFN GNP VMRIFRJD 0FGNDS u ev u io ie g cpds u s u u t Y i 71 5 - B1 5 4-18 2# 41 . A 1 1 - 6 4- 1 7 2 5 4- 0 B185 75
  23. 23. Semantic Soft Segmentation Yagiz Aksoy, Tae-Hyun Oh, Sylvain Paris, Marc Pollefeys and Wojciech Matusik 画像内の異なるオブジェクト間の境界を正確に捉え, 同じ物体が写っている領域で分割する. 従来研究では色を用いて分割していた.また,提案手 法では,意味論的特徴のため深いネットワークを用い るが,クラスに依存しない. 高レベルの情報と低レベルの情報を融合するラプラシ アン行列の生成. 数値的に比較できないため,他の手法と提案手法の結 果を示した.また,提案手法を用いて画像編集を行っ た結果を示した. 正確なソフトセグメンテーションを行うことができる が,最適化していないため遅い. 前景と背景の色が非常に近いと失敗する. KNN matting[Chen et al.] 201813558 池田伊織 #4 (人間コース) どんなもの? どうやって有効だと検証した? 先行研究と比べてどこがすごい? 議論はある? 技術や手法のキモはどこ? 次に読むべき論文は? SIGGRAPH 2018
  24. 24. 関連論文 ・KNN Matting [Qifeng Chen, Dingzeyu Li, Chi-Keung Tang] k-nearest neighbor algorithmを用いて,Image mattingを行う.Image mattingは,画像の前景と背景を分離するタスクである.また,ベンチマークでは 最高水準の結果を得た.KNN mattingはRGB色空間よりHSV色空間でのほうが結 果が良かった.これについては今後調査したい. ・Deep Image Matting [Ning Xu, Brian Price, Scott Cohen, Thomas Huang] Image mattingの既存手法は,複雑なテクスチャの場合や 前景と背景が似ている場合に失敗する.主な理由として, 低レベルの特徴のみを用いていることや高レベルの情報が 欠落していることが挙げられる.第一段階で,αマットを 生成し,第二段階でそれを改善するdeep learningモデル を用いた. ・AUTOMATIC SKIN AND HAIR MASKING USING FULLY CONVOLUTIONAL NETWORKS [Siyang Qin, Seongdo Kim, Roberto Manduchi] 自撮りの普及により,画像編集が盛んに行われるようになった.その際,肌や髪,背景の 分離が必要だが既存手法では,trimapを与えなければならない.本研究では,FCNとfully- connected CRFを用い,pixel-levelで肌・髪・背景の分離を行う手法を提案する.ベン チマーク結果はLFWデータセットの一部で,state-of-the-art. 201813558 池田伊織 #4 (人間コース)
  25. 25. ・A Perceptually Motivated Online Benchmark for Image Matting [Christoph Rhemann, Carsten Rother, Jue Wang, Margrit Gelautz, Pushmeet Kohli, Pamela Rott] Image Mattingのベンチマークテストのためのデータセッ トを作った論文.ベンチマークデータセットに必要な条 件を提示し,それを満たすようにデータセットを作った. 問題点として,user studyでエラーの視覚的認知が曖昧 であることが挙げられる. ・Pyramid Scene Parsing Network [Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, Jiaya Jia] 現在主流となっているFCNベースのセマンティック セグメンテーションは十分ではない.空間ピラミッ トプーリングを用いた空間統計はシーン全体の解釈 に役に立つ. ベンチマークテストではstate-of-the-art. 201813558 池田伊織 #4 (人間コース)
  26. 26. Adding Force Feedback to Mixed Reality Experiences and Games using Electrical Muscle Stimulation - CHI2018 Pedro Lopes, Sijing You, Alexandra Ion and Patric Baudisch (Hasso Plattner Institute) どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? 議論はある? 次に読むべき論文は? EMSによる力覚フィードバックを用いたMR体験とゲームを高めるモバイルシ ステム。仮想オブジェクトだけでなく、小道具やアプライアンスなどの物理的 オブジェクトでも、ユーザーの手が自由に操作できるようにしながら、物理的 な力を加えることができる。 MRにおける触覚フィードバックの課題である,ユーザーが物理的なオブジェクトに触れら れるように手を開放することを実現した。仮想オブジェクトだけでなく,物理オブジェク トにも制約を与えることができる。ソフトウェアを更新するだけでデバイスのUIを変更で きる。 HoloLensと医療用の電気刺激装置を使用。10本の電極を腕および肩に取り付けている。 電気刺激のパラメータの例を示した。ホロレンズのビジュアルトラッキングを用いてユーザ の手の追跡をしている。Unity3DのEMSライブラリを提供している。 どうやって有効だと検証した? 現実感と楽しさを評価。EMSありとなし。3つのタスク。家具の配置タスク。パ チンコ。バランスゲーム。12名の被験者。リアリティは3つのタスクについて有意 差あり。楽しさについては,家具とパチンコタスクについて有意差が出た。 無線の実装にはレイテンシがある。力覚フィードバックのみで,指先にテクスチャ をレンダリングできない。誇張された触覚効果はMRでユーザーを錯覚させるのに 不十分。実世界の物理に基づいた触覚にすることを提案。 futurework:電極配置の単純化・自動化,身体姿勢や筋肉疲労の変化に対するシス テムのロバスト性の向上、誘発随意筋と随意筋収縮を区別する制御ループの設計。 Lopes CHI17 Sodhi TOG13 Kim CHI16 Carter UIST13 Hettiarachchi CHI16 201611428 蛭子綾花 #4 (人間コース) 23
  27. 27. Providing Haptics to Walls & Heavy Objects in Virtual Reality by Means of Electrical Muscle - CHI2017 Abst Introduction Conclusion 仮想現実の壁やその他の重い物に触覚を与える。EMSによって物体を押したときの反作用力をユーザに与える。ユーザ調査参加者はさ まざまなEMS効果を備えたオブジェクトとインタラクションした。反発とソフトデザインは「通過を妨げる」と「現実的」の観点で高 い評価を得た。2つ目の調査では,すべてのオブジェクトがEMS効果を提供するVR空間の探索によってアプローチの有効性を実証。 VRにおける現実感と没入感の次のステップとして,仮想世界の物性を伝えるために触覚をサポートすべき。軽量オブジェクトの触覚のシミュ レートはかなり進歩してきたが,家具や壁などの重い物体に触覚を加えることは困難。シミュレートしたとしても,固有感覚システムが抵抗 の欠如をユーザに伝えてしまうので,物体を押し通そうとすると錯覚は失敗する。本研究では,本当にウェアラブルなフォーム・ファクタで 重いオブジェクトをレンダリングする方法を探る。 重い物体や静止した物体の触覚をEMSによって表現する新しいアプローチを紹介した。リアルウォーキングVR環境に適したウェア ラブルフォーム・ファクタで実現した。今後の研究としてこのアプローチをARで探求する予定。ユーザの指先が物理的な物体や壁 に自由にふれることを可能としているので,この技術はARに適しているはずである。 201611428 蛭子綾花 #4 (人間コース) 24 Pedro Lopes, Sijing You, Lung-Pan Cheng, Sebastian Marwecki, and Patrick Baudisch (Hasso Plattner Institute)
  28. 28. HapThimble: A Wearable Haptic Device towards Usable Virtual Touch Screen - CHI2016 Abst Introduction Conclusion 光学式シースルーHMDを使用するバーチャルタッチスクリーンが提案されているが,触覚フィードバックおよび物理的制約がないため, ユーザーのパフォーマンスが低下する。この問題を解決するためのHapThimbleというウェアラブルハプティックデバイスを開発。ユー ザの指先に様々なタイプの触覚フィードバックを提供し,力の浸透深度曲線に基づいて物理的なボタンを模倣する。 仮想タッチスクリーンの仮想表面は、物理的表面の2つの機能、すなわち触覚情報および物理的制約を実現することはできない。仮想スクリーンの場合、ユーザは、 クリックタスクを実行するときの状態遷移の表示のための視覚的知覚のみに依拠しなければならず、したがって、ユーザからのより大きな注意を必要とする。開 発したデバイスの実験では、ハプティック制約なしの触覚フィードバックが物理的制約以外の役割を果たしていること、さまざまなタイプの触覚フィードバックを 与えることができるかどうか、そしてユーザーがこれらのフィードバックのタイプを区別できるかどうかを調べた。 バーチャルタッチスクリーンとの直接接触インタラクションのための触覚的制約のない触覚フィードバックの利点を調査し、様々な 物理的ボタンをシミュレートするウェアラブル触覚デバイスが提案。 実験の結果に基づいて、仮想タッチスクリーンとの容易な相 互作用を可能にするコンパクトな着用可能な触覚装置を開発することを望む。 さらに、仮想タッチスクリーンとの新しい空間的相 互作用のための触覚フィードバックの研究の余地がある。 201611428 蛭子綾花 #4 (人間コース) 25 Hwan Kim, Minhwan Kim, and Woohun Lee (Department of Industrial Design, KAIST)
  29. 29. Annexing Reality: Enabling Opportunistic Use of Everyday Objects as Tangible Proxies in Augmented - CHI2016 Abst Introduction Conclusion 触覚体験のオンデマンド生成は他のフィードバックに比べて遅れている。仮想オブジェクトのための最良の利用可能な触覚を提供するた めに,ユーザーの現在の物理環境から機会的に物理オブジェクトを併合するシステムを提案。システムは、ユーザの周囲を連続的に走査 し、仮想物体に類似する物理物体を選択し、選択された物理物体に仮想モデルを重ね合わせて、視覚 - 触覚の不一致を低減する。 触覚出力を提供するための技術には様々な制限がある上に,タッチの感覚は限られている。仮想オブジェクトにふれることができない。仮想 オブジェクトを物理的に表現するために日常的なオブジェクトをしようするアプローチがあるが,仮想物体と同一の物理的なオブジェクトを 見つけることは非実用的。仮想物体と物理的な物体の不一致がユーザーの没入感に影響を及ぼす。 システムは、仮想物体に類似するユーザの周囲からの物理的な物体を動的に見つけ出し、それらを物理的に表現するためにそれを使 用する。調査によると、コンテンツ作成者は、仮想オブジェクトを日常的な物理的オブジェクトと日和見的にペアにして制御する拡 張現実感アプリケーションを設計するための有用なツールとして、Annexing Realityシステムを受け入れたことが明らかになった。 201611428 蛭子綾花 #4 (人間コース) 26 Anuruddha Hettiarachchi, Daniel Wigdor (Department of Computer Science Univ. of Toronto)
  30. 30. AIREAL: Interactive Tactile Experiences in Free Air - TOG2013 Abst Introduction Conclusion AIREALは、ユーザーが物理的なデバイスを着用することなく、自由な空気中で効果的で表現力のある触感を提供する、新しい触覚技術 です。インタラクティブなコンピュータグラフィックスと組み合わせることで、ユーザーに仮想3Dオブジェクトを感じさせ、自由な空気 テクスチャを体験し、ジェスチャに対する触覚フィードバックを受け取ることができる。 コンピュータ拡張世界の欠けている部分の1つは、仮想オブジェクトの物理的な感覚がないこと。これまでは,仮想物体を感じるためには、ユーザは触覚デバイス を備えたインタラクティブな面や物理的物体に触れなければならなかったり,手袋やベルト等のデバイスを装着する必要があった。ユーザに物理的なデバイスを 装着させることは、自然なユーザインタラクションを妨げ、触覚フィードバックを用いるアプリケーションの全範囲を制限する。環境内のユーザーまたはオブジェ クトを計測することなく、豊富な触覚フィードバックをユーザーに提供するための代替アプローチを提案する。 仮想物体に結合された自由空間触覚の新しい技術であるAIREALを紹介した。アプリケーションの範囲はAIREALが可能にするエキ サイティングな機会のいくつかと,未検討の未来のアプリケーションを示す。物理的環境の触覚的な増強は開かれていてエキサイティ ングな研究開発の分野である。 201611428 蛭子綾花 #4 (人間コース) 27 Rajinder Sodhi, Ivan Poupyrev, Matthew Glisson, Ali Israr
 (Disney Research, University of Illinois)
  31. 31. UltraHaptics: Multi-Point Mid-Air Haptic Feedback for Touch Surfaces - UIST2013 Abst Introduction Conclusion 超音波の集中を使用して,触覚フィードバックの離散点をディスプレイを介して手に直接投影するUltraHaptics。音響的に透明なディス プレイの望ましい特性を調査し、システムが空中で複数の局部的なフィードバック点を生成できることを実証。異なる触覚特性を有する フィードバック点がより小さい分離で同定され得ること、非接触地点の異なる振動周波数をトレーニングで区別することができる。 これまでの研究は,インタラクティブな面上で触覚フィードバックを再生成することに焦点を当てていた。表面に触れる前に触覚フィードバッ クを受信することが有益となる状況があるが,これの提供を可能にするものはユーザーがデバイスを装着することを必要としていた。 UltraHapticsシステムはインタラクティブなサーフェスの上にハプティックフィードバックを提供し、ツール、アタッチメント、またはサーフェ ス自体との接触を必要としない。 タッチ面上に多点で空中に存在する触覚フィードバックを提供する新しい方法を紹介した。技術的評価からフィードバックの個々の 点を人間の手の知覚識別値を超えるものにできることを実証した。40kHzの超音波に対してディスプレイ表面の望ましい特性を確立 した。ユーザー調査の結果,異なる触覚特性を有するフィードバック点がより小さい分離で区別できる。訓練によって異なる触覚特 性を識別できる。本システムによってもたらされた新しいインタラクションの可能性について検討した。 201611428 蛭子綾花 #4 (人間コース) 28 Tom Carter, Sue Ann Seah, Benjamin Long, Bruce Drinkwater, Sriram Subramanian (Department of Computer Science1 and Department of Mechanical Engineering2 University of Bristol, UK)
  32. 32. HUMAN ACTION GENERATION WITH GENERATIVE ADVERSARIAL NETWORKS Mohammad Ahangar Kiasari, Dennis Singh Moirangthem, Minho Lee どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモ どうやって有効だと検証した? 議論はある? 次に読むべき論文は? 連続する一連の人間の行動を生成するための新しいアル ゴリズムを探究する GANにのみ基づいており、与えられたクラスラベルと初期 姿勢に条件付けられた特定のクラスの人間の動きを生成し、 可変クラスのランダムzで各クラスに異なるスタイルを生成 することができる、継ぎ目がない連続したモーション オートエンコーダと条件付きGANを組み合わ せたモデル ベンチマークNTU RGB + Dデータセット(Shahroudy et al., 2016)に基づいてモデルを評価 RNNを使用する既存のヒューマンアクション予測モデルとは異 なり、複数の連続的な人間の行動を生成するために、自動エン コーダーと条件付きGANのフレームワークをエンドツーエンド で提案、継ぎ目のない遷移を伴う一連の連続的な動作を生成 Barsoum et al., 2017 201511520 鈴木亮祐(人間コース) CVPR2018
  33. 33. HP-GAN: PROBABILISTIC 3D HUMAN MOTION PREDICTION VIA GAN Emad Barsoum, John Kender, Zicheng Liu どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモ どうやって有効だと検証した? 議論はある? 次に読むべき論文は? HP-GANと呼ばれるこのモデルは、以前のポーズで条件付けら れた将来の人間のポーズの確率密度関数を学習 確率的な動き予測のために深いニューラルネット ワークを使用するのが初めて 改良されたWasserstein生成敵対ネットワーク (WGAN-GP)[10]の修正バージョンを使用 トレーニングを安定させ、改善するために、GANの損失 に加えてスケルトンの物理に基づいたカスタム損失を追 加する トレーニングループを続けると、すでに収束してからト レーニングが分岐する可能性がある I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and A. C. Courville. Improved training of wasserstein gans. CoRR, abs/1704.00028, 2017. 201511520 鈴木亮祐(人間コース) SVPR2017
  34. 34. SKELETON-AIDED ARTICULATED MOTION GENERATION Yichao Yan* , Jingwei Xu* , Bingbing Ni, Wendong Zhang, Xiaokang Yang どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモ どうやって有効だと検証した? 議論はある? 次に読むべき論文は? スケルトンを用いた関節運動生成法を提案 大規模な幾何学的変化を伴う画像/ビデオを生成でき ること 動き中の幾何学的変化のためのガイダンスとし てスケルトン情報を利用 KTHとHuman3.6Mを含む2つのヒューマンアクション データセットでモデルをテスト 生成された動作シーケンスは、既製の動作認識フレーム ワークによっても認識可能 Mart´ın Arjovsky, Soumith Chintala, and L´eon Bottou. 2017. Wasserstein GAN. CoRR abs/1701.07875 (2017). 201511520 鈴木亮祐(人間コース) ACMMM2017
  35. 35. DEEP REPRESENTATION LEARNING FOR HUMAN MOTION PREDICTION AND CLASSIFICATION Judith Butepage, Michael J. Black, Danica Kragic, Hedvig Kjellstrom どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモ どうやって有効だと検証した? 議論はある? 次に読むべき論文は? モーションキャプチャデータの大量コーパスからジェネリック 表現を学習し、目に見えない新しい動きに一般化する人間の モーションキャプチャデータの深い学習フレームワークを提案 少数の行動に限定されない、日々の人間の行動の長 期予測のための教師なし学習表現スキームを開発 DNN, CNN モデルをCMU mocapデータセットの大部分でトレーニ ングして、ジェネリック表現を生成 3つのモデル(対称、畳み込み、階層)のパフォーマンス の違いは、パラメータの数と各ネットワークの構造に よって影響を受ける可能性がある ] G. Alain and Y. Bengio. What regularized auto- encoders learn from the data-generating distribution. Journal of Machine Learning Research, 15(1):3563– 3593, 2014.201511520 鈴木亮祐(人間コース) CVPR2017
  36. 36. ON HUMAN MOTION PREDICTION USING RECURRENT NEURAL NETWORKS Julieta Martinez , Michael J. Black , and Javier Romero どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモ どうやって有効だと検証した? 議論はある? 次に読むべき論文は? 人間の動きに典型的に使用される標準RNNモデルに3つ の変更を提案し、人間の動き予測に関する最先端の性能 を得る単純でスケーラブルなRNNアーキテクチャをもた らす 以前の作業よりも優れた残差接続を備えたシーケン シオシーケンスアーキテクチャを開発 人間の動きに典型的に使用される標準RNNモデ ル 最先端の手法で使用されているアーキテクチャ、損失関 数、トレーニング手順を見て、最近のRNNの方法を分析 アクションラベルの形でネットワークに高度な監督を行 うとパフォーマンスは向上しますが、未監視のベースラ インは非常に競争力がある [Duan et al. 2016] DeepLoco 201511520 鈴木亮祐(人間コース) CVPR2017
  37. 37. GENERATIVE ADVERSARIAL NETS Ian J. Goodfellow , Jean Pouget-Abadie , Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair , Aaron Courville, Yoshua Bengio どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモ どうやって有効だと検証した? 議論はある? 次に読むべき論文は? 敵対プロセスを介して生成モデルを推定するための新しいフ レームワークを提案 多くの種類のモデルおよび最適化アルゴリズムに対 して特定のトレーニングアルゴリズムを生成するこ とができる adversarial nets 生成モデルが多層パーセプトロンにランダムノイズを渡 すことによってサンプルを生成し、識別モデルも多層 パーセプトロンである特殊なケースを探究 これらの研究の方向性が有用であることが示唆される、 敵対的モデリングフレームワークの実行可能性を実証 Bastien, F., Lamblin, P., Pascanu, R., Bergstra, J., Goodfellow, I. J., Bergeron, A., Bouchard, N., and Bengio, Y. (2012). Theano: new features and speed improvements. Deep Learning and Unsupervised Feature Learning NIPS 2012 Workshop. 201511520 鈴木亮祐(人間コース) NIPS2014
  38. 38. 2 PROCEDURALVORONOI FOAMS FOR ADDITIVE MANUFACTURING TRANSACTIONS ON GRAPHICS 2017 e b p P p P P P 10 -4 e b pP u pPch m P 10 -4 1 1 o s P 110P P P t P x pPch m C pP xD G 341 .- 10 51 2 0 dila P P m # r Jonas Zehnder, Espen Knoop, Moritz Bächer, and BernhardThomaszewski. P D
  39. 39. 3 # ## me h o B lra B Bt 2 1- b i Bd 5 - 2 0 s 4
  40. 40. 4 5 ### 21 # 0 4 0 0 5 0
  41. 41. 5 # 0 1 4 1 12 2 5 R a
  42. 42. Virtual Reality and Attitudes toward Tourism Destinations Iis P. Tussyadiah, Dan Wang , Chenge (Helen) Jia どんなもの? どうやって有効だと判断したか VRを用い、観光地の情報を見せることで、その 観光地に行きたくなるかどうかという態度の変化 を計測したもの。 先行研究との比較 VR体験がもたらす心理的な影響についての論文 は複数あるが、観光産業の新しいマーケティング 手法を提示できるという点では初の研究テーマ 技術や手法のキモ 事前にその観光地に行ったことがある・ない VR体験の際のHMDの種類等の情報をあらかじめ 収集し、複数の評価方法で検討している点。 VRの評価方法として態度の変化という技術によっ てもたらされる影響に着目している点 事前に被験者のVR体験の経験情報、今までの旅 行先の情報等の基本除法を収集。 ANOVAという評価によって被験者同士を比較。 先行研究による評価方法を用いたVR体験の没頭 感の計測等。複数の視点からの検証から考察。 議論はあるか 被験者の偏りが大きく、実験の考察として完全と は言えない。より広い範囲で被験者を集め、実験 のデータを収集する必要がある。 次に読むべき論文 VR体験における心理実験に関する論文 VR体験の評価方法に関する論文 201611448 高倉 礼 #4 (人間コース) Information and Communication Technologies in Tourism 2017
  43. 43. Virtual Shopping: Breakthrough in Marketing Research Raymond R. Burke VR上で(Not HMD)仮想的な買い物をおこなった場合と、被験者が実 際に買い物に行った際の購入する傾向の変化を評価したもの。 従来の市場と仮想空間での市場との差を具体的に提示したもの 201611448 高倉 礼 #4-1 (人間コース) Elsevier Science 1996 画像なし
  44. 44. Creating virtual product experiences: The role of telepresence LR Klein 商品の3Dオブジェクトを操作してもらい、実際に触ったときの状態と仮 想的に触ったときの状態とで購買意欲の変化を計測したもの。 201611448 高倉 礼 #4-2 (人間コース) Journal of Interactive Marketing 2003
  45. 45. Depth of Presence in Virtual Environments Mel Slater , Martin Usoh , Anthony Steed VR体験が身体にどれくらいの影響をもたらしているのかを実験し、 また、「没頭している状態」「現実 色ない体験をしている状態」 を判定するためのデータを考察したもの。 201611448 高倉 礼 #4-3 (人間コース) Presence 1994
  46. 46. Navigating Large-Scale Virtual Environments: What Differences Occur Between Helmet-Mounted and Desk-Top Displays? Roy A. Ruddle, Stephen J. Payne, Dylan M. Jones HMDを用いたナビゲートと平面画面上だけのナビゲートで、どれく らい仮想空間での目的地到達まで時間がかかるのかを計測したもの。 また、HMDの「見渡せる」特性がいかに効果的かを検証している。 201611448 高倉 礼 #4-4 (人間コース) Presence 1999
  47. 47. A Conceptual Model of the Sense of Presence in Virtual Environments KE Bystrom, W Barfield, C Hendrix 仮想環境における概念モデルの新しい提案。 仮想環境の体験者が「存在」している感覚をより強くするためにVR 空間上の要素をまとめ、それらの要素に対する効果的な表現方法を 提案したもの。 201611448 高倉 礼 #4-4 (人間コース) Presence 1999
  48. 48. elopment of an EMG controlled hand exoskeleton for post-stroke rehabilitation n “ xh vdP y cw ~ n o il ge m rp sn BLCA E 1 A H B9 H GG E BCBG BC GHE GE 8G CB CE EC H G A GG EB E 8C B G CB %)(( % t n oR ~ y n y 8 L ahW n.2 v n y ge k lsnR lki ge n y.2 i y w mugh n y sn a n lk nsnm aho ( a aP a t nu m ah w sno w n i wf b i5 B9C y % M% n ” ae 4.0 , %(
  49. 49. FLIPPIN’ : Exploring a Paper-based Book UI Design in a Public Space CHI ‘17 Koichi Yoshino, Koichi Obata, and Satoru Tokuhisa どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと検証した? 議論はある? 次に読むべき論文は? 多くの人に使ってもらうこと,読みやすさなどが向上し た. Bookisheet: Bendable device for browsing content using the metaphor of leafing through the pages 201713110 齋藤圭汰 #4 (人間コース) 公共スペースでの情報提示のユーザビリティを 本型UIによって改善する.また,デザインガイ ドラインを提案する. タッチパネルUIなどと比べると,誰でも簡単に 扱える. 情報提示に本型UIを用いること. 同じコンテンツを含むタッチパネルUIを使用し てもらい比較した.
  50. 50. Bookisheet: Bendable device for browsing content using the metaphor of leafing through the pages UbiComp 2008 Jun-ichiro Watanabe, Arito Mochizuki, and Youichi Horry 201713110 齋藤圭汰 #4 (人間コース) 2枚のプラスチック版と曲げセンサおよびLDRによって,ページをめくる動作を再現し,デジタルコ ンテンツを操作する.曲げることが可能なディスプレイに使用できる.
  51. 51. PaperID: A Technique for Drawing Functional Battery-Free Wireless Interfaces on Paper CHI ‘16 Hanchuan Li, Eric Brockmeyer, Elizabeth J. Carter, Josh Fromm, Scott E. Hudson, Shwetak N. Patel, and Alanson Sample 201713110 齋藤圭汰 #4 (人間コース) バッテリーフリーのRFIDタグによって紙をインプットデバイスに変える研究.センシングおよび信 号処理技術によってタグがどのように操作されたかを認識する.このタグは印刷,トレース,手に よって描くことが可能.
  52. 52. QOOK: a new physical-virtual coupling experience for active reading UIST ‘13 Yuhang Zhao, Yongqiang Qin, Yang Liu, Siqi Liu, and Yuanchun Shi 201713110 齋藤圭汰 #4 (人間コース) QOOKはインタラクティブリーディングシステムである.物理的な本と電子的な本の利点を併合す る.このシステムは何もないページに,プロジェクタを用いてデジタルコンテンツを映し出す.
  53. 53. The mixed reality book: a new multimedia reading experience CHI EA ‘07 Raphael Grasset, Andreas Duenser, Hartmut Seichter, and Mark Billinghurst 201713110 齋藤圭汰 #4 (人間コース) 様々なメディアを併合させ,デジタル的に強化した本の提案.本の形を保ったまま,視 覚的,聴覚的に強化する.コンピュータビジョンを用いたトラッキングによって実現し た.
  54. 54. SequenceBook: interactive paper book capable of changing the storylines by shuffling pages CHI EA ‘10 Hiroki Yamada 201713110 齋藤圭汰 #4 (人間コース) インタラクティブな写真本システムの提案.これはICタグとそれぞれのページにRFIDアンテナが組 み込まれた紙の本である.ユーザはストーリーラインを好きなように変えることが可能である.
  55. 55. Deep Video Portraits HYEONGWOO KIM, PABLO GARRIDO,AYUSH TEWARI, WEIPENG XU,JUSTUS THIES, MATTHIAS NIESSNER,PATRICK PÉREZ,CHRISTIAN RICHARDT,MICHAEL ZOLLHÖFER,CHRISTIAN THEOBALT どんなもの? どうやって有効だと検証した? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? 議論はある? 次に読むべき論文は? 201813564 土屋優馬 #4 (仏コース) SIGGRAPH 2018 機械学習を用いて,ソースビデオの人物(顔)から ターゲットビデオの人物(顔)へ転送し,3Dアニメー ションを再構築する手法の提案 これまでの手法では,顔の表情の制御しかできな かったが,これはフル3Dで頭部姿勢,表情,視線や 瞬きを制御する事ができる. 制度を向上させるために敵対生成学習の cGAN(conditional generative adversarial network)を用い ている. 3つの異なる動画での質の検証と,大規模なWeb上 でのユーザスタディを行い,生成された動画がリア ルであるという意見が多かった. 胴体や髪の毛の動き,背景を制御できない. Thies et al. 2016 Karras et al. 2018 Wang et al. 2017
  56. 56. Instant noodles as a major cause of pediatric burns どんな内容? 小さいころ多くの人が経験する火傷という 傷害。最も多いやけどの原因はインスタン トラーメンによるものだった。 どうやって分析した? 2012年1月から2016年10月にかけて阿蘇飯 塚病院の皮膚科に火傷が原因でやってきた 15歳以下の患者のうち両親から実験の参加 と実験結果の公表の同意が得られた子供の データを分析。 わかったこと 子供の火傷を防ぐために子供たちの手の届く位置 にインスタントラーメンを置かないようにするな ど親が子供を監視するのは有効。 分析結果 沸騰水を飲むことによる火傷、ホットドリンク・ スープによる火傷よりインスタントラーメンによ る火傷の割合のほうが多いこと。 次に読むべき論文は? インスタントラーメンが体に与える影響に関する 論文を探したい! 201611432 岡部理紗子 (仏コース) 引用元: https://www.derm-sinica.com/article/S1027-8117(17)30303-8/pdf
  57. 57. Modeling Vellus Facial Hair from Asperity Scattering Silhouettes Chloe LeGendre Loc Hyunh Shanhe Wang Paul Debevec SIGGRAPH17 201511561 松野瑞生 (仏コース) どんなもの? シルエットに沿って散在している凹凸を観察 することで、顔の産毛をモデリングする 先行研究と比べてどこがすごい? モデリングされた産毛を3Dの顔のスキャン に加え、新しい照明下でレンダリングを生成 し、それは実際の写真の外観と一致する 技術や手法のキモはどこ? 頭の2m後ろに明るい白熱スポットライトをおいて、 1.5m離れて180mmマクロレンズのCanon 1DX Mark II DSLRカメラで顔を撮影したところ どうやって有効だと検証した? この手法を使用して、スキャンの顔と首 に104,752本の毛髪を作り、Arnoldでいく つかのレンダリングを行った 議論はある? 実験では産毛の量が写真よりも多く生成 したが、全体的な長さ、向き、および局所 的な変動性はよく一致していた 次に読むべき論文は? Jan Koenderink and Sylvia Pont. 2003. The Secret of Velvety Skin. Mach. Vision Appl.14, 4 (Sept. 2003), 260–268.
  58. 58. Comicolorization: Semi-Automatic Manga Colorization Chie Furusawa, Kazuyuki Hiroshiba, Keisuke Ogaki, Yuri Odagiri どんなもの? 次に読むべき論文は? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? 議論はある? どうやって有効だと検証した? マンガのタイトル全体を半自動的にカラー化する手法 201813559 池畑 開斗 #4 (仏コース) 入力画像とは別に参考画像の色特徴を用いる。 キャラクター名を使用したクラス分類を学習する。 実際にマンガをカラー化し、同じキャラクターが同じ色で着色さ れていることを確認した。 SIGGRAPH Asia 2017 マンガのタイトル全体をカラー化すると、同じキャラクターでも コマごとで色が異なってしまう問題を解決した。 ひとつのパネルに複数のキャラクターがいる場合、カラー化に失 敗する場合がある。 Iizuka et al. Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification[2016]
  59. 59. - - - #, 7 2 7 4 7C 1 6 -7A 7 1 7H7AA #, 7 7 H C 7A C 7 C 0 7 oaicK La n M u c a n X n X ct d K Z YK d K b hgT dK ( ) M ru n c v My ke n h n U r u n al a s c n X S T c dK S a n T yM c c l f a c c b t Mn X R Understanding and improving the realism of image com- posites
  60. 60. 人間 201611451 都築陵佑 Rapid Interactive Real-time Application Prototyping for Media Arts and Stage Performance SIGGRAPH ASIA 2015 Miao Song、Serguei A. Mokhov、Sudhir P. Mudur、Peter Grogono 概要 インタラクティブなグラフィカルアプリケーションの高速プロトタイピング(のコース?) SIGGRAPH ASIA でデモを実演し、そのデモの製作過程を記録した 何をやった? デジタルメディア制作における高速プロトタイプの処理のために OpenGL に接続された Kinect、Wii、iDevices などのセンサ/コントローラを 使用した。 統合マルチデバイスのやりとりの詳細に焦点をあてて、受講生に OpenGL を使用したテクスチャやビデオを作成し、リアルタイムで処理させ る。 何を使った? ILLIMITABLE SPACE SYSTEM(ISS) 対応するイメージマッピングと複数の入力デバイスによる音声やジェスチャなどの入力に基づいて視覚効果や音楽の視覚化を作成するため に使用されるソフトウェア
  61. 61. .34 3 JRON FRRF MJSI NE 7JDI FL 8FGG B C E V R E B a a G DF SO G DF 1 1 n e Y yr FMCOE V Ypdr NOAFMCOE m e ji rms hc Yr s e r Y _ rms n r vl di p f d gV1 1 FMCOE NOAFMCOE b r gi -89 - S m _ ti Yr _ ji h so d la r FP SMFNS OG 0NF HU -ET NDFE FRF DI O FDSR -HFNDU 0NF HU - - 0 1-. 47460 - 0- -8.0 9 . 0- 0 080 2 - 482 1-.0 ) ( ,
  62. 62. ClothCap: Seamless 4D Clothing Capture and Retargeting 服を着た人物から4Dスキャンによって衣服と動き を捉えて, 服のみを抽出し, 新しい体型に調整する技 術. バーチャル試着などに応用する. どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと検証した? 議論はある? 次に読むべき論文は? 新しいマルチクロス3Dモデルを使用して, 衣服の各 部分を自動的に分割し, 身体の最小限の形状を推定 し, 衣服の3D変形を追跡できる マルチクロス3Dモデル 走る, ジャンプするなどの動作をする被写体を撮影 した. ジーンズ, Tシャツなど様々な衣服を着て検証 した. 実用化に向けて, 襟, 袖口, ボタンなどの複雑な形状 をもつ衣服のモデリングが必要. また, ネクタイやス カートのような体型に必ずしも関係ないような衣服 のモデル化も必要. Federica Bogo, Javier Romero, Gerard Pons-Moll, and Michael J. Black. 2017. Dynamic FAUST: Registering Human Bodies in Motion. In IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). 201511458 長谷川陽平 仏コース GERARD PONS-MOLL, SERGI PUJADES, SONNY HU, MICHAEL J. BLACK
  63. 63. どんなもの? どうやって検証した? 先行研究と比べて 技術のキモは? 議論 次に読む論文 伊藤 
 
 ChromaGlasses: Computational Glasses for Compensating Colour Blindness 色覚障害を補うためのoptical see- through HMD.リアルタイムで環境を 分析し,外観を変化させる カラーフィルタを用いて特定波長のみ補填す るグラスはあるが,ChromaGlassesではユー ザーが見ている環境を取得し変化させる ユーザーが見てる環境から色盲の人が見えにくい色を識別する
 カメラで視覚情報を取得するが,ズレが生じるのでSPAAMに似た キャリブレーション
 色覚障害をシミュレーションする先行研究を適用,そこで生成さ れた画像と元の入力画像の誤差からマスクを生成
 1.ユーザー視点にカメラを配置して,そのishihara testを撮影したの を被験者に見てもらい,数字の知覚に関する被験者実験を行った
 2.実現可能性についてのテスト
 3.google glassを用いた色覚障害に関する研究との比較
 ハイコントラストのオブジェクトに焦点を合わ せた時,ズレが生じることがあるが,バリフォー カルディスプレイを使用することで解決可能
 300msほどのレイテンシがある !1 CHI 18
  64. 64. どんなもの? どうやって検証した? 先行研究と比べて 技術のキモは? 議論 次に読む論文 伊藤 
 
 HydroMorph: Shape Changing Water Membrane for Display and Interaction スプーンに水が当たった時にできるよう な膜を制御する,インタラクティブなディ スプレイ 水が当たった時の膜はアート(The Water Membrane Creatures)では用いられてきたが, 表面形状を考えることで膜の形状を動的に変化 させる研究はなかった システム上部に取り付けられたカメラでオブジェ クトや人の手を取得,それをもとに膜の形状を変 化させて手に触れないようにすることも可能. 特になし 作ることが可能な形状が限られている.形状を作るためのブ ロック機構はは現在10個だが,これを増やすことで解像度は 上がる
 蛇口の大きさに対して現在のプロトタイプは大きすぎる !2 TEI 16
  65. 65. どんなもの? どうやって検証した? 先行研究と比べて 技術のキモは? 議論 次に読む論文 伊藤 
 Resolution Enhanced Light Field Near-to-Eye Display Using E-shifting Method with Birefringent Plate 複屈折板?を用いてlight field near- eye displayの解像度を高める手法 レンズアレイを用いたlight field near-eye displayは解 像度が低い
 ピンホールアレイベースのlight field near-eye display は解像度,FOVはいいが,光効率が悪い 複屈折板とTN板にを用いた時分割多重化,半画素 画像シフト
 Will Allenの提唱したwobulationに似ている 元のlight field near-eye displayに適応し,USAF 1951を投影して撮影することで空間分解能が6.3ppd から8.6ppdになることを確認した 特になし !3 SID 18
  66. 66. どんなもの? どうやって検証した? 先行研究と比べて 技術のキモは? 議論 次に読む論文 伊藤 
 
 Optical see-through Maxwellian near-to-eye display with an enlarged eyebox HOEを用いたeye-boxが広いマクスウェ ル視の網膜投影 従来のマクスウェル視の網膜投影ではeye-boxが狭い. CGHを用いた被写界深度が深いものなどもあるが,セッ トアップが大きくなってしまう. 複数の凹面鏡が記録されているHOEを 用いることで,集光点を複数作り, eye-boxを広くした 視点位置をずらした時のイメージを撮影した
 カメラの焦点距離を変化させたときでも画像 に焦点があっているのを確認した 目の回転にロバストじゃない
 隣り合う集光点同士の間に目があるとき, イメージが薄く見えたり,重なって見える !4 Optics Latters 18
  67. 67. どんなもの? どうやって検証した? 先行研究と比べて 技術のキモは? 議論 次に読む論文 伊藤 
 High-resolution additive light field near-eye display by switchable Pancharatnam‒Berry phase lenses 切り替え可能なPancharatnam-Berry 位相レンズの積み重ねによるマルチフォー カルプレーンの3Dディスプレイ 調整可能なレンズを用いて焦点距離を変える ディスプレイはあるが,応答速度が遅いし, ウェアラブルにするには大きすぎる 高速応答可能なpancharatnam-berry lens
 拘束線形最小二乗を用いたadditive light fieldの生成 実際に先行研究を参考にPBLを作成し,応答速度を 調べた 2つのPBLを用いてadditive light fieldを作成した 作成したPBLの応答速度は0.54msでフレームレー トが1kHzのディスプレイでは十分に早い
 解像度が若干低下しているが,無視できるレベル !5 OPTICS EXPRESS 18
  68. 68. どんなもの? どうやって検証した? 先行研究と比べて 技術のキモは? 議論 次に読む論文 伊藤 
 
 Towards passive 6D reflectance field displays 背後からの照明によって変化する4D light fieldと2D ディスプレイを組み合 わせた レンズと着色パターンを用いること で,多くの表現やハイコントラスト を可能にしている レンズアレイといくつかのレンズを用 いたpassiveな光学系によって反射を 再現している 複数のプロトタイプ製造,設計し得ら れた画像を撮影した 背面からの入射光にのみしか対応していない
 入射角が浅い場合,見える像が歪む
 複雑なlight fieldを再現できない !6 TOG 08
  69. 69. どんなもの? どうやって検証した? 先行研究と比べて 技術のキモは? 議論 次に読む論文 伊藤 
 
 Spec2Fab: A Reducer-Tuner Model for Translating Specifications to 3D Prints 複数素材を用いた3Dプリントの際に, アルゴリズムの設計,開発,実装などを 簡単にするための抽象化メカニズム 特定の目的に対する計算機処理はあったが, causticsや影,物体の形状変形など,目的のオ ブジェクトを得るための計算機処理を簡単にす るためのフレームワークの提案はなかった いくつかの変換プロセスを実装した (causticsとそれを生成するオブジェクト, 特定の変形挙動をもつオブジェクトなど)
 !7 学会名
  70. 70. 2018年6月8日 金曜日 今週 - 今週はもう一個の方を動かそうと頑張ってたら動いたのが今日の2時だった - なのでまだdenseregは動かせてない 今日からやる - Caffe とか色々使わないと動かないっぽい - 実装が思いつかなくて考えてた  - 特定の変顔でシャッターが押されるカメラとか 1

×