佐藤誠先生ご退職記念シンポジウム「パターン認識と人工現実感の40年」 2016/3/19 in Tokyo Tech http://sklab-www.pi.titech.ac.jp/lastlecture/program.php

1. 佐藤誠先生ご退職記念シンポジウム「パターン認識と人工現実感の４０年」
"おもしろい研究"への挑戦
神奈川工科大学 情報学部 情報メディア学科
白井 暁彦
1

2. “VRエンタテイメントシステム”の研究者
 IVRC国際VRコンテスト運営・国際化
（2001年～)
 “Manga Generator”
学生のコンペ作品を研究に引き上げる
 欧州最大の国際VR展 Laval Virtual
デモ部門“ReVolution” Chair（2006～）
 ゲーム技術を未来にアタッチしたい
 多重化隠蔽映像
[Scritter],[2x3D],[ExPixel]…
東工大 佐藤誠研究室に
2001年4月～2004年3月まで在籍
白井 暁彦
Photo in Laval Virtual 2015

3. 3

4. 4
君，おもしろいね…
白井をゲーム会社から引き抜いたときの佐藤先生のお言葉

5. 5
白井「PlayStation4の時代には
ＶＲが標準デバイスになりますよ！」
（たぶん）
佐藤先生「そのときにSPIDARが…」

6.  博士時代の思い出
 博士以後の研究
 何が おもしろい研究 で、 何が 挑戦 なのか？
6
“おもしろい研究”への挑戦

7. Fantastic Phantom Slipper (SIGGRAPH’98)
Tokyo Institute of Polytechnics, Kume Lab.

8. 先史時代の絵画から
ラスコー洞窟の壁画
15,000年前のクロマニョン人による
顔料も自作
遠近法を使用
そもそも
何のために？
The author permits further using of the picture for private, public or commercial purposes. The author's name has to be mentioned in a visible manner. Inform the author where you use the picture

9. 「あそび」の研究とその歴史
▼J.コラリー(洪,1870-1940)
科学的遊び批判(1933)
1880 1890 1900 1910 1920 1930 1940 1950 1960 1970 1980 1990
▲H.スペンサー(英,1820-1903)
余剰説を生物学に展開(1897)
▼D.エリコニン(露,1904-1984)
『遊びの心理学』(1978)
▼J.ホイジンガ(蘭,1872-1945 )
『ホモ・ルーデンス』(1938)
▲S.ヴィゴツキー (露,1896-1934)
『思考と言語』(1934)
▲J.ピアジェ (瑞,1896-1980)
『新しい児童心理学』(1969)
▲M.ミンスキー (米,1927-)
『心の社会』(1988)
-19世紀以前
中世，近代から現代(20世紀末)まで
▼R.カイヨワ(仏,1913-
1978)
『遊びと人間』(1958)
「遊びの分類」が
近代の傾向 発達心理学
年齢ごとの
遊びの分類
「観察と分析」が
現代の傾向
Research and its history of “Plays”
[ドイツ]ヴント「実験物理学の父」
心理学を哲学から独立させ
社会との接点を持たせた(1887)
Wilhelm Max Wundt (1832-1920)
father of Experimental Psychology
★「カリアス書簡」…シラーと友人ケル
ナーとの手紙のやり取りによって構築され
た、美と芸術の理論化『人間の美的教育に
ついて』 (1795)。感性衝動と形式衝動の衝
動に加えて第三の遊戯衝動について深く言
及している。
Johann Christoph Friedrich
von Schiller (1759-1805)
思想家・詩人
[ドイツ]シラー「美学」
美と芸術の源流思想における
「遊戯衝動」について言及。
『自由／余剰エネルギー』
Herbert Spencer
(1820-1903) 社会学者
「進化(evolution)」、
「適者生存(survival of
the fittest)」の語を生
む Marvin Minsky (1927-)
Artificial Intelligence
★子供は積み木遊びによって、多くの物理的法則を
発見していく。「子供は積み木で塔をつくるという
行為だけでも、高さと幅の独立性のようなことをた
くさん発見していかなければならない」…『心の社
会』より
Roger Caillois
(1913-1978)
★『ホモ・ルーデンス』に影響されて『遊びと人
間』を執筆した。遊びをアゴーン(競争)、アレア(偶
然)、ミミクリー(模倣)、イリンクス(眩暈)の4種類に
分類して考察している。
言語的問題を整理

10. 多義性：中国語における「遊び」
欧州言語と同様な多義性を確認できる
「遊」･･･旅行する（出歩く）友達のところへ行ったり，一緒に旅行したりする．
「游」･･･泳ぐ→水面を浮くようにして泳ぐこと
(「泳」は水中を潜行しておよぐこと)
「戯」･･･たわむれる→動作や言葉に重点がある
「玩」･･･もてあそぶ→愛でる．よい意味と悪い意味がある．
「弄」･･･たわむれる（手の動作に重点がある）
その手段（触る，歩く，言葉，移動，泳ぐ)や対象によって，
異なる語であることが興味深い．
例えば英語の「Play」は…？

11. 「遊び」の成立
全ての特徴がそろっているときに
「遊び」が成立，「遊戯状態」にあると定義する
遊び
隔離された活動
非生産的活動
虚構の活動
規則のある活動
未確定の活動
自由な活動
自己目的性の行為
いつでもやめられる
日常と非連続
現実世界に富を生まない
現実とは区別がつく
（写実でもよい）
遊びの世界を支配する
＝先が読めない
選択の自由がある
＝「遊ぶために遊ぶ」

12. 現代における問題
「遊びを崩壊させる遊び」の台頭
＝「ゲーム」ではあるが「遊び」ではないもの
遊び
隔離された活動
非生産的活動
虚構の活動
規則のある活動
未確定の活動
自由な活動
自己目的性の行為
いつでもやめられる
日常と非連続
現実世界に富を生まない
現実とは区別がつく
（写実でもよい）
遊びの世界を支配する
＝先が読めない
選択の自由がある
パチンコ
パチスロ
携帯電話
MMO
/SNS
RMT リハビリ
脳トレ
目的が別に存在
攻略本

13. ピアジェの「遊びの段階説」
感覚運動遊び(sensorimotor play)
生後から1歳半～2歳ぐらいまで．感覚-運動的知能の獲得期．
（＝外界を操作できるだけで楽しい,走っているだけで興奮する）
象徴的遊び(symbolic play)
2歳～5,6歳まで．記号化から言語的想起まで．
ごっこ遊び，空想，模倣遊びなど．
ルールのある遊び(rule play)
おおむね7歳以降．思考の具体的操作，個人間の関係理解，世
界観，
因果と偶然が理解できる．ルールのある遊び，社会的遊び．
注：ピアジェはそれぞれの
遊びが発現する年齢よりも
「順序は逆転しない」という
特徴に注目している。

14. ピアジェの「遊びの段階説」
1.感覚運動遊び(sensorimotor play)
2.象徴的遊び(symbolic play)
3.ルールのある遊び(rule play)
•現代のビデオゲームのほとんどが[Rule play]以降である
•また「CEROレーティング全年齢」は「３歳児でもマリオカートが
遊べる(＝危険でない)」という視点をとっている。
•これからは感覚運動遊びが重要な時代！
現代におけるディスカッションの必要性現代におけるディスカッションの必要性

15. 「エンタテイメントシステム」とは何なのか？
定義 (Definition in this talk)
「人間の娯楽に作用するように
デザインされたコンピュータシステム」
Computer systems that was designed to affect to human amusements.
ビデオゲーム，体感ゲーム，テーマパークアトラクション
メディアアート，科学館などの展示物，デジタルサイネージ
映画やDVDはかつては一部しか含まれなかったが，
例えば「YouTube」や「ニコニコ動画は」ネットワークに接続された
「娯楽に作用するようにデザインされたコンピュータシステム」といえる

16. 16

17. Tangible Playroom

18. • 博士時代の思い出
• 博士以後の研究
• 何が おもしろい研究 で、 何が 挑戦 なのか？
18
“おもしろい研究”への挑戦

19. 神奈川工科大学着任まで…
 NHK-ESでのポスドク
 Global Illumination Renderer
 奥行きカメラAxi-Vision
 ワイヤード モーションコントロールカメラ
 フランスENSAMでのVRテーマパーク開発
 RoboGamer, GPUVision, AceSpeeder2
 WiiMedia → 書籍「WiiRemoteプログラミング」
 国際VR作品公募展ReVolution立ち上げ
 日本科学未来館での科学コミュニケーター
 DCEXPO
 3F常設展示「アナグラのうた」基盤技術・基本設計
 東工大 世界文明センター，ＩＣＵでの非常勤講師
19
博士以後の研究

20. 20

21. 任天堂「Ｗｉｉ」の衝撃(2006)
コードネーム「REVOLUTION」の予告映像より

22. 歴史をふりかえる
「遊び」の研究は現代に始まったものではない
哲学→文学→美学→実験物理学→生物学
→社会学→心理学→人工知能（→工学）
過去の「遊び研究」に学び、定義をしっかり行
わなければ遊び研究は「科学者の遊び」に。
科学者の遊びから
“使える科学”にもっていきたい！！
科学者の遊びから
“使える科学”にもっていきたい！！

23. Slide
©Akihiko SHIRAI, Ph.D
書籍執筆
「WiiRemote
プログラミング」
（オーム社開発部）
(著)白井 暁彦, 小坂 崇之, くるくる研究室, 木村 秀敬
単行本: 400ページ 2,940円
ISBN-10: 4274067505
単なるWiiRemoteのハッキングではなく
インタラクティブ技術の教科書。

24. 日本科学未来館
『アナグラのうた～消えた博士と残された装置～』
レーザーセンシングによる非装着体験者追跡，
複数プロジェクタによる大規模な没入空間，
自動生成楽曲などにより情報科学の未来を楽しく伝える

27. 情報学部 情報メディア学科
エンタテイメントシステムの研究室
ＩＶＲＣを通した教育機会→産業へ
多重化隠蔽映像
おもしろさを測る
27
神奈川工科大学での研究

28. 全身動作・実世界指向エンタテイメントシステム
「瞬刊少年マルマル」(IVRC2012作品) http://blog.shirai.la/ivrc2012

29. 差分画像Ａ
隠蔽用
画像Ｂ
プロジェクター２台
多重化隠蔽画像
偏光板2種
多重化･隠蔽画像システム「ScriterH」
差分画像A 隠蔽用画像B
隠蔽画像生成プログラム
宇津木健,長野光希,谷中一寿,白井暁彦,山口雅浩,
「多重化映像表示における隠蔽映像生成アルゴリズム」,
第15回日本バーチャルリアリティ学会大会論文集(2010.9.15)
※論文リストは http://blog.shirai.la/publications

30. 30
GPU上の
リアルタイム処理

31. 実用化事例「ニコニコメガネ」
31
グーグルグラスなんてもう古い!? 「多重化隠蔽映像」技術を駆使したニコニコメガネが登場！
http://www.gizmodo.jp/2013/04/_chokaigi_niconicomegane.html

32. UbiCode

33. 次世代カラオケエンタテイメント
コンテンツを阻害しない
メニュー表示
プライバシー保護
隠蔽入力画面の利点
メインディスプレイ
隠蔽入力画面
インタラクションF/B

34. PARAOKE
• “Parallel Augmented Reality for Audience-Oriented Karaoke
Entertainment”
• 聴衆志向のカラオケエンタテイメントのためのパラレルAR
• カラオケ歌詞＋ダンスゲーム＋カロリー表示
• 動画URL http://www.youtube.com/watch?v=yvUY-ZJkwPc

35. 新型デバイスの考案
Fil-Con
ディスプレイに電
源を用いない
大画面である
耐久性が高い
Fil-Conの利点
多重化隠蔽された画面での
使用を目的としたデバイス，
隠蔽された画面で操作を
行うことができる
レーザー加工による
プロトタイピング

36. エンタテイメント
ユーザーＡ
ユーザーＢ
ユーザーＣ
多重化カラオケエンタテイメントシステム
エンタテイメントの享受を
参加者全体が受けられる
Ａ
ＢＣ
歌唱者
ダンサー
エンタテイメントARシステムの可能性

37. 2-3 ハイブリッドシアター[2x3D]

38. ハイブリッドシアター[2x3D]

39. 2-3 ハイブリッドシアター[2X3D]
視差もしっかり
出ています

40. 次世代多重化技術「ExPixel」

41. あのホリエモンも注目…
IT業界の
IT業界の注目の人物を
紹介する
「ホリエモンWITH」
にて特集
http://horiemon.com/tal
k/7346/

43. Related Works: Multiplex display
 Direction based separation
 “Bois-Clair” (Gaspar Antoine, 1692)
 “Vari-Vue” (Victor Anderson, 1962)
 “Lumisight Table”(2005), ”UlteriorScape” (2008) by Kakehi
 Time/Shutter based technologies
 “Snared illumination” (fakespace lab, 2004)
 “ThirdEye” (Pranav Mistry, 2009)
 “SimulView” (SONY, 2010-)
 Polarization based technologies
 “FairyFinder” (Hachiya, 2005)
 “Mysterious Pond”, “A visibility control system for collaborative digital
table” (Kitamura, Sakurai. 2009)
 Hidden but not shown for naked eyes
 Patent: JPA2005-092227 (Semiconductor Energy Lab, 2005)

45. 45

46. 46

47. 47

48.  小出雄空明，白井暁彦, "LCDプロジェクターを用いた偏光によるステレオ立体視のための画質向上アルゴリズム", 情報処理学会 第75回全国大会 2013
年3月6日～8日
 田口 裕起，鈴木 久貴， 白井 暁彦, "多重化不可視映像技術（第2報）－FPGAを用いたハードウェア化－", 一般社団法人 電子情報通信学会 信学技報
SIS2014 (2014-12-18)
 白井暁彦，鈴木久貴，田口裕起, "ゲームの次元を拡張する次世代多重化映像技術「ExPixel」", コンピュータエンターテインメントデベロッパーズカンファ
レンス2014(CEDEC2014)
 鈴木久貴，白井暁彦：多重化不可視映像技術（第1報） ―民生品ステレオ3Dフラットパネルでの実現―，第19回日本VR学会大会予稿集（2014）
 上石 悠樹 , 岡本 遼 , 小瀬 由樹 , 三上 雄太 , 白井 暁彦 : "球体ディスプレイとモーション入力を用いた科学コンテンツのエンタテイメントシステム化と展示
評価手法", エンタテインメントコンピューティングシンポジウム2014論文集, (2014-09-12)
 白井暁彦: "3Dディスプレイに付加価値を与える多重化隠蔽映像技術", 応用物理学会・日本光学会・微小光学研究グループ 第131回微小光学研究会招
待講演, 6pages, , , 2014年3月5日
 藤村 航, 小出雄空明, 國富彦岐, 田口裕起, 鈴木久貴, 白井暁彦: "直線偏光による多重化隠蔽型ハイブリッド3Dディスプレイにおける画質評価", 映像情
報メディア学会技術報告 立体映像における人間工学的研究，及び立体映像技術一般（ヒューマンインフォメーション研究会共催） , pp.35-38, vol. ITE-38,
no. 11, 2014.2.27
 小出雄空明，藤村航，國富彦岐，田口裕起，鈴木久貴，白井暁彦: "液晶フラットパネルにおける多重化隠蔽映像の試行と実現", 映像情報メディア学会
技術報告 - 立体映像における人間工学的研究,及び立体映像技術一般, pp. 39-40, vol. ITE-38, no. 11, 2014-02-27.
 多重化不可視映像技術（第3報） ―普及型ディスプレイにおける視聴特性評価―，鈴木 久貴, 鈴木 百合彩, 津田 良太郎(神奈川工科大学), Vimuktalop
Pinyapach, Jaruthien Nine(Chulalongkorn University), 白井 暁彦，第20回日本バーチャルリアリティ学会大会
 Augmented TVを使ったテレビ視聴者の身長推定，鈴木 百合彩(神奈川工科大学), 川喜田 裕之 (NHK放送技術研究所), 鈴木 久貴, 白井 暁彦(神奈
川工科大学), 上原 道宏, 中川 俊夫(NHK放送技術研究所)，第20回日本バーチャルリアリティ学会大会
 ミュージアムのための多重化サイネージシステムの提案 森 拓也，岡本 遼，鈴木 久貴，白井 暁彦, Entertainment Computing 2015
 裸眼立体視技術を応用した多重化映像技術の提案，鈴木久貴, 白井暁彦, 谷中一寿，ITシンポジウム2015
発表論文リスト(2013-2015)

49. (1)ニコニコ超会議2にて「ニコニコメガネ」を招待展示
(2)経産省Innovative Technologiesに採択，DCEXPO2013に
て「2x3D」を展示
(3)研究成果2作品が先端技術館＠tepiaで常設展示化
(4)テレビの多重化を可能にする汎用ソフトウェア「ExPixel」
の開発に成功
(5)裸眼とメガネ装着で全く異なる映像を見せられる
「ExPixel」技術
論文以外の成果(2013)

50.  [2014/8] CEDEC2014
 [2014/10]多重化クリエイソン
 [2015/4] Laval Virtual Award
 [2015/4] ニコニコ超会議2015
ニコニコ学会β「金賞」
 [2015/6]多重化スプラトゥーン!!
 [2015/10] DCEXPO 2015
 [2015/11] SIGGRAPH ASIA 2015 Exhibition
 [2016/3/1]研究成果発表会
「エンタテイメントシステム工学研究会」
論文以外の成果(2014-2015)

51. 2015年度卒業研究一覧
鈴木 百合彩「Augmented TVにおける年齢推定機能の開発と評価」
森 拓也「ミュージアムのための多重化サイネージシステムの提案」
松澤 孟「スマートウォッチによる睡眠習慣改善システムの開発」
岡本 遼「超人スポーツのためのボクシングトレーニングツールの開発」
中澤 遥「新しいマンガ表現のための瞳デザインツールの提案」
安藤 歩美
「マンガ没入型VRエンタテイメントシステムの
長期展示を通したプレイヤデータの集合知化」
津田 良太郎
「笑顔認識技術を利用したエンタテイメント体験の客観評価手法」

52. W. James
1842-
1910
52
背景・笑顔研究の歴史
「人は幸福であるがゆえに笑うのではなく，
笑うがゆえに幸福である」 (W. James : 1895)
笑いが人体に良い影響があることが明らかに
「医療 看護の場でのユーモアの意味と効用 ; 「笑い療法」を中心に」(中川 : 1989)
「健康における笑いの効果の文献学的考察」(三宅ら : 2007)
“感情”と“表情”の結びつき
FACS(Facial Action Coding System)(P. Ekman : 1978)
笑顔の訓練が活発化・トレーニングシステム登場
「笑顔促進支援システム : Happiness Counter」(辻田，暦本ら : 2011年)]
個人認証やセキュリティに利用
USJ年間パスポート(NEC「NeoFace」)
Lenovo「VeriFace」，「FastAccess」(2011)
Microsoft「Window Hello」(2015)
製品として普及
SONY「Cyber – Shot スマイルシャッター」(2007)
Intel RealSense, Kinect v2, Omron HVC-C(2014)
笑顔は微笑み(smile)と笑い(laughter)に大別
「目と口の動きの追跡による笑顔の分類」(片岡ら : 2001年)
表情・喉・腹に着目した笑い測定システムを用いて8パターンに類型化(森下ら :2008年)
笑顔の物理評価・笑顔を計測する試み
「魅力的な笑顔に表れる幾何学的特徴」表情矩形の縦横比が黄金比(井口ら : 2007年)
「リアルタイム笑顔度推定」事前登録を必要としない高速な笑顔認識を実現(小西ら : 2008年)
笑顔の哲学 笑顔を計測する 製品化・一般へ普及哲学から心理学・医学の分野へ
哲学的・心理学的・医学的
技術的
1900年以前 1970-1990年頃 2000年代 2010年代

53. 53
佐藤先生はいつも笑顔に見える
～博士時代の思い出～

54. 54
その実は，
笑っていないことも
多かった…

55.  品質，ノウハウ，国立大学思考
 博士は「強いベクトル」x3なのか，コントロールフィールド なのか
 大型2種免許（人を乗せて新しい場所に連れて行くのに必要な免許）
 知能システム科学での最終諮問「人類においてどのような意味を持つか？」
 しつこくやること
55
佐藤研で学んだ“博士”とは

56. 56
その実は，
笑っていないことも
多かった…

57. 57
白井「PlayStation4の時代には
ＶＲが標準デバイスになりますよ！」
（たぶん）
佐藤先生「そのときにSPIDARが…」

58. 1st
3D Craze
（the1950s)
Dawn of
VR
(the1960s)
1940 1960 1980 2000 20201920
Dawn of
3D
（the1920s)
2nd
3D Craze
（the1980s)
3rd
3D Craze
（the2010s)
2nd
VR Wave
(the2020s)
?
1st
VR Wave
(the1990s)
movie movie
Theme-park
computer
game
TV
movie movie
Susumu Tachi: From 3D to VR and further to
Telexistence, Proceedings of the 23rd International
Conference on Artificial Reality and Telexistence
(ICAT), Tokyo, Japan, pp.1-10 (2013.12)

59. しつこくやるの大事！
1st gen “Scritter”Multiplex
2nd gen“ScritterH Multiplex Hidden
3rd gen on LCD Projector
4th gen on Flat Panel
5th gen Public Media
2010 2012 2014 2016 2018 2020
A. Shirai 2015.8.10
Multilanguage Presentation, education application
▲ Medial appli.
▶ “PARAOKE”
(2012)
◀ 4K/240 inch large screen
(2010)
◀ “Scritter” by Koki Nagano (2010)
▲ “2x3D”, Hybrid theater （2012）▲ “UbiCode”
Interactivity for digital signage （2012）
▶ private on public signage
◀ 「ニコニコメガネ」
(2013)

60. 60

61. Georg Wilhelm Friedrich Hegel
« Vorlesungen über die Ästhetik »
(Lectures on Aesthetics) 1835–8
1. Architecture
2. Sculpture
3. Painting
4. Music & Dance
(=performing art)
5. Poetry
Definition of “Arts”
Modern philosophy in
https://fr.wiktionary.org/
6. Photography
7. Cinema
8. Television & Drama
(=Broadcasting)
9. Bande dessinée, Manga, Comic
10. Video Game

62. ラスコーやショーヴェの洞窟は現代ではアートか教科書にしか見えない
きっと初音ミクも1000年ぐらい経てば、アートか特異点にみえるはず
突然紙が緑の芸能人が年間数百曲の曲をリリースする
今の世の中の人間には「不可能」「ボカロやUCGのおかげ」と理解できるが
きっと未来から見ると、そんな技術の進歩の違いは見えてこない
とはいえ2020年には21世紀も1/5は終了
人々がそれぞれレガシーメディアに固執し続ける時代
不可能なことがなくなる時代（魔法と認識される仕組みだけが残る）
実は「映像の世紀」もしくは「戦争の世紀」の車輪になるのでは
人間が「おもしろい」と思う仕組み解明（白井の興味）
家族、性、生といった人間性の意味を探求したい
ライブで人と会ったり見たりすることの重要性とコスト（ライブは死なない）
メディアアートは人と人との関係性（と信じている）
近い将来「年賀状」はメディアアートになっているだろうな
→そうなるとたとえば、
「お葬式」を現実の世界の生き死にとは関係なく楽しめる、
といった世界が2050年ぐらいにアート（が融けて）産業になるぐらいの
世の中が来ていれば平和だなあと思います。62
最近考えていること

63. 63
佐藤先生ありがとうございました！