2006年11月15日
Virtual Realty for EntertainmentVirtual Realty for Entertainment
Akihiko SHIRAI,Ph.D
Invited researcher
ENSAM Presence & Innovation
shirai <at>mail.com

2006年11月15日
文化・言語背景を超えた環境における文化・言語背景を超えた環境における
国際的エンタテイメントシステムデザイン国際的エンタテイメントシステムデザイン
Akihiko SHIRAI,Ph.D
Invited researcher
ENSAM Presence & Innovation
shirai <at>mail.com

2006年11月15日 JAIST::MiyataLab 3
Introduction
 Akihiko SHIRAI
 Doctor of Engineering (TITECH)
New entertainment systems using haptics and large floor
displays.
 Working at Ingénierium.
Prof. Simon Richir, ENSAM Presence & Innovation
Laboratory in Laval

2006年11月15日 JAIST::MiyataLab 4
Biography
 1973 Born at Yokohama, Kanagawa, Japan.
 1992-1998 Tokyo Institute of Polytechnics
 Photo engineering (bachelor)
 Image processing (Master of Engineering)
 1998- Canon, Inc. (Japan)
 2000- Criterion, Inc. (UK,JP)
 2001- Tokyo Institute of Technologies
 SPIDAR, haptics, real time physics (Prof.Sato Lab)
 Intelligent systems (Doctor of Engineering)
 2003- NHK-ES, Japan
 2005- ENSAM, France

2006年11月15日 JAIST::MiyataLab 5
My works
Research and development for…
 Entertainment systems
 Virtual Reality
 Computer Vision
 Haptics, Robotics
 Computer Graphics
Plus…
 Volunteer works for IVRC and Laval Virtual.

2006年11月15日 JAIST::MiyataLab 6
“Entertainment Systems”
 Definition
 Computer systems that was designed to affect to
human amusements.
 Video Games, media arts, real time interactive and
entertainment virtual reality are possible to be included.
 Cinemas and DVDs are also possible to be included but
should focus to “computer system” like interactivity.

2006年11月15日 JAIST::MiyataLab 7
Projects
 1998 Fantastic Phantom Slipper
 2000 RenderWare on PlayStation2
 2001- SPIDAR and Springhead
 2002 the Labyrinth Walker
 2001- Tangible Playroom series
 2004 Advanced 3DCG
 2005 LuminaStudio
 2005- RoboGamer series
 2006- GPUVision series

2006年11月15日 JAIST::MiyataLab 8
Fantastic Phantom Slipper
 Real-time motion capture using slipper style interface.
 Special vibro-tactile, “Phantom Sensation”
 Semi-dome style immersive screen.
 Demonstration at SIGGRAPH’98 Enhanced Reality.

2006年11月15日 JAIST::MiyataLab 9
RenderWare on PlayStation2
 RenderWare is a middleware for RT3D CG.
 Multiplatform coding environment.
(PC,PS2,DC,Xbox,Gamecube…)
 Innovative speed up in development phase.
 Worked for development and
implementation for Japanese game developers
as “game development consultant”.
 Experienced their technique, style, culture,
limitation and future…

2006年11月15日 JAIST::MiyataLab 10
SPIDAR and Springhead
 SPIDAR (SPace Interface Device for Artificial Realities)
 Invented by Prof.Sato at 1991.
 String based haptics interface.
 Springhead
 Framework and SDK for SPIDAR.
 Real-time physics engine.
Spinning top and pinball
Artworks, “Dynamo::taboo”
Artificial beetle

2006年11月15日 JAIST::MiyataLab 11
the Labyrinth Walker
 Locomotion interface without wearing interfaces.
 4 pressure sensors and motor controlled turn-table.
It detects human walking steps and its orientation.
 Its artworks are imported from 3DSMax via VRML2.0 files.
 Demonstrated at SIGGRAPH2002 E-Tech as
“A New Step-in-Place Locomotion Interface for Virtual
Environment With Large Display System”.
 Some children museum
had interest to use it.

2006年11月15日 JAIST::MiyataLab 12
Tangible Playroom
 New entertainment system for future children
 Replacing current home TV games.
 Haptics, full body motion oriented.
Using large display and SPIDAR style force feedback devices.
 Contents using Real-time Physics.
Not a fake, educational experience using human size VR.

2006年11月15日 JAIST::MiyataLab 13
“Tangible Playroom”, version 2001
 Exhibition project using virtual
reality technologies.
 Big size SPIDAR(H4xW2xL3 m).
 Immersive large floor screen using
network connected multi-
projection system.
 A.I. and real time physics.
 Players can interact with artificial
characters by their whole body.
 It could show a possibility of
“haptics entertainment” but it was
very huge to experiment.
At Osaka, Japan

2006年11月15日 JAIST::MiyataLab 14
A content of Tangible Playroom
 “Penguin Hockey”
 The first but most characteristic content of Tangible Playroom.
 Players have to recognize shape and touch of objects via haptics.
 The player is designed as a partner of loser penguin.
 To get a point, players have to put a snowman to each goal.
 The player can feel difference of the weights between snowmen and penguins.

2006年11月15日 JAIST::MiyataLab 15
“Tangible Playroom”
version 2002
 Redesigned for future home
computer entertainment
system.
 Implement to living room.
 Experimented about modes
of haptics and projection.
 It was suitable for
experiment but it couldn’t
experiment at outside of the
laboratory.
At Sato Laboratory
Image sketch

2006年11月15日 JAIST::MiyataLab 16
“Tangible Playroom”
version 2003
 To get more natural data when
children play the game, it should
be mobile.
 135cm cubic frame.
 Experimented about difference of
behaviors between Japanese and
American children.
 It can record players motion
naturally but it isn’t so enough to
walk freely.
At SIGGRAPH2003 SIGKIDS

2006年11月15日 JAIST::MiyataLab 17
“Tangible Playroom”
version 2004
 To keep mobility and large field,
the encoder motors can be
attached to structures by clamps.
 All of systems can be carried by
one person by his hand.
At Laval Virtual 2004

2006年11月15日 JAIST::MiyataLab 18
Tangible Playroom
-content example 1-
“Geographic simulator” using force feedback.

2006年11月15日 JAIST::MiyataLab 19
Tangible Playroom
-content example 2-
A balloon simulator with wind force feedback.
The girl can play with a toy with image recognition.

2006年11月15日 JAIST::MiyataLab 20
Advanced 3DCG
In NHK-ES
 Photo realistic real-time computer graphics
for next generation TV environment.
 Global illumination, Image based lighting…

2006年11月15日 JAIST::MiyataLab 21
Current works in Laval
 Entertainment System development
 Lumina Studio
 RoboGamer
 GPUVision
 IVRC-Laval Virtual cooperation

2006年11月15日 JAIST::MiyataLab 22
Basic research for
future entertainment platform
 Needs
 Full body interaction system with force feedback
 Attractions for the theme park
 Laval Virtual annual exhibition
 Stable, easy maintenance, and safe
 Of course, it should be fun! (…or educational)
 Seeds
 Wire based haptics system, SPIDAR.
 Real time rigid body simulation for haptics system, Springhead.
 Advanced 3D graphics running on real time.
 Computer Vision on GPU
 Master course students specialized for Virtual Reality in Laval.

2006年11月15日 JAIST::MiyataLab 23
Core technologies
Haptics Computer Vision
A new generation of
“Tangible Playroom”:
Entertainment Platform
for future children
SPIDAR in CAVE
Safety, stable, easy
GPU Image processing
Rapid camera
New tracer method
Real-time Rendering
New display tech.
Stereo, Fog, HMD…
Physical evaluation
(non subjective)
Excitement model
Field works
Display Tech. Evaluation

2006年11月15日 JAIST::MiyataLab 24
Agenda and Timing
 Started at December 2004.
Haptics
Computer Vision
Display Tech.
Evaluation
1st
year 2nd
year 3rd
year
Enlarging Key Technologies Integration Realizing!
Prototype
Product

2006年11月15日 JAIST::MiyataLab 25
Lumina Studio
Realtime video composing on GPU
 Configuration

 If the blue illuminated area
is overloaded by high-quality video,
it can make a new composing method!
Blue sheet
(color is free!)
Projector
ANSI 2000 Lumen
Transparent wall
(A.k.a. glass)
I can see!

2006年11月15日 JAIST::MiyataLab 26
CG Source
Blue structure
White screen Blue screen
Color bars Lumina key Chroma key
Source (daylight)
Composed (real time)
Matt
Blend
PixelShader technique

2006年11月15日 JAIST::MiyataLab 27
“RoboGamer”
Physically connected robotic game player

2006年11月15日 JAIST::MiyataLab 28
Function of RoboGamer
 Recognition objects on the game screen
 Collaborative play via force feedback
Autonomous or assisting
 man-machine interface conversion and adding
without modification for original game system.
 Possibilities to analyze human playing behaviors
Development for a new AI algorithm that can play a game like a human.

2006年11月15日 JAIST::MiyataLab 29

2006年11月15日 JAIST::MiyataLab 30
GPUVision
concepts
 A new computer vision project:
 Cost effective solution for interaction
 Ultra fast response speed with GPU processing
GPU=Graphics Processing Unit (nVidia, ATI,…)
 Useful for artistic and prototype

2006年11月15日 JAIST::MiyataLab 31
GPUVision
competitors (1)
 “OpenVidia”
 Linux Platform SDK
 Specialized for nVidia GPU
 Multi GPU cards supported
 Optical Flow based 6DoF detection
Some interesting results for AR applications
 “OpenCV”
 Windows Platform SDK, specialized for Intel CPU
 Performance is depended on CPU speed
 A lot of implementations of past CV techniques

2006年11月15日 JAIST::MiyataLab 32
GPUVision
competitors (2)
 “AR Toolkit”
 Multi Platform SDK
 Specialized for Artificial Reality
 2D pre-resisted marker based 6DoF detection
 30-60 FPS in maximum (depends on camera and CPU)
 Multiple marker detection in same frame
 Issues…
 A lot of demo and artworks had been developed.
 But 2D marker limits to create new applications.
Ex. Look and feel, fitting time, etc…
 Users have to see the camera and the screen to get a feedback

2006年11月15日 JAIST::MiyataLab 33
GPUVision
specifications
 For interaction
 Cost effective with high performance using GPU
 Specialized for 2D color tracking
 Ultra fast
 Over 600 FPS on 4 color detection
 Useful for artistic and prototype
 SDK has a hazards for artist and prototyping
 Analyzing algorithms are prepared
 Parameter setting by text and image files
 re-compiling on VC.NET is not needed!
 Network connection to Virtools

2006年11月15日 JAIST::MiyataLab 34
GPUVision
software design
Camera
CPU Program
Network
Capture
float4 PS_TopHead(VS_OUTPUT IN) : COLOR0
{
float4 Col;
float2 pos;
Col = 0.0f;
Col.r += smoothstep( 0.2f, 0.45f , length( tex2D(movtex, IN.TexUV)
- tex2D(tex1, IN.TexUV)) ) * smoothstep(0.0f,0.5f,-cos( IN.TexUV.y * 3.141592));
Col.g += smoothstep( 0.2f, 0.45f , length( tex2D(movtex, IN.TexUV)
- tex2D(tex1, IN.TexUV)) ) * smoothstep(0.0f,0.5f,+cos( IN.TexUV.y * 3.141592));
return Col;
}
GPU Program (Text file)
Referential image
Parameter Textures
Pixel count
Source video
Filtered
AceSpeeder2
USB/IEEE1394
Position
UDP/IP

2006年11月15日 JAIST::MiyataLab 35
GPUVision
screenshot
Source video GPU Processing
Filtered image
Detected position
[GPU Processing]
•Comparing with a
reference image
•Color toning by height
[CPU Processing]
•Counting only for targeted
color (=green and red)

2006年11月15日 JAIST::MiyataLab 36
GPUVision
one application for a racing game interface
Input left or right, and boosting
•With full body motion
•Witouht markers
•Auto calibration
•Non limitation for users
•Nationalities (skin colors)
•Clothes
•Heights (<120cm)

2006年11月15日 JAIST::MiyataLab 37
GPUVision
Future
 For interaction
 Direction detecting (3-6DoF)
 Ultra fast
 Multi camera support
 Over 600fps = 60 fps with 10 cameras!
 Useful for artistic and prototype
 Documentation and semi-opensource
 Evaluating with actual artworks
ex. Theme park attractions, Laval Virtual, TP, etc

2006年11月15日 JAIST::MiyataLab 38
Physical Evaluation for
Entertainment System
 How to evaluate it?
Questionnaires have a lot of limitation to evaluate for age, language,
culture, backgrounds, etc..
 What is “Entertainment system”?
It needs a clear definition to evaluate.
 “Usability” is not equal for “Entertainment”.
Ex. Play a piano,

2006年11月15日 JAIST::MiyataLab 39
Definition of
“Entertainment System”
 Based on Roger Caillois, “Les jeux et les hommes”, 1958
Freedom
Separation
non-profit
Image
Regulations
Place
Action
Material
Etc..
Entertainment System
•Non pressure, non forcing
•unrestricted deployment
•Can quit it immediately
•Separated from daily life
(time and place)
•hard-and-fast rule
•Law in the real world stops
•Non gain to the real world
•Non producing in the real
•Estate transferring is allowed
•Can understand as unreal
•Photo-realistic is allowed
Interface
Player
(unspecified number )
“Playing condition” be accrued at the time.
Push button
Image output
Chose adverse
Happy end
Payment fee
determining
[I/O examples]
Exit game
Qui Game

2006年11月15日 JAIST::MiyataLab 40
AceSpeeder2
 Creating and evaluating new interfaces.
 Scientific research with actual game product.
 “AceSpeeder”, high speed anti-gravity game
that has sold 100,000 copies in Japan.
 Marker less motion interface using GPUVision

2006年11月15日 JAIST::MiyataLab 41
Environment for evaluation
 Normal “playing” condition
Not in the Laboratory!
 Huge anonymous to cancel particular errors
 Measure with “Physical” parameters
 Played time
 Chosen design
 Body movements

2006年11月15日 JAIST::MiyataLab 42
Design Evaluation

2006年11月15日 JAIST::MiyataLab 43
(confidential)
 Sorry for blinding these pages…

2006年11月15日 JAIST::MiyataLab 44
Comparing interfaces

2006年11月15日 JAIST::MiyataLab 45
Merci,
 Other projects and activities
http://akihiko.shirai.as/projects/

2006年11月15日 JAIST::MiyataLab
論文構成
1. 序論
2. 床面提示型触覚
エンタテイメントシステムの提案
3. 提案システムの開発
4. 提案システムの評価
5. 結論

2006年11月15日 JAIST::MiyataLab
エンタテイメントシステムの科学
 エンタテイメントシステムが科学になるためには？
 国際的に通用する手法はないか？
（言語、文化などの背景や評価手法）
 他文化圏におけるエンタテイメントシステム開発
 要素技術、着眼、手法、事例など

2006年11月15日 JAIST::MiyataLab
1.序論
 はじめに
 「遊び」の科学的研究とその歴史
 研究の目的

2006年11月15日 JAIST::MiyataLab
はじめに
 「床面提示型
触覚エンタテイメントシステム」の
提案と開発
 →新しい「遊びの」提案と実験，評価

2006年11月15日 JAIST::MiyataLab
「遊び」の研究とその歴史
▼J.コラリー(洪,1870-1940)
科学的遊び批判(1933)
1880 1890 1900 1910 1920 1930 1940 1950 1960 1970 1980 1990
◎F.シラー(独,1759-1805)
源流，余剰エネルギー説
▲H.スペンサー(英,1820-1903)
余剰説を生物学に展開(1897)
▼W.ヴント(独,1832-1920)
心理学を哲学から独立(1887)
▼D.エリコニン(露,1904-1984)
『遊びの心理学』(1978)
▼J.ホイジンガ(蘭,1872-1945 )
『ホモ・ルーデンス』(1938)
▲S.ヴィゴツキー (露,1896-1934)
『思考と言語』(1934)
▲J.ピアジェ (瑞,1896-1980)
『新しい児童心理学』(1969)
▲M.ミンスキー (米,1927-)
『心の社会』(1988)
-19世紀以前
中世，近代から現代(20世紀末)まで
▼R.カイヨワ(仏,1913-1978)
『遊びと人間』(1958)
心理学，
社会との接点
源流的思想．
「美とは何か？」の一節
余剰エネルギーの消費が
目的になる．
言語的問題を整理
生物学 「遊びの分類」が
近代の傾向
発達心理学
年齢ごとの
遊びの分類
人工知能
「観察と分析」が
現代の傾向

2006年11月15日 JAIST::MiyataLab
ホイジンガの言語学的指摘
 「遊び」という言葉には多様な意味がある
「遊び」をあらわす言葉やその関連語について，ギリシア語，サンスクリット語，シナ語，アメリ
カ・インディアン語，日本語，セム語，ロマン諸言語，ゲルマン諸言語等について具体的な「遊
び」を意味する言葉の有無や，その表現について述べている．
 ラテン語の一般的語「遊び(ludos)」が
他の言語に異なる語で伝わった
歓喜，冗談，など別の意味をもつ言葉が
現代の「遊び」という言葉になる．
また機械装置の“遊び”など新しい意味も加わる
 多義性と言語的意味を明らかにしないまま，
「遊び」の科学的研究を行うのは危険

2006年11月15日 JAIST::MiyataLab
中国語における「遊び」
 「遊」 ･･･旅行する（出歩く）友達のところへ行ったり，
一緒に旅行したりする．
 「游」 ･･･泳ぐ→水面を浮くようにして泳ぐこと
(「泳」は水中を潜行しておよぐこと)
 「戯」 ･･･たわむれる→動作や言葉に重点がある
 「玩」 ･･･もてあそぶ→愛でる．よい意味と悪い意味がある．
 「弄」 ･･･たわむれる（手の動作に重点がある）
 欧州言語と同様な多義性を確認できる
 その手段（触る，歩く，言葉，移動，泳ぐ)や対象によって，
異なる語であることが興味深い．

2006年11月15日 JAIST::MiyataLab
ピアジェの「遊びの段階説」
 感覚運動遊び(sonsorimotor play)
生後から1歳半～2歳ぐらいまで．
感覚-運動的知能の獲得期．
 象徴的遊び(symbolic play)
2歳～5,6歳まで．
記号化から言語的想起まで．
ごっこ遊び，空想，模倣遊びなど．
 ルールのある遊び(rule play)
おおむね7歳以降．思考の具体的操作，
個人間の関係理解，世界観，
因果と偶然が理解できる．
ルールのある遊び，社会的遊び．

2006年11月15日 JAIST::MiyataLab
本論文における「遊び」
 全ての特徴がそろっているときに
「遊び」が成立，「遊戯状態」にあると定義する
遊び
隔離された活動
非生産的活動
虚構の活動
規則のある活動
未確定の活動
自由な活動
自己目的性の行為

2006年11月15日 JAIST::MiyataLab
「おもちゃ」遊び
 「おもちゃ」遊び
語源は「持ち遊ぶ」という宮廷言葉
「持って遊ぶもの」→「おもちゃ」
 「玩具」
「玩弄物」という言葉が語源であり，
「玩；もてあそぶ」
「弄；戯れる(手の動作)」という意味
日本語，中国語とも「おもちゃ」で遊ぶことと
手の動作は関連があり，興味深い
も あそ

2006年11月15日 JAIST::MiyataLab
目的を設定する
 新しいエンタテイメントシステムの構築
 触覚提示や没入型ディスプレイ等の
バーチャルリアリティ技術を利用
 幼児なども含めた幅広い年齢層の
子供を対象とする

2006年11月15日 JAIST::MiyataLab
2.床面提示型触覚
エンタテイメントシステムの提案
 子供とエンタテイメントシステム
 重視する要素
 床面提示型触覚
エンタテイメントシステムの提案

2006年11月15日 JAIST::MiyataLab
幼稚園での観察
幼児教育においても「触知できること」は重要．

2006年11月15日 JAIST::MiyataLab
幼稚園での観察より
 触って遊ぶ
砂場での造形，はさみや粘土など
「触って理解すること」が重要な時期
 自由に走り回る遊び
からだ全体の運動機能を使う
 ルールのある遊び
複雑でないもの5歳以降

2006年11月15日 JAIST::MiyataLab
既存システムの問題点(1)
視覚と聴覚に集中する情報処理
システムに集中すると体を動かさない傾向がある
特別なデバイス，施設を利用し，共有共用が難しい．
 TVゲームシステム
視覚，聴覚，指先入力，家庭用テレビ利用
 エンタテイメントVRシステム
体感，高没入型，特殊施設利用

2006年11月15日 JAIST::MiyataLab
既存システムの問題点(2)
 ヒューマンインタフェイス→アナログ多次元/2D化，触覚F/B
任天堂コントローラの変遷
音楽ゲーム専用
フォースフィードバック
ジョイスティック

2006年11月15日 JAIST::MiyataLab
既存システムの問題点(3)
 その他のインタラクティブシステム
Microsoft Barney, 2-3歳向け
SEGA PICO, 3-5歳向け A Play with Small Fish’2000, Masaki FUJIHATA
反応がランダム (→知能化の方向へ)
ルールが複雑 / 提示情報を限定
メディアアート，日本科学未来館にて展示
SONY AIBO, 成人向け?

2006年11月15日 JAIST::MiyataLab
重要な要素
(1)日常的な遊びの空間で体験できること
子供が自然に遊ぶ，家庭内の共有空間で．
(2)身体的・直接的なインタラクションの実現
身体を使い，難しいルール理解を必要としない
入力と出力が離散しない
(3)法則性のある世界構築
ランダムに頼らない，学習を阻害しない知能化システム

2006年11月15日 JAIST::MiyataLab
タンジブル・プレイルームの提案
 具体的実装、提案として３つの特徴
(1)床面への映像投影
日常空間に没入感が高く、直接触ったり、
歩いたりできる映像空間を提供可能。
(2)触覚提示可能な直接的インタフェイス
把持型Big-SPIDARを用いて実装する。
(3)自律的な世界表現
リアルタイム物理シミュレータやAIを用い、
体験者の行動に対して鏡のように振舞う世界を表現する。

2006年11月15日 JAIST::MiyataLab
タンジブル・プレイルーム
プレイルーム，子供部屋内に実装．タンジブルグリップは脱着可能．

2006年11月15日 JAIST::MiyataLab
3.提案システムの開発
 提案要素との関連
 フレームとデバイス配置
 床面への映像投影
 Big-SPIDAR
 物理シミュレータとAIエンジン
 実験コンテンツ「ペンギンホッケー」

2006年11月15日 JAIST::MiyataLab
3.提案システムの開発
 システム開発
 コンテンツ「ペンギンホッケー」
 コンテンツ「実験用」

2006年11月15日 JAIST::MiyataLab
提案要素との関連
日常的な遊びの空間
身体的・直接的な
インタラクション
法則性のある世界構築
床面への
映像投影
Big-SPIDARによる
直接空間入力+力覚FB
AI,物理エンジン

2006年11月15日 JAIST::MiyataLab
フレームの開発（初期型）
プロジェクタ
タンジブルグリップ
子供の身長
メインスクリーン

2006年11月15日 JAIST::MiyataLab
フレームの開発(実験室)
ミラー
プロジェクタ
タンジブルグリップ
メインスクリーン
学内の実験室にて設置
他の大画面利用の実験
設備と共用
子供受けは良くない

2006年11月15日 JAIST::MiyataLab
フレームの開発(軽量版)
タンジブルグリップ
メインスクリーン
プロジェクタは吊り下げる
天井高は3m以上が理想
USB2.0とNotePCによる構成
大人も遊べるが，身長150cm以下推奨
海外での発表用
飛行機手荷物で運搬
153cm立方
設営の様子

2006年11月15日 JAIST::MiyataLab
床面への映像投影
 日常的な遊びの空間を拡張
 身体的なインタラクション空間の展開
 遊びの座標系として都合がよい
 広視野
 スクリーンが安価，安全

2006年11月15日 JAIST::MiyataLab
Big-SPIDAR
 直接的・身体的なインタラクションの実現
 力覚・触覚フィードバックが可能
 入力系と出力系が空間的に一致
反力を計算する上でも重要
 直接把持できるタンジブルグリップ
コンテンツによりシームレスに変更可能

2006年11月15日 JAIST::MiyataLab
法則性のある世界の実現
 運動物理の導入
万有引力等，自然界に存在するものが理想
実装はコンテンツに依存する
 衝突量に対する反力計算
SPIDARによる高速高解像度の位置計測が必要不可欠
 AIは必要に応じて
システム内では重力など，
体験者と同等の環境への入出力をもつ．
実装はコンテンツに依存する．

2006年11月15日 JAIST::MiyataLab
コンテンツ開発
 ペンギンホッケー
 形状を理解して効率よく押す等，力覚がなければ面白くないゲームデザイン．
 2vs1のAIペンギンに参戦する，というシチュエーション
 相手側のゴールにパック（雪だるま型）を落とすと得点
 AIキャラクタと押し合うインタラクションが可能

2006年11月15日 JAIST::MiyataLab
物理シミュレータとAIエンジン
 法則性のある世界の実現
 基本は剛体の運動方程式
詳細の実装はコンテンツに依存する
 衝突量に対する反力計算
ペナルティ法による衝突の物理(次ページ)
 AIは“興味の対象“と“移動“
システム内では体験者と同等の入出力をもつ
詳細の実装はコンテンツに依存する．

2006年11月15日 JAIST::MiyataLab
ペンギンホッケーの衝突物理
N1,2:回転成分
G1 G2
P1 P2
F2F1
C2 C1
ペナルティ法による衝突量算出→力覚フィードバックに必要な情報






=
=
ω


IN
vF m
剛体の運動方程式










−=
⋅⋅=
⋅⋅=
21
22
11
FF
nF
nF
kd
kd






∆⋅×+=∆+∆+
∆⋅+=∆+
ttttttt
ttmttm
FPωIωI
FVV
)()()()(
)()(
G1,2:重心
C1,2:作用点
P1,2:重心から作用点へのベクトル
F1,2:作用点からかかる反力
d:めり込み量
k:バネ定数
n:法線ベクトル
Δt秒後の速度ベクトルVと
角速度ベクトルωを算出できる

2006年11月15日 JAIST::MiyataLab
形状と重量，重心を設定
雪だるま形状
＝偏心した連結球体
衝突計算が非常に高速

2006年11月15日 JAIST::MiyataLab
コンテンツ「実験用」
 「ペンギンホッケー」は展示を通した実験向き
 音や演出など複雑な要素が多い
 触覚や床面/壁面映像などのパラメータ変更時
影響を評価する上で扱いが難しい

2006年11月15日 JAIST::MiyataLab
コンテンツ「実験用」
 シンプルな環境
 実物体で再現可能
 2Dで実装(球体→円)
「球体とさわれる床」
タンジブルグリップ
対象の球体

2006年11月15日 JAIST::MiyataLab
コンテンツ「実験用」
〔設計〕
円と円のシンプルな衝突
色合い等，映像は地味に
効果音もなし
物理パラメータは硬さや重さ，
摩擦などニュートン力学を再現可能
10cmの方眼は実世界と一致

2006年11月15日 JAIST::MiyataLab
4.提案システムの評価
 子供向けVRシステムの評価
 体験の様子
 アンケートによる主観評価
 海外における実験
 触覚の有無による振る舞いの違い

2006年11月15日 JAIST::MiyataLab
子供向けVRシステムの評価
 二瓶らは小児医療の現場において
VRを用いた臨床例を試みている
VRの子供への応用，影響に関する系統的な研究は
ほとんどなされていないのが現状である．
(1)どの程度のVRを持って
VRを用いた実験といえるかが明らかでない
(2)VR機器の入手が困難である
(3)子どもはじっとしていないので
安定したデータを取ることが難しい
(4)目的に合った研究が困難である
小さな子どもは研究の趣旨を理解することが難しいため
（次ページへ）

2006年11月15日 JAIST::MiyataLab
子供向けVRシステムの評価
(5)子どもの評価，とりわけ生理的，
心理的評価法が確立されていない．
(6)年齢別の評価をしなければならない
子どもは生理的にも心理的にも
発達過程にあるため．
(年齢別による対象を選択することは困難)
(7)倫理的な問題
副作用がないと考えられるような場合でも，
倫理的な問題をクリアすることが難しい．
「遊び」も併せた定量的な実験の実施
その評価は非常に難しい
二瓶健次（2003）
日本バーチャルリアリティ学会学会誌
「バーチャルリアリティは子供に
何ができるか―臨床面でのVR―」より引用

2006年11月15日 JAIST::MiyataLab
体験者の様子(1)

2006年11月15日 JAIST::MiyataLab
体験者の様子(2)
上面からの投影映像と体験者の振る舞い
(左)天井プロジェクタから実際に投影された映像
(右)速度を速くした場合の体験者の振る舞い

2006年11月15日 JAIST::MiyataLab
体験者の様子(3)
SPIDARグリップを把持していない体験者の振る舞い

2006年11月15日 JAIST::MiyataLab
観察より
 自由に走り回る，触覚への興味など，
提案要素に対する振る舞いが確認できた
 SPIDARの糸で怪我をした体験者はゼロ。
展示係員が最低1名必要。
 ハンディキャップを持つ体験者も体験可能
 自立的運動学習やリハビリにも
応用できる可能性がある

2006年11月15日 JAIST::MiyataLab
アンケートによる主観評価
 2001年8月1～7日
『福崎バーチャル子供わくわく広場』(大阪)
難病の子供たちの為のイベント
 無料で体験
主な来場者は地元の小学生(健常児)
 体験後にアンケートを実施
体験者が自記できない場合、ヒアリングによる回答記入

2006年11月15日 JAIST::MiyataLab
実施したアンケート
 (1)氏名・年齢
 (2)「ペンギンホッケー」は楽しかった？
 (3)ゆきだるまやペンギンにさわれましたか？
 (4)みえないものにさわると，
どんなかんじがしましたか？(選択式)
 (5)テレビゲームで，すきなゲームはなんですか？
 (6)うえのゲームよりもおもしろかった？
 (7)このゲームになにかくわえたいことはある？
 (8)またあそびたいですか？

2006年11月15日 JAIST::MiyataLab
体験者について
 体験者351名
7日間を通した有効なアンケートの回収数
 年齢
最年少体験者は1歳、最高齢は57歳。
6～10歳が多い（全体の56.4%）。
 男女比
57:42で男児が若干多い
男 女
1 1 0
2 1 0
3 8 3
4 12 8
5 17 9
6 29 22
7 22 23
8 26 25
9 28 23
10 28 11
11 15 11
12 2 2
13 2 0
18 1 0
20～ 10 3
無回答 0 9
合計 202 149
体験者数体験者の
年齢

2006年11月15日 JAIST::MiyataLab
体験者の年齢層と感想
 ほとんどの体験者が
「楽しい」と回答(98%)
幼児であっても製作者への「気遣い」が
感じられるため無意味な設問？
 「いいえ」と答えた２名について
１歳の男児は，ゲームに対する興味はある
が触覚が理解できていない様子．
９歳の男児は，質問(4)において触覚を「い
やな感じ」と回答していた．
「はい」 「いいえ」 その他
1 0 1 0
2 1 0 0
3 11 0 0
4 20 0 0
5 26 0 0
6 51 0 0
7 45 0 0
8 50 0 1
9 47 1 3
10 39 0 0
11 25 0 1
12 4 0 0
13 1 0 1
18 1 0 0
20～ 13 0 0
無回答 9 0 0
合計 343 2 6
（質問2）楽しかった？体験者の
年齢

2006年11月15日 JAIST::MiyataLab
触覚の認知と印象
 キャラクタに触れた＝インタラクションの成立
 「不思議、楽しい」が多い
 年齢層が上がるにつれ「不思議」が強くなる
人 （％） 不思議 楽しい いやな なにも 重い 無回答その他
1～2 0 ( 0% ) 0 0 0 0 0 2 0
3 9 ( 82% ) 5 3 0 1 0 2 0
4 18 ( 90% ) 4 14 0 0 0 2 0
5 25 ( 96% ) 7 14 0 2 0 2 1
6 50 ( 98% ) 17 24 0 5 1 2 2
7 37 ( 82% ) 14 15 0 5 0 7 4
8 49 ( 96% ) 31 8 0 7 2 0 3
9 48 ( 94% ) 23 12 2 6 2 0 6
10 38 ( 97% ) 24 10 0 1 1 0 3
11 25 ( 96% ) 17 5 0 1 0 1 2
12～13 6 ( 100% ) 3 2 0 0 0 0 1
18～ 14 ( 100% ) 8 6 0 0 0 0 0
合計 319 ( 91% ) 153 113 2 28 6 18 22
質問(4)
「(触覚は)どんな感じがしましたか？」
年齢層
キャラクタに
さわれた
0% 20% 40% 60% 80% 100%
1～2
3
4
5
6
7
8
9
10
11
12～13
18～
合計
年齢層
不思議 楽しい いやな なにも 重い 無回答 その他

2006年11月15日 JAIST::MiyataLab
0% 20% 40% 60% 80% 100%
1～2
3
4
5
6
7
8
9
10
11
12～13
18～
年齢層
ペンギンホッケー TVゲーム どちらも 無回答/その他
テレビゲームとの比較
 TVゲームの習慣化は4,5歳児から（予備調査と一致）
 57%が提案システムを嗜好
 5～11歳にアドバンテージ、4歳以下や12歳以上では優位とはいえなかった。
 高年齢のTVゲーム嗜好者にも受容(50%)
年齢層
1～2 2 (100%)
3 3 (27%)
4 13 (65%)
5 20 (77%)
6 36 (71%)
7 31 (69%)
8 37 (73%)
9 38 (75%)
10 35 (90%)
11 22 (85%)
12～13 5 (83%)
18～ 4 (29%)
合計 246 (72%)
好きなTVゲームがある
人 （％）

2006年11月15日 JAIST::MiyataLab
主観評価の結果
 体験者の反応は、年齢に対して差異がある
ピアジェや二瓶らの調査に一致
 1～2歳児は体験者として非成立？
最近のメディア研究の結果等とも一致
 3～4歳児から、触覚VRの体験者として成立
7歳児から「楽しい」→「不思議」へ
ピアジェの「感覚運動遊び」，「象徴的遊び」，
「ルールのある遊び」に一致する結果といえる

2006年11月15日 JAIST::MiyataLab
海外における展示
 「ACM SIGGRAPH2003 SIGKIDS」への採択
子供向けインタラクティブ研究発表
米国サンディエゴにて開催(2003年7月）
 国際間での傾向の違い
5カ国対応版も用意したが利用しなかった
 ハードウェアシステムの簡素化
軽量版153cm立方のフレームを開発
ノートPCとUSB2.0対応SPIDARアンプにより，
飛行機手荷物での輸送を可能にした．

2006年11月15日 JAIST::MiyataLab
海外における展示
最も多く体験した(2日で6回)6歳の男児．

2006年11月15日 JAIST::MiyataLab
海外における展示
1歳半の体験者．映像は認知できているが遊戯状態にない．

2006年11月15日 JAIST::MiyataLab
海外における展示
「歩き回る」行為はあまり見られないが触覚は楽しんでいる

2006年11月15日 JAIST::MiyataLab
触覚の有無による振る舞いの違い
 力覚フィードバックの有無で
体験者の振る舞いが変化するか？
 体験者の動作軌跡を記録
あくまで自然な遊戯状態で測定

2006年11月15日 JAIST::MiyataLab
触覚なし

2006年11月15日 JAIST::MiyataLab
触覚あり

2006年11月15日 JAIST::MiyataLab
触覚なし

2006年11月15日 JAIST::MiyataLab
触覚あり

2006年11月15日 JAIST::MiyataLab
結果
触覚の有無によって
 さまざまな速度の動作が観察できる
 広い領域での移動が確認できる

2006年11月15日 JAIST::MiyataLab
まとめ
広い年齢層の子供向け
エンタテイメントシステムとして，
床面提示型触覚エンタテイメントシステム
「タンジブルプレイルーム」を提案，開発し，
その主要な要素として挙げた，
(1)日常的な遊びの空間で体験できること
(2)身体的・直接的インタラクションが実現できること
(3)法則性のある世界構築
を構成要素とした
新しいエンタテイメントシステムを提案できた

2006年11月15日 JAIST::MiyataLab
応用コンテンツ案(1)
「地形ビジュアリゼーション」砂遊びのように形状を変化できる

2006年11月15日 JAIST::MiyataLab
応用コンテンツ案(2)
「気球フライトシミュレータ」風を感じることができる．

2006年11月15日 JAIST::MiyataLab
将来的展開
提案システムを実用化する上で…
 実用化のためのソフトウェア開発環境
 提案システムの安全性追求
 コストダウンと実装方法の簡略化

2006年11月15日 JAIST::MiyataLab
たとえば？
 「笑い」に注目する

2006年11月15日 JAIST::MiyataLab
おわりに
 21世紀的「遊びの科学」
本当に「人類の幸福」に寄与できるか？
 ご質問はお気軽に
shirai@mail.com
http://akihiko.shirai.as/projects/
 人材募集