WiiRemote Programming Workshop - 革新的インタラクションを構成する“部品としての”ゲームコントローラー

[WiiRemote Programming] Cover Illustrated by Yukari Tanaka
革新的インタラクションを構成する
“部品としての”ゲームコントローラー
【講演】
白井暁彦（日本科学未来館・科学コミュニケーター）
小坂崇之（金沢高専・講師）
木村秀敬（jig.jp、JAIST卒業生）
主催：北陸先端科学技術大学院大学
エクセレント・コア（JAIST-EC）形成プロジェクト
WiiRemote Programming Workshop

刊行によせて
先端技術があっと言う間に大衆化する。ゲーム機器がもたらす革命は、家庭での娯楽を一
変させるだけでなく、研究者にとっても新しい時代の到来を意味していた。WiiRemote の
登場で、加速度センサー、高速赤外線センサー、Bluetooth 接続がお茶の間の技術になった
のである。本書には、WiiRemote の安価で頑健で多機能という恩恵をPC でも享受するた
めの試行錯誤が凝縮されている。プログラミングのノウハウはもちろんのこと、エンジニ
アとしての心構えや対話的システム開発のお作法、来たるべき未来への予言まで、本書の
メッセージは多岐にわたる。また、新たな発想による応用例の数々に刺激を受ける読者も
多いことだろう。本書に散りばめられたさまざまなヒントを、ぜひ活かしていただきたい。
──────────── 東京大学工学部電子情報工学科准教授東京大学工学部電子情報工学科准教授東京大学工学部電子情報工学科准教授東京大学工学部電子情報工学科准教授・・・・
日本日本日本日本VRVRVRVR 学会学会学会学会アートアートアートアート＆＆＆＆エンタテインメントエンタテインメントエンタテインメントエンタテインメント研究委員会委員長研究委員会委員長研究委員会委員長研究委員会委員長苗村苗村苗村苗村健健健健
メディアアート道はキビシく、メディア芸術の教科書はあいかわらず足りないけど、これ
からは魅惑と誘惑に満ちた禁断の書『WiiRemote プログラミング』がある―プログラミン
グといえば25 年前になぜかFORTRAN でお絵かきを習ったきりですが（笑）。
そんな私でも自信をもってお薦めできます！ユニークでクリエイティブな
プログラミングを楽しみつつ、WiiRemote から生まれる、賢く可愛く
あやしくクールでおバカでオモロい作品を待っています。
──────────── 東京都現代美術館学芸員東京都現代美術館学芸員東京都現代美術館学芸員東京都現代美術館学芸員・・・・
SIGGRAPH Asia2008 Art Gallery/ESIGGRAPH Asia2008 Art Gallery/ESIGGRAPH Asia2008 Art Gallery/ESIGGRAPH Asia2008 Art Gallery/E----techtechtechtech 議長議長議長議長森山朋絵森山朋絵森山朋絵森山朋絵

刊行によせて
この本が読みやすくわかりやすいのにはちゃんと理由がある。白井君は工学部の学
生時代から芸術系の学生に技を教え、コラボレーションし（その成果が第10 章に
登場するFantastic Phantom Slipper）、さらにそのような場をより広げるため
に国際学生対抗VR コンテストを支え、フランスでも語学と格闘しながら研究と制
作を指導してきた。技術開発とコンテンツ制作の両方に携わる専門家というだけで
なく、技術とアートをつなぐコミュニケーションのプロとして長いキャリアがあり、
その底にあるテクノロジーとアートの未来に対する熱い思いは、本書からも伝わっ
てくる。メディアアートを目指す人たちが、この本を使いこなして作品に新しい領
域を開くことを期待している。
──────────── 早稲田大学文化構想学部教授早稲田大学文化構想学部教授早稲田大学文化構想学部教授早稲田大学文化構想学部教授
・・・・UCLA Art |UCLA Art |UCLA Art |UCLA Art | SciSciSciSci CenterCenterCenterCenter 客員研究員客員研究員客員研究員客員研究員草原真知子草原真知子草原真知子草原真知子
私の研究分野の1 つであるメディアアートの世界は、WiiRemote など
いくつかの新たなテクノロジーの出現によって新たなステージに入ったと
私は思っています。その新たなステージとは、やる気とセンスさえ
あれば世界を振り向かせる力のある作品を作ることができる時代に
なりつつあるということです。そんな時代に待望の本が
出現しました。わかりやすく書かれた本書で学ぶことによって、
これまで見たこともない新しく楽しいインタラクティブな作品が
たくさん出てくることを私は楽しみにしています！もちろん
「デジスタ」も待っています。ちなみに私も買って学びます！！
────────────「「「「デジタルスタジアムデジタルスタジアムデジタルスタジアムデジタルスタジアム」」」」ナビゲーターナビゲーターナビゲーターナビゲーター中谷日出中谷日出中谷日出中谷日出

刊行によせて
身体を動かすことは楽しい。身体を使ってコンピュータとインタラクションを行う
ための技術は学術分野では古くから注目されていた。このテクノロジーを誰もが安
価に利用できる形で実現したものがWiiRemote といえる。この本を読み、実践す
ることで、身体的インタラクションを使ったあのSF の、あのアニメのシーンを
「自らの手」で楽しく実現できるようになるに違いない。工学系ワークショップの
教科書としても最適。
──────────── 慶應義塾大学大学院慶應義塾大学大学院慶應義塾大学大学院慶應義塾大学大学院メディアデザインメディアデザインメディアデザインメディアデザイン研究科教授研究科教授研究科教授研究科教授・・・・
コンピュータエンタテインメントコンピュータエンタテインメントコンピュータエンタテインメントコンピュータエンタテインメント協会協会協会協会（（（（CESACESACESACESA））））理事理事理事理事稲見昌彦稲見昌彦稲見昌彦稲見昌彦
本書の冒頭で紹介されている国際学生対抗VR コンテスト（IVRC）は、優れたデ
バイスの思いがけない活用によって、新進の参加学生作家がアイデアを非常にスト
レートに実現できる舞台である。本書は、IVRC のような世界の舞台で力強く羽ば
たこうとする学生作家をはじめ、多くのプログラマに向けて、
基本的なセンスを含めて開発手法を教示しようとする貴重な一書である。
大勢のIVRC 卒業生が、今や世界最高クラスのVR クリエイター
として各方面で大活躍し、IVRC は21 世紀的「ものづくり体験」
教育システムとして長年歴史を重ねている。このコミュニティが
本書のような良書の発刊を支えたことを喜ぶとともに、本書の
読者が、新たな挑戦者としてスターダムに登場することを期待する。
──────────── 日本日本日本日本VRVRVRVR 学会評議員学会評議員学会評議員学会評議員・・・・
IVRCIVRCIVRCIVRC 実行委員会実行委員会実行委員会実行委員会副委員長副委員長副委員長副委員長武田博直武田博直武田博直武田博直

Agenda
• ごあいさつ
• 書籍『WiiRemoteプログラミング』
• 各講師のプレゼンテーション（各２０分）
o 『WiiRemoteで世界に飛び出す』小坂崇之
o 『インタラクティブ学生生活』木村秀敬
o 『エンタテイメントシステムの研究』
白井暁彦
o ディスカッション
• プログラミングワークショップ
14:30-17:30
•C#を使った
「部品としてのゲームコントローラー」

ごあいさつ
• 自己紹介
• 書籍『WiiRemoteプログラミング』
• メッセージ
o 買って、読んで、
o プログラミングは難しくない！
o “インタラクティブ技術”って奥深い！
o 他の人に勧めて欲しい
o 教科書にも…!

エンタテイメントシステムの研究
白井暁彦
Akihiko SHIRAI, Ph.D

Introduction
• Akihiko SHIRAI
• Doctor of Engineering (TITECH)
今日は「遊びの研究」の話をします。
「研究者の遊び」から「遊びの研究」へ。
そして…？

Biography
• 1973 Born at Yokohama, Kanagawa, Japan.
• 1992-1998 Tokyo Institute of Polytechnics
– Photo engineering (bachelor)
– Image processing (Master of Engineering)
• 1998- Canon, Inc. (Japan)
• 2000- Criterion, Inc. (UK,JP)
• 2001- Tokyo Institute of Technologies
– SPIDAR, haptics, real time physics (Prof.Sato Lab)
– Intelligent systems (Doctor of Engineering)
• 2003- NHK-ES, Japan
• 2005- ENSAM, France
• 2008- Miraikan, Japan

My works
Research and development for…
• Entertainment systems
• Virtual Reality
• Computer Vision
• Haptics, Robotics
• Computer Graphics
Plus…
• Volunteer works for IVRC and Laval Virtual.

“Entertainment Systems”
• Definition
– Computer systems that was designed to affect
to human amusements.
– Video Games, media arts, real time interactive and
entertainment virtual reality are possible to be
included.
– Cinemas and DVDs are also possible to be included but
should focus to “computer system” like interactivity.

“Entertainment is not a game”
New entertainment system makes industries.
(hardware, contents and markets…)
Nintendo controllers
Music games
Force feedback
Joy stick

(Example) A new concept makes a new entertainment system
then it can get a new game players category
Nintendo DS
A touch panel with double screens

• A new human interface of “Nintendo Revolution” will enlarge style of
games.
• It will also enlarge the game markets. But…
• It will also affects the methods of contents developers.
• Then it will also change the meaning of “playing the game”

“Future Entertainment Systems”
-casting a future of the future (at 2006)-
“What will be the Future after the Revolution?”
• Human player will input various information to the system.
• There are 3 cases between Human(I) and System(O)…
– I > O…Too much input but low responses (ex:old/slow computer).
– I < O…Small input but high responses(ex:DVD player)
– I = O…Ideal condition,
it can start a game between human and system correctly and evenly.
• Of course, we needs kinematics of human dynamics(swing,
shoot,etc ) via a controller that includes motion sensors.

Projects
1998 Fantastic Phantom Slipper
2000 RenderWare on PlayStation2
2001- SPIDAR and Springhead
2002 the Labyrinth Walker
2001- Tangible Playroom series
2004 Advanced 3DCG
2005 LuminaStudio
2005- RoboGamer series
2006- WiiMedia series

Fantastic Phantom Slipper
Real-time motion capture using slipper style interface.
Special vibro-tactile, “Phantom Sensation”
Semi-dome style immersive screen.
Demonstration at SIGGRAPH’98 Enhanced Reality.

RenderWare on PlayStation2
RenderWare is a middleware for RT3D CG.
Multiplatform coding environment.
(PC,PS2,DC,Xbox,Gamecube…)
Innovative speed up in development phase.
Worked for development and
implementation for Japanese game developers
as “game development consultant”.
Experienced their technique, style, culture, limitation
and future…

SPIDAR and Springhead
SPIDAR (SPace Interface Device for Artificial Realities)
Invented by Prof.Sato at 1991.
String based haptics interface.
Springhead
Framework and SDK for SPIDAR.
Real-time physics engine.
Spinning top and pinball
Artworks, “Dynamo::taboo”
Artificial beetle

the Labyrinth Walker
Locomotion interface without wearing interfaces.
4 pressure sensors and motor controlled turn-table.
It detects human walking steps and its orientation.
Its artworks are imported from 3DSMax via VRML2.0 files.
Demonstrated at SIGGRAPH2002 E-Tech as
“A New Step-in-Place Locomotion Interface for Virtual
Environment With Large Display System”.
Some children museum
had interest to use it.

Tangible Playroom
New entertainment system for future children
Replacing current home TV games.
Haptics, full body motion oriented.
Using large display and SPIDAR style force feedback devices.
Contents using Real-time Physics.
Not a fake, educational experience using human size VR.

“Tangible Playroom”, version 2001
Exhibition project using virtual reality
technologies.
Big size SPIDAR(H4xW2xL3 m).
Immersive large floor screen using
network connected multi-projection
system.
A.I. and real time physics.
• Players can interact with artificial
characters by their whole body.
It could show a possibility of “haptics
entertainment” but it was very huge
to experiment.
At Osaka, Japan

A content of Tangible Playroom
• “Penguin Hockey”
• The first but most characteristic content of Tangible Playroom.
• Players have to recognize shape and touch of objects via haptics.
• The player is designed as a partner of loser penguin.
• To get a point, players have to put a snowman to each goal.
• The player can feel difference of the weights between snowmen and penguins.

“Tangible Playroom”
version 2002
Redesigned for future home
computer entertainment
system.
Implement to living room.
• Experimented about modes of
haptics and projection.
It was suitable for experiment
but it couldn’t experiment at
outside of the laboratory.
At Sato Laboratory
Image sketch

version 2003
To get more natural data when
children play the game, it should be
mobile.
135cm cubic frame.
• Experimented about difference of
behaviors between Japanese and
American children.
It can record players motion naturally
but it isn’t so enough to walk freely.
At SIGGRAPH2003 SIGKIDS

version 2004
To keep mobility and large field, the
encoder motors can be attached to
structures by clamps.
All of systems can be carried by one
person by his hand.
At Laval Virtual 2004

Evaluations of TangiblePlayroom
• Evaluations concept realization
• Activation behaviors of players
• Players categorization
• Questionnaire (subjective method)
• Biometrical (other evaluations be needed)

アンケートによる主観評価
• 2001年8月1～7日
『福崎バーチャル子供わくわく広場』(大阪)
難病の子供たちの為のイベント
• 無料で体験
主な来場者は地元の小学生(健常児)
• 体験後にアンケートを実施
体験者が自記できない場合、ヒアリングによる回答記入

実施したアンケート
• (1)氏名氏名氏名氏名・・・・年齢年齢年齢年齢
• (2)「「「「ペンギンホッケーペンギンホッケーペンギンホッケーペンギンホッケー」」」」はははは楽楽楽楽しかったしかったしかったしかった？？？？
• (3)ゆきだるまやゆきだるまやゆきだるまやゆきだるまやペンギンペンギンペンギンペンギンにさわれましたかにさわれましたかにさわれましたかにさわれましたか？？？？
• (4)みえないものにさわるとみえないものにさわるとみえないものにさわるとみえないものにさわると，，，，
どんなかんじがしましたかどんなかんじがしましたかどんなかんじがしましたかどんなかんじがしましたか？？？？(選択式選択式選択式選択式)
• (5)テレビゲームテレビゲームテレビゲームテレビゲームでででで，，，，すきなすきなすきなすきなゲームゲームゲームゲームはなんですかはなんですかはなんですかはなんですか？？？？
• (6)うえのうえのうえのうえのゲームゲームゲームゲームよりもおもしろかったよりもおもしろかったよりもおもしろかったよりもおもしろかった？？？？
• (7)このこのこのこのゲームゲームゲームゲームになにかくわえたいことはあるになにかくわえたいことはあるになにかくわえたいことはあるになにかくわえたいことはある？？？？
• (8)またあそびたいですかまたあそびたいですかまたあそびたいですかまたあそびたいですか？？？？

体験者について
• 体験者351名
7日間を通した有効なアンケートの回収数
• 年齢
最年少体験者は1歳、最高齢は57歳。
6～10歳が多い（全体の56.4%）。
• 男女比
57:42で男児が若干多い
男女
1 1 0
2 1 0
3 8 3
4 12 8
5 17 9
6 29 22
7 22 23
8 26 25
9 28 23
10 28 11
11 15 11
12 2 2
13 2 0
18 1 0
20～ 10 3
無回答 0 9
合計 202 149
体験者数体験者の
年齢

体験者の年齢層と感想
• ほとんどの体験者が
「楽しい」と回答(98%)
幼児であっても製作者への「気遣い」が
感じられるため無意味な設問？
• 「「「「いいえいいえいいえいいえ」」」」とととと答答答答えたえたえたえた２２２２名名名名についてについてについてについて
１１１１歳歳歳歳のののの男児男児男児男児は，ゲームに対する興味は
あるが触覚が理解できていない様子．
９９９９歳歳歳歳のののの男児男児男児男児は，質問(4)において触覚を
「いやな感じ」と回答していた．
「はい」「いいえ」その他
1 0 1 0
2 1 0 0
3 11 0 0
4 20 0 0
5 26 0 0
6 51 0 0
7 45 0 0
8 50 0 1
9 47 1 3
10 39 0 0
11 25 0 1
12 4 0 0
13 1 0 1
18 1 0 0
20～ 13 0 0
無回答 9 0 0
（質問2）楽しかった？体験者の
年齢

触覚の認知と印象
Impression and recognition of haptics (questionnaire)
• キャラクタに触れた＝インタラクションの成立
• 「不思議、楽しい」が多い
• 年齢層が上がるにつれ「不思議」が強くなる
人（％）不思議楽しいいやななにも重い無回答その他
1～2 0 ( 0% ) 0 0 0 0 0 2 0
3 9 ( 82% ) 5 3 0 1 0 2 0
4 18 ( 90% ) 4 14 0 0 0 2 0
5 25 ( 96% ) 7 14 0 2 0 2 1
6 50 ( 98% ) 17 24 0 5 1 2 2
7 37 ( 82% ) 14 15 0 5 0 7 4
8 49 ( 96% ) 31 8 0 7 2 0 3
9 48 ( 94% ) 23 12 2 6 2 0 6
10 38 ( 97% ) 24 10 0 1 1 0 3
11 25 ( 96% ) 17 5 0 1 0 1 2
12～13 6 ( 100% ) 3 2 0 0 0 0 1
18～ 14 ( 100% ) 8 6 0 0 0 0 0
合計 319 ( 91% ) 153 113 2 28 6 18 22
質問(4)
「(触覚は)どんな感じがしましたか？」
年齢層
キャラクタに
さわれた
0% 20% 40% 60% 80% 100%
1～2
3
4
5
6
7
8
9
10
11
12～13
18～
合計
年齢層
不思議楽しいいやななにも重い無回答その他

0% 20% 40% 60% 80% 100%
1～2
3
4
5
6
7
8
9
10
11
12～13
18～
年齢層
ペンギンホッケー TVゲームどちらも無回答/その他
テレビゲームとの比較
Comparing with current TV games(questionnaire)
• TVゲームの習慣化は4,5歳児から（他調査と一致）
• 57%が提案システムを嗜好
• 5～11歳にアドバンテージ、4歳以下や12歳以上では優位とはいえなかった。
• 高年齢のTVゲーム嗜好者にも受容(50%)
年齢層
1～2 2 (100%)
3 3 (27%)
4 13 (65%)
5 20 (77%)
6 36 (71%)
7 31 (69%)
8 37 (73%)
9 38 (75%)
10 35 (90%)
11 22 (85%)
12～13 5 (83%)
18～ 4 (29%)
合計 246 (72%)
好きなTVゲームがある
　　　　人　　　　　　（％）

Physical Evaluation of display methods
-raw data of motion sensor on player-

Physical Evaluation of force feedback
-recorded data of SPIDAR pointer(FF-OFF)-

Physical Evaluation of force feedback
-recorded data of SPIDAR pointer(FF-ON)-

Tangible Playroom
-content example 1-
“Geographic simulator” using force feedback.

Tangible Playroom
-content example 2-
A balloon simulator with wind force feedback.
The girl can play with a toy with image recognition.

Advanced 3DCG
In NHK-ES
• Photo realistic real-time computer graphics
for next generation TV environment.
• Global illumination, Image based lighting…

Core technologies at 2006
HapticsHaptics Computer VisionComputer Vision
A new generation of
“Tangible Playroom”:
Entertainment Platform
for future children
A new generation of
“Tangible Playroom”:
Entertainment Platform
for future children
SPIDAR in CAVE
Safety, stable, easy
GPU Image
processing
Rapid camera
New tracer method
Real-time Rendering
New display tech.
Stereo, Fog, HMD…
Physical evaluation
(non subjective)
Excitement model
Field works
Display Tech.Display Tech. EvaluationEvaluation

Lumina Studio
• Configuration
• If the blue illuminated area
is overloaded by high-quality video,
it can make a new composing method!
Blue sheet
(color is free!)
Projector
ANSI 2000 Lumen
Transparent wall
(A.k.a. glass)
I can see!

CG Source
Blue structure
White screen Blue screen
Color bars Lumina key Chroma key
Source (daylight)
Composed (real time)
Matt
Blend
PixelShader technique

Implementation Details
Real-time Video composing software.
– Input source is IEEE1394 DV Capture (30FPS)
– Running on Laptop PC
(CPU:1.7GHz, GPU:ATI Radeon9700)
– It runs over 100FPS. (not optimized!)
“Tone Profile” is a small texture file.
Then the tone correction easier than coding.
256x1 pixels RGB color
Red :Lumina
Green:Chroma
Blue :Matting
0 255

Evaluation Experiment
Focused to make a “training environment”
Because its advantage is “visible”.
Tasks for participants (6 French students)
• Play a weathercaster for 30 sec.
• Read an English script (non-native language).
• Playing with virtual character.
• 2 Groups:“Paper-Lumina” or “Lumina-Paper”

Result:time to finish
Group B ( Lumina - Paper )Group B ( Lumina - Paper )Group B ( Lumina - Paper )Group B ( Lumina - Paper )
24
26
28
30
32
34
36
38
40
42
44
1 2 3 4 5 6 7 8 9 10
trial ( 1-5: Lumina, 6-10: Paper)
sec.(target=30)
D.C
Y.A
P.Y
Group A ( Paper - Lumina )Group A ( Paper - Lumina )Group A ( Paper - Lumina )Group A ( Paper - Lumina )
24
26
28
30
32
34
36
38
40
42
44
1 2 3 4 5 6 7 8 9 10
trial ( 1-5: Paper, 6-10: Lumina)
sec.(target=30)
B.D
K.J
G.B
PROPOSED PROPOSED
Suggested method decreased its training time.

“RoboGamer”
Physically connected robotic game player

Function of RoboGamer
• Recognition objects on the game screen
• Collaborative play via force feedback
Autonomous or assisting
• man-machine interface conversion and adding
without modification for original game system.
• Possibilities to analyze human playing behaviors
Development for a new AI algorithm that can play a game like a
human.

WiiRemote Programming Workshop - 革新的インタラクションを構成する“部品としての”ゲームコントローラー

GPUVision
concepts
• A new computer vision project:
– Cost effective solution for interaction
– Ultra fast response speed with GPU processing
GPU=Graphics Processing Unit (nVidia, ATI,…)
– Useful for artistic and prototype

GPUVision
competitors (1)
• “OpenVidia”
– Linux Platform SDK
– Specialized for nVidia GPU
– Multi GPU cards supported
– Optical Flow based 6DoF detection
Some interesting results for AR applications
• “OpenCV”
– Windows Platform SDK, specialized for Intel CPU
– Performance is depended on CPU speed
– A lot of implementations of past CV techniques

GPUVision
competitors (2)
• “AR Toolkit”
– Multi Platform SDK
– Specialized for Artificial Reality
– 2D pre-resisted marker based 6DoF detection
– 30-60 FPS in maximum (depends on camera and CPU)
– Multiple marker detection in same frame
– Issues…
• A lot of demo and artworks had been developed.
• But 2D marker limits to create new applications.
Ex. Look and feel, fitting time, etc…
• Users have to see the camera and the screen to get a feedback

GPUVision
specifications
• For interaction
– Cost effective with high performance using GPU
– Specialized for 2D color tracking
• Ultra fast
– Over 600 FPS on 4 color detection
• Useful for artistic and prototype
– SDK has a hazards for artist and prototyping
– Analyzing algorithms are prepared
– Parameter setting by text and image files
• re-compiling on VC.NET is not needed!
– Network connection to Virtools

GPUVision
software design
Camera
CPU Program
Network
Capture
float4 PS_TopHead(VS_OUTPUT IN) : COLOR0
{
float4 Col;
float2 pos;
Col = 0.0f;
Col.r += smoothstep( 0.2f, 0.45f , length( tex2D(movtex, IN.TexUV)
- tex2D(tex1, IN.TexUV)) ) * smoothstep(0.0f,0.5f,-cos( IN.TexUV.y * 3.141592));
Col.g += smoothstep( 0.2f, 0.45f , length( tex2D(movtex, IN.TexUV)
- tex2D(tex1, IN.TexUV)) ) * smoothstep(0.0f,0.5f,+cos( IN.TexUV.y * 3.141592));
return Col;
}
GPU Program (Text file)
Referential image
Parameter Textures
Pixel count
Source video
Filtered
AceSpeeder2(game app)
USB/IEEE1394
Position
UDP/IP

GPUVision
screenshot
Source video GPU Processing
Filtered image
Detected position
[GPU Processing]
•Comparing with a
reference image
•Color toning by height
[CPU Processing]
•Counting only for targeted
color (=green and red)

GPUVision
one application for a racing game interface
Input left or right, and boosting
•With full body motion
•Witouht markers
•Auto calibration
•Non limitation for users
•Nationalities (skin colors)
•Clothes
•Heights (<120cm)

GPUVision
Future
• For interaction
– Direction detecting (3-6DoF)
• Ultra fast
– Multi camera support
• Over 600fps = 60 fps with 10 cameras!
• Useful for artistic and prototype
– Documentation and semi-opensource
– Evaluating with actual artworks
ex. Theme park attractions, Laval Virtual, TP, etc

Physical Evaluation for
Entertainment System
• How to evaluate it?
Questionnaires have a lot of limitation to evaluate for age, language,
culture, backgrounds, etc..
• What is “Entertainment system”?
It needs a clear definition to evaluate.
• “Usability” is not equal for
“Entertainment”.
Ex. Play a piano,

Definition of “Entertainment System”
• Based on Roger Caillois, “Les jeux et les hommes”, 1958
Freedom
Separation
non-profit
Image
Regulations
Place
Action
Material
Etc..
Entertainment System
•Non pressure, non forcing
•unrestricted deployment
•Can quit it immediately
•Separated from daily life
(time and place)
•hard-and-fast rule
•Law in the real world stops
•Non gain to the real world
•Non producing in the real
•Estate transferring is allowed
•Can understand as unreal
•Photo-realistic is allowed
Interface
Player
(unspecified number )
“Playing condition” be accrued at the time.
Push button
Image output
Chose adverse
Happy end
Payment fee
determining
[I/O examples]
Exit game
Qui Game

AceSpeeder2
• Creating and evaluating new interfaces.
• Scientific research with actual game product.
• “AceSpeeder”, high speed anti-gravity game
that has sold 100,000 copies in Japan.
• Marker less motion interface using GPUVision

Environment for evaluation
• Normal “playing” condition
Not in the Laboratory!
• Huge anonymous to cancel particular errors
• Measure with “Physical” parameters
– Played time
– Chosen design
– Body movements

WiiMedia:
motion analysis methods and applications
using a consumer video game controller
–Akihiko SHIRAI ( ENSAM P&I Lab, France /
JSPS ),
–Erik GESLIN ( ESCIN, France ) and
Simon RICHIR ( ENSAM P&I Lab, France )

Introduction:warring state periods
The war breaks out every 5 years...
PS2
2001
GC
Xbox
PS3
2006
Wii
Xbox360
[mainfields]
Graphics
Connectivity
Graphics
Network
Graphics
[mainfields]
Graphics
Full HD
Graphics
Network
Interface
Virtual Console

Introduction:
“A destiny of entertainment”
1.All stimulus will be blunt, not be sharp.
2.Monotonicity helps to tire the games.
3.“Lost market” might be a loser of games.
Because, higher skill players always win.
Is WiiRemote a killer solution? Probably not...
The future is entrusted to the game developpers. For example, it used for;
A substitute of buttons / Just swinging actions
Violent actions that may gives a heavy load
Highly difficult timing inputs...
if they don't provide any innovative experiments,
we can lose the “lost market” again.

Concept: WiiRemote to WiiMedia
New interactive media for...
Scientists
Media Artists
Hobby developers
Small game developers
What will we give?
Advanced hardware usages with working case studies
APIs, Plug-Ins and examples to create innovative media

Bluetooth connection
WiiRemote allows connection with PC via Bluetooth.
Detected as a HID (human interface device).
No passwords.
No guarantee and compatibility.
Of course, unofficial way.
Cost effective.
($49 values $1000+)

References
Resources for WiiRemote
WiinRemote ... CBuilder based mouse emulator
GlovePIE ... Joystick emulator with a script
engine.
WiiLi.org ... Wiki for hackers.
Official middle-ware
AI-Live ( http://www.ailive.net/ )
“context learning” based algorithm

WiiMedia:USB Sensorbar
Infrared (900nm) LED emitters
USB Bus powered (5V)
20cm version
Small version
2 1
3 4
1 2 3 4
+5V Vbus
GND
USB Plug
1:Vbus(+5V)
4:GND
4x Infrared LED
(i.e. SFH409, IF =100mA,
tP = 20ms: 950±20nm)
20 ohm- 20 ohm-
2x Color LED (Pilot lamp)

WiiMedia API
Programming interface for C/C++.
Building Blocks for “Virtools Dev”
WiiMedia Basic APIs
OpenHID
CloseHID
StartCapture
EndCapture
InitIR
GetButtonStatus
GetBattery
GetAcceleration
GetIR
SetLED
SetVibration
WiiMedia Utility APIs
SaveLog
GetMagnitude
GetPosture
GetGravity
GetFrequency
SetInitialPosture
ClassifierTargetPosture
GetApproximation
Get3D
Get6D
*developmental

CaseStudy1: AceSpeeder2
A high speed “Anti-Gravity” Racing game
Motion input already done with GPUVision (2006)
Very small project (3 persons for development!)

AceSpeeder2:
No button operation
LEFT
RIGHT
Braking
Boosting
(double swing)
Acceleration
<See YouTube>
Official version of AceSpeeder2 is available at
http://www.raingraph.com/

AceSpeeder2: Conclusion
Positive
No button driving is possible with WiiMedia
APIs
Gravity detection for handling
Motion (double swing) for action
Jump, swing and twist are possible to use.
Future problem
Conflicting with game physics
There are no feedbacks to users...“pseudo haptics” may
solve it.

“WiiMedia: Papier Poupee Painter”;
a new usage of a game controller
for infancy art media
Introduction
Drawing softwares for children as a new media
Especially for early childhood (3 to 5 years old)
Using a new intuitive device
New usage of Non-Photorealistic Rendering (NPR)
techniques

Related works
Simplified drawing softwares for children
KidPix, TuxPaint, etc... + Mouse (4 years old or more)
Paint application with a new device
“Drawing prism” (brush shape on special optics) (Greene,1985)
“Charcoal sketching” + stylus (Bleser, 1988)
“DAB” using Phantom (Baxter, 2001)
Interactive NPR(Non-Photorealistic Rendering)
[tools] Oil painting, pen-and-ink, water color, pencil, colored
pencil, charcoal and so on.
There are not so many interactive NPR applications with
a new intuitive device, especially for young children...

Technical challenge & issues
A new drawing media for early childhood
Realistic but simple
Drawn picture should be real as a new media,
however the operation should be simple.
Using a new intuitive device
Drawing with a mouse is more difficult than with a pencil.
New application fields of NPR techniques
“NPR for kids drawing” , especially sketching
may be suitable experience for children.

Pastel Draw EngineStroke directions
Behavior of
pigment
Pigment
adhension
model
The top of surfaces are removed for the stroke direction.

Pastel Draw Engine
Photographs with different light directions

Pastel Draw Engine: Video
Allows
This is the effect of multiple texture for pastel-like drawing. Usually only one
texture for drawing is enough. But when we use multiple textures according to
the drawing direction, we can get more realistic appearance for drawing
strokes.
Fish Drawing
This demo shows an easy scrabble example. This is the simplest stroke for
drawing a fish's silhouette. Then we select Canson paper to add coarse texture
on the fish's body. We change color here and add some strokes. Here we change
drawing type. The pen pressure interpolation traversing the stroke's width
shows different stroke appearance. Finally we select paper color.

Pastel Draw Engine
Realistic drawing stroke simulator using a professional tablet.
The full function operation needs Azimuth, Altitude, Position and
Pressure. (=too complicated for children)
Developed by Kyoko Murakami, Ph.D (2006)
Original Operation by a professional tablet[Stroke examples]

Using WiiRemote for Drawing
Technical issues
Using infrared sensor
Detecting 2D coordinates in1024 levels for width.
Output coordinates of IR sensors are not absolute 3D
position.
It has a limitation of the viewing area (36 deg.)
[!] It is a too narrow space for drawing.
Using acceleration sensor
Detecting 3 rotation axis in 256 levels each.
Can we emulate the original operation that uses
Azimuth, Altitude, Position and Pressure with
uncomplicated actions?

IR LEDs
d=200mm
Experiment for infrared sensor
X
Z
Detectionarea
Infrared
detection
area
0 to 1023
[output values of the sensor]
2 groups of IR, non-indexed
(IrX1, IrY1) (IrX2, IrY2)

Characteristics of infrared sensor
IR Detection area is very narrow (≈36
degrees).
Outputs are not linear & can be
misunderstood under different
conditions.
[Misunderstanding Case 1]
If it can see only one IR LED...
[ex] “IrX = 640” (Zone Red)
It has many possibilities in actual
physical position.
[Misunderstanding Case 2]
Difference (X1-X2) is not linear.

Calibration of infrared sensor
0 500 1000 1500 2000 2500 3000 3500
0
128
256
384
512
640
768
896
1024
PosZ - IrZ
IrZ, X=0
IrZ, X=330
IrZ, X=660
PosZ (mm)
IrZ
0 500 1000 1500 2000 2500 3000 3500
0
0.25
0.5
0.75
1
1.25
1.5
1.75
2
2.25
2.5
2.75
PosZ - (200mm/IrZ)
X=0
X=330
X=660
IrZ = | IrX1
- IrX2
|
k
k = 1284.64 PosZ - 0.02
PosZ (mm)
If we can detect 2 IR-LEDs, depth calibration is possible.

Evaluation
3D position detection with 2 LEDs
A drawing example with depth action(=thickness)

Improvement:Spray can method
“Spray can” interaction
on a projected screen
Integration with gravity
g g
IR-LED IR-LED
Smaller
USB IR-LED
Wider detection area

Simplified:Shaking method
For early childhood (3-5 years old)
Using acceleration sensor only
Velocity is assigned to (X,Y) position and thickness
Colors are given by acceleration.
4 years old

Comparison
Methods, input channels and targets for player age groups
*Acceleration is assign to color,
position and thickness is given by velocity.
(*)
"Shaking" methods have advantages for young children

[Doll decolated WiiRemote]
Papier Poupee Painter
Papier = paper, Poupee = baby doll
(in French)
•Concept:
Attractive
Robust
Simplest
[Public testing]

Future Improvement
Preciseness
More preciseness with robustness
Stroking detection with natural action.
Multimedia
Sound, vibrator and animation.
Functions
Paper and color palette function with motion input.

CaseStudy3:JaWii's Virtual Fencing
A game project of classic fencing fight
to celebrating Alfred Jarry at 2007.
Alfred JARRY, Dramatist (1873-1907)

JaWii: System
Judgement
Animation
Controller
Emotion
Manager
Timer
Effect
Manager
WiiMedia Utility
Magnitude
Attack{Left,Center,Right}
Wii Media Basic
Accelaration(Ax, Ay, Az)
ButtonStatus
(Player Input)
(Enemy Input)
WiiRemote
Archived motion by
professional fencing player
Developed with Virtools
3 persons x 2 months

JaWii:Motion Analysis issue
Blue arrows are lost parts of detection.
lower acceleration parts in the end of one swing
Cancellation by the gravity? Or rotation force?
Reconstruction of 3D position with acceleration sensors.
[a sword swinging motion ]

JaWii: A solution
Optical motion capture data by several swinging motions with WiiRemote of the attack front, left
and right. Red colored arrows are defined by an evaluation function for a target vector.
Vector evaluation function: defined by other motion capture

JaWii: other solutions
Using “WiiMedia Utility” APIs
SaveLog
Watch the motion log first, it tells us something.
GetMagnitude
Simply, “final blow” makes a big magnitude.
GetPosture
Useful for a static motion like “Defending”.
ClassifierTargetPosture
A targeted motion often has one target posture.
This function obtains the nearest target posture.
GetApproximation
It defines a difficulty. An expected target vector is too precise for players.

WiiMedia: Conclusions
Concept: New interactive media using WiiRemote for...
Scientists, media artists, hobby developers and small
game developers.
Base developments: USB Sensorbar, WiiMedai API
Applications:
AceSpeeder2 WiiMedia Edition
A racing game with no button operations.
Papier Poupee Painter
NPR drawing for several age groups.
JaWii's Virtual Fencing
Sword fighting by vector evaluation functions.

未来館でのお仕事
• 科学コミュニケーター？

Miraikan :
National Museum of
Emerging Science
and Innovation

Symbol and Logotype
History and Background of Miraikan
※Miraikan is operated by JST as one of the main activities of
“Program for Promoting Public Understanding of Science and Technology.”
1995 The Basic Law on Science and Technology1995 The Basic Law on Science and Technology1995 The Basic Law on Science and Technology1995 The Basic Law on Science and Technology
Enacted for Japan to become a
scientifically and technologically creative
nation.
1996 The Basic Plan for Science and Technology1996 The Basic Plan for Science and Technology1996 The Basic Plan for Science and Technology1996 The Basic Plan for Science and Technology
Formulated to develop comprehensive and
strategic plans.
1998199819981998 The construction of thehe construction of thehe construction of thehe construction of the “Tokyo AcademicTokyo AcademicTokyo AcademicTokyo Academic
Park.Park.Park.Park.” – A base providing information in
International Exchange, Partnership among
Industry, Academia and Government, and
the latest Science and Technology.
2000200020002000 The General Supervising CommitteeThe General Supervising CommitteeThe General Supervising CommitteeThe General Supervising Committee
Formed of members with academic
experience.
MamoruMamoruMamoruMamoru Mohri(astronautMohri(astronautMohri(astronautMohri(astronaut)))) was
inducted as Executive Director ofExecutive Director ofExecutive Director ofExecutive Director of
MiraikanMiraikanMiraikanMiraikan.
2001200120012001 The National Museum of EmergingThe National Museum of EmergingThe National Museum of EmergingThe National Museum of Emerging
Science and Innovation (Science and Innovation (Science and Innovation (Science and Innovation (Miraikan)openedMiraikan)openedMiraikan)openedMiraikan)opened....
Lot Area : 19,636㎡
Exhibition Floor Area : 7,950㎡
Operation & Management Staffs : 137

Features of Miraikan ～General Exhibit Themes – Dreams for the 21st
century～
●Four themes -
“The Earth Environment and Frontier”
“Life Science”
“Information Science and Technology for Society”
“Innovation and the Future”
●Focusing on the relationship between
society and science technology; exhibitions
are designed by leading scientists and
researchers.
Leading scientists join in
the framework and supervision.
●“Science and technology specialists” develop
and introduce new methods to disseminate, in
an understandable way, the latest in science
and technology
●“Interpreters” provide explanations on the
latest science and technology in understandable
terms, and dialogue with visitors.
●Includes laboratories for research, conference
rooms and halls
Technique development by experts,
Explanation, Demonstration and Dialogue
Various exchange facilities
Laboratories for research
State-of-the-art technology is exhibited
in a fun and easy-to-understand way
Explanation,
Demonstration and
Dialogue
Science and Technology
Specialists & Interpreters
Base for the communication of
cutting edge science/technology information

Miraikan’s Brand Slogan
Open your mindOpen your mindOpen your mindOpen your mind
to scienceto scienceto scienceto science
See a whole newSee a whole newSee a whole newSee a whole new
WorldWorldWorldWorld

Visitors to Miraikan （Accumulative Base)
＜FY2001 - FY2006 (estimate)＞
----
50,00050,00050,00050,000
100,000100,000100,000100,000
150,000150,000150,000150,000
200,000200,000200,000200,000
250,000250,000250,000250,000
300,000300,000300,000300,000
350,000350,000350,000350,000
400,000400,000400,000400,000
450,000450,000450,000450,000
500,000500,000500,000500,000
550,000550,000550,000550,000
600,000600,000600,000600,000
650,000650,000650,000650,000
700,000700,000700,000700,000
750,000750,000750,000750,000
AprAprAprApr MayMayMayMay JunJunJunJun JulJulJulJul AugAugAugAug SepSepSepSep OctOctOctOct NovNovNovNov DecDecDecDec JanJanJanJan FebFebFebFeb MarMarMarMar
FY2001FY2001FY2001FY2001
FY2002FY2002FY2002FY2002
FY2003FY2003FY2003FY2003
FY2004FY2004FY2004FY2004
FY2005FY2005FY2005FY2005
FY2006FY2006FY2006FY2006
429,361
579,198
617,090
628,184
712,426
760,000 (est.)

Science
museums
home
and abroad
Media
Volunteers
Member’s club
Visitors
IndustryGovernment
Schools
Researchers
Engineers
Connecting networks for Miraikan’s Activities with Society
About 710,000 visitors in fiscal year
2005
About 35,450 join Member’s club as of
end of Jan. 2006
808 volunteers registered
＊＊＊＊704 times exposure in the mass
media (as of Feb. 2006)
＊＊＊＊Special Exhibition collaborating with
mass media
・"Brain! Exploring Wondrous Mysteries” with
THE YOMIURI SHIMBUN from Mar. 2006
・”Yukagir Mommoth” exhibition with Fuji
Television Network, Inc. from July 2006.＊＊＊＊Collaboration with Science Council
of Japan
＊＊＊＊Human resource development and
outsourcing
*Figures and text above are based on the results in 2005 and the prospects in 2006
47 out of 82 Super Science High
schools are cooperated with Miraikan
＊＊＊＊Exhibition tour to Poland
“Exploration of TIME!” (Mar. to Oct. 2006)
＊＊＊＊Australia-Japan Joint Exhibition due
to 2006 is the Australia-Japan Year
of Exchange
＊＊＊＊Cooperation of Science Museums all
across Japan
＊＊＊＊Introduction of Partnership system
＊＊＊＊Exhibition collaborating Industry
Collaboration with Ministry of Education,
Culture, Sports, Science and Technology
and Cabinet Office
＊＊＊＊”Science and Technology Week” events
Society Society

未来館でのお仕事
• 科学コミュニケーター
• 研究者と一般社会をつなぐ仕事。
• 展示物の解説
（だけではない！）
• 新しい展示企画・調査
何をどう伝えるか、というメッセージ設定が大切
• 関連イベント
• デジタルコンテンツエキスポ、IVRC･･･

©Akihiko SHIRAI, Ph.D
「「「「WiiRemoteプログラミングプログラミングプログラミングプログラミング」」」」
• 「「「「WiiRemoteWiiRemoteWiiRemoteWiiRemoteプログラミングプログラミングプログラミングプログラミング」」」」
オーム社開発部
(著)白井暁彦, 小坂崇之, くるくる研究室, 木村秀敬
単行本: 400ページ 2,940円
ISBN-10: 4274067505
★WiiRemoteを利用したインタラクティブ技術のプログラミング学習書★
話題の家庭用ゲーム機「Wii」の特徴的なコントローラーである「WiiRemote」
をPCで使うプログラミングが注目されている。高性能な加速度センサーや赤外
線センサーを持ち、Bluetooth接続が可能で、プログラミング可能なデバイス
を、個人レベルで自作したり入手したりすることはできなかった。WiiRemote
の登場とともにそれが安価で手軽に入手可能になり、多くの人々が興味を持っ
ている。
本書は、WiiRemoteの応用に興味があるプログラミング初学者向けに、
WiiRemoteをPCから扱うためのプログラミングを解説する。ハードウェア寄
りのゲームプログラミング入門書として、ステップバイステップでソースコー
ドを解説する。具体的なサンプルを開発しながら、インタラクション技術を独
習できる。言語はC/C++、C#およびActionScript 3、Processingなどをサ
ポート。
内容内容内容内容
最先端のゲームやメディアアート作品など、コンピュータを使った新しい表現
やクリエイションには「インタラクティブ技術」がつきもの。この本では、
WiiRemote(Wiiリモコン)を使ったインタラクティブ技術を実現するプログラミ
ングを、ActionScriptやProcessingから、C++、C#.NETまで幅広い言語で
解説している。

新学習指導要綱
• 中学「技術家庭」必修化！
o 『ディジタル作品の設計製作』
セキュリティ、個人情報保護
o 『『『『プログラムプログラムプログラムプログラムによるによるによるによる計測計測計測計測とととと制御制御制御制御』』』』
基本的基本的基本的基本的なななな仕組仕組仕組仕組みみみみ
簡単簡単簡単簡単ななななプログラムプログラムプログラムプログラムがががが作成作成作成作成できることできることできることできること
• 「ホビー」→「必修」の時代。
o でも、教科書はあるの？

WiiRemoteプログラミングの未来
• ハードウェア5年周期説
既に開発が開始されている
• マイクロソフト「Project Natal」
→5千円奥⾏きカメラによるモーション検出
• PlayStation4 →3Dとタンジブル＋全⾝
• Wii2 →Haptics/Robotics??

WiiRemoteプログラミングの未来
• 誰もが作れる
• ホビー化から義務教育化
• 発想・爆発⼒といった
イノベーションそのものが大事！
• 「学者のお遊び」から
「お遊びの学者へ」そして、
『次世代の基幹産業』へ！
ありがとうございました

おしらせ
• ワークショップ
• C#初心者むけパート
• エンタテイメントシステムを作ってみよう
• C#プログラミングスキルがある人は積極的にTA

ダウンロードサービス
• http://www.ohmsha.co.jp/data/link/
978-4-274-06750-1/

WiiRemote Programming Workshop - 革新的インタラクションを構成する“部品としての”ゲームコントローラー

WiiRemote Programming Workshop - 革新的インタラクションを構成する“部品としての”ゲームコントローラー

Recommended

More Related Content

Similar to WiiRemote Programming Workshop - 革新的インタラクションを構成する“部品としての”ゲームコントローラー

Similar to WiiRemote Programming Workshop - 革新的インタラクションを構成する“部品としての”ゲームコントローラー(20)

More from Akihiko Shirai

More from Akihiko Shirai(20)

Recently uploaded

Recently uploaded(10)

WiiRemote Programming Workshop - 革新的インタラクションを構成する“部品としての”ゲームコントローラー