Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

WiiRemote Programming Workshop - 革新的インタラクションを構成する“部品としての”ゲームコントローラー

WiiRemote Programming Workshop
革新的インタラクションを構成する“部品としての”ゲームコントローラー
【講演】
白井暁彦(日本科学未来館・科学コミュニケーター)
小坂崇之(金沢高専・講師)
木村秀敬(jig.jp、JAIST卒業生)

主催:北陸先端科学技術大学院大学
エクセレント・コア(JAIST-EC)形成プロジェクト

2009/11/20
参加者アンケートはこちら
https://spreadsheets.google.com/viewform?formkey=dGVaR3YwWGhyRlU5LTAyS2g3VldXN3c6MA

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to comment

  • Be the first to like this

WiiRemote Programming Workshop - 革新的インタラクションを構成する“部品としての”ゲームコントローラー

  1. 1. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka 革新的インタラクションを構成する “部品としての”ゲームコントローラー 【講演】 白井暁彦(日本科学未来館・科学コミュニケーター) 小坂崇之(金沢高専・講師) 木村秀敬(jig.jp、JAIST卒業生) 主催:北陸先端科学技術大学院大学 エクセレント・コア(JAIST-EC)形成プロジェクト WiiRemote Programming Workshop
  2. 2. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka 刊行によせて 先端技術があっと言う間に大衆化する。ゲーム機器がもたらす革命は、家庭での娯楽を一 変させるだけでなく、研究者にとっても新しい時代の到来を意味していた。WiiRemote の 登場で、加速度センサー、高速赤外線センサー、Bluetooth 接続がお茶の間の技術になった のである。本書には、WiiRemote の安価で頑健で多機能という恩恵をPC でも享受するた めの試行錯誤が凝縮されている。プログラミングのノウハウはもちろんのこと、エンジニ アとしての心構えや対話的システム開発のお作法、来たるべき未来への予言まで、本書の メッセージは多岐にわたる。また、新たな発想による応用例の数々に刺激を受ける読者も 多いことだろう。本書に散りばめられたさまざまなヒントを、ぜひ活かしていただきたい。 ──────────── 東京大学工学部電子情報工学科准教授東京大学工学部電子情報工学科准教授東京大学工学部電子情報工学科准教授東京大学工学部電子情報工学科准教授・・・・ 日本日本日本日本VRVRVRVR 学会学会学会学会アートアートアートアート&&&&エンタテインメントエンタテインメントエンタテインメントエンタテインメント研究委員会委員長研究委員会委員長研究委員会委員長研究委員会委員長 苗村苗村苗村苗村 健健健健 メディアアート道はキビシく、メディア芸術の教科書はあいかわらず足りないけど、これ からは魅惑と誘惑に満ちた禁断の書『WiiRemote プログラミング』がある―プログラミン グといえば25 年前になぜかFORTRAN でお絵かきを習ったきりですが(笑)。 そんな私でも自信をもってお薦めできます! ユニークでクリエイティブな プログラミングを楽しみつつ、WiiRemote から生まれる、賢く可愛く あやしくクールでおバカでオモロい作品を待っています。 ──────────── 東京都現代美術館学芸員東京都現代美術館学芸員東京都現代美術館学芸員東京都現代美術館学芸員・・・・ SIGGRAPH Asia2008 Art Gallery/ESIGGRAPH Asia2008 Art Gallery/ESIGGRAPH Asia2008 Art Gallery/ESIGGRAPH Asia2008 Art Gallery/E----techtechtechtech 議長議長議長議長 森山朋絵森山朋絵森山朋絵森山朋絵
  3. 3. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka 刊行によせて この本が読みやすくわかりやすいのにはちゃんと理由がある。白井君は工学部の学 生時代から芸術系の学生に技を教え、コラボレーションし(その成果が第10 章に 登場するFantastic Phantom Slipper)、さらにそのような場をより広げるため に国際学生対抗VR コンテストを支え、フランスでも語学と格闘しながら研究と制 作を指導してきた。技術開発とコンテンツ制作の両方に携わる専門家というだけで なく、技術とアートをつなぐコミュニケーションのプロとして長いキャリアがあり、 その底にあるテクノロジーとアートの未来に対する熱い思いは、本書からも伝わっ てくる。メディアアートを目指す人たちが、この本を使いこなして作品に新しい領 域を開くことを期待している。 ──────────── 早稲田大学文化構想学部教授早稲田大学文化構想学部教授早稲田大学文化構想学部教授早稲田大学文化構想学部教授 ・・・・UCLA Art |UCLA Art |UCLA Art |UCLA Art | SciSciSciSci CenterCenterCenterCenter 客員研究員客員研究員客員研究員客員研究員 草原真知子草原真知子草原真知子草原真知子 私の研究分野の1 つであるメディアアートの世界は、WiiRemote など いくつかの新たなテクノロジーの出現によって新たなステージに入ったと 私は思っています。その新たなステージとは、やる気とセンスさえ あれば世界を振り向かせる力のある作品を作ることができる時代に なりつつあるということです。そんな時代に待望の本が 出現しました。わかりやすく書かれた本書で学ぶことによって、 これまで見たこともない新しく楽しいインタラクティブな作品が たくさん出てくることを私は楽しみにしています! もちろん 「デジスタ」も待っています。ちなみに私も買って学びます!! ────────────「「「「デジタルスタジアムデジタルスタジアムデジタルスタジアムデジタルスタジアム」」」」ナビゲーターナビゲーターナビゲーターナビゲーター 中谷日出中谷日出中谷日出中谷日出
  4. 4. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka 刊行によせて 身体を動かすことは楽しい。身体を使ってコンピュータとインタラクションを行う ための技術は学術分野では古くから注目されていた。このテクノロジーを誰もが安 価に利用できる形で実現したものがWiiRemote といえる。この本を読み、実践す ることで、身体的インタラクションを使ったあのSF の、あのアニメのシーンを 「自らの手」で楽しく実現できるようになるに違いない。工学系ワークショップの 教科書としても最適。 ──────────── 慶應義塾大学大学院慶應義塾大学大学院慶應義塾大学大学院慶應義塾大学大学院メディアデザインメディアデザインメディアデザインメディアデザイン研究科教授研究科教授研究科教授研究科教授・・・・ コンピュータエンタテインメントコンピュータエンタテインメントコンピュータエンタテインメントコンピュータエンタテインメント協会協会協会協会((((CESACESACESACESA))))理事理事理事理事 稲見昌彦稲見昌彦稲見昌彦稲見昌彦 本書の冒頭で紹介されている国際学生対抗VR コンテスト(IVRC)は、優れたデ バイスの思いがけない活用によって、新進の参加学生作家がアイデアを非常にスト レートに実現できる舞台である。本書は、IVRC のような世界の舞台で力強く羽ば たこうとする学生作家をはじめ、多くのプログラマに向けて、 基本的なセンスを含めて開発手法を教示しようとする貴重な一書である。 大勢のIVRC 卒業生が、今や世界最高クラスのVR クリエイター として各方面で大活躍し、IVRC は21 世紀的「ものづくり体験」 教育システムとして長年歴史を重ねている。このコミュニティが 本書のような良書の発刊を支えたことを喜ぶとともに、本書の 読者が、新たな挑戦者としてスターダムに登場することを期待する。 ──────────── 日本日本日本日本VRVRVRVR 学会評議員学会評議員学会評議員学会評議員・・・・ IVRCIVRCIVRCIVRC 実行委員会実行委員会実行委員会実行委員会 副委員長副委員長副委員長副委員長 武田博直武田博直武田博直武田博直
  5. 5. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka Agenda • ごあいさつ • 書籍『WiiRemoteプログラミング』 • 各講師のプレゼンテーション(各20分) o 『WiiRemoteで世界に飛び出す』小坂崇之 o 『インタラクティブ学生生活』木村秀敬 o 『エンタテイメントシステムの研究』 白井暁彦 o ディスカッション • プログラミングワークショップ 14:30-17:30 •C#を使った 「部品としてのゲームコントローラー」
  6. 6. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka 革新的インタラクションを構成する “部品としての”ゲームコントローラー 【講演】 白井暁彦(日本科学未来館・科学コミュニケーター) 小坂崇之(金沢高専・講師) 木村秀敬(jig.jp、JAIST卒業生) 主催:北陸先端科学技術大学院大学 エクセレント・コア(JAIST-EC)形成プロジェクト WiiRemote Programming Workshop
  7. 7. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka Agenda • ごあいさつ • 書籍『WiiRemoteプログラミング』 • 各講師のプレゼンテーション(各20分) o 『WiiRemoteで世界に飛び出す』小坂崇之 o 『インタラクティブ学生生活』木村秀敬 o 『エンタテイメントシステムの研究』 白井暁彦 o ディスカッション • プログラミングワークショップ 14:30-17:30 •C#を使った 「部品としてのゲームコントローラー」
  8. 8. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka ごあいさつ • 自己紹介 • 書籍『WiiRemoteプログラミング』 • メッセージ o 買って、読んで、 o プログラミングは難しくない! o “インタラクティブ技術”って奥深い! o 他の人に勧めて欲しい o 教科書にも…!
  9. 9. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka
  10. 10. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka エンタテイメントシステムの研究 白井暁彦 Akihiko SHIRAI, Ph.D
  11. 11. Introduction • Akihiko SHIRAI • Doctor of Engineering (TITECH) 今日は「遊びの研究」の話をします。 「研究者の遊び」から「遊びの研究」へ。 そして…?
  12. 12. Biography • 1973 Born at Yokohama, Kanagawa, Japan. • 1992-1998 Tokyo Institute of Polytechnics – Photo engineering (bachelor) – Image processing (Master of Engineering) • 1998- Canon, Inc. (Japan) • 2000- Criterion, Inc. (UK,JP) • 2001- Tokyo Institute of Technologies – SPIDAR, haptics, real time physics (Prof.Sato Lab) – Intelligent systems (Doctor of Engineering) • 2003- NHK-ES, Japan • 2005- ENSAM, France • 2008- Miraikan, Japan
  13. 13. My works Research and development for… • Entertainment systems • Virtual Reality • Computer Vision • Haptics, Robotics • Computer Graphics Plus… • Volunteer works for IVRC and Laval Virtual.
  14. 14. “Entertainment Systems” • Definition – Computer systems that was designed to affect to human amusements. – Video Games, media arts, real time interactive and entertainment virtual reality are possible to be included. – Cinemas and DVDs are also possible to be included but should focus to “computer system” like interactivity.
  15. 15. “Entertainment is not a game” New entertainment system makes industries. (hardware, contents and markets…) Nintendo controllers Music games Force feedback Joy stick
  16. 16. “Entertainment is not a game” (Example) A new concept makes a new entertainment system then it can get a new game players category Nintendo DS A touch panel with double screens
  17. 17. “Entertainment is not a game” • A new human interface of “Nintendo Revolution” will enlarge style of games. • It will also enlarge the game markets. But… • It will also affects the methods of contents developers. • Then it will also change the meaning of “playing the game”
  18. 18. “Future Entertainment Systems” -casting a future of the future (at 2006)- “What will be the Future after the Revolution?” • Human player will input various information to the system. • There are 3 cases between Human(I) and System(O)… – I > O…Too much input but low responses (ex:old/slow computer). – I < O…Small input but high responses(ex:DVD player) – I = O…Ideal condition, it can start a game between human and system correctly and evenly. • Of course, we needs kinematics of human dynamics(swing, shoot,etc ) via a controller that includes motion sensors.
  19. 19. Projects 1998 Fantastic Phantom Slipper 2000 RenderWare on PlayStation2 2001- SPIDAR and Springhead 2002 the Labyrinth Walker 2001- Tangible Playroom series 2004 Advanced 3DCG 2005 LuminaStudio 2005- RoboGamer series 2006- WiiMedia series
  20. 20. Fantastic Phantom Slipper Real-time motion capture using slipper style interface. Special vibro-tactile, “Phantom Sensation” Semi-dome style immersive screen. Demonstration at SIGGRAPH’98 Enhanced Reality.
  21. 21. RenderWare on PlayStation2 RenderWare is a middleware for RT3D CG. Multiplatform coding environment. (PC,PS2,DC,Xbox,Gamecube…) Innovative speed up in development phase. Worked for development and implementation for Japanese game developers as “game development consultant”. Experienced their technique, style, culture, limitation and future…
  22. 22. SPIDAR and Springhead SPIDAR (SPace Interface Device for Artificial Realities) Invented by Prof.Sato at 1991. String based haptics interface. Springhead Framework and SDK for SPIDAR. Real-time physics engine. Spinning top and pinball Artworks, “Dynamo::taboo” Artificial beetle
  23. 23. the Labyrinth Walker Locomotion interface without wearing interfaces. 4 pressure sensors and motor controlled turn-table. It detects human walking steps and its orientation. Its artworks are imported from 3DSMax via VRML2.0 files. Demonstrated at SIGGRAPH2002 E-Tech as “A New Step-in-Place Locomotion Interface for Virtual Environment With Large Display System”. Some children museum had interest to use it.
  24. 24. Tangible Playroom New entertainment system for future children Replacing current home TV games. Haptics, full body motion oriented. Using large display and SPIDAR style force feedback devices. Contents using Real-time Physics. Not a fake, educational experience using human size VR.
  25. 25. “Tangible Playroom”, version 2001 Exhibition project using virtual reality technologies. Big size SPIDAR(H4xW2xL3 m). Immersive large floor screen using network connected multi-projection system. A.I. and real time physics. • Players can interact with artificial characters by their whole body. It could show a possibility of “haptics entertainment” but it was very huge to experiment. At Osaka, Japan
  26. 26. A content of Tangible Playroom • “Penguin Hockey” • The first but most characteristic content of Tangible Playroom. • Players have to recognize shape and touch of objects via haptics. • The player is designed as a partner of loser penguin. • To get a point, players have to put a snowman to each goal. • The player can feel difference of the weights between snowmen and penguins.
  27. 27. “Tangible Playroom” version 2002 Redesigned for future home computer entertainment system. Implement to living room. • Experimented about modes of haptics and projection. It was suitable for experiment but it couldn’t experiment at outside of the laboratory. At Sato Laboratory Image sketch
  28. 28. “Tangible Playroom” version 2003 To get more natural data when children play the game, it should be mobile. 135cm cubic frame. • Experimented about difference of behaviors between Japanese and American children. It can record players motion naturally but it isn’t so enough to walk freely. At SIGGRAPH2003 SIGKIDS
  29. 29. “Tangible Playroom” version 2004 To keep mobility and large field, the encoder motors can be attached to structures by clamps. All of systems can be carried by one person by his hand. At Laval Virtual 2004
  30. 30. Evaluations of TangiblePlayroom • Evaluations concept realization • Activation behaviors of players • Players categorization • Questionnaire (subjective method) • Biometrical (other evaluations be needed)
  31. 31. アンケートによる主観評価 • 2001年8月1~7日 『福崎バーチャル子供わくわく広場』(大阪) 難病の子供たちの為のイベント • 無料で体験 主な来場者は地元の小学生(健常児) • 体験後にアンケートを実施 体験者が自記できない場合、ヒアリングによる回答記入
  32. 32. 実施したアンケート • (1)氏名氏名氏名氏名・・・・年齢年齢年齢年齢 • (2)「「「「ペンギンホッケーペンギンホッケーペンギンホッケーペンギンホッケー」」」」はははは楽楽楽楽しかったしかったしかったしかった???? • (3)ゆきだるまやゆきだるまやゆきだるまやゆきだるまやペンギンペンギンペンギンペンギンにさわれましたかにさわれましたかにさわれましたかにさわれましたか???? • (4)みえないものにさわるとみえないものにさわるとみえないものにさわるとみえないものにさわると,,,, どんなかんじがしましたかどんなかんじがしましたかどんなかんじがしましたかどんなかんじがしましたか????(選択式選択式選択式選択式) • (5)テレビゲームテレビゲームテレビゲームテレビゲームでででで,,,,すきなすきなすきなすきなゲームゲームゲームゲームはなんですかはなんですかはなんですかはなんですか???? • (6)うえのうえのうえのうえのゲームゲームゲームゲームよりもおもしろかったよりもおもしろかったよりもおもしろかったよりもおもしろかった???? • (7)このこのこのこのゲームゲームゲームゲームになにかくわえたいことはあるになにかくわえたいことはあるになにかくわえたいことはあるになにかくわえたいことはある???? • (8)またあそびたいですかまたあそびたいですかまたあそびたいですかまたあそびたいですか????
  33. 33. 体験者について • 体験者351名 7日間を通した有効なアンケートの回収数 • 年齢 最年少体験者は1歳、最高齢は57歳。 6~10歳が多い(全体の56.4%)。 • 男女比 57:42で男児が若干多い 男 女 1 1 0 2 1 0 3 8 3 4 12 8 5 17 9 6 29 22 7 22 23 8 26 25 9 28 23 10 28 11 11 15 11 12 2 2 13 2 0 18 1 0 20~ 10 3 無回答 0 9 合計 202 149 体験者数体験者の 年齢
  34. 34. 体験者の年齢層と感想 • ほとんどの体験者が 「楽しい」と回答(98%) 幼児であっても製作者への「気遣い」が 感じられるため無意味な設問? • 「「「「いいえいいえいいえいいえ」」」」とととと答答答答えたえたえたえた2222名名名名についてについてについてについて 1111歳歳歳歳のののの男児男児男児男児は,ゲームに対する興味は あるが触覚が理解できていない様子. 9999歳歳歳歳のののの男児男児男児男児は,質問(4)において触覚を 「いやな感じ」と回答していた. 「はい」 「いいえ」 その他 1 0 1 0 2 1 0 0 3 11 0 0 4 20 0 0 5 26 0 0 6 51 0 0 7 45 0 0 8 50 0 1 9 47 1 3 10 39 0 0 11 25 0 1 12 4 0 0 13 1 0 1 18 1 0 0 20~ 13 0 0 無回答 9 0 0 (質問2)楽しかった?体験者の 年齢
  35. 35. 触覚の認知と印象 Impression and recognition of haptics (questionnaire) • キャラクタに触れた=インタラクションの成立 • 「不思議、楽しい」が多い • 年齢層が上がるにつれ「不思議」が強くなる 人 (%) 不思議 楽しい いやな なにも 重い 無回答 その他 1~2 0 ( 0% ) 0 0 0 0 0 2 0 3 9 ( 82% ) 5 3 0 1 0 2 0 4 18 ( 90% ) 4 14 0 0 0 2 0 5 25 ( 96% ) 7 14 0 2 0 2 1 6 50 ( 98% ) 17 24 0 5 1 2 2 7 37 ( 82% ) 14 15 0 5 0 7 4 8 49 ( 96% ) 31 8 0 7 2 0 3 9 48 ( 94% ) 23 12 2 6 2 0 6 10 38 ( 97% ) 24 10 0 1 1 0 3 11 25 ( 96% ) 17 5 0 1 0 1 2 12~13 6 ( 100% ) 3 2 0 0 0 0 1 18~ 14 ( 100% ) 8 6 0 0 0 0 0 合計 319 ( 91% ) 153 113 2 28 6 18 22 質問(4) 「(触覚は)どんな感じがしましたか?」 年齢層 キャラクタに さわれた 0% 20% 40% 60% 80% 100% 1~2 3 4 5 6 7 8 9 10 11 12~13 18~ 合計 年齢層 不思議 楽しい いやな なにも 重い 無回答 その他
  36. 36. 0% 20% 40% 60% 80% 100% 1~2 3 4 5 6 7 8 9 10 11 12~13 18~ 年齢層 ペンギンホッケー TVゲーム どちらも 無回答/その他 テレビゲームとの比較 Comparing with current TV games(questionnaire) • TVゲームの習慣化は4,5歳児から(他調査と一致) • 57%が提案システムを嗜好 • 5~11歳にアドバンテージ、4歳以下や12歳以上では優位とはいえなかった。 • 高年齢のTVゲーム嗜好者にも受容(50%) 年齢層 1~2 2 (100%) 3 3 (27%) 4 13 (65%) 5 20 (77%) 6 36 (71%) 7 31 (69%) 8 37 (73%) 9 38 (75%) 10 35 (90%) 11 22 (85%) 12~13 5 (83%) 18~ 4 (29%) 合計 246 (72%) 好きなTVゲームがある     人      (%)
  37. 37. Physical Evaluation of display methods -raw data of motion sensor on player-
  38. 38. Physical Evaluation of force feedback -recorded data of SPIDAR pointer(FF-OFF)-
  39. 39. Physical Evaluation of force feedback -recorded data of SPIDAR pointer(FF-ON)-
  40. 40. Physical Evaluation of force feedback -recorded data of SPIDAR pointer(FF-OFF)-
  41. 41. Physical Evaluation of force feedback -recorded data of SPIDAR pointer(FF-ON)-
  42. 42. Tangible Playroom -content example 1- “Geographic simulator” using force feedback.
  43. 43. Tangible Playroom -content example 2- A balloon simulator with wind force feedback. The girl can play with a toy with image recognition.
  44. 44. Advanced 3DCG In NHK-ES • Photo realistic real-time computer graphics for next generation TV environment. • Global illumination, Image based lighting…
  45. 45. Core technologies at 2006 HapticsHaptics Computer VisionComputer Vision A new generation of “Tangible Playroom”: Entertainment Platform for future children A new generation of “Tangible Playroom”: Entertainment Platform for future children SPIDAR in CAVE Safety, stable, easy GPU Image processing Rapid camera New tracer method Real-time Rendering New display tech. Stereo, Fog, HMD… Physical evaluation (non subjective) Excitement model Field works Display Tech.Display Tech. EvaluationEvaluation
  46. 46. Lumina Studio • Configuration • If the blue illuminated area is overloaded by high-quality video, it can make a new composing method! Blue sheet (color is free!) Projector ANSI 2000 Lumen Transparent wall (A.k.a. glass) I can see!
  47. 47. CG Source Blue structure White screen Blue screen Color bars Lumina key Chroma key Source (daylight) Composed (real time) Matt Blend PixelShader technique
  48. 48. Implementation Details Real-time Video composing software. – Input source is IEEE1394 DV Capture (30FPS) – Running on Laptop PC (CPU:1.7GHz, GPU:ATI Radeon9700) – It runs over 100FPS. (not optimized!) “Tone Profile” is a small texture file. Then the tone correction easier than coding. 256x1 pixels RGB color Red :Lumina Green:Chroma Blue :Matting 0 255
  49. 49. Evaluation Experiment Focused to make a “training environment” Because its advantage is “visible”. Tasks for participants (6 French students) • Play a weathercaster for 30 sec. • Read an English script (non-native language). • Playing with virtual character. • 2 Groups:“Paper-Lumina” or “Lumina-Paper”
  50. 50. Result:time to finish Group B ( Lumina - Paper )Group B ( Lumina - Paper )Group B ( Lumina - Paper )Group B ( Lumina - Paper ) 24 26 28 30 32 34 36 38 40 42 44 1 2 3 4 5 6 7 8 9 10 trial ( 1-5: Lumina, 6-10: Paper) sec.(target=30) D.C Y.A P.Y Group A ( Paper - Lumina )Group A ( Paper - Lumina )Group A ( Paper - Lumina )Group A ( Paper - Lumina ) 24 26 28 30 32 34 36 38 40 42 44 1 2 3 4 5 6 7 8 9 10 trial ( 1-5: Paper, 6-10: Lumina) sec.(target=30) B.D K.J G.B PROPOSED PROPOSED Suggested method decreased its training time.
  51. 51. “RoboGamer” Physically connected robotic game player
  52. 52. Function of RoboGamer • Recognition objects on the game screen • Collaborative play via force feedback Autonomous or assisting • man-machine interface conversion and adding without modification for original game system. • Possibilities to analyze human playing behaviors Development for a new AI algorithm that can play a game like a human.
  53. 53. GPUVision concepts • A new computer vision project: – Cost effective solution for interaction – Ultra fast response speed with GPU processing GPU=Graphics Processing Unit (nVidia, ATI,…) – Useful for artistic and prototype
  54. 54. GPUVision competitors (1) • “OpenVidia” – Linux Platform SDK – Specialized for nVidia GPU – Multi GPU cards supported – Optical Flow based 6DoF detection Some interesting results for AR applications • “OpenCV” – Windows Platform SDK, specialized for Intel CPU – Performance is depended on CPU speed – A lot of implementations of past CV techniques
  55. 55. GPUVision competitors (2) • “AR Toolkit” – Multi Platform SDK – Specialized for Artificial Reality – 2D pre-resisted marker based 6DoF detection – 30-60 FPS in maximum (depends on camera and CPU) – Multiple marker detection in same frame – Issues… • A lot of demo and artworks had been developed. • But 2D marker limits to create new applications. Ex. Look and feel, fitting time, etc… • Users have to see the camera and the screen to get a feedback
  56. 56. GPUVision specifications • For interaction – Cost effective with high performance using GPU – Specialized for 2D color tracking • Ultra fast – Over 600 FPS on 4 color detection • Useful for artistic and prototype – SDK has a hazards for artist and prototyping – Analyzing algorithms are prepared – Parameter setting by text and image files • re-compiling on VC.NET is not needed! – Network connection to Virtools
  57. 57. GPUVision software design Camera CPU Program Network Capture float4 PS_TopHead(VS_OUTPUT IN) : COLOR0 { float4 Col; float2 pos; Col = 0.0f; Col.r += smoothstep( 0.2f, 0.45f , length( tex2D(movtex, IN.TexUV) - tex2D(tex1, IN.TexUV)) ) * smoothstep(0.0f,0.5f,-cos( IN.TexUV.y * 3.141592)); Col.g += smoothstep( 0.2f, 0.45f , length( tex2D(movtex, IN.TexUV) - tex2D(tex1, IN.TexUV)) ) * smoothstep(0.0f,0.5f,+cos( IN.TexUV.y * 3.141592)); return Col; } GPU Program (Text file) Referential image Parameter Textures Pixel count Source video Filtered AceSpeeder2(game app) USB/IEEE1394 Position UDP/IP
  58. 58. GPUVision screenshot Source video GPU Processing Filtered image Detected position [GPU Processing] •Comparing with a reference image •Color toning by height [CPU Processing] •Counting only for targeted color (=green and red)
  59. 59. GPUVision one application for a racing game interface Input left or right, and boosting •With full body motion •Witouht markers •Auto calibration •Non limitation for users •Nationalities (skin colors) •Clothes •Heights (<120cm)
  60. 60. GPUVision Future • For interaction – Direction detecting (3-6DoF) • Ultra fast – Multi camera support • Over 600fps = 60 fps with 10 cameras! • Useful for artistic and prototype – Documentation and semi-opensource – Evaluating with actual artworks ex. Theme park attractions, Laval Virtual, TP, etc
  61. 61. Physical Evaluation for Entertainment System • How to evaluate it? Questionnaires have a lot of limitation to evaluate for age, language, culture, backgrounds, etc.. • What is “Entertainment system”? It needs a clear definition to evaluate. • “Usability” is not equal for “Entertainment”. Ex. Play a piano,
  62. 62. Definition of “Entertainment System” • Based on Roger Caillois, “Les jeux et les hommes”, 1958 Freedom Separation non-profit Image Regulations Place Action Material Etc.. Entertainment System •Non pressure, non forcing •unrestricted deployment •Can quit it immediately •Separated from daily life (time and place) •hard-and-fast rule •Law in the real world stops •Non gain to the real world •Non producing in the real •Estate transferring is allowed •Can understand as unreal •Photo-realistic is allowed Interface Player (unspecified number ) “Playing condition” be accrued at the time. Push button Image output Chose adverse Happy end Payment fee determining [I/O examples] Exit game Qui Game
  63. 63. AceSpeeder2 • Creating and evaluating new interfaces. • Scientific research with actual game product. • “AceSpeeder”, high speed anti-gravity game that has sold 100,000 copies in Japan. • Marker less motion interface using GPUVision
  64. 64. Environment for evaluation • Normal “playing” condition Not in the Laboratory! • Huge anonymous to cancel particular errors • Measure with “Physical” parameters – Played time – Chosen design – Body movements
  65. 65. Design Evaluation
  66. 66. Comparing interfaces
  67. 67. WiiMedia: motion analysis methods and applications using a consumer video game controller –Akihiko SHIRAI ( ENSAM P&I Lab, France / JSPS ), –Erik GESLIN ( ESCIN, France ) and Simon RICHIR ( ENSAM P&I Lab, France )
  68. 68. Introduction:warring state periods The war breaks out every 5 years... PS2 2001 GC Xbox PS3 2006 Wii Xbox360 [mainfields] Graphics Connectivity Graphics Network Graphics [mainfields] Graphics Full HD Graphics Network Interface Virtual Console
  69. 69. Introduction: “A destiny of entertainment” 1.All stimulus will be blunt, not be sharp. 2.Monotonicity helps to tire the games. 3.“Lost market” might be a loser of games. Because, higher skill players always win. Is WiiRemote a killer solution? Probably not... The future is entrusted to the game developpers. For example, it used for; A substitute of buttons / Just swinging actions Violent actions that may gives a heavy load Highly difficult timing inputs... if they don't provide any innovative experiments, we can lose the “lost market” again.
  70. 70. Concept: WiiRemote to WiiMedia New interactive media for... Scientists Media Artists Hobby developers Small game developers What will we give? Advanced hardware usages with working case studies APIs, Plug-Ins and examples to create innovative media
  71. 71. Bluetooth connection WiiRemote allows connection with PC via Bluetooth. Detected as a HID (human interface device). No passwords. No guarantee and compatibility. Of course, unofficial way. Cost effective. ($49 values $1000+)
  72. 72. References Resources for WiiRemote WiinRemote ... CBuilder based mouse emulator GlovePIE ... Joystick emulator with a script engine. WiiLi.org ... Wiki for hackers. Official middle-ware AI-Live ( http://www.ailive.net/ ) “context learning” based algorithm
  73. 73. WiiMedia:USB Sensorbar Infrared (900nm) LED emitters USB Bus powered (5V) 20cm version Small version 2 1 3 4 1 2 3 4 +5V Vbus GND USB Plug 1:Vbus(+5V) 4:GND 4x Infrared LED (i.e. SFH409, IF =100mA, tP = 20ms: 950±20nm) 20 ohm- 20 ohm- 2x Color LED (Pilot lamp)
  74. 74. WiiMedia API Programming interface for C/C++. Building Blocks for “Virtools Dev” WiiMedia Basic APIs OpenHID CloseHID StartCapture EndCapture InitIR GetButtonStatus GetBattery GetAcceleration GetIR SetLED SetVibration WiiMedia Utility APIs SaveLog GetMagnitude GetPosture GetGravity GetFrequency SetInitialPosture ClassifierTargetPosture GetApproximation Get3D Get6D *developmental
  75. 75. CaseStudy1: AceSpeeder2 A high speed “Anti-Gravity” Racing game Motion input already done with GPUVision (2006) Very small project (3 persons for development!)
  76. 76. AceSpeeder2: No button operation LEFT RIGHT Braking Boosting (double swing) Acceleration <See YouTube> Official version of AceSpeeder2 is available at http://www.raingraph.com/
  77. 77. AceSpeeder2: Conclusion Positive No button driving is possible with WiiMedia APIs Gravity detection for handling Motion (double swing) for action Jump, swing and twist are possible to use. Future problem Conflicting with game physics There are no feedbacks to users...“pseudo haptics” may solve it.
  78. 78. “WiiMedia: Papier Poupee Painter”; a new usage of a game controller for infancy art media Introduction Drawing softwares for children as a new media Especially for early childhood (3 to 5 years old) Using a new intuitive device New usage of Non-Photorealistic Rendering (NPR) techniques
  79. 79. Related works Simplified drawing softwares for children KidPix, TuxPaint, etc... + Mouse (4 years old or more) Paint application with a new device “Drawing prism” (brush shape on special optics) (Greene,1985) “Charcoal sketching” + stylus (Bleser, 1988) “DAB” using Phantom (Baxter, 2001) Interactive NPR(Non-Photorealistic Rendering) [tools] Oil painting, pen-and-ink, water color, pencil, colored pencil, charcoal and so on. There are not so many interactive NPR applications with a new intuitive device, especially for young children...
  80. 80. Technical challenge & issues A new drawing media for early childhood Realistic but simple Drawn picture should be real as a new media, however the operation should be simple. Using a new intuitive device Drawing with a mouse is more difficult than with a pencil. New application fields of NPR techniques “NPR for kids drawing” , especially sketching may be suitable experience for children.
  81. 81. Pastel Draw EngineStroke directions Behavior of pigment Pigment adhension model The top of surfaces are removed for the stroke direction.
  82. 82. Pastel Draw Engine Photographs with different light directions
  83. 83. Pastel Draw Engine: Video Allows This is the effect of multiple texture for pastel-like drawing. Usually only one texture for drawing is enough. But when we use multiple textures according to the drawing direction, we can get more realistic appearance for drawing strokes. Fish Drawing This demo shows an easy scrabble example. This is the simplest stroke for drawing a fish's silhouette. Then we select Canson paper to add coarse texture on the fish's body. We change color here and add some strokes. Here we change drawing type. The pen pressure interpolation traversing the stroke's width shows different stroke appearance. Finally we select paper color.
  84. 84. Pastel Draw Engine Realistic drawing stroke simulator using a professional tablet. The full function operation needs Azimuth, Altitude, Position and Pressure. (=too complicated for children) Developed by Kyoko Murakami, Ph.D (2006) Original Operation by a professional tablet[Stroke examples]
  85. 85. Using WiiRemote for Drawing Technical issues Using infrared sensor Detecting 2D coordinates in1024 levels for width. Output coordinates of IR sensors are not absolute 3D position. It has a limitation of the viewing area (36 deg.) [!] It is a too narrow space for drawing. Using acceleration sensor Detecting 3 rotation axis in 256 levels each. Can we emulate the original operation that uses Azimuth, Altitude, Position and Pressure with uncomplicated actions?
  86. 86. IR LEDs d=200mm Experiment for infrared sensor X Z Detectionarea Infrared detection area 0 to 1023 [output values of the sensor] 2 groups of IR, non-indexed (IrX1, IrY1) (IrX2, IrY2)
  87. 87. Characteristics of infrared sensor IR Detection area is very narrow (≈36 degrees). Outputs are not linear & can be misunderstood under different conditions. [Misunderstanding Case 1] If it can see only one IR LED... [ex] “IrX = 640” (Zone Red) It has many possibilities in actual physical position. [Misunderstanding Case 2] Difference (X1-X2) is not linear.
  88. 88. Calibration of infrared sensor 0 500 1000 1500 2000 2500 3000 3500 0 128 256 384 512 640 768 896 1024 PosZ - IrZ IrZ, X=0 IrZ, X=330 IrZ, X=660 PosZ (mm) IrZ 0 500 1000 1500 2000 2500 3000 3500 0 0.25 0.5 0.75 1 1.25 1.5 1.75 2 2.25 2.5 2.75 PosZ - (200mm/IrZ) X=0 X=330 X=660 IrZ = | IrX1 - IrX2 | k k = 1284.64 PosZ - 0.02 PosZ (mm) If we can detect 2 IR-LEDs, depth calibration is possible.
  89. 89. Evaluation 3D position detection with 2 LEDs A drawing example with depth action(=thickness)
  90. 90. Improvement:Spray can method “Spray can” interaction on a projected screen Integration with gravity g g IR-LED IR-LED Smaller USB IR-LED Wider detection area
  91. 91. Simplified:Shaking method For early childhood (3-5 years old) Using acceleration sensor only Velocity is assigned to (X,Y) position and thickness Colors are given by acceleration. 4 years old
  92. 92. Comparison Methods, input channels and targets for player age groups *Acceleration is assign to color, position and thickness is given by velocity. (*) "Shaking" methods have advantages for young children
  93. 93. [Doll decolated WiiRemote] Papier Poupee Painter Papier = paper, Poupee = baby doll (in French) •Concept: Attractive Robust Simplest [Public testing]
  94. 94. Future Improvement Preciseness More preciseness with robustness Stroking detection with natural action. Multimedia Sound, vibrator and animation. Functions Paper and color palette function with motion input.
  95. 95. CaseStudy3:JaWii's Virtual Fencing A game project of classic fencing fight to celebrating Alfred Jarry at 2007. Alfred JARRY, Dramatist (1873-1907)
  96. 96. JaWii: System Judgement Animation Controller Emotion Manager Timer Effect Manager WiiMedia Utility Magnitude Attack{Left,Center,Right} Wii Media Basic Accelaration(Ax, Ay, Az) ButtonStatus (Player Input) (Enemy Input) WiiRemote Archived motion by professional fencing player Developed with Virtools 3 persons x 2 months
  97. 97. JaWii:Motion Analysis issue Blue arrows are lost parts of detection. lower acceleration parts in the end of one swing Cancellation by the gravity? Or rotation force? Reconstruction of 3D position with acceleration sensors. [a sword swinging motion ]
  98. 98. JaWii: A solution Optical motion capture data by several swinging motions with WiiRemote of the attack front, left and right. Red colored arrows are defined by an evaluation function for a target vector. Vector evaluation function: defined by other motion capture
  99. 99. JaWii: other solutions Using “WiiMedia Utility” APIs SaveLog Watch the motion log first, it tells us something. GetMagnitude Simply, “final blow” makes a big magnitude. GetPosture Useful for a static motion like “Defending”. ClassifierTargetPosture A targeted motion often has one target posture. This function obtains the nearest target posture. GetApproximation It defines a difficulty. An expected target vector is too precise for players.
  100. 100. WiiMedia: Conclusions Concept: New interactive media using WiiRemote for... Scientists, media artists, hobby developers and small game developers. Base developments: USB Sensorbar, WiiMedai API Applications: AceSpeeder2 WiiMedia Edition A racing game with no button operations. Papier Poupee Painter NPR drawing for several age groups. JaWii's Virtual Fencing Sword fighting by vector evaluation functions.
  101. 101. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka 未来館でのお仕事 • 科学コミュニケーター?
  102. 102. Miraikan : National Museum of Emerging Science and Innovation
  103. 103. Symbol and Logotype History and Background of Miraikan ※Miraikan is operated by JST as one of the main activities of “Program for Promoting Public Understanding of Science and Technology.” 1995 The Basic Law on Science and Technology1995 The Basic Law on Science and Technology1995 The Basic Law on Science and Technology1995 The Basic Law on Science and Technology Enacted for Japan to become a scientifically and technologically creative nation. 1996 The Basic Plan for Science and Technology1996 The Basic Plan for Science and Technology1996 The Basic Plan for Science and Technology1996 The Basic Plan for Science and Technology Formulated to develop comprehensive and strategic plans. 1998199819981998 The construction of thehe construction of thehe construction of thehe construction of the “Tokyo AcademicTokyo AcademicTokyo AcademicTokyo Academic Park.Park.Park.Park.” – A base providing information in International Exchange, Partnership among Industry, Academia and Government, and the latest Science and Technology. 2000200020002000 The General Supervising CommitteeThe General Supervising CommitteeThe General Supervising CommitteeThe General Supervising Committee Formed of members with academic experience. MamoruMamoruMamoruMamoru Mohri(astronautMohri(astronautMohri(astronautMohri(astronaut)))) was inducted as Executive Director ofExecutive Director ofExecutive Director ofExecutive Director of MiraikanMiraikanMiraikanMiraikan. 2001200120012001 The National Museum of EmergingThe National Museum of EmergingThe National Museum of EmergingThe National Museum of Emerging Science and Innovation (Science and Innovation (Science and Innovation (Science and Innovation (Miraikan)openedMiraikan)openedMiraikan)openedMiraikan)opened.... Lot Area : 19,636㎡ Exhibition Floor Area : 7,950㎡ Operation & Management Staffs : 137
  104. 104. Features of Miraikan ~General Exhibit Themes – Dreams for the 21st century~ ●Four themes - “The Earth Environment and Frontier” “Life Science” “Information Science and Technology for Society” “Innovation and the Future” ●Focusing on the relationship between society and science technology; exhibitions are designed by leading scientists and researchers. Leading scientists join in the framework and supervision. ●“Science and technology specialists” develop and introduce new methods to disseminate, in an understandable way, the latest in science and technology ●“Interpreters” provide explanations on the latest science and technology in understandable terms, and dialogue with visitors. ●Includes laboratories for research, conference rooms and halls Technique development by experts, Explanation, Demonstration and Dialogue Various exchange facilities Laboratories for research State-of-the-art technology is exhibited in a fun and easy-to-understand way Explanation, Demonstration and Dialogue Science and Technology Specialists & Interpreters Base for the communication of cutting edge science/technology information
  105. 105. Miraikan’s Brand Slogan Open your mindOpen your mindOpen your mindOpen your mind to scienceto scienceto scienceto science See a whole newSee a whole newSee a whole newSee a whole new WorldWorldWorldWorld
  106. 106. Visitors to Miraikan (Accumulative Base) <FY2001 - FY2006 (estimate)> ---- 50,00050,00050,00050,000 100,000100,000100,000100,000 150,000150,000150,000150,000 200,000200,000200,000200,000 250,000250,000250,000250,000 300,000300,000300,000300,000 350,000350,000350,000350,000 400,000400,000400,000400,000 450,000450,000450,000450,000 500,000500,000500,000500,000 550,000550,000550,000550,000 600,000600,000600,000600,000 650,000650,000650,000650,000 700,000700,000700,000700,000 750,000750,000750,000750,000 AprAprAprApr MayMayMayMay JunJunJunJun JulJulJulJul AugAugAugAug SepSepSepSep OctOctOctOct NovNovNovNov DecDecDecDec JanJanJanJan FebFebFebFeb MarMarMarMar FY2001FY2001FY2001FY2001 FY2002FY2002FY2002FY2002 FY2003FY2003FY2003FY2003 FY2004FY2004FY2004FY2004 FY2005FY2005FY2005FY2005 FY2006FY2006FY2006FY2006 429,361 579,198 617,090 628,184 712,426 760,000 (est.)
  107. 107. Science museums home and abroad Media Volunteers Member’s club Visitors IndustryGovernment Schools Researchers Engineers Connecting networks for Miraikan’s Activities with Society About 710,000 visitors in fiscal year 2005 About 35,450 join Member’s club as of end of Jan. 2006 808 volunteers registered ****704 times exposure in the mass media (as of Feb. 2006) ****Special Exhibition collaborating with mass media ・"Brain! Exploring Wondrous Mysteries” with THE YOMIURI SHIMBUN from Mar. 2006 ・”Yukagir Mommoth” exhibition with Fuji Television Network, Inc. from July 2006.****Collaboration with Science Council of Japan ****Human resource development and outsourcing *Figures and text above are based on the results in 2005 and the prospects in 2006 47 out of 82 Super Science High schools are cooperated with Miraikan ****Exhibition tour to Poland “Exploration of TIME!” (Mar. to Oct. 2006) ****Australia-Japan Joint Exhibition due to 2006 is the Australia-Japan Year of Exchange ****Cooperation of Science Museums all across Japan ****Introduction of Partnership system ****Exhibition collaborating Industry Collaboration with Ministry of Education, Culture, Sports, Science and Technology and Cabinet Office ****”Science and Technology Week” events Society Society
  108. 108. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka 未来館でのお仕事 • 科学コミュニケーター • 研究者と一般社会をつなぐ仕事。 • 展示物の解説 (だけではない!) • 新しい展示企画・調査 何をどう伝えるか、というメッセージ設定が大切 • 関連イベント • デジタルコンテンツエキスポ、IVRC・・・
  109. 109. Slide 18 ©Akihiko SHIRAI, Ph.D 「「「「WiiRemoteプログラミングプログラミングプログラミングプログラミング」」」」 • 「「「「WiiRemoteWiiRemoteWiiRemoteWiiRemoteプログラミングプログラミングプログラミングプログラミング」」」」 オーム社開発部 (著)白井 暁彦, 小坂 崇之, くるくる研究室, 木村 秀敬 単行本: 400ページ 2,940円 ISBN-10: 4274067505 ★WiiRemoteを利用したインタラクティブ技術のプログラミング学習書★ 話題の家庭用ゲーム機「Wii」の特徴的なコントローラーである「WiiRemote」 をPCで使うプログラミングが注目されている。高性能な加速度センサーや赤外 線センサーを持ち、Bluetooth接続が可能で、プログラミング可能なデバイス を、個人レベルで自作したり入手したりすることはできなかった。WiiRemote の登場とともにそれが安価で手軽に入手可能になり、多くの人々が興味を持っ ている。 本書は、WiiRemoteの応用に興味があるプログラミング初学者向けに、 WiiRemoteをPCから扱うためのプログラミングを解説する。ハードウェア寄 りのゲームプログラミング入門書として、ステップバイステップでソースコー ドを解説する。具体的なサンプルを開発しながら、インタラクション技術を独 習できる。言語はC/C++、C#およびActionScript 3、Processingなどをサ ポート。 内容内容内容内容 最先端のゲームやメディアアート作品など、コンピュータを使った新しい表現 やクリエイションには「インタラクティブ技術」がつきもの。この本では、 WiiRemote(Wiiリモコン)を使ったインタラクティブ技術を実現するプログラミ ングを、ActionScriptやProcessingから、C++、C#.NETまで幅広い言語で 解説している。
  110. 110. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka 新学習指導要綱 • 中学「技術家庭」必修化! o 『ディジタル作品の設計製作』 セキュリティ、個人情報保護 o 『『『『プログラムプログラムプログラムプログラムによるによるによるによる計測計測計測計測とととと制御制御制御制御』』』』 基本的基本的基本的基本的なななな仕組仕組仕組仕組みみみみ 簡単簡単簡単簡単ななななプログラムプログラムプログラムプログラムがががが作成作成作成作成できることできることできることできること • 「ホビー」→「必修」の時代。 o でも、教科書はあるの?
  111. 111. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka WiiRemoteプログラミングの未来 • ハードウェア5年周期説 既に開発が開始されている • マイクロソフト「Project Natal」 →5千円奥⾏きカメラによるモーション検出 • PlayStation4 →3Dとタンジブル+全⾝ • Wii2 →Haptics/Robotics??
  112. 112. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka WiiRemoteプログラミングの未来 • 誰もが作れる • ホビー化から義務教育化 • 発想・爆発⼒といった イノベーションそのものが大事! • 「学者のお遊び」から 「お遊びの学者へ」そして、 『次世代の基幹産業』へ! ありがとうございました
  113. 113. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka おしらせ • ワークショップ • C#初心者むけパート • エンタテイメントシステムを作ってみよう • C#プログラミングスキルがある人は積極的にTA
  114. 114. [WiiRemote Programming] Cover Illustrated by Yukari Tanaka ダウンロードサービス • http://www.ohmsha.co.jp/data/link/ 978-4-274-06750-1/

×