株式会社バンダイナムコスタジオ様の2018/4/21（土）HoloLensミートアップ資料を代理アップロードします。

1. 0
21Apr 2018
株式会社バンダイナムコスタジオ
『ナンジャタウン×ＭＲプロジェクト』テーマパークにおける
HoloLens開発事例の紹介
Tokyo HoloLens ミートアップ vol.8
PAC-MANTM&©BANDAI NAMCO Entertainment Inc.
©BANDAI NAMCO Amusement Inc.

2. 1
目次
1. 『ナンジャタウン×ＭＲプロジェクト』概要 6分 （本山）
2. GDC（アメリカ）での反響 3分 （本山）
3. レベルデザイン ８分 (市野塚)
4. コンテンツ制作技術 25分 (岩田)
Microsoft、HoloLens は、米国 Microsoft Corporation の米国及びその他の国における登録商標または商標です。
キネクト, Kinect は米国Microsoft Corporation および／または その関連会社の商標です。

3. 2
自己紹介
本山博文 Hirofumi Motoyama
• ゲームデザイナー/クリエイティブディレクター
• 20yrs+ experience as a game designer in the video
game/entertainment industry.
• 株式会社セガ、UBISOFTを経て株式会社ナムコに2003年入社。
株式会社バンダイナムコゲームスを経て2012年より現職。VRDC＠GDC（北米）
2018
'Pac-Man' HoloLens: Developing a Mixed Reality Game for a Broad Audience
CEDEC（日本）
2016
子供とバーチャルリアリティー 『屋内砂浜 海の子』による遊具とデジタル技術をミックスし
たゲームデザインの新たな方向性について
2014
バンダイナムコスタジオバンクーバーの北米学生プロジェクト―“自分たちが本当に欲しい
コンテンツ”が生まれるまで
2009
“ワールドワイドタイトルのゲームデザイン、ハードコアタイトルからカジュアルゲームまで”

4. 3
キネクトからHoloLensへ
© 2015 BANDAI NAMCO Entertainment Inc.
4台 (Kinect V2)
砂場
4.5m×6.5m
砂の量
約6.5トン
プロジェクター
9～10台 (壁面スクリーン、
いけす あり/なし)
PC
5～６台
(壁面スクリーンなし/あり)
センサ
4台 (Kinect V2)
インタラクティブサラウンド
VSSS –
Virtual SoundScape System
(バンダイナムコスタジ
オオリジナル)
スピーカー8台 (上4, 下4)
さかなすくいのうつわ
１センサで
最大20個検知可能 - 80個
開発期間
半年屋内砂浜海の子でキネクトを使い、その後MRプロジェクトでHoloLensへ。

5. 4
キネクトからHoloLensへ
Kinect V2
HoloLens HoloLens HoloLens
Audience viewでキネクトを使用。
PAC-MANTM&©BANDAI NAMCO Entertainment Inc.

6. 5
１．『ナンジャタウン×ＭＲプロジェクト』概要
©BANDAI NAMCO Amusement Inc.

7. 6
• 2015年1月 Microsoft HoloLens発表。これは未来！研究開始！
• 2016年秋 （株）ナムコとHoloLens企画ワークショップ開催。
• 2017年1月 選ばれた企画を検討開始！
• 2017年3月 まずはナンジャタウンでトライ！
• 2017年4月 企画承認
• 2017年5月 『ナンジャタウン×ＭＲプロジェクト』 開発開始！
開発スケジュール、の前

8. 7
3 人 (ディレクター, プログラマー、アーチスト)
1か月
「蚊取りパッチン大作戦」
３か月
２０１７年５月
開発開始
「パックイン
タウン」
１か月
8月 ９月
アルスエレクトロニカ
「パックイン
タウン」改良
１か月
１１月 ２０１８年１月 運営開始！
• 2017年５月から２タイトルを少人数で開発。
• 「PAC IN TOWN」では３人で１か月でプロトタイプを開発。＋１か月改良し製品へ
開発スケジュール
• 「蚊取りパッチン大作戦」は５人＋αで４か月弱で製品開発。
5 人＋α (ディレクター, プログラマー2名、レベルデザイナー、サウンド)
4か月

9. 8
BANDAI NAMCO Holdings Inc. (JP), Hakuhodo Inc. (JP), Ars Electronica Futurelab (AT)

10. 9
©BANDAI NAMCO Amusement Inc.

11. 10
２ アメリカ（GDC）の反響

12. 11
• GDC最大規模の会場でセッションを行いました。（MAX1,475人）
• 満員ではないですが、PAC IN TOWNを体験していなくても多くの来場者がいらっしゃっ
たことは、Mixed Reality開発の新規性を評価するお国柄とパックマンの圧倒的な人
気のおかげだと思います。
• HoloLens 開発チームが聞きに来てくださり、直接話ができたのは、いい体験でした。
GDC(VRDC@GDC)講演概要

13. 12
マイクロソフトのホロレンズ公式ツィッタ―アカウントで紹介されました！
さらに、Alex Kipmanもリツィートしてくれました。
HoloLens 開発チームへ直接届く！

14. 13
スポーツへのポテンシャルの高さ。
• プレイヤーはまるでスポーツをしているように自由に歩き、走り回ることができます。
• アルスエレクトロニカやナンジャタウンでは怪我をされたお客様はいません。
• VRではここまでの自由度は今のところ難しい。
GDCで最も反響のあったこと

15. 14
Sports factor

16. 15
資料は、GDCのアーカイヴ、GDC Vaultにアップしています。
GDC資料の共有
PDF
https://www.gdcvault.com/play/1025388/-Pac-Man-
HoloLens-Developing
ビデオ
https://www.gdcvault.com/search.php#&category=free&fi
rstfocus=&keyword=hirofumi+motoyama&conference_id=

17. 16
GDCの講演内容
1) Overview of “PAC-MAN HoloLens” (6 min)
2) Exploring Mixed Reality Content Design (10 min)
3) Operating Efficiently with a Small Team (6 minutes)
4) Amazing Findings of Mixed Reality (6 minutes)
Presentation Timeline

18. 17
3．レベルデザイン

19.  市野塚 朝
 メカニカルエンジニア / ゲームデザイナー
18
自己紹介
©BANDAI NAMCO Amusement Inc.

20. 19
アトラクションのレベルデザイン
 今回目指したもの
アトラクションのレベルデザイン
ひとりのお客様が
ひとつのテーマパークのアトラクションを遊ぶ回数は、一生に一度
一生に一度の体験されたすべてのお客様に
気持ちよく、帰っていただける レベルデザイン
MRアトラクションのレベルデザイン
Hololensの問題点「視野の狭さ」を考慮に入れたレベルデザイン

21. 20
MRをもっとおもしろくする工夫
プレイヤーが理不尽だと感じず、快適に遊べる工夫が必要
視野外からの攻撃
視野が狭いから絶対に避けれられない！
理不尽！
つまんない
 視野角の狭いMRゲームでは…

22. 21
【MRパックマン】
工夫①：頭部の上下の動きの抑制
【パッチン蚊取り大作戦】
すべての方向が見えるデバイスだからこそ、プレイに最低限必要な動きは少なく
迷路
パワークッキー ゴースト
蚊
©BANDAI NAMCO Amusement Inc.

23.  3Dサウンドで視野角外の敵の接近を予告
22
工夫②：聴覚の利用
音で知らせて、次に向くべき方向へ自然なナビゲート
©BANDAI NAMCO Amusement Inc.

24.  テーマパークの色々な『音』
• お客様やスタッフさんの声
• 各アトラクションのアトラクト音
• 各アトラクションのBGM
• モータなどの駆動音
23
外乱音対策
©NAMCO LIMITED.
©BANDAI NAMCO Studios Inc.
 外乱音から耳周りをカバー
外の音は
『聞こえるけど、邪魔にならない』
スピーカーからの音は
『逃がさない』
 音量・明るさ調整ボタンをカバー
スタッフさんは
『押せて』
お客様は
『押せない』
ボタンカバーも兼務
Hololensからの
音が聞こえない！
外乱音対策用 耳カバー

25. 24
外乱音対策用 耳カバーの製作
 形状と効果の検討
最初はボール紙で試作
 モデリング
 完成
©NAMCO LIMITED.
©BANDAI NAMCO Studios Inc.

26. 25
4．コンテンツ制作技術

27. はじめに
蚊と遊んだり、クッキーを食べたりするためのそーち

28. 講演内容
• 自己紹介
• ナンジャタウンのHoloLensアトラクション技術
 現地の空間スキャン・再現によるレベルデザイン
 座標系の扱い方
 現場のエンパワーメント
 その他の技術トピック
• まとめ

29. 岩田 永司
エンジニア
2011年： バンダイナムコゲームス入社
2013年： MoverioでAR/MRゲームの開発を開始
CEDEC2014:「今すぐ始める、両眼ARグラスによる新しいエンターテインメント
の開拓」
2015年ぐらい： サマーレッスン 技術デモ開発に参加
近況：HoloLensでMRゲームを開発しつつ、ゲーム開発の自動化に挑戦中。
講演者

30. この講演でお伝えしたいこと
• 現地スキャンとシミュレーションの方法と利点
• 座標系の混乱を予防するコツ
•MRは現場が主役！！

31. 現地の空間スキャン・再現によるレベルデザイン
(蚊取り大作戦)

32. Unity上で現地の空間を再現しながら制作しよう
オフィスでも現地の環境を再現しながら制作
©BANDAI NAMCO Amusement Inc.
©BANDAI NAMCO Amusement Inc.

33. エディタ上でのシミュレーションと、実際の現地プレイの比較
©BANDAI NAMCO Amusement Inc.©BANDAI NAMCO Amusement Inc.

34. 現地環境再現のポイント
• 現地でSpatial Mapや視点カメラの位置のログを記
録していくだけ！
 複数回に分けてスキャンする場合、座標の原点をそろえたり、
後で位置合わせをする必要がある。
 スキャン情報が大きい場合、不要な情報を削除するなどの最適
化が必要になる可能性がある。

35. HoloLensでスキャンした
ライドの軌跡
ライド位置のマーカー
HoloLensでスキャンした
壁や配置物
スキャンした現地情報の全貌
©BANDAI NAMCO Amusement Inc.

36. スキャンした情報の統合
コース下半分のメッシュ コース上半分のメッシュ
ライドの軌跡
統合
最適化
統合された現地情報
©BANDAI NAMCO Amusement Inc.

37. スキャンした情報の最適化
1. 床と天井の削除
2. ライドのボディや
人間に由来する
不要なメッシュを
削除
加工前のメッシュ 加工後のメッシュ
©BANDAI NAMCO Amusement Inc.

38. Unity上で再現された現地情報を用いたレベルデザインの例１
特定位置に敵キャラクターを配置
Unityの画面 実際のHoloLensの視界
©BANDAI NAMCO Amusement Inc.
©BANDAI NAMCO Amusement Inc.

39. Unity上で再現された現地情報を用いたレベルデザインの例２
コース特定位置にイベントを配置
Unityの画面 実際のHoloLensの視界
©BANDAI NAMCO Amusement Inc.
©BANDAI NAMCO Amusement Inc.

40. 座標系の扱い方
(蚊取り大作戦・PAC IN TOWN共通)

41. なぜ座標系の話をするのか
MRコンテンツ制作に混乱と破綻をもたらし得るリスク因子
©BANDAI NAMCO Amusement Inc.

42. 座標系をめぐる様々な意思決定
頭の高さに応じてオブジェクトの
高さも調整したい
視点カメラを動かすのか、
オブジェクトを動かすのか
Tracking Lossの後の座標を
どう扱うのか。
各シーンの原点をどこに置くのか。
座標系に関する意思決定に一貫性はあるか？

43. 座標系の誤解と混乱の例
HoloLensに何も表示されない！
統合！
位置補正用のマーカー
マーカー正面がZ軸正方向のはず マーカー奥がZ軸正方向のはず
プログラマ
C# C#

44. PAC IN TOWN – 空間共有
• Unityワールド座標系
• 視点カメラ座標系
• 施設の座標系
• Kinect座標系
• 他のプレイヤー２人の座標
- 「施設の座標系」はマーカー認識のと
きに決定する。
- プレイヤー３人分の座標がネットワー
クを介して毎フレーム共有される。
PAC-MANTM&©BANDAI NAMCO Entertainment Inc.

45. 蚊取り大作戦 – より複雑な座標系
• Unityワールド座標系
• 視点カメラ座標系
• 施設の座標系
• ライドマシンの座標系
• シミュレーション とTracking
による推定
• ライド搭乗者の頭部
• サブシーンのワールド座標系
- ライド乗車中はTrackingによる位置推定
を無視してシミュレーションによる位置推
定で補完
©BANDAI NAMCO Amusement Inc.

46. ２つの座標系モード： オフィス内開発モードと現地モード
オフィス内開発モード現地モード
視点の方向はHoloLensの機能に依存
するので、エディタ上では固定
視点の方向はライドの回転に追従する。
©BANDAI NAMCO Amusement Inc.©BANDAI NAMCO Amusement Inc.

47. いかにして座標系の一貫性を保つか
今回採用した作戦
• 座標系を意識せずに制作できるインターフェイスとレベルエディッ
トの方針のみ開発初期に決めておき、座標系に関わる実装は一
人に任せる。(座標系エンジニア!?)
 複数人で座標系の認識を共有するのは早々に諦めた。
 バランス調整の際に座標系に様々な「パッチ」が適用されて一
貫性が崩壊していく場合があるので、継続的な注意が必要。

48. 現場のエンパワーメント
(共通・主にPAC IN TOWN)

49. - Kinect V2で取得したピクセルごと
の深度と色を空間内に配置
- 位置合わせは、実際に撮影してい
る人間とキャラクターの位置関係
を見ながら手動で(愚直に)行う。
- 専用の延長ケーブルが必要になる。
Audience Viewのポイント
PAC-MANTM&©BANDAI NAMCO Entertainment Inc.

50. 当初のねらい：
観客がプレイヤーとMRの体験を共有
意外な効果：
運営による体験向上の工夫の可能性が拡大
Audience Viewの意外な利点
PAC-MANTM&©BANDAI NAMCO Entertainment Inc.

51. 現場で生まれた創意工夫
現場での創意工夫を後押しする
＝
現場で確認できる情報を増やす
• Audience Viewでマーカー認識のずれを確認し、正しく位置
合わせが完了したら布でマーカーを隠す。
• Audience Viewでゲームの進行を確認しながら、MCでゲー
ムを盛り上げる。
• 装着者がホロレンズで見ている画面をパネルにして逐一「見
えていますか？」と確認しながら進行

52. 現場のオペレーション用の補助ツール
仕様：
• ボタンを押すと、それぞれに対応するホ
ロレンズのゲームが起動する。
• トラブルシューティングが表示される。
良かった点：
• HoloLensに習熟していない人もすぐに
使えた。
• 超多忙な混雑時の運営にも耐えた。
MRの重い現場負担を軽減する配慮

53. 現場に教えられたこと
• MRは現場の情報をもとに完成するコンテンツ。
 オフィスでは気づかない現場ならではの問題が必ず発生する。
 オフィスでは気づかない現場ならではの解決策も必ず存在する。
現場を支え、現場の力を信じましょう。
MR体験はデスクの上で起きるんじゃない 現場で起きるんです！

54. その他の技術トピック

55. 視界枠はアリかナシか
“We strongly discourage rendering head-locked content”
- Microsoft
UIの快適さという観点では「ナシ」
©BANDAI NAMCO Amusement Inc.

56. 視界枠はアリかナシか
映像表現が巧妙なので、
そもそも視野の制限に気づかない。
視野が狭いと感じるものの、
遊ぶうえでは許容範囲内だ。
視野が狭いことは認識しているが、
遊びの一部だと思って納得している。
視界枠
コンテンツの受容性という点で「アリ」の場合も？
なんで映像が見切れてるの？
なにも見えないよ。
論外：

57. マーカー認識における注意点
• Position Trackingが既にあるので、マー
カー認識による自己位置推定は特定のタ
イミングでだけ参照することになる。
 頭が動いているときに参照するのは
避けること。
 位置が安定するタイミングに参照す
ること。
• 実装によっては、マーカー認識中はカメラ
が専有されてLive Previewやスクリーン
キャプチャが使用できない場合がある。

58. まとめ

59. ピックアップ
• 現地スキャンとシミュレーションは必須だった
• 座標系の混乱に警戒すべき
開発初期に関連モジュールのインターフェイス設計を！
•MRは現場が主役！！