MESON WAVE LIVE #1で発表した登壇資料です。 MESONプロジェクトの開発経験を通して得た知見と、それを元にして作られた"Conekton"というフレームワークについて紹介しています。

1. ￥
What needs to
AR development
from here
MESONプロジェクトから学ぶ
これからのAR開発に必要なこと

2. 比留間 和也
MESON, inc. Engineer
カヤック時代にWebエンジニアとしてリーダーを努め、その後VRに
出会いコロプラに転職。
コロプラでは仮想現実チームにてXRコンテンツ開発に携わる。
Daydream向けゲーム「Nyoro The Snake & Seven Islands」を
リリース。
その後、ARに惹かれてMESONに入社。
MESONではARエンジニアとして活躍中。
自己紹介
2PAGE

3. PAGE 3
アジェンダ
Agenda

4. PAGE 4
1. MESON社内フレームワーク
2. プロジェクトを通して得られた課題と解決策

5. PAGE 5
MESON社内フレームワーク
The framework in which used in MESON

7. Conekton
MESON社内ではこのフレームワークを Conekton（コネクトン）と呼んでいます
7PAGE

8. Conekton
今日はこの Conekton が作られた経緯のお話
8PAGE

9. Conekton
Conekton にはMESONが過去遭遇した課題に対する解決策が盛り込まれています
9PAGE

10. Conekton
今日お話するのはその中でも特に重要視している2点についてお話します
10PAGE

11. Conekton
ちなみに Conekton は、『神経回路の全体』を意味する Connectome と MESON を組み合わせ、
さらにそれを文字って作った 造語 です
11PAGE

12. PAGE 12
プロジェクトを通して得た課題と解決策
Knowledge of AR products through MESON project

13. 13PAGE
課題 1

14. Problem 1
モバイルARからARグラスへの移植
14PAGE

15. 15
⾼精細にスキャンしたモデルたちがARランウェイの上を歩き、
それに実際に近づいて⾒てもらうコンテンツ。
PORTAL
Problem 1

16. Problem 1
→
16PAGE

17. 17
iPad版PORTALを⼀新してNreal Light向けに制作
PORTAL with Nreal Light
Problem 1

18. 18
078Kobeというイベントで出展した『街づくり』体験コンテンツ。
iPadを通して⾒える神⼾市マップに好きな建物を建てていく。
ARCity
Problem 1

19. Problem 1
→
19PAGE

20. 20
ARCityをMagic Leap 1向けに制作
Problem 1

21. Problem 1
ARプラットフォーム間の移植
21PAGE

22. 22PAGE

23. Problem 1
タブレットを利用したオブザーバービュー機能の必要性
23PAGE

24. 24
nreal light documentから引⽤
タブレットを利⽤したオブザーバービュー
Problem 1

25. Problem 1
さらには今後、様々な企業からARグラスが出てくるのは必至
25PAGE

26. Problem 1
よって、クロスプラットフォーム対応は必須
26PAGE

27. 27PAGE
課題 2

28. Problem 2
複数人でひとつのAR空間を共有する体験
28PAGE

29. Problem 2
AR体験の本質は 情報共有 にある
29PAGE

30. Problem 2
AR体験をひとりでしていてもつまらない
30PAGE

31. 31
ARCityを複数⼈で体験している様⼦
Problem 2

32. 32PAGE
Conekton機能紹介

33. Conekton
Conektonには大きく2つの特徴があります
（つまり前述の課題ふたつを解決）
33PAGE

34. Conekton has 2 features
Conektonは クロスプラットフォーム と マルチプレイ に重点を置いています。
それぞれの機能はできるだけ疎になるように設計していて、各機能を個別に選択して利用することができます。
複数プラットフォームに対応
クロスプラットフォーム
複数人でひとつのAR空間をシェア
マルチプレイ
34PAGE

35. 35PAGE
クロスプラットフォーム
（複数プラットフォームへの相互変換の問題を解決）

36. クロスプラットフォーム
Conektonは Unity向け のフレームワークです
各ARプラットフォーム と oculus に対応しています
36PAGE

37. クロスプラットフォーム
37PAGE

38. クロスプラットフォーム
現状ではnreal、Magic LeapおよびARFoundationに対応しています。
38PAGE

39. クロスプラットフォーム
さらに
39PAGE

40. クロスプラットフォーム
oculus対応（VR対応）をしている理由ですが、
40PAGE

41. クロスプラットフォーム
oculus対応はARをVR内でプロトタイピングするためのサポートです
41PAGE

42. ARプロトタイピング in VR
42PAGE

43. クロスプラットフォーム
クロスプラットフォームの解決の仕組み
43PAGE

44. クロスプラットフォーム
クロスプラットフォーム対応は Zenject を導入し、依存関係を適切に管理することで
Conekton内の様々な機能を個別の利用することができるようになっています
44PAGE

45. クロスプラットフォーム
Conektonではクロスプラットフォーム対応として次の機能を有しています
45PAGE

46. クロスプラットフォーム
• コントローラからのインプットの抽象化
• HMD、ARグラス等カメラのインプットの抽象化
• 各プラットフォームSDKのハンドリング
• 画像検出機能の抽象化
• エディタ向けのインプット機能（主にデバッグ用）
46PAGE

47. 47PAGE
マルチプレイ
（AR空間の共有の問題を解決）

48. マルチプレイ
Conektonは マルチプレイ にも重点を置いています
48PAGE

49. マルチプレイ
49PAGE
ARオブジェクトが全プレイヤーから同じ位置に見える

50. マルチプレイ
Conektonのネットワーク・インフラは Photon を利用しています
50PAGE

51. マルチプレイ
前述のように各機能は必要に応じて利用することができるようになっており
ネットワーク・インフラについても 独自のものを使って拡張できる ようになっています
51PAGE

52. マルチプレイ
AR空間共有の仕組み
52PAGE

53. マルチプレイ
Magic Leap SDKが持つPCF(*)の機能をヒントに設計
53PAGE
* … カメラ映像から特徴点を抽出し空間にアンカーを形成して位置合わせを行う仕組み

54. マルチプレイ
アンカー機能を抽象化し、マーカーベース(*)でクロスプラットフォーム対応
54PAGE
* … 現状はクロスプラットフォームで動く点群解析がないので現状はマーカーベース

55. マルチプレイ
画像認識機能もクロスプラットフォーム対応しているため、
位置合わせ用画像を準備して設定するだけで全プラットフォームで位置合わせが行えます
55PAGE

56. One more thing
56PAGE

57. この Conekton を近日オープンソース化します！
57PAGE

58. 興味がある方はぜひMESONメンバーに声をかけてください
58PAGE

59. 一緒にARを盛り上げていきましょう！
59PAGE

60. 60
@edo_m18 @edom18
⽐留間 和也
http://edom18.hateblo.jp/e.blog:
MESONではARグラス時代のユースケースを開発する
エンジニアを積極募集中です。
興味がある⽅はぜひご連絡ください！
MESON

61. ご静聴ありがとうございました
61PAGE