Unityで、Intel RealSense T265の入力画像をウェブカメラとして使うまでの流れ

2. 株式会社トルクス 山田宏道 (@octi)

3. 山田宏道
• 株式会社トルクス（島根県奥出雲町）代表取締役
• https://www.facebook.com/hiromichi.yamada
• 元ゲームプログラマー
• スマートフォンアプリ、VR/AR開発
• VR/ARやドローンなど、最新技術が好き。
• 地域おこしXR研究会を発足し、勉強会を開催し
ています！

4. 【宣伝】
• インスタグラム用ARエフェクト制作しました！
• https://instagram.com/a/r/?effect_id=7044055303
28248
• 「どじょう掬いまんじゅう」のキャラクタになれ
るエフェクト！

5. 今回作るもの：キッカケ
• https://twitter.com/shinomarun/status/1258393361561473025
• 「USBカメラが品薄だけど、エンジニアなら手元にあれこれあるよね？」
• ( ﾟДﾟ)ﾊｯ!!!! Unityでセンサーデバイス使ってウェブカメラ作りたい！

6. デバイス：Intel RealSense T265
• https://chiikiokoshi-vr.connpass.com/event/128735/
• 1年前に勉強会してる！（そのあと放置してた。。）
• 方針決定→T265でウェブ会議出られるようにしよう！

7. デバイス：Intel RealSense T265
• デバイス単体でSLAM構築して姿勢情報を取得できる比較的安価（2万円
台）なデバイス
• モノクロカメラが2台ついている（165°の魚眼）
• Unity SDKもある。

8. 制作：UnityでT265カメラ
• 凹みさんのウェブ情報が安心！
• http://tips.hecomi.com/entry/2019/03/21/224437
• 分かりにくいUnity SDKの使い方が分かりやすく説明されています！

9. App (made with unity)
制作：UnityでT265カメラ
• 凹みさんのウェブ情報が安心！
• http://tips.hecomi.com/entry/2019/03/21/224437
• 分かりにくいUnity SDKの使い方が分かりやすく説明されています！
RealSense
SDK
(My code) ??
Webカメラ
(Zoom,
Discord)
??

10. アプリ間で映像データ受け渡し
• Windowsの場合、下記のどちらかでOK
• Spout
• 同一PC内の画像転送プロトコル
• https://spout.zeal.co/
• NDI
• 同一ネットワーク内の画像転送プロトコル
• https://www.ndi.tv/

11. 映像データプロトコル比較
Spout NDI Syphon
ウェブサイト https://spout.zeal.co/ https://ndi.tv/ http://syphon.v002.info/
プラットフォー
ム
Windowsのみ Windows, Mac,
iOS等
Macのみ
SDK オープンソース 無償 オープンソース
転送速度 ◎ 〇 ◎
Unityに組み込み

12. 映像データプロトコル比較
Spout NDI Syphon
ウェブサイト https://spout.zeal.co/ https://ndi.tv/ http://syphon.v002.info/
プラットフォー
ム
Windowsのみ Windows, Mac,
iOS等
Macのみ
SDK オープンソース 無償 オープンソース
転送速度 ◎ 〇 ◎
Unityに組み込み ◎ ◎ ◎
• https://github.com/keijiro
• https://github.com/keijiro/KlakSpout
• https://github.com/keijiro/KlakNDI
• https://github.com/keijiro/Klaksyphon

13. 今回は、NDIでチャレンジ
• iOS用アプリが無料だった！（5月中のみ）
• NDI HX Camera .. iPhoneカメラの送信
• NDI HX Capture .. iPhoneキャプチャの送信

14. 制作：UnityでT265カメラ
• 最後の映像データはNDIで送信
• Virtual Inputというアプリを経由する
App (made with unity)
RealSense
SDK
(My code) KlakNDI
Virtual
Input
(NDI Tools)
NDI (Zoom,
Discord)
Virtual Inputを右クリック

15. 制作：UnityでT265カメラ
• KlakNDIの使い方 - 1
• NDISenderをオブジェクトにアタッチするだけ！
1. Cameraから書き出す
2. RenderTextureから書き出す

16. 制作：UnityでT265カメラ
• {Project}/Packages/manifest.json
に下記赤字部分を追記
"scopedRegistries": [
{
"name": "Keijiro",
"url": "https://registry.npmjs.com",
"scopes": [ "jp.keijiro" ]
}
],
"dependencies": {
"jp.keijiro.klak.ndi": "0.2.4",

17. KlakNDI
• {Project}/Packages/manifest.json
に下記赤字部分を追記
"scopedRegistries": [
{
"name": "Keijiro",
"url": "https://registry.npmjs.com",
"scopes": [ "jp.keijiro" ]
}
],
"dependencies": {
"jp.keijiro.klak.ndi": "0.2.4",

18. 結果：UnityでT265カメラ
• （Unityプロジェクト）

19. 結果：UnityでT265カメラ

20. T265 →そのまま出して終わり？
• モノクロ、165度の魚眼レンズ。悪くないけど。

21. T265 →そのまま出して終わり？
• モノクロ、165度の魚眼レンズ。悪くないけど。
https://amzn.to/3dtsywg
640円@アマゾン

22. UnityでT265カメラ
• （Unityプロジェクト）

23. UnityでT265カメラ
• シェーダー書いて実現できた
• 「黒～白」の画像を「黒～任意の色」
• 背景色に加算
赤＋青 赤＋シアン

24. UnityでT265カメラ
• メモ：光の三原色
Red
Cyan
Blue
Green

25. 作ってみましょう！（おわり）