Unity
コンピュータービジョン
竹内 一生 ｜ Developer Advocate - AEC ｜

Computer Vision

Digital Cameras are Everywhere
3

4
Computer Vision(CV) -
the tech behind “smart camera”
Computer Vision Model
(CV models)
Computer Visionはデジタル形式でのビジュアルデータから高レベルの情報を生成する
プロセスです。
コンピュータは画像を読み取り、情報を作り出します。

人間は画像内の物体を容易に識別できる
5

CVモデルは、ラベル付き画像で訓練されなければならない。
6

一般的なCVのワークフロー
Acquire Real
World Images
Label & Annotate
Images
Train CV
model
Evaluate CV
model
Deploy CV
model
データ収集、ラベル付け、注釈に
全体の70%の時間を費やしています。
Iterate
7

– 人間のラベリングのコスト
– 時間がかかり、純粋な人件費が必要
– 人間のラベルは誤りが起こりやすい
– 単純な作業ほどミスが起こる
実世界のデータ収集の課題 データラベリングの課題
– データの偏り
– 収集されたデータは一部のみ
– データ不足
– データの利用不可によるプロジェクトの
– プライバシーとコンプライアンス
– データ収集を妨げる

CVトレーニングを加速する鍵って？
9
合成データ
実データを模倣するメタ情報を持った生成データ
基本的なパラメータなど、あらかじめラベルや注釈が付けられています。

ゲームエンジン CV ワークフロー
Train CV
model
Evaluate CV
model
Deploy CV
model
Rapid Iteration
10
仮想空間内で
完全にラベル付けされ、
合成画像に注釈を付ける

BIMって、あれ？？？

UnityでBIM情報が付与されてる
12

ゲームエンジンならではの環境設定
13
プロシージャルアセット
3Dモデル アセット
-フォトグラメトリ
-アセットストア

住環境のシミュレーション環境
14
プロシージャルな家具の配置や、カメラの位置、素材、
ライティング、時間帯、空や屋外環境、さらにカスタム
オブジェクトの環境への追加配置など、
数多くのランダム化要素を導入しています。

Generative
Art
—
Made
with
Unity
Unityでならデータを民主化
合成データを大量に生成し、AIに学ばせよう

住空間の質を向上させる お掃除ロボット
16
スマートロボット掃除機の抱えている大きな欠点
ー地面に落ちているゴミとそれ以外の物体を区別できない
ー障害物の多い場所での移動

The Challenge
Unity コンピュータービジョン
● Google Nest Cam
● Google Nest Doorbell
この商品の強みのひとつが、機械学習です。Google Nest Camは
人や動物、荷物や車両など9つのオブジェクトを検出でき、
Doorbellのほうはこれに加えて荷物も認識できます。
4000万枚以上の画像で機械学習済み。
Googleのプロダクトマネージャーを務めるジュリー・ズーさんによる
と｢ゲームのような3D空間で、いろんな物体を表現し、アルゴリズム
の精度を上げられました｣とのこと。使った合成猫ちゃんの数は250
万匹にのぼります。
Google Nest Cam
出典：GIZMODO

Generative
Art
—
Made
with
Unity
コンピュータビジョンだけじゃない
教育済みデータを活用した
アプリケーション開発
Unity Barracuda

「ディープラーニング」をランタイムで動作
19
ONNX（オニキス）とはOpen Neural Network Exchangeの略で深層学習モデルを表すために使用されるオー
プンプラットフォームです。
一度学習させたモデルを様々なフレームで利用することが可能です。

「ディープラーニング」をランタイムで動作
20
顔の表情を検知するモジュールを追加
github
github

「ディープラーニング」をランタイムで動作
21
複数の顔を検知するモジュールを追加
github
github

そんな Unity Barracuda は UnityStationで！
22
Unity Learning Materials