弊社製品の3D Viewerに組み込まれている3Dモデル類似検索の紹介と機会学習を活用した類似検索などの仕組みを説明します。

1. © 2018 Core Concept Technologies Inc.
3Dモデル類似検索
（株）コアコンセプト・テクノロジー
IoT／AIソリューション事業部
熊田聖也
2019/04/05
1

2. © 2018 Core Concept Technologies Inc.
自己紹介
2
大阪大学大学院工学研究科卒業
1996年、物性理論で博士（工学）を取得
場の量子論を用いた物性研究をしてました。
博士号取得のあと3年ほど阪大で助手を務める。
数社に勤めたあとCCTに。
仕事の変遷
1. 画像処理、動画圧縮（MPEG）、色変換
2. 画像認識（機械学習を用いた）
3. 画像認識（深層学習を用いた）
4. 機械学習・深層学習・コンピュータビジョン全般
次は、強化学習・量子情報処理かな？
https://www.iwanami.co.jp/book/b265519.html
量子機械学習？

3. © 2018 Core Concept Technologies Inc.
目次
3
1. 弊社製品Orizuru3Dの紹介
2. 3Dモデル類似検索とは
3. アルゴリズムの説明
4. まとめ

4. © 2018 Core Concept Technologies Inc.
目次
4
1. 弊社製品Orizuru3Dの紹介
2. 3Dモデル類似検索とは
3. アルゴリズムの説明
4. まとめ

5. © 2018 Core Concept Technologies Inc.
弊社製品Orizuru3Dの紹介
5
http://orizuru.io/product-3d/
1. CAD・点群などの3Dデータを管理
2. 数十GBに及ぶ巨大な３DデータをWebブラウザで表示
3. 類似する3Dモデルを検索
4. クラウドサービスあるいはオンプレミスとして提供
今回は、3Dモデル類似検索を紹介する。

6. © 2018 Core Concept Technologies Inc.
目次
6
1. 弊社製品Orizuru3Dの紹介
2. 3Dモデル類似検索とは
3. アルゴリズムの説明
4. まとめ

7. © 2018 Core Concept Technologies Inc.
3Dモデル類似検索とは
7
1. ユーザが3Dモデルを与える。
2. データベースにある類似モデルを返す。
3Dモデルを保存するためのフォーマット
• OFF
• STEP
• STL
など。

8. © 2018 Core Concept Technologies Inc.
目次
8
1. 弊社製品Orizuru3Dの紹介
2. 3Dモデル類似検索とは
3. アルゴリズムの説明
4. まとめ

9. © 2018 Core Concept Technologies Inc.
アルゴリズムの説明
9
① 3Dモデルをたくさんの2次元画像に「射影」する。
1. 正12面体の中心に3Dモデルを置く。
2. 多面体の頂点（20個）を視点にしてデプス画像を作成。
https://www.weblio.jp/content/%E6%AD%A3%E5%8D%81%E4%BA%8C%E9%9D%A2%E4%BD%93
正12面体の頂点数は20個。

10. © 2018 Core Concept Technologies Inc. 10

11. © 2018 Core Concept Technologies Inc. 11
② 特徴ベクトルの算出
1. 各画像の物体上に200個の点を生成する。
2. 各点から特徴ベクトルを算出する。
3. 200個の特徴ベクトルができる。
4. 1つの物体あたり画像は20枚あるので、1つの物体あたり4000個の特徴ベクトルができる。
……
200個 200個 200個
特徴ベクトルを算出
1 2 20

12. © 2018 Core Concept Technologies Inc. 12
③ クラスタリング
4000𝑁個の特徴ベクトル
……
𝑀個のクラスタに分ける。
物体の数を𝑁
𝑉1
𝑉2
𝑉 𝑀
各クラスタを代表する
ベクトルが決まる。
𝑉1, 𝑉2, … , 𝑉 𝑀
（ボキャブラリーベクトル）

13. © 2018 Core Concept Technologies Inc. 13
④ ヒストグラムの作成
𝑉1
𝑉2
𝑉 𝑀
4000個の特徴ベクトル
個
数
𝑉1 𝑉2 𝑉3 𝑉 𝑀……
……
どの𝑉𝑖に近いかを数えてヒストグラムを作る。
1つの物体が𝑀次元ベクトルに変換される。

14. © 2018 Core Concept Technologies Inc. 14
④ 類似度計算
…
𝑀次元ベクトル
ユーザ入力
ベクトルを比較して似ているものを検索
…
…
…
データベース
コサイン類似度
ユークリッド距離など
https://3dviewer.net/

15. © 2018 Core Concept Technologies Inc. 15
……
…
個
数
𝑉1 𝑉2 𝑉3 𝑉 𝑀……
……
…
𝑀次元ベクトル
類似度計算
𝑉1
𝑉2
𝑉 𝑀
複数の物体を用いてあらかじめ計算しておく
4000個の特徴ベクトル

16. © 2018 Core Concept Technologies Inc.
目次
16
1. 弊社製品Orizuru3Dの紹介
2. 3Dモデル類似検索とは
3. アルゴリズムの説明
4. まとめ

17. © 2018 Core Concept Technologies Inc.
まとめ
17
• 弊社製品Orizuru 3Dに組み込まれている3Dモデル類似検索を紹介した。
• 現在、深層学習（Deep Learning）を用いた検索ロジックを開発中。

18. © 2018 Core Concept Technologies Inc. 18
10個のモデルを分類するベンチマークのためのデータ
セット「ModelNet10」を使い、さまざまなアルゴリズ
ムを順位付けしたものが左の表。
弊社の手法は現在94.5%。もう少し上げたい。
ModelNet10の10個のカテゴリ

19. © 2018 Core Concept Technologies Inc.