Download as PDF, PPTX
![「画像生成用StyleGANの技術」を「3D形状の生成」に活用
新車の形状（3Dメッシュ）を自動生成するAI
2020/2/19 東京工業大学
西田 猛哲 鈴木良郎 10
研究背景
自動車ボディの空力設計初期過程[1,2]
デザイン作成
ボディ外形の3Dモデル[2]
空力特性評価
流体シミュレーション
(CFD)の使用
空力6分力の計算
フィード
バック
デザイン
修正
1. H. Kerschbaum and N. Grün, “Complementary usage of simulation, wind tunnel and road tests during the aerodynamic development of a new BMW SUV,” in FISITA World
Automotive Congress, 2006.
2. M. Hirz, M. Prenner, and S. Stadler, “Integration of aerodynamic simulation and design in conceptual automotive development,” in NordDesign, 2012.
◼ CFDは計算コストが高い ▶ 設計期間の長期化
◼ 新しいデザインが生まれにくい
問題点](https://image.slidesharecdn.com/20200219c-200219074536/85/StyleGAN-3D-AI-11-320.jpg)
![「画像生成用StyleGANの技術」を「3D形状の生成」に活用
新車の形状（3Dメッシュ）を自動生成するAI
2020/2/19 東京工業大学
西田 猛哲 鈴木良郎 11
研究背景
空力特性のリアルタイム推定 (Umetani et al.[3])
しかし多数の自動車ボディ形状を人手で作成するのは困難
3. N. Umetani and B. Bickel, “Learning three-dimensional flow for interactive aerodynamic design,” ACM Trans. Graph., vol. 37, no. 4, pp. 1–10, 2018.
入力 出力
自動車ボディ
（3Dメッシュ）
高
低
表面圧力分布
低 高
抗力係数
学習データ数
約1,000 (少)
もっと学習データを増やして
空力特性の推定精度向上させたい
機械
学習
モデル](https://image.slidesharecdn.com/20200219c-200219074536/85/StyleGAN-3D-AI-12-320.jpg)
![「画像生成用StyleGANの技術」を「3D形状の生成」に活用
新車の形状（3Dメッシュ）を自動生成するAI
2020/2/19 東京工業大学
西田 猛哲 鈴木良郎
3. N. Umetani and B. Bickel, “Learning three-dimensional flow for interactive aerodynamic design,” ACM Trans. Graph., vol. 37, no. 4, pp. 1–10, 2018.
13
研究目的
実施内容
◼ 自動車ボディメッシュを生成可能なVAEを2種類構築
⚫ MeshVAE (第2章)
⚫ StyleMeshVAE (第3章)
◼ 構築したVAEを自動車ボディメッシュ復元，生成タスクに
適用，性能評価
StyleMeshVAE (以降，単にVAE) について説明
◼ 自動車ボディの3Dメッシュから空力特性を推定する
機械学習モデル[3]の学習データ増強
◼ デザイナーの補助 (ボディ形状のデザイン候補を提案)
応用先](https://image.slidesharecdn.com/20200219c-200219074536/85/StyleGAN-3D-AI-14-320.jpg)
![「画像生成用StyleGANの技術」を「3D形状の生成」に活用
新車の形状（3Dメッシュ）を自動生成するAI
2020/2/19 東京工業大学
西田 猛哲 鈴木良郎 14
2D画像生成における既存研究
◼ 生成2D画像の特徴を高度に制御可能なDLモデル
StyleGAN (Karras et al. [4])
4. T. Karras, S. Laine, and T. Aila, “A Style-Based Generator Architecture for Generative Adversarial Networks,” in IEEE Conference on Computer Vision and Pattern
Recognition, 2019, pp. 4401–4410.
従来：生成データの特徴制御 ▶ 2D画像のみにおいて実現
本研究：自動車ボディの3Dメッシュに拡張
人物Bの
髪型，顔の形
を反映したA
+ →
人物A 人物B 生成画像
→
人物Bの
髪色
を反映
したC
人物C 人物B 生成画像
+
StyleGANは
顔の特徴を
部分的に変更
(制御)可能](https://image.slidesharecdn.com/20200219c-200219074536/85/StyleGAN-3D-AI-15-320.jpg)
![「画像生成用StyleGANの技術」を「3D形状の生成」に活用
新車の形状（3Dメッシュ）を自動生成するAI
2020/2/19 東京工業大学
西田 猛哲 鈴木良郎 22
自動車ボディメッシュのデータセット
5. N. Umetani, “Exploring generative 3D shapes using autoencoder networks,” SIGGRAPH Asia 2017 Tech. Briefs (SA ’17), vol. 24, pp. 1–4, 2017.
◼ Umetaniにより作製[5]
◼ 車種：セダン，ハッチバック，バン，ピックアップトラック
など
◼ データ数：1,240台
◼ 6,146個の節点を持つ四角形メッシュ](https://image.slidesharecdn.com/20200219c-200219074536/85/StyleGAN-3D-AI-23-320.jpg)
![「画像生成用StyleGANの技術」を「3D形状の生成」に活用
新車の形状（3Dメッシュ）を自動生成するAI
2020/2/19 東京工業大学
西田 猛哲 鈴木良郎
復元メッシュ
(先行研究[5])
平均誤差：9.2 cm
復元メッシュ
(本研究)
平均誤差：1.7 cm
入力メッシュ
26
自動車ボディメッシュ復元
結果
>1086420 [cm]
各節点の誤差
5. N. Umetani, “Exploring generative 3D shapes using autoencoder networks,” SIGGRAPH Asia 2017 Tech. Briefs (SA ’17), vol. 24, pp. 1–4, 2017.
入力メッシュと復元メッシュ (本研究) の形状は良い一致](https://image.slidesharecdn.com/20200219c-200219074536/85/StyleGAN-3D-AI-27-320.jpg)
More Related Content
![SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss2ssii2022-220607054716-2760bd30-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](https://cdn.slidesharecdn.com/ss_thumbnails/nerfdlseminar1-200327021512-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows](https://cdn.slidesharecdn.com/ss_thumbnails/swintransformer-210514020542-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision](https://cdn.slidesharecdn.com/ss_thumbnails/dlkobayashi0115-210115012308-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DLHacks]StyleGANとBigGANのStyle mixing, morphing](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks0805-190815052222-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...](https://cdn.slidesharecdn.com/ss_thumbnails/20191206genesis-191206004127-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Ridge-i 論文よみかい] Wasserstein auto encoder](https://cdn.slidesharecdn.com/ss_thumbnails/wassersteinauto-encoder-181006055019-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images](https://cdn.slidesharecdn.com/ss_thumbnails/hologanslideshare-190906010228-thumbnail.jpg?width=640&height=640&fit=bounds)
【東工大・鈴木良郎】「画像生成用StyleGANの技術」を「3D形状の生成」に活用!! 新車のボディ形状を生成するAI
- 1. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 西田 猛哲 鈴木 良郎↓ 「画像生成用StyleGANの技術」を 「3D形状の生成」に活用!! 新しい自動車形状を 自動生成するAI C 2020/2/19東京工業大学 西田 猛哲 鈴木良郎 本稿の内容 1. 自動車メーカー様へ 「新車のボディ形状を自動生成するAI」の 共同研究先を探しております 2. 世界を驚かせたStyleGANとは？ 3. 現状の「自動車ボディを生成するAI」の紹介
- 2. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 1. 自動車メーカー様へ 共同研究のお願い 2020/2/19 東京工業大学 西田猛哲 鈴木良郎 2020/2/19 東京工業大学 鈴木良郎 1
- 3. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 2 ⚫ 鈴木は現在 「高空力性能かつ斬新な形状の自動車ボディを 生成するAI」 の開発に邁進しております ⚫ しかし、AIに学習させる「既存の車体形状（3Dメッシュ）」の数 が足りておりません ⚫ 現在は学習データは約千台です（11ページご参照） ⚫ 実用に耐える（＝本当に新車ボディ開発に使える）レベルに 本AIを育てるには、1万台以上のメッシュが必要だと感じてお ります． ⚫ 「実際に販売された車体メッシュ」だけでなく、「開発段階でボ ツになった車体メッシュ」でも十分でございます ⚫ もし、共同で本AIの研究して頂ける（車体メッシュ提供を頂け る）企業様がいらっしゃいましたら，下記までご連絡をお願い いたします． ⚫ 当然ですが、ご連絡頂いた内容の守秘義務は厳守致します． 1. 自動車メーカー様へ 東京工業大学・鈴木良郎
- 4.
- 5. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2. 世界を驚かせた StyleGANとは？ 2020/2/19 東京工業大学 西田猛哲 鈴木良郎 2020/2/19 東京工業大学 鈴木良郎 4
- 6. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI Input DL StyleGAN DLモデル StyleGANによる「2名の人物画像の合成」 入力 実写画像と見紛うほど自然な「実在しない人物」の画像を 2枚の人物画像を合成することで生成可能 出力 使われている技術 正規化（AdaIN） 逐次的学習（Progressive Growing） 特 徴 分離 （ Mapping Network） ス タ イ ル 合 成 （ Style Mixing） Output Nvidia, A Style-Based Generator Architecture for Generative Adversarial Networks, 2018. 人物A 人物B 顔写真 人 物 A 人 物 B
- 7.
- 8.
- 9. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI Input DL StyleGAN+GCN DLモデル StyleGANとGCNによる「2車のメッシュ合成」 入力 研究の動機 ⚫ 制約の多い一般車は新車も過去と似たデザインになりがち ⚫ デザイナーは頭を抱えている… ⚫DLにより斬新かつスタイリッシュな車体を産めないか？ 出力 Output 車体のメッシュ 車 体 A 車 体 B 新車体の 空力特性，騒音 特性，振動特性 実在しない 新車体のメッシュ & 2020/2/19 東京工業大学 西田 猛哲 鈴木良郎 8
- 10.
- 11. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 10 研究背景 自動車ボディの空力設計初期過程[1,2] デザイン作成 ボディ外形の3Dモデル[2] 空力特性評価 流体シミュレーション (CFD)の使用 空力6分力の計算 フィード バック デザイン 修正 1. H. Kerschbaum and N. Grün, “Complementary usage of simulation, wind tunnel and road tests during the aerodynamic development of a new BMW SUV,” in FISITA World Automotive Congress, 2006. 2. M. Hirz, M. Prenner, and S. Stadler, “Integration of aerodynamic simulation and design in conceptual automotive development,” in NordDesign, 2012. ◼ CFDは計算コストが高い ▶ 設計期間の長期化 ◼ 新しいデザインが生まれにくい 問題点
- 12. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 11 研究背景 空力特性のリアルタイム推定 (Umetani et al.[3]) しかし多数の自動車ボディ形状を人手で作成するのは困難 3. N. Umetani and B. Bickel, “Learning three-dimensional flow for interactive aerodynamic design,” ACM Trans. Graph., vol. 37, no. 4, pp. 1–10, 2018. 入力 出力 自動車ボディ （3Dメッシュ） 高 低 表面圧力分布 低 高 抗力係数 学習データ数 約1,000 (少) もっと学習データを増やして 空力特性の推定精度向上させたい 機械 学習 モデル
- 13. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 研究目的 目的：様々な形状の自動車ボディメッシュを 自動生成可能なDeep Learning (DL)モデルの開発 Variational Autoencoder (VAE)を使用←Deep Learning (DL) の1種 ▶ データセットの特徴表現を学習し，新しいデータの生成が可能 入力メッシュを 低次元の特徴表現 に圧縮するDL 特徴表現から 入力メッシュ を復元するDL ⋮ Encoder DL Decoder DL 入力メッシュ 復元メッシュ 低次元の特 徴ベクトル 情報を 圧縮 情報を 復元 この2つのDLを合わせてVAEと呼ぶ
- 14. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 3. N. Umetani and B. Bickel, “Learning three-dimensional flow for interactive aerodynamic design,” ACM Trans. Graph., vol. 37, no. 4, pp. 1–10, 2018. 13 研究目的 実施内容 ◼ 自動車ボディメッシュを生成可能なVAEを2種類構築 ⚫ MeshVAE (第2章) ⚫ StyleMeshVAE (第3章) ◼ 構築したVAEを自動車ボディメッシュ復元，生成タスクに 適用，性能評価 StyleMeshVAE (以降，単にVAE) について説明 ◼ 自動車ボディの3Dメッシュから空力特性を推定する 機械学習モデル[3]の学習データ増強 ◼ デザイナーの補助 (ボディ形状のデザイン候補を提案) 応用先
- 15. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 14 2D画像生成における既存研究 ◼ 生成2D画像の特徴を高度に制御可能なDLモデル StyleGAN (Karras et al. [4]) 4. T. Karras, S. Laine, and T. Aila, “A Style-Based Generator Architecture for Generative Adversarial Networks,” in IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 4401–4410. 従来：生成データの特徴制御 ▶ 2D画像のみにおいて実現 本研究：自動車ボディの3Dメッシュに拡張 人物Bの 髪型，顔の形 を反映したA + → 人物A 人物B 生成画像 → 人物Bの 髪色 を反映 したC 人物C 人物B 生成画像 + StyleGANは 顔の特徴を 部分的に変更 (制御)可能
- 16. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 15 VAEの構造 特徴表現 𝒘 Encoder 特徴表現添加 メッシュ細分化 特徴表現添加 初期メッシュ ⋮ Decoder メッシュ細分化 特徴表現添加 入力メッシュ
- 17. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 16 VAEの構造 特徴表現 𝒘 Encoder 特徴表現添加 メッシュ細分化 特徴表現添加 初期メッシュ ⋮ Decoder メッシュ細分化 特徴表現添加 入力メッシュ 復元メッシュ 初期形状
- 18. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 17 VAEの構造 特徴表現 𝒘 Encoder 特徴表現添加 メッシュ細分化 特徴表現添加 初期メッシュ ⋮ Decoder メッシュ細分化 特徴表現添加 入力メッシュ
- 19. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 18 VAEの構造 特徴表現 𝒘 Encoder 特徴表現添加 メッシュ細分化 特徴表現添加 初期メッシュ ⋮ Decoder メッシュ細分化 特徴表現添加 入力メッシュ
- 20. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 19 VAEの構造 特徴表現 𝒘 Encoder 特徴表現添加 メッシュ細分化 特徴表現添加 初期メッシュ ⋮ Decoder メッシュ細分化 特徴表現添加 入力メッシュ
- 21. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 20 VAEの構造 特徴表現 𝒘 Encoder 特徴表現添加 メッシュ細分化 特徴表現添加 初期メッシュ ⋮ Decoder メッシュ細分化 特徴表現添加 入力メッシュ
- 22. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 21 VAEの構造 特徴表現 𝒘 Encoder 特徴表現添加 メッシュ細分化 特徴表現添加 初期メッシュ ⋮ Decoder メッシュ細分化 特徴表現添加 添加される特徴 が異なる 入力メッシュ
- 23. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 22 自動車ボディメッシュのデータセット 5. N. Umetani, “Exploring generative 3D shapes using autoencoder networks,” SIGGRAPH Asia 2017 Tech. Briefs (SA ’17), vol. 24, pp. 1–4, 2017. ◼ Umetaniにより作製[5] ◼ 車種：セダン，ハッチバック，バン，ピックアップトラック など ◼ データ数：1,240台 ◼ 6,146個の節点を持つ四角形メッシュ
- 24. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 23 VAEの学習 ⋮ Encoder Decoder 入力メッシュ 復元メッシュ 𝑿𝑖 data 𝑥𝑖 data , 𝑦𝑖 data , 𝑧𝑖 data 𝑿𝑖 recon 𝑥𝑖 recon , 𝑦𝑖 recon , 𝑧𝑖 recon 学習目的：入力メッシュ形状＝復元メッシュ形状 ⇔ 𝑿𝑖 data の位置＝𝑿𝑖 recon の位置が全ての節点𝑖で成立 ∴ 𝐿 = 𝑖 𝑿𝑖 data と𝑿𝑖 recon の距離 を最小化
- 25. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 24 自動車ボディメッシュ復元 ⋮ Encoder Decoder 入力メッシュ 復元メッシュ 学習に使用：1,116台 学習未使用：124台 データセット：1,240台 復元方法 ◼ 未学習の形状に対する復元性能を検証 ▶ 学習に使用しなかった124台のメッシュを復元
- 26. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 25 自動車ボディメッシュ復元 ⋮ Encoder Decoder 入力メッシュ 復元メッシュ 𝑿𝑖 data 𝑥𝑖 data , 𝑦𝑖 data , 𝑧𝑖 data 𝑿𝑖 recon 𝑥𝑖 recon , 𝑦𝑖 recon , 𝑧𝑖 recon 性能評価方法 誤差指標：3D空間における2節点𝑿𝑖 data ，𝑿𝑖 recon 間の距離
- 27. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 復元メッシュ (先行研究[5]) 平均誤差：9.2 cm 復元メッシュ (本研究) 平均誤差：1.7 cm 入力メッシュ 26 自動車ボディメッシュ復元 結果 >1086420 [cm] 各節点の誤差 5. N. Umetani, “Exploring generative 3D shapes using autoencoder networks,” SIGGRAPH Asia 2017 Tech. Briefs (SA ’17), vol. 24, pp. 1–4, 2017. 入力メッシュと復元メッシュ (本研究) の形状は良い一致
- 28. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 27 自動車ボディメッシュの生成手順 自動車 A 自動車 B 特徴表現A 𝒘Aを取得 特徴表現B 𝒘Bを取得 初期メッシュ メッシュ細分化 Decoder 𝒘B 𝒘A 𝒘A 𝒘A 𝒘A ① 𝒘A 𝒘A 𝒘2 𝒘A 𝒘A ② 𝒘A 𝒘A 𝒘A 𝒘A 𝒘2 ③ Encoder 2車体の融合 A車とB車の 融合車を出力 特徴表現添加 入力 入力 入力 入力 入力 ? 2車体の特徴の取得
- 29. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 28 自動車ボディメッシュ生成 結果 自動車 A 自動車 B ① ② ③ 自動車 A1 自動車 A2 自動車 B A2とBの融合車A1とBの融合車 A2とBの融合車A1とBの融合車 A2とBの融合車A1とBの融合車 2車体の融合 法番号（P.18） ① ② ③
- 30. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 29 自動車ボディメッシュ生成 結果 自動車 A 自動車 B ① 自動車 A1 自動車 A2 自動車 B A2とBの融合車A1とBの融合車 A2とBの融合車A1とBの融合車 2車体の融合 法番号（P.18） ① 「自動車A1やA2の形状」に 「自動車2の前後部分の特徴」が反映
- 31. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 自動車 A 30 自動車ボディメッシュ生成 結果 「自動車A1やA2の形状」に 「自動車2の上部の特徴」が反映 自動車 B ① ② 自動車 A1 自動車 A2 自動車 B A2とBの融合車A1とBの融合車 2車体の融合 法番号（P.18） ① ②
- 32. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 31 自動車ボディメッシュ生成 結果 「自動車A1やA2の形状」に 「自動車2のサイズ」の特徴が反映 自動車 A 自動車 B ① ③ 自動車 A1 自動車 A2 自動車 B A2とBの融合車A1とBの融合車 A2とBの融合車A1とBの融合車 2車体の融合 法番号（P.18） ① ② ③ 以上のことから，2D画像生成のみ実現されてきた 生成データの特徴を制御(部分的に変更)する技術 ▶ 3Dメッシュにおいても実現できる可能性
- 33. 「画像生成用StyleGANの技術」を「3D形状の生成」に活用 新車の形状（3Dメッシュ）を自動生成するAI 2020/2/19 東京工業大学 西田 猛哲鈴木良郎 ◼ 「画像生成用StyleGANの技術」の一部を「3D形状の生 成」に活用する方法を提案した． ◼ 提案法に基づき，自動車ボディメッシュを生成可能なDeep Learning (DL) モデルを開発し，DLモデルを自動車ボディ メッシュの復元・生成タスクに適用した． ◼ DLモデルは，未学習の自動車ボディメッシュに対しても， その外形を精度よく復元できた． ◼ DLモデルは，2車の形状を混合した，新しいボディ形状を 生成できた． ◼ 2D画像のみにおいて実現されていた，生成データの特徴制 御(部分的な変更)を，3Dメッシュにおいても実現できる 可能性を示した． 32 結言