[DL輪読会]DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling
•
2 likes•892 views
2017/5/19 Deep Learning JP: http://deeplearning.jp/seminar-2/
Recommended
More Related Content
Similar to [DL輪読会]DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling
Similar to [DL輪読会]DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling (10)
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (15)
[DL輪読会]DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling
- 1. DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling 19 May, 2017 M2 杉原 祥太
- 2. 書誌情報 • 著者： Xiaoguang Han, Chang Gao and Yizhou Yu • The University of Hong Kong • Proceedings of SIGGRAPH 2017 • https://www.youtube.com/watch?v=93WZHKYxqtM 2
- 4. 背景 • 顔のモデルは個⼈や表情によって多様である． • 少ない労⼒で⽣成できたら嬉しい • Contributions • 3D顔モデルのための画期的なシステムの提案 • CNNとBilinear modelの組み合わせ • 顔モデル拡張 4
- 5. 関連研究 • Data-drivenなスケッチによるモデル⽣成 • ⼊れ物，⽊など(Huang et al. 2016), 建物(Nishida et al. 2016) • インタラクティブ性，ネットワークの新規性，データの⾮公開 • Morphableな顔モデル • CNN以外からも形状の特徴を得ているので，推定がより正確 • 3D顔カリカチュア • 2Dスケッチから3D顔カリカチュアは本研究初 • スケッチベースのモデリング • スケッチの線だけでなく，Deepから3D座標を推測して制約条件に 5
- 6. 提案システム • 3つのインタラクションモードがある． • 1. Initial Sketching Mode • 描いたスケッチがそのまま3Dモデルへ • 2D投影と3Dモデルの形状は正確には⼀致しない • 2. Follow-up Sketching Mode • 線を修正していく • 適宜スケッチとモデルを切り替えられる • 3. Gesture-Based 3D Face Refinement • ジェスチャーで編集 6
- 7. データベースの構築 • 3Dモデル • Chao et al. 2014 のデータベースを拡張 • 15000個 (150⼈×表情25通り×誇張4段階) • 2Dスケッチ • 雛形にあらかじめ線を定義しておき，線をレンダリング • ⼿書きスケッチを2000枚⽤意した 7
- 8. Bilinear Morphable Representation • Cao et al. 2014のアイデア • 顔のデータベースを3階テンソル𝑇で表現する • 𝑇（11500頂点, 600⼈, 表情25通り） • 𝑇を特異値分解 • 𝑇×# 𝐔×% 𝐔 = 𝐶, • 𝐶はcore tensor, • 𝑇 ~ 𝐶*×# 𝐔+×% 𝐔+ • 𝐶*は左上⾓を保存したcore tensor • 𝑉 = 𝐶×# 𝑢.×% 𝑣. • 個⼈，表情を表すベクトル𝑢, 𝑣 8
- 9. ネットワーク構成 • 上はAlexNetと⼀緒 (ReLU, Softmax) • 𝑢, 𝑣を別々に計算したいため，FC Layersで異なるネットワークを⽤いる． 𝑢が⼤きい • 輪郭を捉えるため，Shape-level InputでBilinear modelを使う • Loss関数： 𝐸 = 1 2 ∑ 𝑤5 𝐶5×# 𝑢. ×%−𝑔5 # 5 , 𝑔5はground truth 9
- 10. 学習の流れ • Classifier training • Identity, expressionと⼀致するよう学習 • 𝑢 − 𝑣 regression • 𝑢, 𝑣をLoss関数が⼩さくなるよう学習 • Final tuning • 内挿して10000データを増やす． • 10%をテストデータに 10
- 11. 実験 • Iterations • Classifier training : 500,000 • 𝑢 − 𝑣 regression: 800,000 • Final tuning: 500,000 • Learning rate: 0.00001, mini-batch size: 50 • Momentum: 0.9, weight decay: 0.00005 11
- 12. 結果 12
- 13. 結果 • モデル⽣成時間 • Laplacianとの⽐較 • (b)が提案⼿法 13
- 14. 結果 • 検証 • 38⼈×12問 • どちらがより⾃然でスケッチに 忠実か 14
- 16. 結果 • ⼿法の⽐較 • PixelShapeCNN(提案) • PixelCNN(CNNのみ) • ShapeNN(2Dbilinearのみ) • PixelCNN-Wrinckle(w/o wrinckle) • PixelCNNSingle (u,v同⼀の ネットワーク） 16
- 17. Limitations 17