Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【Ltech#5】機械学習を用いた間取り画像の自動解析

331 views

Published on

2019年2月21日開催
Ltech#5 LIFULL HOME'S 機械学習Night2 
~若手エンジニアが語る機械学習事例~

AI戦略室 データサイエンティスト 椎橋怜史
・LIFULLの機械学習開発事例 ❝間取り図を解析して3Dモデルを作る❞
・将来の展望

Published in: Technology
  • Be the first to comment

【Ltech#5】機械学習を用いた間取り画像の自動解析

  1. 1. 機械学習を用いた間取り画像の自動解析 AI戦略室 椎橋怜史 2019/02
  2. 2. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 自己紹介 • 椎橋 怜史 (しいばしさとし) • 2016年4月 LIFULL 新卒入社 • データサイエンティスト • データ分析、機械学習開発を担当 Qiita: @shiibass Twitter: @shiibass 興味ある分野 • 量子コンピュータ • 数理最適化 • 強化学習 • ゲーム理論
  3. 3. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 今日はLIFULLの機械学習開発事例を紹介しま す
  4. 4. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 4 間取り図を解析して3Dモデルを作る 間取り図 物体認識・間取り構造推定 参考論文“Raster-to-Vector: Revisiting Floorplan Transformation” 〇m 縮尺・長さ推定 部屋の3Dモデル その他技術
  5. 5. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 間取り画像の教師データ作成 間取り画像→テキストデータ(座標とラベル) 515,912.,657,930,balcony 583,133,638,152,bathroom 661,104,758,247,bathtub 204,36,343,262,bedroom 5 1000枚ほど
  6. 6. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 人間の骨格認識技術を応用する Pose Estimation(骨格認識)技術 どこに人間のどの部位があるかをそれぞれ学習している Human pose estimation via Convolutional Part Heatmap Regressionから抜粋 6
  7. 7. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 こういうの Human pose estimation via Convolutional Part Heatmap Regressionから抜粋 7
  8. 8. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 画像と座標データを学習させて間取りの 骨格を認識(転移学習) ドアの骨格 壁の交差点の骨格 この形→ predict 8 間取り画像のどこにパーツがあるかをそれぞれ学習させる
  9. 9. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 ドアの骨格 壁の交差点の骨格 この形→ predict 9 間取り画像のどこにパーツがあるかをそれぞれ学習させる 画像と座標データを学習させて間取りの 骨格を認識(転移学習)
  10. 10. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 骨格情報から部屋情報を推定する 人間の骨格は一意(頭→首→胴体など) 部屋構造は一意ではない ドアの骨格 壁の骨格 キッチンカウンターの骨格 などその他いくつか 骨格情報から 矛盾が起きない部屋 構造を推定する (どうやって?) 10
  11. 11. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 制約充足問題に定式化 機械学習(ML) ・制約なし(基本的には) ・損失関数の最小解を探索 ・凸最適化(基本的には) 制約充足問題(CSP) ・制約条件を満たす解を探索 ・基本的にNP問題 CSP 最適化 機械学習 教師あり イメージ↑ 11
  12. 12. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 制約充足問題の例 虫食い算 A B C D C A E F+ G D B C A A~Gは0から9のいずれ かでそれぞれ異なる 制約: • 0 <= A,B,…, G <= 9, Integer • A != B, A != C,…, F != G • x, y,… ダミー変数 • D + F = 10 * x + A • C + E + x= 10 * y + C • … 巨大になればなるほど総当たり計算やルー ルベースロジックは対応しにくくなる 12
  13. 13. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 制約充足問題の例 13 図形解釈 解釈パターン(+,-,→)を定義して、 各辺に解釈のパターンを割り当てる問題 矛盾なく割り当てられれば解釈成功 変数:各変数のラベル(+,-,→)を どれに割り当てるか 制約:解釈に矛盾がない
  14. 14. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 制約充足問題の例 14 図形解釈に矛盾があるとは? どう見えますか?
  15. 15. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 制約充足問題に定式化 壁の骨格ドアの骨格 • ドアや窓は壁と密着している • 部屋は四方を壁で囲まれている • その他 などの制約をすべて満たす解釈方法を探索 (最適化ソルバー:gurobi) 15
  16. 16. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 学習結果 Predict and Optimize Predict・・・ディープラーニングで物体を認識 Optimize・・・認識したパーツを組み合わせ、 無矛盾な解釈を探索する 16
  17. 17. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 縮尺・長さの推定 17 専有面積としてカウントする領域のみを抽出 ↓ 平易な数値計算で縮尺を計算 バルコニー、室外を除外
  18. 18. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。 将来の展望 Predict Optimize 3D Rendering ※イメージ 18

×