2020/10/29　Ltech#11 不動産領域のAI活用最前線 〜初完全リモート開催〜 AI戦略室データサイエンスグループ　椎橋 怜史

1. Ltech 11
ディープラーニングで間取り図を3Dにする
株式会社LIFULL
椎橋怜史

2. 自己紹介
・椎橋怜史
・2016年LIFULL入社
・機械学習の研究開発をやっています
・https://qiita.com/shiibass
・https://github.com/shiibashi

3. 空飛ぶホームズくんの裏側のアルゴリズムの話
https://japan.cnet.com/article/35159709/

4. アルゴリズムの流れ
①元画像
ディープラーニング
（画像認識）
②セマンティック画像 ③ポリゴンデータ
④３D
画像処理
（間取り解釈）

5. セマンティックセグメンテーションタスクで学習
各ピクセルごとにクラス分類をする機械学習タスク

6. アルゴリズムの流れ
①元画像
ディープラーニング
（画像認識）
②セマンティック画像 ③ポリゴンデータ
④３D
画像処理
（間取り解釈）
ここの話

7. 参考にした論文：Deep Floor Plan Recognition Using a
Multi-Task Network with Room-Boundary-Guided
Attention
この論文の特徴
・attention層をいれることで精度向
上
・direction-aware kernelsをいれるこ
とで精度向上
詳しくは
https://openaccess.thecvf.com/content_ICCV_
2019/papers/Zeng_Deep_Floor_Plan_Recogni
tion_Using_a_Multi-
Task_Network_With_Room-Boundary-
Guided_ICCV_2019_paper.pdf

8. LIFULLではアイコンを追加して3種類の出力層を構築
line出力層, LovasLoss
room出力層, CrossEntropyLoss
icon出力層,CrossEntropyLoss
semantic-segmentation
タスクとして最適化する

9. 実装関連箇条書き
● minimize:
LovaszLoss + w_1 CrossEntropyLoss_room + w_2 CrossEntropyLoss_icon
w_1とw_2は定数
● Pytorch, albumentations（augmentation用） opencv(画像処理)
● 活性化関数 Funnel Activation https://arxiv.org/pdf/2007.11824.pdf
● AWS EC2: p3.2xlarge 1台 学習48時間
● 学習データ間取り図3500枚、アノテーションはクラウドソーシング+自分たち
● line (壁, ドアの2種類)
● room(9種類)
● icon(6種類)

10. Data Augmentation
https://github.com/albumentations-
team/albumentations
● VertivalFlip
● HorizontalFlip
● Rotate
● CLAHE
＋
Logo(custom augmentation)
Logo

11. Annotation
● 外注したアノテーションの検収が大変
● 単純作業だけど間違えられないので集中力
使う
● 長時間アノテーションで肩がこる、腰が痛
くなる
● 筋トレしてなかったら身体壊れてた
● エンジニアは運動も仕事の一貫
アノテーションツ
ールCVAT

12. 推論結果

13. アルゴリズムの流れ
①元画像
ディープラーニング
（画像認識）
②セマンティック画像 ③ポリゴンデータ
④３D
画像処理
（間取り解釈）
ここの話

14. 基本は輪郭抽出だが、プラスで工夫が必要
ピクセル単位でラベルが
割り当てられたデータ
輪郭抽出してポリゴンの
頂点のみ保持するデータ

15. プラスの工夫：認識と解釈は別問題1
● 赤で囲った２つのドア
● ディープラーニングはこれらを同一視する
● 人間なら浴室にあるのは小窓でバルコニー
にあるのは人間が行き来できるサイズと解
釈できる
↓
ディープラーニングには認識のみさせる
３D化で違和感ないような解釈はルールで記述

16. プラスの工夫：認識と解釈は別問題2
元画像 推論結果
赤で囲ったドアは
正しく認識できている
輪郭抽出結果
ドアの輪郭を
正しく抽出できている
どこがNGか？

17. プラスの工夫：認識と解釈は別問題2
元画像 推論結果
赤で囲ったドアは
正しく認識できている
画像処理でドアを分割
常識的に考えて、ドアは
２つに分かれてるはず
ディープラーニングの推
論結果を塗り替える

18. アルゴリズムの流れ
①元画像
ディープラーニング
（画像認識）
②セマンティック画像 ③ポリゴンデータ
④３D
画像処理
（間取り解釈）
ここは省略

19. ３Dになるとこうなります
https://japan.cnet.com/article/35159709/

20. おわり