2017年8月1日 於 Sansan株式会社 Sansan×Cookpad×LIFULL 画像解析・機械学習エンジニアMeetup

1. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
LIFULL HOME’Sにおける
不動産物件画像解析
LIF ULL Lab 主席研究員
清田 陽司
2 0 1 7 . 0 8 . 0 1 ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道
於 S a n s a n 株 式 会 社
C o p y r i g h t © L I F U L L A l l R i g h t s R e s e r v e d .

2. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
社名・ブランド名の変更
(2017.04.01)

3. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )

4. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
清田 陽司
LIFULL Lab 主席研究員
福岡県生まれ→大学(院)＠京都→東京
関心分野: 自然言語処理応用 → 検索・推薦 → 情報リテラシー (図書館)
→ 生活領域 (不動産、介護 etc.) でのメディア技術活用 (画像解析含む)
経歴: 大学教員 → 兼業で起業 → そちらが本業に → 買収
対外的活動
• 人工知能学会 編集委員
• 情報処理学会データベースシステム研究会 幹事
• WebDB Forum 2017産学連携担当幹事
• IEEE DSAA 2017 Sponsorship co-chair
• JST「情報管理」誌 外部編集委員
• Code4Lib JAPAN共同代表 etc.

5. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
CVPR 2017＠ホノルルに行って
きました

6. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )

7. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
LIFULL Lab (リッテルラボラトリー)
• ルーツは2007年設立の
東京大学発スタート
アップ (株)リッテル
• 住まいや暮らしに関わ
る最先端技術のR&D
• レコメンデーション
• AI関連技術（ディー
プラーニングなど）
• ユーザーインタ
フェース (UX)
• VR / AR / MR
新感覚お部屋探しアプリ
HOME’Sヘヤサク！
部屋作りシミュレーション
GRID VRICK

8. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )

9. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
総掲載物件数No.1の
不動産・住宅情報サイト
暮らしに密着したさまざまな
情報サービス (引越, 保険, 介護,
子育て, 音楽ライブ, スポーツ選手支援 etc.)
世界約50カ国向けに展開する
住宅・中古車・求職などの
アグリゲーションサイト
(本社: スペイン バルセロナ)
LIFULLグループのサービス群

10. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )

11. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
不動産テックと画像解析

12. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )

13. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )

14. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
企画者
清田 陽司
LIFULL
主席研究員
• 自然言語処理応用
• 情報推薦
• 産学連携によるオープン
イノベーション推進
山崎 俊彦
東大・情報理工
准教授
• 画像処理
• IoT
• 魅力工学
諏訪 博彦
NAIST・情報科学研究科
助教
• 社会情報システム
清水 千弘
日本大学スポーツ科学部
教授
MIT不動産研究センター
研究員
• 不動産価格推定

15. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
記事リスト
• AI・IoT を用いた不動産物件の
「魅力」情報（山崎俊彦）
• 不動産画像データセットを利
用したディープ多形態画像対
応学習（古川泰隆）
• 不動産情報ポータルサイト
SUUMO でのデータ活用（李石
映雪・野村眞平）
• 不動産賃貸e コマースとAI
（大浜毅美）
• 暗黙知センシングに基づいた
飲食店向き不動産店舗の営業
（荒川周造・諏訪博彦）
• 広がり続ける100 ninmap
project─街歩きから不動産検索
まで─ （荒牧英治・北雄介・宮
部真衣・若宮翔子・河合由起
子・清田陽司）
• 不動産賃貸価格における画像を
用いた価格推定（濵田雄斗）
• 不動産物件検索サイトにおける
画像認識の適用（小林達）
• テクノロジーは不動産市場に何
をもたらすのか（中川雅之）
• 学術コミュニティへのデータ
セット提供を通じた不動産領域
におけるオープンイノベーショ
ン推進（清田陽司・石田陽太）

16. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
LIFULL HOME’Sでの
画像解析の取り組み

17. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
不動産情報サイトで不動産会社を選
ぶ際のポイントは？
(RSC 2015年調査)
物件の写真の点数が多い
物件の写真の見栄えが良い
71.9％
32.5％

18. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
どちらの物件情報がユーザーに
とってより嬉しい？
A社 B社

19. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
料理がしやすいキッチンはど
れ？

20. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
› どの種類の物件画像なのかを判定する
› LIFULL HOME’Sの掲載画像に付けられているタグ
を正解データとして使用
• 13タグ分の画像を使用
• それぞれ訓練用1万枚、検証用1000枚
 外観
 周辺
内装
 その他
 寝室
 子供部屋
 洗面
 収納
 設備
 バルコニー
 エントランス
 駐車場
使用するタグ 使用しないタグ
外観 周辺
居間
間取り
風呂
間取り
地図
玄関
居間
キッチン
風呂
トイレ
画像種別の深層学習(CNN)による判別

21. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
画像種別の判別精度
› テストデータのError rate: 0.143
正答サンプル 不正答サンプル
キッチン97.3% リビング52.0%
間取り91.0%
風呂100.0%
正解：リビング
結果：収納
収納 40.1%
リビング 20.6%
洗面 12.1%
正解：洗面
結果：風呂
風呂 64.7%
洗面 26.2%
トイレ 3.1%
正解：収納
結果：風呂
風呂 75.0%
トイレ 9.2%
バルコニー 3.7%

22. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )

23. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )

24. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
キッチンのワークスペース広さ判別タスク
とても狭い 狭い 普通 広い とても広い
まな板が置け
ない
まな板はおけ
るが、切った
もの等を置け
ない
まな板、切っ
たものなどを
置ける
複数の調理過
程のものを置
ける
調理に十分な
スペースがあ
る
› 置けるものの程度で5段階＋その他で6クラス分類
› 5500枚を分類し、各1000枚になるようデータ拡張

25. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
キッチンのワークスペース広さ判別タ
スク: 結果
› クラス判別の誤り率: 36.2%
› 相関係数：0.717
分類 スコア
とても狭い 20
狭い 40
普通 60
広い 80
とても広い 100

26. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
画像データセットの外部提供に
よるイノベーション創出の試み

27. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
国内の賃貸不動産物件データ
約530万件
• 所在地 (郵便番号、最寄り駅など)
• 賃料、面積、築年数、部屋タイプ etc.
• 建物構造 (木造、鉄骨、鉄筋コンクリート
etc.)
• 各種こだわり条件 (ペット可、楽器、カウ
ンターキッチン、バス・トイレ別 etc.)
物件画像 約8300万点 間取り図 約510万点
重厚な感じの
エントランス
日当たりの
良いリビング
主な研究分野:
•画像処理 (ディープラーニング)
•自然言語処理
•Web・ソーシャルメディア解析
•経済学 (価格推定)
•建築学
•都市学
LIFULL HOME’Sデータセット

28. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
Washington Univ. in St. Louis 古川泰隆
准教授のグループによる研究
https://arxiv.org/pdf/1612.01225.pdf

29. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
ディープ多形態対応学習

30. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
どの画像が左の間取り図に対応するかを判別するNN

31. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
判別精度
※緑色の数字はAmazon Mturkのワーカーによる
判別精度

32. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
画像にノイズを加えて、写真が間取り
図のどこに対応するかを識別

33. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
意図的に画像を加工するとどうなる？

34. ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
間取り図ナビゲーションへの応用