Download to read offline
Uploaded byYoji Kiyota
LIFULL HOME'Sにおける不動産物件画像解析
2017年8月1日 於 Sansan株式会社 Sansan×Cookpad×LIFULL 画像解析・機械学習エンジニアMeetup
LIFULL HOME'Sにおける不動産物件画像解析
- 1. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) LIFULL HOME’Sにおける 不動産物件画像解析 LIF ULL Lab 主席研究員 清田 陽司 2 0 1 7 . 0 8 . 0 1 ≪ S a n s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 於 S a n s a n 株 式 会 社 C o p y r i g h t © L I F U L L A l l R i g h t s R e s e r v e d .
- 2. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 社名・ブランド名の変更 (2017.04.01)
- 3. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
- 4. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 清田 陽司 LIFULL Lab 主席研究員 福岡県生まれ→大学(院)＠京都→東京 関心分野: 自然言語処理応用 → 検索・推薦 → 情報リテラシー (図書館) → 生活領域 (不動産、介護 etc.) でのメディア技術活用 (画像解析含む) 経歴: 大学教員 → 兼業で起業 → そちらが本業に → 買収 対外的活動 • 人工知能学会 編集委員 • 情報処理学会データベースシステム研究会 幹事 • WebDB Forum 2017産学連携担当幹事 • IEEE DSAA 2017 Sponsorship co-chair • JST「情報管理」誌 外部編集委員 • Code4Lib JAPAN共同代表 etc.
- 5. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) CVPR 2017＠ホノルルに行って きました
- 6. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
- 7. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) LIFULL Lab (リッテルラボラトリー) • ルーツは2007年設立の 東京大学発スタート アップ (株)リッテル • 住まいや暮らしに関わ る最先端技術のR&D • レコメンデーション • AI関連技術（ディー プラーニングなど） • ユーザーインタ フェース (UX) • VR / AR / MR 新感覚お部屋探しアプリ HOME’Sヘヤサク！ 部屋作りシミュレーション GRID VRICK
- 8. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
- 9. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 総掲載物件数No.1の 不動産・住宅情報サイト 暮らしに密着したさまざまな 情報サービス (引越, 保険, 介護, 子育て, 音楽ライブ, スポーツ選手支援 etc.) 世界約50カ国向けに展開する 住宅・中古車・求職などの アグリゲーションサイト (本社: スペイン バルセロナ) LIFULLグループのサービス群
- 10. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
- 11. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 不動産テックと画像解析
- 12. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
- 13. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
- 14. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 企画者 清田 陽司 LIFULL 主席研究員 • 自然言語処理応用 • 情報推薦 • 産学連携によるオープン イノベーション推進 山崎 俊彦 東大・情報理工 准教授 • 画像処理 • IoT • 魅力工学 諏訪 博彦 NAIST・情報科学研究科 助教 • 社会情報システム 清水 千弘 日本大学スポーツ科学部 教授 MIT不動産研究センター 研究員 • 不動産価格推定
- 15. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 記事リスト • AI・IoT を用いた不動産物件の 「魅力」情報（山崎俊彦） • 不動産画像データセットを利 用したディープ多形態画像対 応学習（古川泰隆） • 不動産情報ポータルサイト SUUMO でのデータ活用（李石 映雪・野村眞平） • 不動産賃貸e コマースとAI （大浜毅美） • 暗黙知センシングに基づいた 飲食店向き不動産店舗の営業 （荒川周造・諏訪博彦） • 広がり続ける100 ninmap project─街歩きから不動産検索 まで─ （荒牧英治・北雄介・宮 部真衣・若宮翔子・河合由起 子・清田陽司） • 不動産賃貸価格における画像を 用いた価格推定（濵田雄斗） • 不動産物件検索サイトにおける 画像認識の適用（小林達） • テクノロジーは不動産市場に何 をもたらすのか（中川雅之） • 学術コミュニティへのデータ セット提供を通じた不動産領域 におけるオープンイノベーショ ン推進（清田陽司・石田陽太）
- 16. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) LIFULL HOME’Sでの 画像解析の取り組み
- 17. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 不動産情報サイトで不動産会社を選 ぶ際のポイントは？ (RSC 2015年調査) 物件の写真の点数が多い 物件の写真の見栄えが良い 71.9％ 32.5％
- 18. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) どちらの物件情報がユーザーに とってより嬉しい？ A社 B社
- 19. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 料理がしやすいキッチンはど れ？
- 20. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) › どの種類の物件画像なのかを判定する › LIFULL HOME’Sの掲載画像に付けられているタグ を正解データとして使用 • 13タグ分の画像を使用 • それぞれ訓練用1万枚、検証用1000枚 外観 周辺 内装 その他 寝室 子供部屋 洗面 収納 設備 バルコニー エントランス 駐車場 使用するタグ 使用しないタグ 外観 周辺 居間 間取り 風呂 間取り 地図 玄関 居間 キッチン 風呂 トイレ 画像種別の深層学習(CNN)による判別
- 21. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 画像種別の判別精度 › テストデータのError rate: 0.143 正答サンプル 不正答サンプル キッチン97.3% リビング52.0% 間取り91.0% 風呂100.0% 正解：リビング 結果：収納 収納 40.1% リビング 20.6% 洗面 12.1% 正解：洗面 結果：風呂 風呂 64.7% 洗面 26.2% トイレ 3.1% 正解：収納 結果：風呂 風呂 75.0% トイレ 9.2% バルコニー 3.7%
- 22. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
- 23. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 )
- 24. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) キッチンのワークスペース広さ判別タスク とても狭い 狭い 普通 広い とても広い まな板が置け ない まな板はおけ るが、切った もの等を置け ない まな板、切っ たものなどを 置ける 複数の調理過 程のものを置 ける 調理に十分な スペースがあ る › 置けるものの程度で5段階＋その他で6クラス分類 › 5500枚を分類し、各1000枚になるようデータ拡張
- 25. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) キッチンのワークスペース広さ判別タ スク: 結果 › クラス判別の誤り率: 36.2% › 相関係数：0.717 分類 スコア とても狭い 20 狭い 40 普通 60 広い 80 とても広い 100
- 26. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 画像データセットの外部提供に よるイノベーション創出の試み
- 27. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 国内の賃貸不動産物件データ 約530万件 • 所在地 (郵便番号、最寄り駅など) • 賃料、面積、築年数、部屋タイプ etc. • 建物構造 (木造、鉄骨、鉄筋コンクリート etc.) • 各種こだわり条件 (ペット可、楽器、カウ ンターキッチン、バス・トイレ別 etc.) 物件画像 約8300万点 間取り図 約510万点 重厚な感じの エントランス 日当たりの 良いリビング 主な研究分野: •画像処理 (ディープラーニング) •自然言語処理 •Web・ソーシャルメディア解析 •経済学 (価格推定) •建築学 •都市学 LIFULL HOME’Sデータセット
- 28. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) Washington Univ. in St. Louis 古川泰隆 准教授のグループによる研究 https://arxiv.org/pdf/1612.01225.pdf
- 29. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) ディープ多形態対応学習
- 30. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) どの画像が左の間取り図に対応するかを判別するNN
- 31. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 判別精度 ※緑色の数字はAmazon Mturkのワーカーによる 判別精度
- 32. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 画像にノイズを加えて、写真が間取り 図のどこに対応するかを識別
- 33. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 意図的に画像を加工するとどうなる？
- 34. ≪ S an s a n × C o o k p a d × L I F U L L ≫ 画 像 解 析 ・ 機 械 学 習 エ ン ジ ニ ア M e e t u p i n 表 参 道 ( 2 0 1 7 . 0 8 . 0 1 ) 間取り図ナビゲーションへの応用