Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【Ltech#5】説明可能な機械学習~価格査定とチャットボットを通して

172 views

Published on

2019年2月21日開催
Ltech#5 LIFULL HOME'S 機械学習Night2 
~若手エンジニアが語る機械学習事例~

LT者:LIFULL AI戦略室 横山貴央

Published in: Technology
  • Be the first to comment

  • Be the first to like this

【Ltech#5】説明可能な機械学習~価格査定とチャットボットを通して

  1. 1. 説明可能な機械学習 価格査定とチャットボットを通して AI戦略室 横山 貴央
  2. 2. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。2 説明可能な機械学習
  3. 3. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。3 総務省 AI開発ガイドライン案 (2017) • 透明性の原則: 開発者は、AIシステムの入出力の検証可能性及び 判断結果の説明可能性に留意する。 • アカウンタビリティの原則: 開発者は、利用者を含むステークホルダに対しア カウンタビリティを果たすよう努める。 http://www.soumu.go.jp/main_content/000499625.pdf
  4. 4. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。4 機械学習における解釈性 • 機械学習における解釈性 (Interpretability in Machine Learning) – https://www.ai-gakkai.or.jp/my-bookmark_vol33-no3/ – https://www.slideshare.net/SatoshiHara3/ss-126157179 • 「AIはブラックボックスで信頼できない?」 →説明性、解釈可能性を担保するための取り組み → AIを使ったアプリケーションを「育てていく」際にも 使える視点だと思います
  5. 5. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。5 The big picture of Interpretable Machine learning 例)説明可能性を満たしやすい手法を導入する ・線形回帰 ・決定木 ・…. https://christophm.github.io/interpretable-ml-book/ Chapter 5 Model-Agnostic Methods
  6. 6. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。6 「よい説明」が持つべき要素(抜粋) • Accuracy 未知データに対する正確性 • Fidelity 近似性(モデル間が近似になっている) • Consistency 同じデータで異なる類似モデルでも説明が似る • Stability 同じモデルで異なる類似データでも説明が似る • Comprehensibility 人間にとってわかりやすい • Certainty 説明がどれだけ正しそうかを示せる • Representativeness 予測したい事例をカバーできている https://christophm.github.io/interpretable-ml-book/ 2.5 Properties of Explanations
  7. 7. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。7 自己紹介
  8. 8. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。8 自己紹介 横山 貴央 AI戦略室 出身: バイオ+統計 資格: 臨床検査技師 Yokoyama Takao
  9. 9. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。9 経歴 2015年4月 入社 BO開発グループ~MAM開発グループ AI推進ユニット~AI戦略室 ・アクセス異常検知 ・反響予測 ・チャットボット ・不動産価格推定
  10. 10. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。10 経歴 2015年4月 入社 BO開発グループ~MAM開発グループ AI推進ユニット~AI戦略室 ・アクセス異常検知 ・反響予測 ・チャットボット ・不動産価格推定
  11. 11. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。11 経歴 2015年4月 入社 BO開発グループ~MAM開発グループ AI推進ユニット~AI戦略室 ・アクセス異常検知 ・反響予測 ・チャットボット ・不動産価格推定
  12. 12. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。12 チャットボット
  13. 13. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。13 住まい探しのサポートセンター • 探し方がわからず離脱してしまうお客様を 減らしたい! • 専門のアドバイザーが、 電話、メール、チャットで待機 • 住まい探しのお困り事や、 探し方のご相談に無料で対応
  14. 14. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。14 サービス画面デモ
  15. 15. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。15 Bot導入によって変わったこと • 対応時間の延長 10時~19時 → 年中無休に! • 対応フローの分離 →人間はより専門的な業務に
  16. 16. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。16 Bot導入前 単純な応答 コンシェルジュ
  17. 17. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。17 人間はより専門的な業務に! コンシェルジュ 単純な応答
  18. 18. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。18 人間はより専門的な業務に! botで対応完了したケースが、 閑散期で 10~15% 繁忙期で 20~25% コンシェルジュ 単純な応答
  19. 19. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。19 どういう仕組み?
  20. 20. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。20 想定される文章を大量に学習させた • Microsoft LUISを利用(入力文→ラベル付けをしてくれる)
  21. 21. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。21 ユーザーからの自由入力に対してラベルとスコアを返却
  22. 22. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。22 これは説明可能性を満たしているか?
  23. 23. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。23 これは説明可能性を満たしているか? →…十分に満たしてない。 例えば誤分類が起きたときに、何が原因か確認でき るようにしておくべき。 ※ただし、重大な影響がない場合は、説明可能性は必要ない。
  24. 24. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。24 不動産価格査定
  25. 25. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。25 不動産価格査定 • 不動産鑑定士 – 個別の地域に強い – 有料。お手軽には相談しにくい いろんな地点の情報を一度に知りたい場合は? ざっくりとした参考値を手軽に知りたい場合は?
  26. 26. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。26 不動産価格査定 • 不動産鑑定士 – 個別の地域に強い – 有料。お手軽には相談しにくい いろんな地点の情報を一度に知りたい場合は? ざっくりとした参考値を手軽に知りたい場合は? 物件の参考価格が手軽に調べられる サービスがあると便利!
  27. 27. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。27 相場を知りたいときに無料で活用できる情報 LIFULL HOME’S PRICE MAP ・中古マンションの参考価格を地図上で一覧 ・全国の48万棟・470万戸を掲載 LIFULL HOME’S家賃・価格相場 ・エリア/駅別の家賃相場がわかる ・希望条件の設定も可能 ・中古マンション、戸建、土地をカバー
  28. 28. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。28 サービス画面デモ
  29. 29. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。29 どういう仕組み?
  30. 30. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。30 線形回帰モデル • y:価格 • β:重み • x: 物件の属性(広さ、場所、築年、etc..)
  31. 31. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。31 これは説明可能性を満たしているか?
  32. 32. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。32 「よい説明」が持つべき要素(抜粋) • Accuracy 未知データに対する正確性 • Fidelity 近似性(モデル間が近似になっている) • Consistency 同じデータで異なる類似モデルでも説明が似る • Stability 同じモデルで異なる類似データでも説明が似る • Comprehensibility 人間にとってわかりやすい • Certainty 説明がどれだけ正しそうかを示せる • Representativeness 予測したい事例をカバーできている https://christophm.github.io/interpretable-ml-book/ 2.5 Properties of Explanations
  33. 33. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。33 これは説明可能性を満たしているか? 一部満たしている! → だが、問題点もある。 – 属性ごとの隠れた相互作用がある場合は? – 予測したい対象が線形性を満たさない場合は?
  34. 34. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。34
  35. 35. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。35 例えば、モデルを分ける
  36. 36. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。36 目的ごとにモデルを用意して、相互に近似するようにする
  37. 37. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。37 まとめ
  38. 38. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。38 まとめ 1. 「説明可能性」は「よいAI」の指針になるかも 2. プロダクトの初期は満たせないこともある 3. サービスを機械学習的に「改善していく」場合に 参考になるかもしれません
  39. 39. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。39 まとめ 1. 「説明可能性」は「よいAI」の指針になるかも 2. プロダクトの初期は満たせないこともある 3. サービスを機械学習的に「改善していく」場合に 参考になるかもしれません 4. 懇親会でぜひお話しましょう!
  40. 40. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。40 Fin

×