イベント

1. 機械学習の導入で
反省した 3つの事
株式会社ビザスク CTO 花村創史

2. まえおき
✘ ビザスクにおける機械学習の導入事例
○ 導入を検討中の方向け
✘ Pythonの話はほとんどない
✘ 高度に技術的な話はほとんどない
○ LeapMindさんよろしくお願いします！

4. ビザスク + AI
✘ 知見をもったサラリーマン(アドバイザー)と、ビジネスのアド
バイスを求める企業をマッチング
✘ 登録アドバイザー 約35,000人

5. 機械学習導入のチェックポイント
✘ 機械学習で解決したい課題は明確か？
✘ ルールベースで(人手で)やってみたか？
○ ルールベースで今後もやっていけるのか
✘ 十分なデータがあるか
✘ 結果にミスあっても許されるか
✘ ミスよりもスピードが優先されるか

6. 設定された課題：知見の分類
アドバイザー ビザスク
スタッフ
製造業 / 石油製品 / フィルム
医療 / ヘルスケア
医療 / 介護
IT / Web / SRE

7. 設定された課題：知見の分類
✘ アドバイザープロフィールのクラス分類
○ (当時)プロフィール15,000件、400クラスに分類
✘ 専門知識を持ったスタッフが毎日分類
○ 分類済みのデータが既に存在している
○ 自動化することで人的リソース解放
✘ 機械学習の研究室に所属するインターンが挑戦

8. Challenge !!

9. トライ その1
✘ 2万語の名詞を抽出 => ベクトル化, 400クラスに分類
✘ bag of wordsベクトルから分類器
○ 正解率14%
✘ SVDでベクトルを１００次元に圧縮し非線形分類器
○ 正解率5%
⇒ クラス多過ぎ, データ量の偏り, 名詞の選別が必要か？

10. トライ その2
✘ 3階層の400クラスを2階層に絞る => 83クラスへ
✘ gensimとscikit-learnを用いて、素性選択
○ 最適な分類器をひたすら探す
○ 経験データ文書の名詞と動詞を素性に用いたbag of
wordsベクトルを、linearSVMで学習して獲得した分類器
の、正解率38.2％

11. トライ その3
✘ 日本語版 Wikipediaをプレーンテキスト化
○ Mecabで基本形に直しつつ分かち書き
○ W2Vにより各単語をベクトル化
✘ データのクレンジング
○ データがおもった以上に汚なかった
○ 重複しているデータの削除
○ 誤った分類がされているものを除外

12. トライ その5
✘ 文章長が短いデータに対するクラス分類
○ Distributional Representations of Words for Short Text Classification
○ クラスごとに意味空間上に多次元正規分布を最尤推定で捉え、文書が各ク
ラスに属する確率を比較する
○ 母集団の９割に対して正解率は 25%。
■ bag of wordsモデルは 45〜55%
○ 「飲食」と「食料品」で間違え => 意味はなんとなく捉えられている
○ クラス間のトピックが似通っている、語の意味を考慮すると、逆に性能が下
がってしまう。

13. トライ その6
✘ ラベルの意味を考慮した分類器の検証
○ 文書に出てくる単語のベクトルの平均と、ラベルの単語
のベクトルの類似度を測り、もっとも類似度が高いラベ
ルを割り当てるアプローチ
○ 母集団の９割に対して正解率は５％ほど..
○ 文書内単語の共起情報はラベルの単語の共起情報と
必ずしも近くない

14. 画面デモ

15. 反省会

16. ちょっと反省
「分類済みのデータあるし
機械学習はすぐはじめられそう」
✘ 一番最初に泥臭くクレンジング
✘ そのまま使えるデータなどない

17. ふつうに反省
「分類作業を自動化しよう！」
✘ 分類のサジェストが関の山
✘ サジェストから正解を選ぶために、コン
テンツを読む必要が...あれ？

18. かなり反省
✘ 担当したインターンが別の会社へ
○ 周囲のエンジニアの理解度がまだ低
○ 会社として本腰を入れていなかった
■ ちょっとどんな感じか知りたい

19. 導入した感想
✘ クラス分類に関してはまだまだ本格導入できない
○ 思いっきり泥にまみれる覚悟が必要
✘ 可能性に片鱗は見えた
○ 表示しているデータ自体の価値は今後下がる
○ マッチングのロジックにこそ価値
✘ APIサービスで良かったのではないか

20. 今後のはなし

21. ちょっと宣伝

22. Mission
組織・世代・地域を超えて、
知見を集めつなぐことで、
イノベーションに貢献する

23. AIでサービス伸ばしたい方募集！
✘ 0からシステム作って見たい方！
✘ AIでの経験優遇 (業務 or 個人)
✘ Webエンジニアの経験優遇
○ 企画,実装からサービス導入,効果検証まで一
貫して担当
✘ 会社負担で家事代行サービス！

24. ご清聴ありがとうございました！
花村 創史 follow me @hanasoo
wantedlyは
コチラ！