[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み

1. Leverages Co., Ltd　Data Strategy Office  データドリブン施策による  サービス品質向上の取り組み  丸の内アナリティクスバンビーノ#23  2021/07/28  レバレジーズ株式会社  データ戦略室室長阪上晃幸 

2. Leverages Co., Ltd　Data Strategy Office  自己紹介  名前：阪上晃幸（さかうえてるゆき）    出身：兵庫県宝塚市    バックグラウンド：経済学（計量経済学、マクロ経済学）     趣味：読書、ブログ作成、トランペット、料理     大学院修了後、2012年にレバレジーズに入社し、   SEM（検索エンジンマーケティング）を中心にマーケティング業務を行い、 2017年より社内の便利屋になり、2019年より   データ戦略室の発足と同時に室長に。    丸の内アナリティクスバンビーノは2016年6月にLT以降、   5年ぶり2度目の発表。  2 

3. レバレジーズ株式会社　Leverages co.,Ltd.   〒150-6190　東京都渋谷区渋谷 2-24-12　   渋谷スクランブルスクエア 24・25階   2005年 4月 6日   27拠点（海外拠点を含む、2021年5月時点）   正規：1183名　非正規：675名（2021年5月時点）   5,000万円  自社メディア事業・人材関連事業・システムエンジニアリング事業   M&Aコンサルティング事業・ ASP/ SaaS/クラウド関連事業   有料職業紹介事業　 13-ユ-302698   労働派遣事業　派 13-302333     社会の課題を解決し、関係者全員の幸福を追求し続けることをミッションに、メディア・人材・システムエンジニアリング・M&Aの領域で国や業界をまたいだ問題解決を行っています。各分野のスペシャリストが集うオールインハウスの組織構成と、業界を絞らないポートフォリオ経営で、時代を代表するグローバル企業を目指します。   経営判断を早め、実現性を上げるため、分社・子会社化を行っています。     Leverages Groupについて  会社名  所在地    設立  拠点数  従業員数  資本金  事業内容    認定  ・レバテック株式会社   ・レバレジーズキャリア株式会社   ・レバレジーズメディカルケア株式会社   ・レバレジーズオフィスサポート株式会社   ・レバレジーズM&Aアドバイザリー株式会社     会社概要  レバレジーズグループ会社一覧 

4. Leverages Co., Ltd　Data Strategy Office  ブログを始めました！  4  https://analytics.leverages.jp/ 

5. Leverages Co., Ltd　Data Strategy Office  ブログを始めました！  5 

6. Leverages Co., Ltd　Data Strategy Office  今回お話しする内容  ● 0章：レバレジーズの課題/分析環境など  ● 1章：LTV計算と広告投資  ● 2章：職務経歴書の解析  ● 3章：機械学習の解釈可能性を用いた入力補助（PoC）  6 

7. Leverages Co., Ltd　Data Strategy Office  話すこと・話さないこと  ● 対象リスナー  ○ データを蓄積して何かできないかを知りたいマーケターやエンジニア    ● 話すこと  ○ 課題とデータを用いた施策の事例紹介    ● 話さないこと  ○ 手法の詳細（データやアルゴリズム）  ○ 具体的にどのサービスで使っているか  資料は公開しますので、メモは不要 7 

8. Leverages Co., Ltd　Data Strategy Office    ● 0章：レバレジーズの課題/分析環境など  ● 1章：LTV計算と広告投資  ● 2章：職務経歴書の解析  ● 3章：機械学習の解釈可能性を用いた入力補助（PoC）  8 

9. Leverages Co., Ltd　Data Strategy Office  0章：レバレジーズの課題/分析環境など  ● 課題  ○ 顧客体験を改善すること  ■ やりたい仕事ができる/キャリアアップができる  ■ プロジェクトが成功する  ■ スキルアップできる    ○ 社員の生産性向上  ■ 情報検索にかける時間の短縮など    ○ マーケティング  ■ ROIの向上  9 

10. Leverages Co., Ltd　Data Strategy Office  0章：レバレジーズの課題/分析環境など  生成データ生成データ収集データレイクデータウェアハウスレコメンドシステムデータ可視化アドホック分析収集蓄積活用利益向上意思決定構造化データ構造化データ非構造化データ赤線のデータ基盤を起点にデータ分析業務を行なっている  10  データ基盤 

11. Leverages Co., Ltd　Data Strategy Office  0章：レバレジーズの課題/分析環境など  ● よく分析に用いる言語/ツールなど  ○ Python  ○ R  ○ Stan  ○ SQL(BigQuery)  ○ MeCab  11 

13. Leverages Co., Ltd　Data Strategy Office  1章：LTV計算と広告投資  ● 問題設定  ○ マーケティングにおける広告予算を決めるには  顧客生涯価値(CLTV)を求める必要がある。  ビジネスモデルによっては解約率次第でCLTVは大きく変わる。    ● データ  ○ 数年分の顧客との取引レコード（月単位）  ○ それに紐づく情報  13 

14. Leverages Co., Ltd　Data Strategy Office  1章：LTV計算と広告投資  ● 手法  ○ 生存時間分析  ■ ベイズ統計学でのWeibull分布を用いた  比例ハザードモデル  ○ RやStanを使用  14 

15. Leverages Co., Ltd　Data Strategy Office  1章：LTV計算と広告投資  ● 評価指標  ○ 1年間、2年間の顧客売上金額の  RMSE(二乗平均平方根誤差)  ■ 🤔。○（1~2年て生涯ではないのでは？）    ● 進め方  ○ データの整形  ○ 離脱の定義の設定（N期経つと離脱とみなす）  ○ モデルの当てはめ（様々なカテゴリデータで回帰）  ○ 検証用データでの精度の比較  ○ 従来手法（ルールオブサム）との比較  15 

16. Leverages Co., Ltd　Data Strategy Office  1章：LTV計算と広告投資  16  LTVの計算方法と生存曲線  月毎の継続確率の推定   割引現在価値に関しては事業部ごとに自由に設定。

17. Leverages Co., Ltd　Data Strategy Office  1章：LTV計算と広告投資  ● 結果  ○ 検証用データにおいてルールオブサムよりもよくなったので、意思決定に利用している。  17  ルールオブサムでは3年目を高く見積もりすぎている。

18. Leverages Co., Ltd　Data Strategy Office  今回お話しする内容  ● 0章：レバレジーズの課題/分析環境など  ● 1章：LTV計算と広告投資  ● 2章：職務経歴書の解析  ● 3章：機械学習の解釈可能性を用いた入力補助（PoC）  18 

19. Leverages Co., Ltd　Data Strategy Office  2章：職務経歴書の解析  ● 問題設定  ○ 顧客の職務経歴情報はWord・PDF・Excelなどで  蓄積しているが、データ化して活用することが十分に  できていなかった。  ■ 用途として求人とのマッチングや検索があげられる。    ● データ  ○ 顧客の職務経歴情報はWord・PDF・Excelなど  ○ 顧客関連の別レコード情報  19 

20. Leverages Co., Ltd　Data Strategy Office  2章：職務経歴書の解析  20  典型的な職務経歴書  期間  社名  職務内容 

21. Leverages Co., Ltd　Data Strategy Office  2章：職務経歴書の解析  ● 手法  ○ daXtra（ダクストラ）というレジュメ解析に特化した  SaaSのAPIを活用（有償）  ■ 職務経歴書をアップロードするとJSON形式のデータが返される。（API のサーバにデータは残らないようになっている）  ● そのJSONにはスキル名やその年数、  最後に用いた年や、どの企業に何年在籍したのかが入っている。  ○ ETLなど諸々、Pythonを使用  21 

22. Leverages Co., Ltd　Data Strategy Office  2章：職務経歴書の解析  ● 評価指標  ○ なし  ■ 一応、サンプリングしたデータでの  職務経歴書と抽出結果との適合率は見ている。    ● 進め方  ○ 職務経歴書をPythonで読み込み、WebAPIを用いて解析  ○ JSONを解析し、テーブルを生成  ○ 解析した結果と職務経歴書を比較して、  正しい値が入っているかチェック。（初回のみ）  ○ DWHに日次でアップロードするワークフローを構築（初回以降）  22 

23. Leverages Co., Ltd　Data Strategy Office  2章：職務経歴書の解析  ● 結果  ○ フォーマットとして苦手なものも一部あるが、だいたいの職務経歴書において構造化データとして抽出することができた。  23 

24. Leverages Co., Ltd　Data Strategy Office  2章：職務経歴書の解析  24  例：スキル情報を取得（DWHに蓄積されている）  スキルの経験月数  最後にそのスキルを使った年  

25. Leverages Co., Ltd　Data Strategy Office  2章：職務経歴書の解析  25  例：職務経歴情報を時系列で取得（DWHに蓄積されている）  会社名  業務内容  期間 

26. Leverages Co., Ltd　Data Strategy Office  2章：職務経歴書の解析  26  活用例1：ニッチなスキルの検索    希少性の高いスキルが必要な求人がある場合に、それを有する方を検索することが容易に。  活用例2：年収の推定（機械学習）    スキルの情報を使って年収をある程度の精度で予測することが可能に。 

28. Leverages Co., Ltd　Data Strategy Office  3章：機械学習の解釈可能性を用いた入力補助  ● 問題設定  ○ 人の職種に関するデータをこれまで人間が判断して  入力していたが、半自動化できればデータ入力が捗るのではないか。  ■ ただし、半自動化するにも機械的に判断した際の根拠が欲しい。    ● データ  ○ 職種が付与されたユーザーデータ（職種は70種類以上）  ○ 職務経歴データ  28 

29. Leverages Co., Ltd　Data Strategy Office  3章：機械学習の解釈可能性を用いた入力補助  29  ● 手法  ○ LIME  ■ Local Interpretable Model-agnostic Explanationsの頭文字をとったもので、機械学習によって構築したモデルに関して、その予測結果を人間が  解釈しやすくする技術です。  ● ゲーム理論の知見を応用したSHAPなどもある。  ○ 多クラス分類のためにscikit-learnのLabelEncoderを利用  ○ 今回扱うアルゴリズムはRandom Forest（RF）  ■ このRFのモデルにLIMEを適用する。  ○ Pythonを使用 

30. Leverages Co., Ltd　Data Strategy Office  3章：機械学習の解釈可能性を用いた入力補助  30  参照元：https://github.com/marcotcr/lime   猫を猫だと推論した根拠は黄緑の領域、犬を犬だと推論した根拠は赤の領域

31. Leverages Co., Ltd　Data Strategy Office  3章：機械学習の解釈可能性を用いた入力補助  ● 評価指標  ○ Precision（適合率）  ■ 予測した職種が当たっているかどうかを評価    ● 進め方  ○ 前処理  ○ 複数のクラスを分類するための特徴量を作成  ○ 一定の精度に至るまで交差検証を続ける  ○ 一定の精度に至ればLIMEを適用してみる  31 

32. Leverages Co., Ltd　Data Strategy Office  3章：機械学習の解釈可能性を用いた入力補助  ● 結果  ○ テスト用データでの精度が77%となった。  ■ 人間が100%に近いと思うとまだ低い水準。  32 

33. Leverages Co., Ltd　Data Strategy Office  3章：機械学習の解釈可能性を用いた入力補助  33  【LIMEの結果】  職務経歴書から抽出したスキル情報を特徴量に学習したモデルから、  その予測の根拠としている特徴量を可視化している。  YamahaやCisco のネットワーク系の機器の経験から、ネットワークという職種を予測納得感はありそう。

34. Leverages Co., Ltd　Data Strategy Office  3章：機械学習の解釈可能性を用いた入力補助  34 

35. Leverages Co., Ltd　Data Strategy Office  3章：機械学習の解釈可能性を用いた入力補助  35  ユーザー情報の入力機械学習での予測 + LIMEでの可視化解釈可能性の情報を見ながら、職種のデータを入力するユーザー情報の入力ユーザーの過去に取り組んだ仕事内容を熟読人手で、複数ある分類表を見ながら職種を決め入力するこれまで  これから  今後の方向性 

36. Leverages Co., Ltd　Data Strategy Office  まとめ/今後の展望  ● レバレジーズではマーケティング活動、  営業活動の効率化、データ蓄積支援など幅広く  データサイエンスを適用している。今回はその一部を紹介した。    ● 今後は、データ基盤をより発展させ、データドリブン施策を低コストで実行すること、  より増加していく機械学習プロダクトを管理していく体制を構築していく。  36 

37. Leverages Co., Ltd　Data Strategy Office  Appendix：発表していないが取り組んでいること  ● 求人レコメンドシステム開発  ● マーケティング施策の効果検証のための統計モデリング  ● 機械学習を用いた、Google広告のためのオフラインコンバージョン値の予測  ● オウンドメディアの評価向上のための自然言語処理技術の適用  37 

38. Leverages Co., Ltd　Data Strategy Office  Q&A用  ● 0章：レバレジーズの課題/分析環境など  ○ データ基盤、OSSでの分析    ● 1章：LTV計算と広告投資  ○ 生存時間分析、CLTV    ● 2章：職務経歴書の解析  ○ 職務経歴書、解析、ETL、スキル検索、年収予測    ● 3章：機械学習の解釈可能性を用いた入力補助（PoC）  ○ 機械学習の解釈可能性、マルチクラス分類  38 

[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み

[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み

Recommended

More Related Content

What's hot

What's hot(20)

Similar to [丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み

Similar to [丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み(20)

More from Teruyuki Sakaue

More from Teruyuki Sakaue(13)

Recently uploaded

Recently uploaded(20)

[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み