Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

データ分析チームを組成して3ヶ月で学んだこと

623 views

Published on

from https://ichigayageek.connpass.com/event/100730/

Published in: Technology
  • Be the first to comment

  • Be the first to like this

データ分析チームを組成して3ヶ月で学んだこと

  1. 1. データ分析チームを 3ヶ月率いて学んだ、 データ分析プロジェクトの進め方
  2. 2. 本資料の目的 データ分析プロジェクトを進めてみて得られた経験を、 エンジニアの筆者 の視点でまとめました。 先輩方のアドバイスやご意見を頂きたい 一緒にデータ分析チームを作っていく人を探したい データサイエンティストのキャリアパスと成果の出し方を考えたい と思っていますので、気になるところがあればご質問ください 技術的な話はしません。。
  3. 3. 自己紹介 チーム設立や外部環境 データ分析プロジェクトを通じて学んだこと データ分析プロジェクトで経験した事例 広告配信シミュレーション テキスト広告自動生成 ※チーム運営の話のため、オプト特有の事情などを含みます。
  4. 4. 自己紹介 所属 株式会社オプト 役割 チーム マネージャー 得意 など (データサイエンスの経験はほとんどない。。) 過去の資料   リコメンドエンジン作った話
  5. 5. チームの設立や外部環境
  6. 6. データ分析チームの立ち上げ経緯 アドテク業界としても 活用などが騒がれる中で、オプトとしても長年のデータ を蓄積したり、採用活動など準備をしてきました。
  7. 7. チームの発足 広告代理店オプトの マーケティング活動全般を データサイエンスで支援するチーム
  8. 8. 何をやるチームか 各部署にて、データ分析スキルが必要とされるもの全般を担います ニーズ発掘から現場での活用まで通して行います (必要に応じて周りを巻き込みます) データ分析の観点でニーズ発掘など出来る人が社内にほぼ居ないのと、分析 結果を活用しないまま終わると貢献したと言えないからです。 (職種としては『機械学習エンジニア』が近そう)
  9. 9. チームの環境 DIチーム 部長現場責任者 現場担当者 エンジニア 実装手伝って この案件を 進めますこの案件、いくら 儲かりますか? どうやったら現場で使 える? 事業部 開発部
  10. 10. データ分析プロジェクトを 通じて学んだこと
  11. 11. 学んだこと これまで進めてきた所感としては、思ったよりも普通のシステム開発の進め方 と近かったです。 違いとしては、 出力を保証出来ないので、現場で使えるかわからない。 開発スキルに加えて、データサイエンススキルも必要になる。 で何が出来るかが分からず、ビジネス側がイメージし辛い。 あたりかと。
  12. 12. 出力を保証出来ないので、現場で使えるかわからない 計算ロジックや精度について繰り返し説明する。 人が確認出来る参考情報を出しておく。 自動化していいか人のチェックを入れるかを検討する。 入出力をいじるとモデルを評価し直す必要があるため慎重になる。
  13. 13. 開発スキルに加えてデータサイエンススキルも必要になる 全てチーム内でやるのは難しいので、周りに手伝ってもらう。 手伝ってもらう際にリソースなど確保してもらえるように、こまめに進捗状 況や手を貸して欲しいことをアピールする。 技術アドバイザーなどを招聘する
  14. 14. で何が出来るかが分からず、ビジネス側がイメージし辛い チームがよく分かっていない事は、お互い迷子になるので手を出さない。 裏で学んでおいて、説明出来るようになったら提案する。 他社事例や論文などの知見を定期的に社内に共有する。
  15. 15. データ分析プロジェクトで 経験した事例
  16. 16. プロジェクトの仕事の進め方例 こちらをベースに説明していきます
  17. 17. 事例1:広告予算アロケーション
  18. 18. 広告配信シミュレーション とは 過去実績を元に、今後の 数がどのくらいになるのか予測するもの。
  19. 19. 期待効果の概算までは順調に進み、 ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用
  20. 20. の設計 担当者「こんな情報を使ってこんなイメージの出力がしたい」 チーム「作りました。精度がイマイチですが」 担当者「あー、現場ではこの情報も使ってますね」 チーム「(モデル作成と評価をし直さないと )」 ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用 入出力がブレると手戻りが大きくなりがち。 なので、早めに画面などで共有しておくとズレが減ります。 (作り込むと些細な 要望が頻発するので、手書きくらいが良いかも)
  21. 21. 精度・計算の擦り合わせ チーム「外れ値はどう扱えばいいでしょうか?」 担当者「(ふわっと)こういうのが出たら除くようにしている」 チーム「では、外れ値の定義をこれにして進めてみます。例えばこう」 チーム「 がこのくらいあれば信用出来そうですがどうでしょう?」 ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用 データの扱い方は、現場の方だと判断出来ないこともある。 現場の知見を取り入れつつも、主に チームの方で設計する。
  22. 22. 活用フェーズに向けての準備 チーム「アクセスは社内 から?頻度や利用時間帯は?」 担当者「日中に社内からアクセス出来れば。人数は○人くらい」 管理者「この時間帯はあまり に負荷かけないで欲しい」 チーム「(アーキテクチャ設計難しい。。実装も大変。。)」 ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用 が大方出来たら、活用に向けた非機能要件を考える。 チーム外のエンジニアと設計を考えたり、実装を手伝ってもらう。 (手が空いてなければ、要件を落としつつチーム内でやる)
  23. 23. 活用してもらう チーム「作りました!使ってみて下さい」 責任者「良さそう。業務は回せる。」 担当者「細かいけど、ココの がもっとこうなると〜〜」 チーム「ここから先は他のエンジニアにお任せします」 ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用 要望は尽きないですが、エンジニアの都合がつき次第そちらにお任せ。 ・データ分析スキルが必要なら、またチームにご相談頂く。 ・ や非機能要件であれば、エンジニア側で直す。
  24. 24. 事例 :テキスト広告自動生成
  25. 25. テキスト広告自動生成 とは from: その名の通り、広告文を自動生成します。 ゴールがわかりにくく、 要素を含みます。
  26. 26. 何を作りたいか検討 責任者「重要なんだけど、何が出来るかわからないから判断出来ない」 チーム「( どこから説明しようか。。)」 ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用 責任者からはふわっとした要望しか聞き出せず。。 何をするか決めるためにも、まずは同業他社の事例を説明してイメージを付 けてもらうことに
  27. 27. 既存事例や手法の紹介 ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用 要件を引き出すために、同業種の事例を中心に技術面の説明。 from:from: https://www.youtube.com/watch?v=57p1TOAlCGU from: https://www.cyberagent.co.jp/news/detail/id=21708
  28. 28. データ分析にハマる ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用 オプトの技術顧問に、広告分野でよく使われる機械学習技術や、 データの特徴、ハマりポイントを教えて頂き、 筋の悪い方向の調査をしてしまうのを防ぐことに。 チーム「(過去実績をどういう粒度で分類すればいいか勘が働かない)」 チーム「(とりあえず全部試しても良いけど時間かかる )」
  29. 29. DIチーム 技術顧問 現場責任者 事業部 開発部 ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用 他社でこういう 事例があるよ 現場担当者 ○○は作れるけど、 ☓☓は難しいよ 活用にあたっての ハマりどころ教えて
  30. 30. 何を作りたいか検討2 責任者「テキスト広告の生成なら需要あるし出来そう。」 チーム「論文など見るとたくさん手法があるけど、どれにしましょう?」 責任者「どれが良いの?全部試したい」 チーム「(運用可能性とかモデル評価とか時間かかるな )」 ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用 論文があるだけで活用事例が無さそうなものは、実現可能性の評価も大変な ので避け、ある程度予想&説明できるもので解決を試みることに。
  31. 31. とりあえず チーム「過去の広告文から学習させるとこんな出力になります」 担当者「文章として成立しないものが多くて使えないな。」 チーム「何をもって自然な文章と言うかは難しいですね。。」 チーム「いっそ文法ルールと単語辞書作るのはどうでしょうか?」 ①ニーズ発掘 ②期待効果 の概算 ③データ分析 PoC作成 ④分析結果 の活用 闇雲に調査すると迷子になるので、目的を常に再確認して、 チームの方で見込みが無いと思った手法は早々に方針転換を促します。
  32. 32. おわりに
  33. 33. まとめ 当初は「ビジネス知見、開発、データ分析全てのスキルを持たなきゃ」と思ってい ましたが、開発案件と同じく対話でカバー出来そうです。 説明スキルや相手の考えを読み取る勘が要求されるかも? コミュ力大事 開発メンバーと連携しやすいスキルセットだと良いかも。

×