U-NEXT事例発表-レコメンドシステムのこれまでとこれから

1. U-NEXT事例発表レコメンドシステムのこれまでとこれからコンテンツプラットフォーム事業部 2016年7月26日 Oisix × U-NEXT勉強会

2. 自己紹介 • 柿元崇利（かきもとたかとし） • 大学 / 大学院：分子生物学（修士） • エンジニアになりそこねた理系人間 • 日本IBM（SE採用営業入社） → 起業 → 断念 → U-NEXT

3. T 仲間紹介 • 田中貴之（たなかたかゆき） • 大学 / 大学院：分子生物学（博士中退） • U-NEXTコールセンターのトップセールス（最初はビリ）からレコメンドの人へ転身

4. Agenda 1. U-NEXTの紹介 2. U-NEXTのレコメンドシステム 3. U-NEXTレコメンド実践ならではの課題と対策 4. まとめ

5. U-NEXTの紹介

6. 12万本以上の映像コンテンツ 20万冊以上の電子書籍 2016年4月時点

7. でも、さすがに全部は見れないですよね

8. そうだキュレーション、しよう

9. 2,300特集専門編集者がキュレーション特集を作成 2015年10月時点

10. それでも、やっぱり全部は見れないですよね

11. そうだレコメンド、しよう

12. Recommenders: Tools to help identify worthwhile stuff 推薦システム：どれに価値があるかを特定するのを助ける道具 J. A. Konstan and J. Riedl. Recommender systems: Collaborating in commerce and communities. In Proc. of the SIGCHI Conf. on Human Factors in Computing Systems, Tutorial, 2003. レコメンドとは

13. U-NEXTのレコメンドより好きそうな作品より好きそうな特集

14. Aさんの好きそうな作品 Bさんの好きそうな作品 U-NEXTのレコメンド

15. U-NEXTのレコメンドシステム

16. レコメンドのビジネス的な要求・特徴 • 動画視聴を促進したい（動画視聴継続≒課金購読継続） • 100人いたら100通り、300万人なら300万通りの結果が欲しい • 同じ人でも、1日に1回くらい更新して欲しい • パフォーマンスは損ないたくない（目標応答時間： 100 msec） • でも、準備期間はさして長くない（◯ヶ月で商用リリースしたい）

17. 要求・特徴を満たすために考えたこと • とりあえずデータを放り込む場所を確保する • 小さく初めて試行錯誤する • レコメンドが動画視聴につながることを評価できるようにしておく

18. レコメンドエンジン ※自社開発 API SVR ※自社開発 Solr ※OSS ユーザーごとに異なる作品紹介画面 CMS ※自社開発行動ログ加工済みデータユーザー毎のレコメンド結果レコメンドシステム各種データ・作品・特集・タグ・視聴ログ・評点・お気に入り・レコメンド履歴レコメンドリスト作成・各ユーザー・ポストプレイ・ランキングリストなど A/Bテスト演算結果 • とりあえずデータをTreasure Dataへ突っ込む • Treasure Dataを計算にも最大活用してレコメンドエンジンは小さく始める • A/Bテストできるようにしておく

19. 結果

20. レコメンドありレコメンドなし視聴時間の長さが27.5%アップ 2016年2月時点

21. 57 58 59 60 61 62 63 64 65 レコメンド作品視聴率全視聴の60.8%がレコメンドされた作品に 2016年6月時点

22. U-NEXTレコメンド実践ならではの課題と対策

23. そもそもレコメンドシステムを作ったことがある人がいない

24. 勉強して試行錯誤

25. バイブル推薦システムのアルゴリズム Algorithms of Recommender Systems 神嶌敏弘 ⟨ http://www.kamishima.net/ ⟩ Release: 2016-04-30 23:15:54 +0900; 30410b7 http://www.kamishima.net/archive/recsysdoc.pdf

26. レコメンドの方法嗜好性の近さ 1. 協調フィルタリング（ユーザーベース） • あなたに似た人は、あの作品も見ています 2. 協調フィルタリング（アイテムベース） • これを見た人はあれも見ています 3. 内容ベース • この作品に近いのはあの作品です内容の近さ

27. 嗜好性の近さ 1. 協調フィルタリング（ユーザーベース） • あなたに似た人は、あの作品も見ています 2. 協調フィルタリング（アイテムベース） • これを見た人はあれも見ています 3. 内容ベース • この作品に近いのはあの作品です内容の近さ協調フィルタリングしてみた

28. 評点（★数）の予測アルゴリズムやってみた • 論文で良く出てくる • 結果を評価しやすい • 過去データ全部使って試した • SlopeOne / Pearson /Matrix Factorization

29. 結果：データ量が絶望的に足りない • アクティブなユーザーでも、あまり評点をつけてくれていなかった • 評点データを持つユーザーの割合が圧倒的に足りなかった（nullばっか） • 予測結果が意味を成さない • ヽ(`Д´)ﾉ

30. 評点データを集めよう • 評点データを入れやすいようにしよう • アプリUIをいじらないといけない • UXを損なわないように情報設計しないといけない • WebとかApp StoreとかGoogle Playとか • ヽ(`Д´)ﾉ

31. 現実的に大量入手可能なデータを使おう Explicit feedback 明示的・評点（★数）・アンケート Implicit feedback 暗黙的・動画再生ログ・購入ログ・クリックログ・遷移ログ手に入れるのが難しい好みもわかる手に入れるのが比較的容易直接の好みまではわからない

32. 動画再生ログを使おう • 動画再生ログはU-NEXTの生命線 • 再生、一時停止、視聴再開・・・など精度の高いデータが集まる • 視聴時間の長さもわかる • 長時間視聴している＝完走率が高い≒評点が高めと想定できる

33. 協調フィルタリング（ユーザーベース）してみたアイテム１アイテム２アイテム３レコメンド視聴類似ユーザー

34. 1. 動画再生ログを集める • 必要データをTreasure Dataに集める 2. データをクレンジング、加工し、レコメンドエンジンに取り込む • td_commandでTreasure DataにSQLクエリを投げる • Treasure Dataの動画再生履歴から各作品の視聴完走率を求め、スコア化を行う 3. ユーザー同士の類似性を計算する • スコア化されたベクトルデータからユーザー同士の類似性を距離関数を用いて計算し、近傍ユーザーを取得する 4. レコメンド作品リストを算出 • 算出したユーザー同士の類似性と近傍ユーザーの視聴履歴から、ユーザーごとにレコメンド作品を算出する協調フィルタリング（ユーザーベース）してみた

35. 結果：多くのユーザーに適切なレコメンドを返せなかった • 視聴しているユーザーには良い感じに近傍ユーザーを算出でき、レコメンド結果が得られた • 視聴数が少ないユーザーには、視聴していないユーザーが近いと算定されてしまった≒新規加入者や視聴数が少ないユーザーは、適切なレコメンド結果が得られなかった • ヽ(`Д´)ﾉ

36. アイテム１アイテム２アイテム３類似アイテムレコメンド視聴協調フィルタリング（アイテムベース）してみた

37. 1. 動画再生ログを集める • 必要データをTreasure Dataに集める 2. データをクレンジング、加工し、レコメンドエンジンに取り込む • td_commandでTreasure DataにSQLクエリを投げる • Treasure Dataの動画再生履歴から各作品の視聴完走率を求め、スコア化を行う 3. 作品同士の類似性を計算する • スコア化されたベクトルデータから作品同士の類似性を距離関数を用いて計算し、近傍アイテムを取得する 4. レコメンド作品リストを算出 • 算出した作品同士の類似性と各ユーザーの視聴履歴から、ユーザーごとにレコメンド作品を算出する協調フィルタリング（アイテムベース）してみた

38. いい感じの結果が得られた display_name rec_sakuhin_code display_name rec_score 新世紀エヴァンゲリオン SID0002648 進撃の巨人 0.13 新世紀エヴァンゲリオン SID0011645 HUNTER×HUNTER 0.09 新世紀エヴァンゲリオン SID0011863 寄生獣セイの格率 0.09 新世紀エヴァンゲリオン SID0002286 化物語 0.09 新世紀エヴァンゲリオン SID0021362 暗殺教室（第2期） 0.09 新世紀エヴァンゲリオン SID0013395 北斗の拳 0.09 新世紀エヴァンゲリオン SID0020090 おそ松さん 0.08 新世紀エヴァンゲリオン SID0013600 銀魂(１年目) 0.08 新世紀エヴァンゲリオン SID0002236 スラムダンク 0.08 新世紀エヴァンゲリオン SID0003261 ふしぎの海のナディア 0.08

39. 視聴時間も伸びた

40. 嗜好性の近さ 1. 協調フィルタリング（ユーザーベース） • あなたに似た人は、あの作品も見ています 2. 協調フィルタリング（アイテムベース） • これを見た人はあれも見ています 3. 内容ベース • この作品に近いのはあの作品です内容の近さ内容ベースしてみた

41. 内容ベースしてみた 1. コンテンツ情報を集める • 必要データをTreasure Dataに集める 2. 作品に付与されたタグデータを加工しレコメンドエンジンに取り込む • td_commandでTreasure DataにSQLクエリを投げる 3. アイテム同士の類似性を計算する • スコア化されたタグベクトルデータからアイテム同士の類似性を距離関数を用いて計算する 4. レコメンド作品リストを算出 • 算出したアイテム同士の類似性とユーザーの動画再生履歴から、ユーザーごとにレコメンド作品を算出する

42. 結果：まだまだ改善余地あり • 協調フィルタリング（アイテムベース）に比べて、レコメンド作品視聴率がだいぶ低かった • が、協調フィルタリングでは望みにくいコールドスタート問題の解決とセレンディピティあるレコメンド結果を期待できる • これからもっとがんばろう

43. より良いアルゴリズムの開発作品紹介のテキスト（あらすじなど）形態素解析（単語に分解）ベクトルデータ単語スコアスパイダー 1 活躍 1 映画 1 ・クラスタリング（クラス間の関係）・アイテムベース（アイテム同士の近さ）ベクトル同士を比較

44. データ加工方法 • Apache Sparkでデータ加工 • Kuromojiで形態素解析 • 多次元データをt-SNEで次元削減（ C++） • C++は 4GB 以上のメモリを使うため利用 • Java JNIでラップし、Scalaで実行

45. Spark processing overview Load Tokenize Vectorize Cluster Loads text data and assign class (assigned classes are maintained during processing) Tokenize text and produce: • plain tokens from Kuromoji • tokens with keyphrases combined Run word2vec on tokens with keyphrases Also do PCA with 128 components Runs t-SNE clustering on word2vec data • project to 3D, set iterations, PCA components (Implemented in C++ and used from Scala with Java JNI) Visualize Explore cluster space in 3D (web browser) • user WebGL for visualization

46. 開発仲間クリスチャン・モエンソフトウェアエンジニア Apache LuceneおよびApache Solrのコミッター（Kuromojiをベースにした）日本語サポートに携わるノルウェーオスロ大学情報科学修士号取得ゲーテ・ランバツェンソフトウェアエンジニアノキア・リサーチ・センターの東京オフィスでハードウェアおよびソフトウェアのプロトタイプ開発に携わった後、ソニーデジタルネットワークアプリケーションズ（SDNA）で、コンシューマー向けの電化製品開発、アティリカへ立命館大学情報システム学修士号取得

47. レコメンド精度の評価はユーザーを観察しないとわからない

48. 開発テスト本番テスト全体適用 A/Bテストくらいやらないと・・・

49. ユーザー単位でロジック出し分け

50. レコメンド計算実行 # compute a recommendation score # set a parameter value

51. 非エンジニアも関わるにはGUI欲しい

52. A/Bテストツール（GUI）

53. レコメンドロジック設定画面

54. キュレーション特集の表示ロジック設定

55. ユーザーグループ設定画面

56. ロジックブレンド設定

57. スケジュール管理

58. イケてるロジックを判断できないといけない

59. レコメンド評価 • ユーザー（ロジック）単位で動画再生につながった割合を評価

60. まとめ

61. • 一定の成果を挙げることに成功 • ランダムに比較し視聴時間3割増、再生の6割がレコメンド経由 • まだまだ改善の余地あり • コールドスタート問題の解決、セレンディピティの演出、世のトレンド反映、などなど • AIとかDeep Learningとか言ってみたい

62. お約束

63. U-NEXTを支える技術

64. •U-NEXT TV app •PC browser (IE, Edge, Chrome, Firefox) •iOS Mobile/Tablet app •iOS Mobile/Tablet app Chromecast •iOS Mobile/Tablet browser •Android Mobile/Tablet app •Android Mobile/Tablet app Chromecast •Android Mobile/Tablet browser •Android TV app •Smart TV app •ACTVILA TV app •Other Set Top Box app アニメ放題 •PC browser •iOS Mobile/Tablet app •iOS Mobile/Tablet app Chromecast •Android Mobile/Tablet app •Android Mobile/Tablet app Chromecast U-NEXTが対応するデバイス

65. 全領域でエンジニア募集中！メール： mid-career_recruiting@unext.jp Wantedly： https://www.wantedly.com/projects/59479

66. U-NEXTのレコメンドを進化させたいエンジニアは特に熱烈に募集中！メール： mid-career_recruiting@unext.jp Wantedly： https://www.wantedly.com/projects/59479

U-NEXT事例発表-レコメンドシステムのこれまでとこれから

You are reading a preview.

Check these out next

U-NEXT事例発表-レコメンドシステムのこれまでとこれから

More Related Content

Slideshows for you (20)

Similar to U-NEXT事例発表-レコメンドシステムのこれまでとこれから (8)

Recently uploaded (20)