SlideShare a Scribd company logo

パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN

パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN

1 of 33
Download to read offline
Confiden'al	
  :Discussion	
  purpose	
  only	
Copyright	
  (C)	
  2014	
  Yahoo	
  Japan	
  Corpora'on.	
  All	
  Rights	
  Reserved.	
2014/06/13	
パーソナライズニュースを支える
ML業務のまわしかた
@ Yahoo! JAPAN
ヤフー株式会社 データソリューション本部
村尾一真 深澤良介
Confiden'al	
  :Discussion	
  purpose	
  only	
 Copyright	
  (C)	
  2014	
  Yahoo	
  Japan	
  Corpora'on.	
  All	
  Rights	
  Reserved.	
P2アジェンダ
•  自己紹介
•  Yahoo! JAPANのパーソナライズニュー
スとは?
•  ML(機械学習)の使いどころ
•  MLの精度評価と運用サイクル
•  まとめ
Confiden'al	
  :Discussion	
  purpose	
  only	
 Copyright	
  (C)	
  2014	
  Yahoo	
  Japan	
  Corpora'on.	
  All	
  Rights	
  Reserved.	
P3本日のGoal
ü  MLの利用と運用について
なるべく具体的に話をする
#MLCT
Confiden'al	
  :Discussion	
  purpose	
  only	
 Copyright	
  (C)	
  2014	
  Yahoo	
  Japan	
  Corpora'on.	
  All	
  Rights	
  Reserved.	
自己紹介
Confiden'al	
  :Discussion	
  purpose	
  only	
 Copyright	
  (C)	
  2014	
  Yahoo	
  Japan	
  Corpora'on.	
  All	
  Rights	
  Reserved.	
P5自己紹介
深澤 良介
2009年入社
検索サービスの開発、検索エンジンライブラリの開発を経
て、2013年4月にデータソリューションへ
今回のサービスの担当範囲:
データ入出力から配信までシステム全般
専攻:
自然言語処理、質問応答システム
Confiden'al	
  :Discussion	
  purpose	
  only	
 Copyright	
  (C)	
  2014	
  Yahoo	
  Japan	
  Corpora'on.	
  All	
  Rights	
  Reserved.	
P6自己紹介
村尾 一真
2012年入社
自然言語処理 -> レコメンデーション
今回のサービスの担当範囲:
モデル精度改善
専攻:
適用対象に合った機械学習の改善(HCI、音楽情報処理)
Ad

Recommended

A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...Recruit Technologies
 
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~Recruit Technologies
 
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のことMachine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のことNaoto Tamiya
 
情報処理とは何か あとbigdataとか
情報処理とは何か あとbigdataとか情報処理とは何か あとbigdataとか
情報処理とは何か あとbigdataとかTokoroten Nakayama
 
リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介Recruit Technologies
 
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4shakezo
 

More Related Content

What's hot

DataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズDataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズRecruit Technologies
 
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例Tetsutaro Watanabe
 
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアルリクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアルRecruit Technologies
 
Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.Recruit Technologies
 
Retty recommendation project
Retty recommendation projectRetty recommendation project
Retty recommendation projectJiro Iwanaga
 
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例Recruit Technologies
 
機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)Tokoroten Nakayama
 
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介Recruit Technologies
 
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎Preferred Networks
 
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~Recruit Technologies
 
アドテク勉強会0819
アドテク勉強会0819アドテク勉強会0819
アドテク勉強会0819Hideya Kato
 
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Recruit Technologies
 
Pythonではじめる OpenAI Gymトレーニング
Pythonではじめる OpenAI GymトレーニングPythonではじめる OpenAI Gymトレーニング
Pythonではじめる OpenAI GymトレーニングTakahiro Kubo
 
MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理Takeshi Yamamuro
 
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜Tetsutaro Watanabe
 
効果的なAbテストがwebサイトを成長させる~abテスト成功メソッドのご紹介~
効果的なAbテストがwebサイトを成長させる~abテスト成功メソッドのご紹介~効果的なAbテストがwebサイトを成長させる~abテスト成功メソッドのご紹介~
効果的なAbテストがwebサイトを成長させる~abテスト成功メソッドのご紹介~Satoru Yamamoto
 

What's hot (20)

DataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズDataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズ
 
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
 
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアルリクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
 
Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.
 
Retty recommendation project
Retty recommendation projectRetty recommendation project
Retty recommendation project
 
ヤフートップページでの機械学習#yjdsw1
ヤフートップページでの機械学習#yjdsw1ヤフートップページでの機械学習#yjdsw1
ヤフートップページでの機械学習#yjdsw1
 
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
 
リクルート式AIの活用法
リクルート式AIの活用法リクルート式AIの活用法
リクルート式AIの活用法
 
機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)機械学習ビジネス研究会(未踏研究会)
機械学習ビジネス研究会(未踏研究会)
 
Pepper+独自会話エンジン
Pepper+独自会話エンジンPepper+独自会話エンジン
Pepper+独自会話エンジン
 
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
 
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
 
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
 
アドテク勉強会0819
アドテク勉強会0819アドテク勉強会0819
アドテク勉強会0819
 
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
 
Pythonではじめる OpenAI Gymトレーニング
Pythonではじめる OpenAI GymトレーニングPythonではじめる OpenAI Gymトレーニング
Pythonではじめる OpenAI Gymトレーニング
 
MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理MLflowによる機械学習モデルのライフサイクルの管理
MLflowによる機械学習モデルのライフサイクルの管理
 
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
 
セキュリティ教育とUX ~結ばれていた赤い糸~
セキュリティ教育とUX ~結ばれていた赤い糸~セキュリティ教育とUX ~結ばれていた赤い糸~
セキュリティ教育とUX ~結ばれていた赤い糸~
 
効果的なAbテストがwebサイトを成長させる~abテスト成功メソッドのご紹介~
効果的なAbテストがwebサイトを成長させる~abテスト成功メソッドのご紹介~効果的なAbテストがwebサイトを成長させる~abテスト成功メソッドのご紹介~
効果的なAbテストがwebサイトを成長させる~abテスト成功メソッドのご紹介~
 

Viewers also liked

Machine Learning Casual Talks opening talk
Machine Learning Casual Talks opening talkMachine Learning Casual Talks opening talk
Machine Learning Casual Talks opening talkAki Ariga
 
Jubatusにおける機械学習のテスト@MLCT
Jubatusにおける機械学習のテスト@MLCTJubatusにおける機械学習のテスト@MLCT
Jubatusにおける機械学習のテスト@MLCTYuya Unno
 
Julia 100 exercises #JuliaTokyo
Julia 100 exercises #JuliaTokyoJulia 100 exercises #JuliaTokyo
Julia 100 exercises #JuliaTokyoAki Ariga
 
素人がDeep Learningと他の機械学習の性能を比較してみた
素人がDeep Learningと他の機械学習の性能を比較してみた素人がDeep Learningと他の機械学習の性能を比較してみた
素人がDeep Learningと他の機械学習の性能を比較してみたToru Imai
 
Introduction to Kanagawa Ruby Kaigi01 #kana01
Introduction to Kanagawa Ruby Kaigi01 #kana01Introduction to Kanagawa Ruby Kaigi01 #kana01
Introduction to Kanagawa Ruby Kaigi01 #kana01Aki Ariga
 
あなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイントあなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイントShohei Hido
 
Jubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組みJubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組みJubatusOfficial
 
トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編Kentaro Yoshida
 
Packaging Ecosystems -Monki Gras 2017
Packaging Ecosystems -Monki Gras 2017Packaging Ecosystems -Monki Gras 2017
Packaging Ecosystems -Monki Gras 2017Treasure Data, Inc.
 
What is support_engineer_in_treasuredata
What is support_engineer_in_treasuredataWhat is support_engineer_in_treasuredata
What is support_engineer_in_treasuredataTreasure Data, Inc.
 
DMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話します
DMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話しますDMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話します
DMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話しますWataru Shinohara
 
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータU-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータTakatoshi Kakimoto
 
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」Nagi Teramo
 
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例Taro L. Saito
 
トレジャーデータ流,データ分析の始め方
トレジャーデータ流,データ分析の始め方トレジャーデータ流,データ分析の始め方
トレジャーデータ流,データ分析の始め方Takahiro Inoue
 
Amazon Redshiftによるリアルタイム分析サービスの構築
Amazon Redshiftによるリアルタイム分析サービスの構築Amazon Redshiftによるリアルタイム分析サービスの構築
Amazon Redshiftによるリアルタイム分析サービスの構築Minero Aoki
 
変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤Recruit Technologies
 
Cookpad TechConf 2016 - DWHに必要なこと
Cookpad TechConf 2016 - DWHに必要なことCookpad TechConf 2016 - DWHに必要なこと
Cookpad TechConf 2016 - DWHに必要なことMinero Aoki
 
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)NTT DATA OSS Professional Services
 
Amazon Machine Learning
Amazon Machine LearningAmazon Machine Learning
Amazon Machine LearningYuta Imai
 

Viewers also liked (20)

Machine Learning Casual Talks opening talk
Machine Learning Casual Talks opening talkMachine Learning Casual Talks opening talk
Machine Learning Casual Talks opening talk
 
Jubatusにおける機械学習のテスト@MLCT
Jubatusにおける機械学習のテスト@MLCTJubatusにおける機械学習のテスト@MLCT
Jubatusにおける機械学習のテスト@MLCT
 
Julia 100 exercises #JuliaTokyo
Julia 100 exercises #JuliaTokyoJulia 100 exercises #JuliaTokyo
Julia 100 exercises #JuliaTokyo
 
素人がDeep Learningと他の機械学習の性能を比較してみた
素人がDeep Learningと他の機械学習の性能を比較してみた素人がDeep Learningと他の機械学習の性能を比較してみた
素人がDeep Learningと他の機械学習の性能を比較してみた
 
Introduction to Kanagawa Ruby Kaigi01 #kana01
Introduction to Kanagawa Ruby Kaigi01 #kana01Introduction to Kanagawa Ruby Kaigi01 #kana01
Introduction to Kanagawa Ruby Kaigi01 #kana01
 
あなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイントあなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイント
 
Jubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組みJubatusの特徴変換と線形分類器の仕組み
Jubatusの特徴変換と線形分類器の仕組み
 
トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編
 
Packaging Ecosystems -Monki Gras 2017
Packaging Ecosystems -Monki Gras 2017Packaging Ecosystems -Monki Gras 2017
Packaging Ecosystems -Monki Gras 2017
 
What is support_engineer_in_treasuredata
What is support_engineer_in_treasuredataWhat is support_engineer_in_treasuredata
What is support_engineer_in_treasuredata
 
DMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話します
DMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話しますDMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話します
DMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話します
 
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータU-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
U-NEXTの動画配信ログ収集・分析、レコメンドエンジンを支えるトレジャーデータ
 
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」
「plyrパッケージで君も前処理スタ☆」改め「plyrパッケージ徹底入門」
 
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
 
トレジャーデータ流,データ分析の始め方
トレジャーデータ流,データ分析の始め方トレジャーデータ流,データ分析の始め方
トレジャーデータ流,データ分析の始め方
 
Amazon Redshiftによるリアルタイム分析サービスの構築
Amazon Redshiftによるリアルタイム分析サービスの構築Amazon Redshiftによるリアルタイム分析サービスの構築
Amazon Redshiftによるリアルタイム分析サービスの構築
 
変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤
 
Cookpad TechConf 2016 - DWHに必要なこと
Cookpad TechConf 2016 - DWHに必要なことCookpad TechConf 2016 - DWHに必要なこと
Cookpad TechConf 2016 - DWHに必要なこと
 
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
 
Amazon Machine Learning
Amazon Machine LearningAmazon Machine Learning
Amazon Machine Learning
 

Similar to パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN

アジャイルソフトウェア開発の道具箱
アジャイルソフトウェア開発の道具箱アジャイルソフトウェア開発の道具箱
アジャイルソフトウェア開発の道具箱Koichi ITO
 
20141003 webマーケティングエンジニアリング
20141003 webマーケティングエンジニアリング20141003 webマーケティングエンジニアリング
20141003 webマーケティングエンジニアリングInnova Inc.
 
ノーツが日本を救う(2002/3/13)
ノーツが日本を救う(2002/3/13)ノーツが日本を救う(2002/3/13)
ノーツが日本を救う(2002/3/13)伸夫 森本
 
企業と勉強会 @nifty エンジニアサポート
企業と勉強会 @nifty エンジニアサポート企業と勉強会 @nifty エンジニアサポート
企業と勉強会 @nifty エンジニアサポートDaichi Morifuji
 
Automation with SoftLayer and Zabbix
Automation with SoftLayer and ZabbixAutomation with SoftLayer and Zabbix
Automation with SoftLayer and Zabbixsoftlayerjp
 
チラシルiOSでの広告枠開発
チラシルiOSでの広告枠開発チラシルiOSでの広告枠開発
チラシルiOSでの広告枠開発Satoshi Takano
 
Ml15minutes 190330
Ml15minutes 190330Ml15minutes 190330
Ml15minutes 190330Rio Kurihara
 
[_gaTracker]GAのここがすき。ここがきらい。
[_gaTracker]GAのここがすき。ここがきらい。[_gaTracker]GAのここがすき。ここがきらい。
[_gaTracker]GAのここがすき。ここがきらい。Toru Enomoto
 
スタッフ部門のカイゼン×IT
スタッフ部門のカイゼン×ITスタッフ部門のカイゼン×IT
スタッフ部門のカイゼン×ITKazutaka Sankai
 
ベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれから
ベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれからベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれから
ベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれからYasuhiro Horiuchi
 
地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進めDai FUJIHARA
 
地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進めRakuten Group, Inc.
 
おすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップおすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップKoichiro Sumi
 
スマホ向けWebアプリ開発で使えるフロントエンド高速化手法
スマホ向けWebアプリ開発で使えるフロントエンド高速化手法スマホ向けWebアプリ開発で使えるフロントエンド高速化手法
スマホ向けWebアプリ開発で使えるフロントエンド高速化手法Eiji Kodama
 
Hueによる分析業務の改善事例
Hueによる分析業務の改善事例Hueによる分析業務の改善事例
Hueによる分析業務の改善事例Masahiro Kiura
 
700億件のリアルタイム分析の実現と運用の実態
700億件のリアルタイム分析の実現と運用の実態700億件のリアルタイム分析の実現と運用の実態
700億件のリアルタイム分析の実現と運用の実態Eiji Yamamoto
 
ヤフー株式会社はアクセシビリティ対応を
なぜ始めたのか、どう進めているのか
ヤフー株式会社はアクセシビリティ対応を
なぜ始めたのか、どう進めているのかヤフー株式会社はアクセシビリティ対応を
なぜ始めたのか、どう進めているのか
ヤフー株式会社はアクセシビリティ対応を
なぜ始めたのか、どう進めているのかYahoo!デベロッパーネットワーク
 

Similar to パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN (20)

アジャイルソフトウェア開発の道具箱
アジャイルソフトウェア開発の道具箱アジャイルソフトウェア開発の道具箱
アジャイルソフトウェア開発の道具箱
 
20141003 webマーケティングエンジニアリング
20141003 webマーケティングエンジニアリング20141003 webマーケティングエンジニアリング
20141003 webマーケティングエンジニアリング
 
ノーツが日本を救う(2002/3/13)
ノーツが日本を救う(2002/3/13)ノーツが日本を救う(2002/3/13)
ノーツが日本を救う(2002/3/13)
 
Spring I/O 2015 報告
Spring I/O 2015 報告Spring I/O 2015 報告
Spring I/O 2015 報告
 
企業と勉強会 @nifty エンジニアサポート
企業と勉強会 @nifty エンジニアサポート企業と勉強会 @nifty エンジニアサポート
企業と勉強会 @nifty エンジニアサポート
 
Automation with SoftLayer and Zabbix
Automation with SoftLayer and ZabbixAutomation with SoftLayer and Zabbix
Automation with SoftLayer and Zabbix
 
チラシルiOSでの広告枠開発
チラシルiOSでの広告枠開発チラシルiOSでの広告枠開発
チラシルiOSでの広告枠開発
 
Ml15minutes 190330
Ml15minutes 190330Ml15minutes 190330
Ml15minutes 190330
 
[_gaTracker]GAのここがすき。ここがきらい。
[_gaTracker]GAのここがすき。ここがきらい。[_gaTracker]GAのここがすき。ここがきらい。
[_gaTracker]GAのここがすき。ここがきらい。
 
スタッフ部門のカイゼン×IT
スタッフ部門のカイゼン×ITスタッフ部門のカイゼン×IT
スタッフ部門のカイゼン×IT
 
ベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれから
ベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれからベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれから
ベンチャーCTO、AWSエバンジェリストを経て考える、クラウド時代に向き合うエンジニア像のこれから
 
地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め
 
地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め地図を捨ててコンパスを頼りに進め
地図を捨ててコンパスを頼りに進め
 
おすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップおすすめインフラ! for スタートアップ
おすすめインフラ! for スタートアップ
 
20170705 apiをつくろう
20170705 apiをつくろう20170705 apiをつくろう
20170705 apiをつくろう
 
関連記事レコメンドエンジン@Yahoo! JAPAN
関連記事レコメンドエンジン@Yahoo! JAPAN関連記事レコメンドエンジン@Yahoo! JAPAN
関連記事レコメンドエンジン@Yahoo! JAPAN
 
スマホ向けWebアプリ開発で使えるフロントエンド高速化手法
スマホ向けWebアプリ開発で使えるフロントエンド高速化手法スマホ向けWebアプリ開発で使えるフロントエンド高速化手法
スマホ向けWebアプリ開発で使えるフロントエンド高速化手法
 
Hueによる分析業務の改善事例
Hueによる分析業務の改善事例Hueによる分析業務の改善事例
Hueによる分析業務の改善事例
 
700億件のリアルタイム分析の実現と運用の実態
700億件のリアルタイム分析の実現と運用の実態700億件のリアルタイム分析の実現と運用の実態
700億件のリアルタイム分析の実現と運用の実態
 
ヤフー株式会社はアクセシビリティ対応を
なぜ始めたのか、どう進めているのか
ヤフー株式会社はアクセシビリティ対応を
なぜ始めたのか、どう進めているのかヤフー株式会社はアクセシビリティ対応を
なぜ始めたのか、どう進めているのか
ヤフー株式会社はアクセシビリティ対応を
なぜ始めたのか、どう進めているのか
 

More from Yahoo!デベロッパーネットワーク

ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかYahoo!デベロッパーネットワーク
 
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2Yahoo!デベロッパーネットワーク
 
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcYahoo!デベロッパーネットワーク
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo!デベロッパーネットワーク
 
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcYahoo!デベロッパーネットワーク
 
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtcYahoo!デベロッパーネットワーク
 
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcPC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcYahoo!デベロッパーネットワーク
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcモブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcYahoo!デベロッパーネットワーク
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcYahoo!デベロッパーネットワーク
 

More from Yahoo!デベロッパーネットワーク (20)

ゼロから始める転移学習
ゼロから始める転移学習ゼロから始める転移学習
ゼロから始める転移学習
 
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
 
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
 
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッションオンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
 
LakeTahoe
LakeTahoeLakeTahoe
LakeTahoe
 
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
 
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability FeaturePersistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
 
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
 
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtceコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
 
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
 
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtcビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
 
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtcサイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
 
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
 
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtcYahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
 
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
 
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcPC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcモブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
 
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
 

パーソナライズニュースを支えるML業務のまわしかた@Yahoo! JAPAN

  • 1. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. 2014/06/13 パーソナライズニュースを支える ML業務のまわしかた @ Yahoo! JAPAN ヤフー株式会社 データソリューション本部 村尾一真 深澤良介
  • 2. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P2アジェンダ •  自己紹介 •  Yahoo! JAPANのパーソナライズニュー スとは? •  ML(機械学習)の使いどころ •  MLの精度評価と運用サイクル •  まとめ
  • 3. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P3本日のGoal ü  MLの利用と運用について なるべく具体的に話をする #MLCT
  • 4. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. 自己紹介
  • 5. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P5自己紹介 深澤 良介 2009年入社 検索サービスの開発、検索エンジンライブラリの開発を経 て、2013年4月にデータソリューションへ 今回のサービスの担当範囲: データ入出力から配信までシステム全般 専攻: 自然言語処理、質問応答システム
  • 6. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P6自己紹介 村尾 一真 2012年入社 自然言語処理 -> レコメンデーション 今回のサービスの担当範囲: モデル精度改善 専攻: 適用対象に合った機械学習の改善(HCI、音楽情報処理)
  • 7. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. Yahoo! JAPANの パーソナライズニュース?
  • 8. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P8Yahoo! JAPANのパーソナライズニュース •  類似のキュレーションサービス •  グノシー, SmartNews •  ニュース・記事・情報の推薦 •  掲出場所 •  ヤフースマホトップ •  ヤフーiPhone/androidアプリトップ •  ヤフーandroid tablet/iPadトップ パーソナライズ
  • 9. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P9 •  多様なログを利用 ü  ニュース閲覧履歴 ü  検索キーワード ü  他のY!Jサービスの利用ログ ü  etc. •  よりユーザーに合ったコンテンツを 掲出することを目指す サービスの特徴
  • 10. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. サービスの規模
  • 11. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P11利用者 約230万UB/1日 (デバイス合算、clickのみをカウント、2014年5月某日) •  スクロールしなければ認知されないため、 ヤフートピックスと比べるとview/clickともか なり少ない •  パーソナライズニュースサービスで(多分)最大 規模 •  リリース半年でじわじわと認知され、ユーザー 増加中
  • 12. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P12解析対象 約2000万cookie/1日 •  Y!Jの利用ユーザーはパーソナライズモジュー ルに非接触でも解析 •  ユーザーが意識せずにパーソナライズされたコ ンテンツを利用可
  • 13. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P13入稿コンテンツ 約6000本/1日 •  約15秒に1本新しいコンテンツが入稿 =>リアルタイム反映の仕組み
  • 14. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. ML(機械学習)の使いどころ
  • 15. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P15ML(機械学習)の使いどころ •  検索likeなシステムを構築。高スコアの記事を上位に掲出。 リアルタイム反映を実現 •  コンテンツの特徴量(w)とユーザー特徴量(x)をマッチング •  特徴量のマッチング行列(A)を、ユーザーのフィードバック を用いて機械学習 •  検索のランキング学習と同じスキーム(Pairwise)で学習可能 yi,a = wT iAxa = (w1,w2,...,wN )i A x1 x2 ... xM ! " # # # # # $ % & & & & & a
  • 16. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P16ML(機械学習)の使いどころ •  特徴量: コンテンツの表層素性、ユーザーの行動履歴など。 コンテンツの深い理解(メタデータを理解)も有用。 10E5次元程度 •  ロジスティック回帰を解くことで、高速に、かつ精度をあ る程度担保して学習可能(社内評価) yi,a = wT iAxa = (w1,w2,...,wN )i A x1 x2 ... xM ! " # # # # # $ % & & & & & a
  • 17. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P17ニュースの特性に合わせた工夫 1.  マッチングのスコア計算後、コンテンツ入稿時刻とアクセ ス時刻の時間差によって減算処理 •  ニュースの特性: 直近の記事が出ているほうがユーザー は嬉しい(?)
  • 18. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P18ニュースの特性に合わせた工夫 2.  1日あたりX回のモデル更新(バッチ処理) –  アクセスのピークタイム前に最新の興味を反映 3.  直近ログを用いた学習結果に、過去の学習結果に 興味減衰率(α)をかけて加算 –  短期的興味と長期的興味を考慮する狙い –  長期的興味になりそうな特徴量は毎日加算される –  短期的興味とのバランスをパラメータで調整 A(t +1) = A(t)+αA(t −1)
  • 19. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P19Yahoo! JAPANのパーソナライズニュース ü  多様・大量なログを解析 ü  コンテンツ特性を考慮した MLシステムを構築
  • 20. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. MLの精度評価と 運用サイクル
  • 21. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P212段階の精度評価 •  オフライン評価 –  フィードバックログを利用 –  (定性評価) •  オンライン評価 –  A/Bテスト モデリン グ オフライン   評価 オンライン   評価
  • 22. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P22 モデリン グ オフライン   評価 オンライン   評価 •  フィードバックログを利用 •  モデルによってスコアリングした結果をAUC、nDCGなどの指標 によって評価 •  学習器のパラメータ等を調整 ü  POINT ü  交差検定では、学習ログの日付に最適化されてしまう (ニュースドメインでは、日時で重みが変化するような特徴量が ある。変化しないものもある) ü  学習、チューニングに用いるログと、評価に用いるログは、異な るデータを用いるだけではなく、ログを収集した日付を変えたほ うが良い オフライン評価
  • 23. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P23 モデリン グ オフライン   評価 オンライン   評価 オンライン評価 •  A/Bテストによる評価 •  プロジェクトのKPIが各テストでどう変わるか • 訪問率(重要!) •  記事のばらけ具合、等 •  KPI も即時分かるものと、そうでない長期的なものとを見ている •  CTRはすぐにわかるがいわゆる「釣り記事」などをポジティブに評価 してしまう •  ユーザーの満足度は訪問率に現れるという仮説 •  有意な差を認めるには累積で数十万以上のログが必要(感覚値) •  同時に実施可能なテスト本数がサービス規模に依存
  • 24. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P24MLの運用サイクル •  問題設定、KPI設定 •  モデリング •  オフライン評価 •  有意な性能向上があっ た場合 •  定性的に有効だと思わ れ、性能に有意な低下 が見られなかった場合 (ex. 特徴量を削減) •  => オンライン評価 •  改善版リリース •  リリース後もKPIを定 常観測 問題設 定 モデリン グ オフライン 評価   (AUC,   nDCG) オンライン 評価   (A/Bテス ト) リリース
  • 25. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P25MLの運用サイクル •  リリース後15週間で10回程度のモデル改善版リリース –  パラメータチューニングを除く –  オンライン評価は1週間程度見る必要 •  MLを利用しないものもベースラインとして並行稼働させ ている
  • 26. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P26運用で改良したい点 •  オフライン評価が実際の配信システムを完全にはシミュ レートできていない => 感覚値70%くらいの確信度でA/Bテストに臨んでい る状況。。
  • 27. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P27MLの精度評価と運用サイクル ü  オンライン・オフライン評価 を実施 ü  精度評価はKPI施策を 裏付けるためのもの. ü  重要な施策は小↓でも実施
  • 28. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. テスト運用の話
  • 29. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P29テスト運用フロー アプリケーション ビジネスロジック 機械学習 アルゴリズム •  アプリケーションテスト •  FEでテスト •  ビジネスロジックテスト •  単体テスト •  機械学習アルゴリズム •  目視で確認 •  性能テストをパッケージ化 し、コマンドを叩くことで 誰でも同一環境で性能評価 可能に => CIに乗せたい
  • 30. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. まとめ
  • 31. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P31まとめ •  Yahoo! JAPANのパーソナライズニュース •  検索ワード, Y!Jのクリックログ等を利用 •  大量のログを解析 コンテンツ特性を考慮したMLシステム •  運用フロー •  評価は施策を裏付けるためのもの •  重要な施策は小↓でも実施
  • 32. Confiden'al  :Discussion  purpose  only Copyright  (C)  2014  Yahoo  Japan  Corpora'on.  All  Rights  Reserved. P32まとめ •  Yahoo! JAPANのパーソナライズニュース •  検索ワード, Y!Jのクリックログ等を利用 •  大量のログを解析 コンテンツ特性を考慮したMLシステム •  運用フロー •  評価は施策を裏付けるためのもの •  重要な施策は小↓でも実施 •  機械学習アルゴリズムの改善に 力を入れています => 興味ある人ぜひjoinを!