Submit Search
Upload
Yahoo! JAPANにおけるオンライン機械学習実例 #streamctjp
•
4 likes
•
4,295 views
Yahoo!デベロッパーネットワーク
Follow
Stream Processing Casual Talks #1 at Yahoo! JAPAN の発表資料です http://connpass.com/event/35264/
Read less
Read more
Technology
Report
Share
Report
Share
1 of 31
Download now
Download to read offline
Recommended
マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話
cyberagent
「のどが渇いた」というユーザーに何を出す? ユーザーの「欲しい」に惑わされない、本当のインサイトを見つけるUXデザイン・UXリサーチ
「のどが渇いた」というユーザーに何を出す? ユーザーの「欲しい」に惑わされない、本当のインサイトを見つけるUXデザイン・UXリサーチ
Yoshiki Hayama
Akkaとは。アクターモデル とは。
Akkaとは。アクターモデル とは。
Kenjiro Kubota
ソフトウェアテストの歴史と近年の動向
ソフトウェアテストの歴史と近年の動向
Keizo Tatsumi
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
例外設計における大罪
例外設計における大罪
Takuto Wada
Recommended
マッチングサービスにおけるKPIの話
マッチングサービスにおけるKPIの話
cyberagent
「のどが渇いた」というユーザーに何を出す? ユーザーの「欲しい」に惑わされない、本当のインサイトを見つけるUXデザイン・UXリサーチ
「のどが渇いた」というユーザーに何を出す? ユーザーの「欲しい」に惑わされない、本当のインサイトを見つけるUXデザイン・UXリサーチ
Yoshiki Hayama
Akkaとは。アクターモデル とは。
Akkaとは。アクターモデル とは。
Kenjiro Kubota
ソフトウェアテストの歴史と近年の動向
ソフトウェアテストの歴史と近年の動向
Keizo Tatsumi
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
例外設計における大罪
例外設計における大罪
Takuto Wada
基礎線形代数講座
基礎線形代数講座
SEGADevTech
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
Carnot Inc.
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
mosa siru
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
【istyle Data Talk #01】失敗から学ぶ!@cosmeを変えるデータ基盤のめざしどころ
【istyle Data Talk #01】失敗から学ぶ!@cosmeを変えるデータ基盤のめざしどころ
Hitomi Kakizaki
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
Tokoroten Nakayama
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
Tokoroten Nakayama
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein
Tokoroten Nakayama
分散学習のあれこれ~データパラレルからモデルパラレルまで~
分散学習のあれこれ~データパラレルからモデルパラレルまで~
Hideki Tsunashima
MLOps入門
MLOps入門
Hiro Mura
機械学習システムの品質保証に向けた課題とコンソーシアム活動
機械学習システムの品質保証に向けた課題とコンソーシアム活動
Hideto Ogawa
エンジニアから飛んでくるマサカリを受け止める心得
エンジニアから飛んでくるマサカリを受け止める心得
Reimi Kuramochi Chiba
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
Yoshiki Hayama
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
Preferred Networks
Slideshare Japanese
Slideshare Japanese
Hidenori Goto
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Shota Imai
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo!デベロッパーネットワーク
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
More Related Content
What's hot
基礎線形代数講座
基礎線形代数講座
SEGADevTech
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
Carnot Inc.
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
mosa siru
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
【istyle Data Talk #01】失敗から学ぶ!@cosmeを変えるデータ基盤のめざしどころ
【istyle Data Talk #01】失敗から学ぶ!@cosmeを変えるデータ基盤のめざしどころ
Hitomi Kakizaki
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
Tokoroten Nakayama
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
Tokoroten Nakayama
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein
Tokoroten Nakayama
分散学習のあれこれ~データパラレルからモデルパラレルまで~
分散学習のあれこれ~データパラレルからモデルパラレルまで~
Hideki Tsunashima
MLOps入門
MLOps入門
Hiro Mura
機械学習システムの品質保証に向けた課題とコンソーシアム活動
機械学習システムの品質保証に向けた課題とコンソーシアム活動
Hideto Ogawa
エンジニアから飛んでくるマサカリを受け止める心得
エンジニアから飛んでくるマサカリを受け止める心得
Reimi Kuramochi Chiba
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
Yoshiki Hayama
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
Preferred Networks
Slideshare Japanese
Slideshare Japanese
Hidenori Goto
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Shota Imai
What's hot
(20)
基礎線形代数講座
基礎線形代数講座
ChatGPTは思ったほど賢くない
ChatGPTは思ったほど賢くない
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
開発速度が速い #とは(LayerX社内資料)
開発速度が速い #とは(LayerX社内資料)
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
【istyle Data Talk #01】失敗から学ぶ!@cosmeを変えるデータ基盤のめざしどころ
【istyle Data Talk #01】失敗から学ぶ!@cosmeを変えるデータ基盤のめざしどころ
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
心理的安全性の構造 デブサミ2019夏 structure of psychological safety
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
今こそ知りたいSpring Batch(Spring Fest 2020講演資料)
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein
心理的安全性と、Veinの紹介 Psychological safety and introduction of Vein
分散学習のあれこれ~データパラレルからモデルパラレルまで~
分散学習のあれこれ~データパラレルからモデルパラレルまで~
MLOps入門
MLOps入門
機械学習システムの品質保証に向けた課題とコンソーシアム活動
機械学習システムの品質保証に向けた課題とコンソーシアム活動
エンジニアから飛んでくるマサカリを受け止める心得
エンジニアから飛んでくるマサカリを受け止める心得
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
不老におけるOptunaを利用した分散ハイパーパラメータ最適化 - 今村秀明(名古屋大学 Optuna講習会)
Slideshare Japanese
Slideshare Japanese
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Viewers also liked
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo!デベロッパーネットワーク
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Recruit Technologies
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Yahoo!デベロッパーネットワーク
Life of an enginner in rakuten osaka diarmaid lindsay
Life of an enginner in rakuten osaka diarmaid lindsay
Rakuten Group, Inc.
Rakutenとsreと私 yanagimoto koichi
Rakutenとsreと私 yanagimoto koichi
Rakuten Group, Inc.
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Recruit Technologies
What i learned from translation of the sre ryuji tamagawa
What i learned from translation of the sre ryuji tamagawa
Rakuten Group, Inc.
新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
Recruit Technologies
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
ビックデータ処理技術の全体像とリクルートでの使い分け
ビックデータ処理技術の全体像とリクルートでの使い分け
Tetsutaro Watanabe
Prestoクエリログの保存/分析機能の構築 #yjdsnight
Prestoクエリログの保存/分析機能の構築 #yjdsnight
Yahoo!デベロッパーネットワーク
銀行ロビーアシスタント
銀行ロビーアシスタント
Recruit Technologies
IT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfuture
IT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfuture
Yahoo!デベロッパーネットワーク
Kafka Connect(Japanese)
Kafka Connect(Japanese)
Roman Shtykh
LT(自由)
LT(自由)
Recruit Technologies
COBOL to Apache Spark
COBOL to Apache Spark
Rakuten Group, Inc.
Tableau活用4年の軌跡
Tableau活用4年の軌跡
Recruit Technologies
cloudera Apache Kudu Updatable Analytical Storage for Modern Data Platform
cloudera Apache Kudu Updatable Analytical Storage for Modern Data Platform
Rakuten Group, Inc.
Challenge for statup's cto from big company nagaaki hoshi
Challenge for statup's cto from big company nagaaki hoshi
Rakuten Group, Inc.
Viewers also liked
(20)
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
Life of an enginner in rakuten osaka diarmaid lindsay
Life of an enginner in rakuten osaka diarmaid lindsay
Rakutenとsreと私 yanagimoto koichi
Rakutenとsreと私 yanagimoto koichi
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
What i learned from translation of the sre ryuji tamagawa
What i learned from translation of the sre ryuji tamagawa
新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
ビックデータ処理技術の全体像とリクルートでの使い分け
ビックデータ処理技術の全体像とリクルートでの使い分け
Prestoクエリログの保存/分析機能の構築 #yjdsnight
Prestoクエリログの保存/分析機能の構築 #yjdsnight
銀行ロビーアシスタント
銀行ロビーアシスタント
IT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfuture
IT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfuture
Kafka Connect(Japanese)
Kafka Connect(Japanese)
LT(自由)
LT(自由)
COBOL to Apache Spark
COBOL to Apache Spark
Tableau活用4年の軌跡
Tableau活用4年の軌跡
cloudera Apache Kudu Updatable Analytical Storage for Modern Data Platform
cloudera Apache Kudu Updatable Analytical Storage for Modern Data Platform
Challenge for statup's cto from big company nagaaki hoshi
Challenge for statup's cto from big company nagaaki hoshi
Similar to Yahoo! JAPANにおけるオンライン機械学習実例 #streamctjp
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
Yahoo!デベロッパーネットワーク
Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi
Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi
Yahoo!デベロッパーネットワーク
SeleniumE2Eテストフレームワークを使用したテスト自動化事例 #Seleniumjp
SeleniumE2Eテストフレームワークを使用したテスト自動化事例 #Seleniumjp
Yahoo!デベロッパーネットワーク
Cake Matsuri Nanapi
Cake Matsuri Nanapi
Shuichi Wada
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
Yahoo!デベロッパーネットワーク
YJTC18 A-1 大規模サーバの戦略
YJTC18 A-1 大規模サーバの戦略
Yahoo!デベロッパーネットワーク
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Yahoo!デベロッパーネットワーク
Bambooによる継続的デリバリー
Bambooによる継続的デリバリー
グロースエクスパートナーズ株式会社/Growth xPartners Incorporated.
State of the art Stream Processing #hadoopreading
State of the art Stream Processing #hadoopreading
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN の Ambari 活用事例 #ambarimeetup
Yahoo! JAPAN の Ambari 活用事例 #ambarimeetup
Yahoo!デベロッパーネットワーク
Participation report of data stax accelerate 2019
Participation report of data stax accelerate 2019
MKT-INTHEFOREST
Spring Cloud Data Flow の紹介 #streamctjp
Spring Cloud Data Flow の紹介 #streamctjp
Yahoo!デベロッパーネットワーク
いろいろなストリーム処理プロダクトをベンチマークしてみた #hcj2016
いろいろなストリーム処理プロダクトをベンチマークしてみた #hcj2016
Yahoo!デベロッパーネットワーク
Effective web performance tuning for smartphone
Effective web performance tuning for smartphone
dena_study
Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904
Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904
Nozomi Kurihara
1000台規模のHadoopクラスタをHive/Tezアプリケーションにあわせてパフォーマンスチューニングした話
1000台規模のHadoopクラスタをHive/Tezアプリケーションにあわせてパフォーマンスチューニングした話
Yahoo!デベロッパーネットワーク
Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介
Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介
OSSラボ株式会社
Yapc::Asia_2012
Yapc::Asia_2012
Masaru Hoshino
Yahoo! JAPANにおけるApache Cassandraへの取り組み
Yahoo! JAPANにおけるApache Cassandraへの取り組み
Yahoo!デベロッパーネットワーク
クラウド運用のためのストリームマイニング
クラウド運用のためのストリームマイニング
Shin Matsumoto
Similar to Yahoo! JAPANにおけるオンライン機械学習実例 #streamctjp
(20)
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi
Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi
SeleniumE2Eテストフレームワークを使用したテスト自動化事例 #Seleniumjp
SeleniumE2Eテストフレームワークを使用したテスト自動化事例 #Seleniumjp
Cake Matsuri Nanapi
Cake Matsuri Nanapi
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
Yahoo! JAPAN の Ambari 活用事例 #yjdsnight
YJTC18 A-1 大規模サーバの戦略
YJTC18 A-1 大規模サーバの戦略
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Bambooによる継続的デリバリー
Bambooによる継続的デリバリー
State of the art Stream Processing #hadoopreading
State of the art Stream Processing #hadoopreading
Yahoo! JAPAN の Ambari 活用事例 #ambarimeetup
Yahoo! JAPAN の Ambari 活用事例 #ambarimeetup
Participation report of data stax accelerate 2019
Participation report of data stax accelerate 2019
Spring Cloud Data Flow の紹介 #streamctjp
Spring Cloud Data Flow の紹介 #streamctjp
いろいろなストリーム処理プロダクトをベンチマークしてみた #hcj2016
いろいろなストリーム処理プロダクトをベンチマークしてみた #hcj2016
Effective web performance tuning for smartphone
Effective web performance tuning for smartphone
Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904
Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904
1000台規模のHadoopクラスタをHive/Tezアプリケーションにあわせてパフォーマンスチューニングした話
1000台規模のHadoopクラスタをHive/Tezアプリケーションにあわせてパフォーマンスチューニングした話
Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介
Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介
Yapc::Asia_2012
Yapc::Asia_2012
Yahoo! JAPANにおけるApache Cassandraへの取り組み
Yahoo! JAPANにおけるApache Cassandraへの取り組み
クラウド運用のためのストリームマイニング
クラウド運用のためのストリームマイニング
More from Yahoo!デベロッパーネットワーク
ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
LakeTahoe
LakeTahoe
Yahoo!デベロッパーネットワーク
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Yahoo!デベロッパーネットワーク
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
Yahoo!デベロッパーネットワーク
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
Yahoo!デベロッパーネットワーク
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
Yahoo!デベロッパーネットワーク
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
Yahoo!デベロッパーネットワーク
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
Yahoo!デベロッパーネットワーク
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
Yahoo!デベロッパーネットワーク
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Yahoo!デベロッパーネットワーク
More from Yahoo!デベロッパーネットワーク
(20)
ゼロから始める転移学習
ゼロから始める転移学習
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
LakeTahoe
LakeTahoe
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Recently uploaded
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
Recently uploaded
(8)
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yahoo! JAPANにおけるオンライン機械学習実例 #streamctjp
1.
Yahoo! JAPANにおける オンライン機械学習実例 http://www.yahoo.co.jp/ ヤフー株式会社 野村
拓也 2016年07月22日
2.
自己紹介 Copyright (C) 2016
Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2
3.
自己紹介 野村 拓也 • 業務 •
社内向けストリーム分散処理基盤の開発 • 機械学習を用いたシステム改善 • Hadoop/Stormなどの分散処理アプリの開発 • 趣味 • 苔 • ボルダリング Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 3
4.
目次 • 今日話すこと • 背景・動機・問題設定 •
ストリーム処理 • ログ処理 • 機械学習 • 結果 • まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 4
5.
目次 • 今日話すこと • 背景・動機・問題設定 •
ストリーム処理 • ログ処理 • 機械学習 • 結果 • まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 5
6.
今日話すこと • 広告配信にオンライン機械学習を試験的に採用 • KPIが数%向上 •
構築したシステムについて • ストリーム基盤でのログの処理 • ストリーム機械学習 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 6
7.
目次 • 今日話すこと • 背景・動機・問題設定 •
ストリーム処理 • ログ処理 • 機械学習 • 結果 • まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 7
8.
背景・動機 RecSys 2013 Tencent hourlyバッチ処理を リアルタイムに変更 → 34%のCTR改善 (資料が見つからなかったので 聴講者の写真で代用) Copyright
(C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 8 https://twitter.com/torbenbrodt/status/390284591266668544
9.
背景・動機 • Yahoo! JAPANのシステムに適用を検討したい •
特にリアルタイム性 • → 広告配信(YDN)のCTR予測 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 9
10.
問題設定 - YDNについて 10 http://promotionalads.yahoo.co.jp/service/ydn/ Copyright
(C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
11.
問題設定 - CTR予測 11 •
YDNは「クリック課金」の課金モデル • 期待収益の高い広告を配信したい • 期待収益 = 広告クリック確率 × クリック単価 • クリック率(CTR: Click Through Rate)予測 • 現状バッチ処理で予測モデルを構築 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 広告主が設定未知・状況で変化
12.
目次 • 今日話すこと • 背景・動機・問題設定 •
ストリーム処理 • ログ処理 • 機械学習 • 結果 • まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 12
13.
再掲: 一般的なストリーム処理システム構成 Copyright (C)
2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 13 キューサーバ ストリーム処理 サービス ログ回収
14.
今回のシステム構成 Copyright (C) 2016
Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 14 Kafka Storm 内製ログ回収基盤 配信サーバ クリック サーバ KVS モデル配布サーバ ログ転送経路 モデル転送経路 〜 〜 scpscp Web ページ 広告配信 リクエスト 広告 クリック
15.
Copyright (C) 2016
Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 15 Spout(クリックログ) Spout(配信ログ) Bolt(ログ結合) Bolt(学習) モデル Topology Stormクラスタ ディスクに書き出し ストリーム処理
16.
ログ処理 - ログ結合 Copyright
(C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 16 • ログ結合 • オンラインでログ結合 • JavaのLinkedHashMapを利用 • クリックログと紐付いたものは正例とする • そうでないログはサンプリングした上で負例とする Bolt(ログ結合) Bolt(ログ結合) Spout(クリックログ) Spout(配信ログ) Bolt(ログ結合) ユニークIDでシャッフル
17.
ログ処理 - 正例・負例の排出
- 課題 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 17 1. 広告配信の有効期間=24時間のログ保持 – 有効ログを保持するとTBオーダーのメモリが必要 2. 負例の生成タイミング – クリックされないと確定するまで24時間かかる
18.
ログ処理 - 正例を排出するための調査 Copyright
(C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 18 • 累積クリック数の遷移 • 配信後10分待てば95%を捕捉でき十分
19.
学習データの生成 - 正例・負例の排出
- 課題への対応 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 19 1. 広告配信の有効期間=24時間のログ保持 – 有効ログを保持するとTBオーダーのメモリが必要 – → 10分程度の配信ログを保持すれば十分 2. 負例の生成タイミング – クリックされないと確定するまで24時間かかる – → 上記の保持期間を過ぎたものを負例候補とする
20.
目次 • 今日話すこと • 背景・動機・問題設定 •
ストリーム処理 • ログ処理 • 機械学習 • 結果 • まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 20
21.
機械学習 - バッチとの比較 バッチ学習
ストリーム モデル Logistic Regression 学習手法 Linear SVM SGD ハイパーパラメータ調整 Grid Search AdaDelta等 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 21 • ストリーム処理は逐次処理 • → 精度検証に課題
22.
目次 • 今日話すこと • 背景・動機・問題設定 •
ストリーム処理 • ログ処理 • 機械学習 • 結果 • まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 22
23.
試験結果: KPI変化 Copyright (C)
2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 23 • 一部配信面・一部トラフィックでA/Bテスト • iCTR向上 = ユーザに合った広告の配信ができた • CPC低下 = 広告主視点ではコスト削減 • RPR向上 = 売上向上 KPI 意味 KPIリフト iCTR ≒クリック率 4.1% CPC クリック単価 -2.5% RPR 1リクエストの売上 1.5%
24.
• 配布直後のKPIが増加傾向 Copyright (C)
2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 24 試験結果: モデル配布後のKPI変化 RPR 配布後の経過時間
25.
目次 • 今日話すこと • 背景・動機・問題設定 •
ストリーム処理 • ログ処理 • 機械学習 • 結果 • まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 25
26.
まとめ • CTR予測モデルの更新をリアルタイムに • ストリーム処理ならではの課題 •
ログ結合、ハイパーパラメータ調整 • 試験結果としてはCTRが4%向上 • 更新間隔を短くすることでさらなる向上の可能性 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 26
27.
質疑応答 Copyright (C) 2016
Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 27
28.
Appendix Copyright (C) 2016
Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 28
29.
機械学習 - 素性とモデル •
Logistic Regression Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 29 Web ページ ユーザ 配信 サーバ 広告配信 リクエスト • 性別: 男性 • 年代: 30代 • 興味カテゴリ: 車、料理 • ドメイン: yahoo.co.jp • 配信面ID: 12345 AD1 • 広告主ID: 123 • 広告ID: 1234567 • 過去実績: 0.1 𝑓 男性, 30代, 車, 料理, … = 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 𝑤 𝑎 ∙ 男性 + 𝑤 𝑏 ∙ 30代 + 𝑤𝑐 ∙ 車 + ⋯
30.
機械学習 - 学習手法 Copyright
(C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 30 • SGD(確率的勾配降下法) • オンライン機会学習の学習手法 While(! 収束条件): 𝑓𝑜𝑟 𝑦𝑖, 𝑥𝑖 𝑖𝑛 𝑑𝑎𝑡𝑎: 𝑤𝑡+1 = 𝑤𝑡 − 𝜂 𝑡 𝛻𝑙 𝑦𝑖, 𝑤𝑡, 𝑥𝑖 学習率: 1回の勾配移動量を調整 基本は順次小さくする 例) 𝜂 𝑡+1 = 0.9 ∗ 𝜂 𝑡 勾配: wnの修正値
31.
機械学習 - ハイパーパラメータの調整 Copyright
(C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 31 While(! 収束条件): 𝑓𝑜𝑟 𝑦𝑖, 𝑥𝑖 𝑖𝑛 𝑑𝑎𝑡𝑎: 𝑤𝑡+1 = 𝑤𝑡 − 𝜂 𝑡 𝛻𝑙 𝑦𝑖, 𝑤𝑡, 𝑥𝑖 学習率: 1回の勾配移動量を調整 基本は順次小さくする 例) 𝜂 𝑡+1 = 0.9 ∗ 𝜂 𝑡 勾配: wnの修正値 終わらない • not オンライン、but ストリーム 学習率の自動調整 → AdaDelta等
Download now