SlideShare a Scribd company logo
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
2017年9月15日
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ヤフー株式会社 東浩稔
Yahoo!プロモーション広告の
ビックデータ基盤を
支える技術と今後の展望
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
自己紹介
東 浩稔(あずま ひろとし)
所属:マーケティングソリューションズカンパニー 開発本部
パフォーマンスデータPF開発部
プロモーション広告のデータPF全般について、アーキテクチャの刷新や
パフォーマンスの改善を担当
経歴:
2012年中途入社。現在3社目
1社目:製造業(ITエンジニアではない)
2社目:証券系SIer
3社目:Yahoo!ディスプレイアドネットワーク(以下、YDN)のレポート開発や集計シス
テムのリードエンジニアを担当し、今年度より現在の業務を担当。
2
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
アジェンダ
1. Yahoo!プロモーション広告と現在の
システム
2. 現在の課題
3. 今後の展望と事例
3
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
1. Yahoo!プロモーション広告と現在の
システム
2. 現在の課題
3. 今後の展望と事例
4
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データプラットフォームのミッション
Yahoo!プロモーション広告のPFを
利用している人たちのストレスを無くす
5
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データプラットフォームのミッション
Yahoo!プロモーション広告のPFを
利用している人たちのストレスを無くす
6
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Yahoo!プロモーション広告
7
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
プロモーション広告システムとその利用者
8
広告主様 ヤフーを訪れた
ユーザー様
メディア担当様
広告配信
システム
広告管理
システム
パートナー
管理システム
集計システム分析システム広告業務
担当
広告 広告 配信結果
レポート
配信面のチューニング
レポート
ログ
集計データ
集計データ
分析結果
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
プロモーション広告システムとその利用者
9
広告主様 ヤフーを訪れた
ユーザー様
メディア担当様
広告配信
システム
広告管理
システム
パートナー
管理システム
集計システム分析システム広告業務
担当
広告 広告 配信結果
レポート
配信面のチューニング
レポート
ログ
集計データ
集計データ
分析結果
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
プロモーション広告システムとその利用者
10
広告主様 ヤフーを訪れた
ユーザー様
メディア担当様
広告配信
システム
広告管理
システム
パートナー
管理システム
集計システム分析システム広告業務
担当
広告 広告 配信結果
レポート
配信面のチューニング
レポート
ログ
集計データ
集計データ
分析結果
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
プロモーション広告システムとその利用者
11
広告主様 ヤフーを訪れた
ユーザー様
メディア担当様
広告配信
システム
広告管理
システム
パートナー
管理システム
集計システム分析システム広告業務
担当
広告 広告 配信結果
レポート
配信面のチューニング
レポート
ログ
集計データ
集計データ
分析結果
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
プロモーション広告システムとその利用者
12
広告主様 ヤフーを訪れた
ユーザー様
メディア担当様
広告配信
システム
広告管理
システム
パートナー
管理システム
集計システム分析システム広告業務
担当
広告 広告 配信結果
レポート
配信面のチューニング
レポート
ログ
集計データ
集計データ
分析結果
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
プロモーション広告システムとその利用者
13
広告主様 ヤフーを訪れた
ユーザー様
メディア担当様
広告配信
システム
広告管理
システム
パートナー
管理システム
集計システム分析システム広告業務
担当
広告 広告 配信結果
レポート
配信面のチューニング
レポート
ログ
集計データ
集計データ
分析結果
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
数字で見るプロモーション広告システム
14
広告主様 ヤフーを訪れた
ユーザー様
メディア担当様
広告配信
システム
広告管理
システム
パートナー
管理システム
集計システム分析システム広告業務
担当
広告 広告 配信結果
レポート
配信面のチューニング
レポート
ログ
集計データ
集計データ
分析結果
※1 出典:ヤフー株式会社 2017年度 第1四半期 事業指標推移表
※2 YDB+スポンサードサーチのレポート作成数
月間 約4400万
レポート作成
(※2)
月間 約725億PV
(※1)
月間 約150TB
(※3)
※3YDNのデータ量/gz圧縮済み
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
本日お話する対象システム
15
広告主様 ヤフーを訪れた
ユーザー様
メディア担当様
広告配信
システム
広告管理
システム
パートナー
管理システム
集計システム分析システム広告業務
担当
広告 広告 配信結果
レポート
配信面のチューニング
レポート
ログ
集計データ
集計データ
分析結果
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
現在のシステム構成(YDN)
16
Oracle
(OLTP)
Oracle
(Batch)
統計
広告入稿
レポート Hadoop
集計
Teradata
(DWH) パートナー
配信Data Pipeline
広告運用
分析/業務
メディア担当様
Isilon
(Storage)
配信面運用
広告主様
ヤフーを訪れた
ユーザー様
広告業務
担当
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
現在のシステム構成(YDN)
17
Oracle
(OLTP)
Oracle
(Batch)
統計
広告入稿
レポート Hadoop
集計
Teradata
(DWH) パートナー
配信Data Pipeline
広告業務
担当
広告運用
分析/業務
メディア担当様
Isilon
(Storage)
配信面運用
広告主様
ヤフーを訪れた
ユーザー様
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
現在のシステム構成(YDN)
18
Oracle
(OLTP)
Oracle
(Batch)
統計
広告入稿
レポート Hadoop
集計
Teradata
(DWH) パートナー
配信Data Pipeline
広告運用
分析/業務
メディア担当様
Isilon
(Storage)
配信面運用
広告主様
ヤフーを訪れた
ユーザー様
広告業務
担当
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
現在のシステム構成(YDN)
19
Oracle
(OLTP)
Oracle
(Batch)
統計
広告入稿
レポート Hadoop
集計
Teradata
(DWH) パートナー
配信Data Pipeline
広告運用
分析/業務
メディア担当様
Isilon
(Storage)
配信面運用
広告主様
ヤフーを訪れた
ユーザー様
広告業務
担当
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
現在のシステム構成(YDN)
20
Oracle
(OLTP)
Oracle
(Batch)
統計
広告入稿
レポート Hadoop
集計
Teradata
(DWH) パートナー
配信Data Pipeline
広告運用
分析/業務
メディア担当様
Isilon
(Storage)
配信面運用
広告主様
ヤフーを訪れた
ユーザー様
広告業務
担当
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
現在のシステム構成(YDN)
21
Oracle
(OLTP)
Oracle
(Batch)
統計
広告入稿
レポート Hadoop
集計
Teradata
(DWH) パートナー
配信Data Pipeline
広告運用
分析/業務
メディア担当様
Isilon
(Storage)
配信面運用
広告主様
ヤフーを訪れた
ユーザー様
広告業務
担当
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
補足:統計とレポートの違い
22
• 両方とも配信の実績を確認するツール
• 統計で概要を確認し、レポートで詳細を分析する
機能 I/F 種別 速度 自由度
統計 画面
リアル
タイム型
数秒 低い
レポート
ファイル
DL
バッチ型 数十秒〜数分 高い
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
1. Yahoo!プロモーション広告と現在の
システム
2. 現在の課題
3. 今後の展望と事例
23
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ヤフーの広告事業は堅調
24出典:2017年度第1四半期決算発表 プレゼンテーション資料
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
その裏側では
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
スポンサードサーチ 広告入稿量
26
2年間で約3倍
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
YDN 配信ログ量
27
2年間で約3.6倍
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
YDN レポート作成数
28
2年間で約3倍
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
利用が増えることでシステムの負荷も増える
29
Oracle
(OLTP)
Oracle
(Batch)
広告入稿
統計
レポート Hadoop
集計
Teradata
(DWH) パートナー
配信Data Pipeline
広告運用
分析/業務
メディア担当様
Isilon
(Storage)
配信面運用
広告主様
ヤフーを訪れた
ユーザー様
配信ログ量 増レポート作成数 増
広告入稿量 増
広告業務
担当
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
影響:レポートのスループット低下
30
Oracle
(OLTP)
Oracle
(Batch)
広告入稿
統計
レポート Hadoop
集計
Teradata
(DWH) パートナー
配信Data Pipeline
広告運用
分析/業務
メディア担当様
Isilon
(Storage)
配信面運用
広告主様
ヤフーを訪れた
ユーザー様
YDNレポートの
作成要求に対して
処理が追いつかなくなってきた
広告業務
担当
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
影響: RDBのレイテンシ低下
31
Oracle
(OLTP)
Oracle
(Batch)
広告入稿
統計
レポート Hadoop
集計
Teradata
(DWH) パートナー
配信Data Pipeline
広告運用
分析/業務
メディア担当様
Isilon
(Storage)
配信面運用
広告主様
ヤフーを訪れた
ユーザー様
統計情報を参照する際の
レイテンシが低下しはじめた
広告業務
担当
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データプラットフォームのミッション
Yahoo!プロモーション広告のPFを
利用している人たちのストレスを無くすこと
32
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データプラットフォームのストレスとは?
33
• 遅い
- レイテンシの低下
- データの反映遅延(リアルタイム性)
• 使えない
- 稼働率の低下
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データプラットフォームのストレスとは?
34
• 遅い
- レイテンシの低下
- データの反映遅延(リアルタイム性)
• 使えない
- 稼働率の低下
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
広告主様が感じるストレス
35
• 遅い
- レイテンシの低下
→ 統計画面の表示
→ YDNレポート作成
- データの反映遅延(リアルタイム性)
• 使えない
- 稼働率の低下
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ストレスにどう対処していくか?
36
1. 処理リソースを増やす
2. 定期的に技術を見直す
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ストレスにどう対処していくか?
37
1. 処理リソースを増やす
2. 定期的に技術を見直す
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
どういうアプローチか?
38
必要なリソース
時間
キャパシティ
トラフィック、必要な計算リソース
オーバーキャパシティ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
1.処理リソースを増やす
39
必要なリソース
時間
トラフィック、必要な計算リソース
キャパシティ
サーバ追加でキャパシティの上限値をあげる
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
では、それ以上増えたら?
40
必要なリソース
時間
トラフィック、必要な計算リソース
キャパシティ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
リソースを追加しつづけることはできない
41
• 費用対効果が合わない
• どこかにボトルネックが生まれるので
永遠にスケールアウトし続けることは
できない
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ストレスにどう対処していくか?
42
1. 処理リソースを増やす
2. 定期的に技術を見直す
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
2.定期的に技術を見直す
43
必要なリソース
時間
トラフィック、必要な計算リソース
アーキテクチャ
を見直して効率
を良くする
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
現在の課題は?
44
1. 処理リソースを増やす
→ RDBがそもそもスケールアウト
しにくい構成
2. 定期的に技術を見直す
→ YDNレポートのトラフィックの伸びに
対してリソースが不足してきた
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
1. Yahoo!プロモーション広告と現在の
システム
2. 現在の課題
3. 今後の展望と事例
45
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
どこを見直すのか
46
Oracle
(OLTP)
Oracle
(Batch)
広告入稿
統計
レポート Hadoop
集計
Teradata
(DWH) パートナー
配信Data Pipeline
広告運用
分析/業務
メディア担当様
Isilon
(Storage)
配信面運用
広告主様
ヤフーを訪れた
ユーザー様
2.利用している技術を
見直し、リソースの
利用効率をあげる
1.RDB一辺倒からユース
ケース毎にデータPFを
使い分け、増え続ける
データ量に対応する
広告業務
担当
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データプラットフォーム見直しの方針
47
• 大方針としては、全てOracleを利用するのではなく、
ユースケースを見極めて、プラットフォームを
分散させる
• 分散させたデータを繋ぐためにマルチデータソース
にアクセスできるPrestoを採用する
• トランザクション管理が必要なものは従来通り
Oracleを使用する
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
今後の展望
※まだ導入してません
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
今後の展望(全体像)
49
Oracle
(OLTP)
広告入稿
統計
レポート Hadoop
(HDFS)
集計
広告運用
Presto
(クエリエンジン)
HBase/Phoenix
(KVS)
TBD
(Cache)
SQLレイヤ Cacheレイヤ 永続化レイヤ ストレージレイヤ
広告主様
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
1.スケールアウト構成+Cache
50
Oracle
(OLTP)
広告入稿
統計
レポート Hadoop
(HDFS)
集計
広告運用
Presto
(クエリエンジン)
HBase/Phoenix
(KVS)
TBD
(Cache)
分離した入稿データと統計
データをジョインするため
クエリエンジンとして
Prestoを利用
統計
データ
入稿
データ
(Cache)
入稿
データ
広告主様
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
2.技術の見直し(Hive → Presto)
51
Oracle
(OLTP)
広告入稿
統計
レポート Hadoop
(HDFS)
集計
広告運用
広告主様
Presto
(クエリエンジン)
HBase/Phoenix
(KVS)
TBD
(Cache)
レポート
データ
YDNレポートで利用しているHive を
Presto + HDFSへ切り替える
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
検証した結果
※まだ導入してません
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
1.HBase/Phoenix
53
• サーバ30台
• 1,6,12,24,48並列で実行
• テーブルレコードは22億行
• 大中小150アカウントを選び
3回実行(450Query )
• 22億件から1件〜300件程度
抽出するパターン
- 0.04秒〜1.06秒(48並列)に
収まる
Response Time
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
2.Presto
54
• HiveとPrestoの比較
• サーバ13台
• 1,2,4,8,16,32並列で実行
- スループットがHiveの8倍以
上(32並列)
- レスポンスタイムもHiveの8
倍速い(32並列)
- 並列度を増やしても劣化が少
ない
Request per Hour
Total Response Time
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
まとめ
• Yahoo!プロモーション広告はYahoo!サービスの
膨大なトラフィックが集まる
また、その伸びも速い
• トラフィックの伸びに追従するにはリソースの
追加と技術を定期的に見直すことが必要
• 新しい技術に触れ、成果が目に見えやすい
55
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
最後に
詳細はこの後の懇親会でお話しましょう!
56
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ありがとうございました!

More Related Content

What's hot

Power BI データフロー 早わかり
Power BI データフロー 早わかりPower BI データフロー 早わかり
Power BI データフロー 早わかり
Takeshi Kagata
 
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3  データエンジニアを採用するための試行錯誤datatech-jp Casual Talks#3  データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
株式会社MonotaRO Tech Team
 
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版) データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
 
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料) 40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
 
なぜデータモデリングが重要なのか?
なぜデータモデリングが重要なのか?なぜデータモデリングが重要なのか?
なぜデータモデリングが重要なのか?
Yoshitaka Kawashima
 
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
NTT DATA Technology & Innovation
 
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
Yoshiki Hayama
 
Data platformdesign
Data platformdesignData platformdesign
Data platformdesign
Ryoma Nagata
 
Synapse lakedatabase
Synapse lakedatabaseSynapse lakedatabase
Synapse lakedatabase
Ryoma Nagata
 
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメントDMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
 
NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~
NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~
NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~
NTT DATA OSS Professional Services
 
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Recruit Technologies
 
ビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年version
Tetsutaro Watanabe
 
ファイルサーバーの棚卸から考える SharePoint Online を使ったファイル管理
ファイルサーバーの棚卸から考える SharePoint Online を使ったファイル管理ファイルサーバーの棚卸から考える SharePoint Online を使ったファイル管理
ファイルサーバーの棚卸から考える SharePoint Online を使ったファイル管理
Hirofumi Ota
 
概念モデリング再入門 + DDD
概念モデリング再入門 + DDD概念モデリング再入門 + DDD
概念モデリング再入門 + DDD
Hiroshima JUG
 
境界付けられたコンテキスト 概念編 (ドメイン駆動設計用語解説シリーズ)
境界付けられたコンテキスト 概念編 (ドメイン駆動設計用語解説シリーズ)境界付けられたコンテキスト 概念編 (ドメイン駆動設計用語解説シリーズ)
境界付けられたコンテキスト 概念編 (ドメイン駆動設計用語解説シリーズ)
Koichiro Matsuoka
 
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
 
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
Denodo
 
ドメイン駆動設計のプラクティスでカバーできること、できないこと[DDD]
ドメイン駆動設計のプラクティスでカバーできること、できないこと[DDD]ドメイン駆動設計のプラクティスでカバーできること、できないこと[DDD]
ドメイン駆動設計のプラクティスでカバーできること、できないこと[DDD]
Koichiro Matsuoka
 
リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」
Recruit Technologies
 

What's hot (20)

Power BI データフロー 早わかり
Power BI データフロー 早わかりPower BI データフロー 早わかり
Power BI データフロー 早わかり
 
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3  データエンジニアを採用するための試行錯誤datatech-jp Casual Talks#3  データエンジニアを採用するための試行錯誤
datatech-jp Casual Talks#3 データエンジニアを採用するための試行錯誤
 
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版) データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
 
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料) 40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
 
なぜデータモデリングが重要なのか?
なぜデータモデリングが重要なのか?なぜデータモデリングが重要なのか?
なぜデータモデリングが重要なのか?
 
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
 
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む45分間で「ユーザー中心のものづくり」ができるまで詰め込む
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
 
Data platformdesign
Data platformdesignData platformdesign
Data platformdesign
 
Synapse lakedatabase
Synapse lakedatabaseSynapse lakedatabase
Synapse lakedatabase
 
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメントDMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
 
NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~
NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~
NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~
 
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
 
ビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年version
 
ファイルサーバーの棚卸から考える SharePoint Online を使ったファイル管理
ファイルサーバーの棚卸から考える SharePoint Online を使ったファイル管理ファイルサーバーの棚卸から考える SharePoint Online を使ったファイル管理
ファイルサーバーの棚卸から考える SharePoint Online を使ったファイル管理
 
概念モデリング再入門 + DDD
概念モデリング再入門 + DDD概念モデリング再入門 + DDD
概念モデリング再入門 + DDD
 
境界付けられたコンテキスト 概念編 (ドメイン駆動設計用語解説シリーズ)
境界付けられたコンテキスト 概念編 (ドメイン駆動設計用語解説シリーズ)境界付けられたコンテキスト 概念編 (ドメイン駆動設計用語解説シリーズ)
境界付けられたコンテキスト 概念編 (ドメイン駆動設計用語解説シリーズ)
 
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
 
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
 
ドメイン駆動設計のプラクティスでカバーできること、できないこと[DDD]
ドメイン駆動設計のプラクティスでカバーできること、できないこと[DDD]ドメイン駆動設計のプラクティスでカバーできること、できないこと[DDD]
ドメイン駆動設計のプラクティスでカバーできること、できないこと[DDD]
 
リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」
 

Viewers also liked

Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnightYahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo!デベロッパーネットワーク
 
マルチビッグデータの活用を支える DWHの作り方
マルチビッグデータの活用を支える DWHの作り方マルチビッグデータの活用を支える DWHの作り方
マルチビッグデータの活用を支える DWHの作り方
Yahoo!デベロッパーネットワーク
 
ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生
Yahoo!デベロッパーネットワーク
 
AMPと広告とOpenRTBと #yjmu
AMPと広告とOpenRTBと #yjmuAMPと広告とOpenRTBと #yjmu
AMPと広告とOpenRTBと #yjmu
Yahoo!デベロッパーネットワーク
 
Kafka・Storm・ZooKeeperの認証と認可について #kafkajp
Kafka・Storm・ZooKeeperの認証と認可について #kafkajpKafka・Storm・ZooKeeperの認証と認可について #kafkajp
Kafka・Storm・ZooKeeperの認証と認可について #kafkajp
Yahoo!デベロッパーネットワーク
 
Yahoo! JAPANのCloud Foundry導入状況
Yahoo! JAPANのCloud Foundry導入状況Yahoo! JAPANのCloud Foundry導入状況
Yahoo! JAPANのCloud Foundry導入状況
Yahoo!デベロッパーネットワーク
 
ビックデータ処理技術の全体像とリクルートでの使い分け
ビックデータ処理技術の全体像とリクルートでの使い分けビックデータ処理技術の全体像とリクルートでの使い分け
ビックデータ処理技術の全体像とリクルートでの使い分け
Tetsutaro Watanabe
 
IT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfuture
IT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfutureIT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfuture
IT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfuture
Yahoo!デベロッパーネットワーク
 
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo!デベロッパーネットワーク
 
Rakutenとsreと私 yanagimoto koichi
Rakutenとsreと私 yanagimoto koichiRakutenとsreと私 yanagimoto koichi
Rakutenとsreと私 yanagimoto koichi
Rakuten Group, Inc.
 
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Recruit Technologies
 
What i learned from translation of the sre ryuji tamagawa
What i learned from translation of the sre ryuji tamagawaWhat i learned from translation of the sre ryuji tamagawa
What i learned from translation of the sre ryuji tamagawa
Rakuten Group, Inc.
 
銀行ロビーアシスタント
銀行ロビーアシスタント銀行ロビーアシスタント
銀行ロビーアシスタント
Recruit Technologies
 
Kafka Connect(Japanese)
Kafka Connect(Japanese)Kafka Connect(Japanese)
Kafka Connect(Japanese)
Roman Shtykh
 
Life of an enginner in rakuten osaka diarmaid lindsay
Life of an enginner in rakuten osaka diarmaid lindsayLife of an enginner in rakuten osaka diarmaid lindsay
Life of an enginner in rakuten osaka diarmaid lindsay
Rakuten Group, Inc.
 

Viewers also liked (20)

Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnightYahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
 
マルチビッグデータの活用を支える DWHの作り方
マルチビッグデータの活用を支える DWHの作り方マルチビッグデータの活用を支える DWHの作り方
マルチビッグデータの活用を支える DWHの作り方
 
Presto in Yahoo! JAPAN #yjdsnight
Presto in Yahoo! JAPAN #yjdsnightPresto in Yahoo! JAPAN #yjdsnight
Presto in Yahoo! JAPAN #yjdsnight
 
ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生ICML2017 参加報告会 山本康生
ICML2017 参加報告会 山本康生
 
Hive on Tezのベストプラクティス
Hive on TezのベストプラクティスHive on Tezのベストプラクティス
Hive on Tezのベストプラクティス
 
AMPと広告とOpenRTBと #yjmu
AMPと広告とOpenRTBと #yjmuAMPと広告とOpenRTBと #yjmu
AMPと広告とOpenRTBと #yjmu
 
僕とヤフーと時々Teradata #prestodb
僕とヤフーと時々Teradata #prestodb僕とヤフーと時々Teradata #prestodb
僕とヤフーと時々Teradata #prestodb
 
ヤフーオープンローカルプラットフォームの設計思想
ヤフーオープンローカルプラットフォームの設計思想ヤフーオープンローカルプラットフォームの設計思想
ヤフーオープンローカルプラットフォームの設計思想
 
Kafka・Storm・ZooKeeperの認証と認可について #kafkajp
Kafka・Storm・ZooKeeperの認証と認可について #kafkajpKafka・Storm・ZooKeeperの認証と認可について #kafkajp
Kafka・Storm・ZooKeeperの認証と認可について #kafkajp
 
Yahoo! JAPANのCloud Foundry導入状況
Yahoo! JAPANのCloud Foundry導入状況Yahoo! JAPANのCloud Foundry導入状況
Yahoo! JAPANのCloud Foundry導入状況
 
ビックデータ処理技術の全体像とリクルートでの使い分け
ビックデータ処理技術の全体像とリクルートでの使い分けビックデータ処理技術の全体像とリクルートでの使い分け
ビックデータ処理技術の全体像とリクルートでの使い分け
 
IT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfuture
IT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfutureIT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfuture
IT業界のリーディングカンパニーとして描く「少し先の未来」〜Yahoo! JAPANの事例を通して〜#a11yfuture
 
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
 
Rakutenとsreと私 yanagimoto koichi
Rakutenとsreと私 yanagimoto koichiRakutenとsreと私 yanagimoto koichi
Rakutenとsreと私 yanagimoto koichi
 
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
 
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
 
What i learned from translation of the sre ryuji tamagawa
What i learned from translation of the sre ryuji tamagawaWhat i learned from translation of the sre ryuji tamagawa
What i learned from translation of the sre ryuji tamagawa
 
銀行ロビーアシスタント
銀行ロビーアシスタント銀行ロビーアシスタント
銀行ロビーアシスタント
 
Kafka Connect(Japanese)
Kafka Connect(Japanese)Kafka Connect(Japanese)
Kafka Connect(Japanese)
 
Life of an enginner in rakuten osaka diarmaid lindsay
Life of an enginner in rakuten osaka diarmaid lindsayLife of an enginner in rakuten osaka diarmaid lindsay
Life of an enginner in rakuten osaka diarmaid lindsay
 

Similar to Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望

データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiCデータの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
Yahoo!デベロッパーネットワーク
 
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせますSHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
Nanae Matsushima
 
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試みデータテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
Yahoo!デベロッパーネットワーク
 
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
Ryusuke Ashiya
 
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
Yahoo!デベロッパーネットワーク
 
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方リクルート式Hadoopの使い方
リクルート式Hadoopの使い方
Recruit Technologies
 
絶対にタダでは転ばない広告エンジニア #yjmu
絶対にタダでは転ばない広告エンジニア #yjmu絶対にタダでは転ばない広告エンジニア #yjmu
絶対にタダでは転ばない広告エンジニア #yjmu
Yahoo!デベロッパーネットワーク
 
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo!デベロッパーネットワーク
 
大規模インフラで考える インフラチームの未来
大規模インフラで考える インフラチームの未来大規模インフラで考える インフラチームの未来
大規模インフラで考える インフラチームの未来
Masayuki Ueda
 
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning HadoopBeginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
 
キャップジェミニ、あなたの『RISE WITH SAP』のパートナーです
キャップジェミニ、あなたの『RISE WITH SAP』のパートナーですキャップジェミニ、あなたの『RISE WITH SAP』のパートナーです
キャップジェミニ、あなたの『RISE WITH SAP』のパートナーです
Capgemini
 
私たち企業がアクセシビリティに取り組む理由(2018年) #accfes
私たち企業がアクセシビリティに取り組む理由(2018年) #accfes私たち企業がアクセシビリティに取り組む理由(2018年) #accfes
私たち企業がアクセシビリティに取り組む理由(2018年) #accfes
Yahoo!デベロッパーネットワーク
 
プログラムせずに実現する!Amazon Redshift分析・活用環境
プログラムせずに実現する!Amazon Redshift分析・活用環境プログラムせずに実現する!Amazon Redshift分析・活用環境
プログラムせずに実現する!Amazon Redshift分析・活用環境
Kazuya Mori
 
Base 20141011 1_for_slideshre
Base 20141011 1_for_slideshreBase 20141011 1_for_slideshre
Base 20141011 1_for_slideshre
正善 大島
 
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンドプランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
Yahoo!デベロッパーネットワーク
 
[data analytics showcase] A12: データに隠された課題、ちゃんと見えていますか? by Tableau Japan 株式会社 ...
[data analytics showcase] A12: データに隠された課題、ちゃんと見えていますか? by Tableau Japan 株式会社 ...[data analytics showcase] A12: データに隠された課題、ちゃんと見えていますか? by Tableau Japan 株式会社 ...
[data analytics showcase] A12: データに隠された課題、ちゃんと見えていますか? by Tableau Japan 株式会社 ...
Insight Technology, Inc.
 
超高速開発の基礎概念 20141119 0
超高速開発の基礎概念 20141119 0超高速開発の基礎概念 20141119 0
超高速開発の基礎概念 20141119 0
正善 大島
 
株式会社リブセンス会社説明資料(転職エージェント企業様向け)
株式会社リブセンス会社説明資料(転職エージェント企業様向け)株式会社リブセンス会社説明資料(転職エージェント企業様向け)
株式会社リブセンス会社説明資料(転職エージェント企業様向け)
Taku Unno
 
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
 
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例Amazon Web Services Japan
 

Similar to Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望 (20)

データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiCデータの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
 
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせますSHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
 
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試みデータテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
 
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
分析のモダナイズへのヒント:データ価値を最大化するビジュアル分析とエンタープライズ組織への展開 - 経営課題解決シンポジウム (2018/09/28)
 
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
 
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方リクルート式Hadoopの使い方
リクルート式Hadoopの使い方
 
絶対にタダでは転ばない広告エンジニア #yjmu
絶対にタダでは転ばない広告エンジニア #yjmu絶対にタダでは転ばない広告エンジニア #yjmu
絶対にタダでは転ばない広告エンジニア #yjmu
 
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション①
 
大規模インフラで考える インフラチームの未来
大規模インフラで考える インフラチームの未来大規模インフラで考える インフラチームの未来
大規模インフラで考える インフラチームの未来
 
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning HadoopBeginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
 
キャップジェミニ、あなたの『RISE WITH SAP』のパートナーです
キャップジェミニ、あなたの『RISE WITH SAP』のパートナーですキャップジェミニ、あなたの『RISE WITH SAP』のパートナーです
キャップジェミニ、あなたの『RISE WITH SAP』のパートナーです
 
私たち企業がアクセシビリティに取り組む理由(2018年) #accfes
私たち企業がアクセシビリティに取り組む理由(2018年) #accfes私たち企業がアクセシビリティに取り組む理由(2018年) #accfes
私たち企業がアクセシビリティに取り組む理由(2018年) #accfes
 
プログラムせずに実現する!Amazon Redshift分析・活用環境
プログラムせずに実現する!Amazon Redshift分析・活用環境プログラムせずに実現する!Amazon Redshift分析・活用環境
プログラムせずに実現する!Amazon Redshift分析・活用環境
 
Base 20141011 1_for_slideshre
Base 20141011 1_for_slideshreBase 20141011 1_for_slideshre
Base 20141011 1_for_slideshre
 
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンドプランニングツールにおけるインタラクティブな可視化を支えるバックエンド
プランニングツールにおけるインタラクティブな可視化を支えるバックエンド
 
[data analytics showcase] A12: データに隠された課題、ちゃんと見えていますか? by Tableau Japan 株式会社 ...
[data analytics showcase] A12: データに隠された課題、ちゃんと見えていますか? by Tableau Japan 株式会社 ...[data analytics showcase] A12: データに隠された課題、ちゃんと見えていますか? by Tableau Japan 株式会社 ...
[data analytics showcase] A12: データに隠された課題、ちゃんと見えていますか? by Tableau Japan 株式会社 ...
 
超高速開発の基礎概念 20141119 0
超高速開発の基礎概念 20141119 0超高速開発の基礎概念 20141119 0
超高速開発の基礎概念 20141119 0
 
株式会社リブセンス会社説明資料(転職エージェント企業様向け)
株式会社リブセンス会社説明資料(転職エージェント企業様向け)株式会社リブセンス会社説明資料(転職エージェント企業様向け)
株式会社リブセンス会社説明資料(転職エージェント企業様向け)
 
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
 
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
[よくわかるクラウドデータベース] リクルートにおけるRedshift導入・活用事例
 

More from Yahoo!デベロッパーネットワーク

ゼロから始める転移学習
ゼロから始める転移学習ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
 
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
 
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
 
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッションオンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
 
LakeTahoe
LakeTahoeLakeTahoe
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Yahoo!デベロッパーネットワーク
 
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability FeaturePersistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
Yahoo!デベロッパーネットワーク
 
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
 
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtceコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
Yahoo!デベロッパーネットワーク
 
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo!デベロッパーネットワーク
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
 
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtcビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
 
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtcサイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
 
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo!デベロッパーネットワーク
 
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtcYahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
 
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
Yahoo!デベロッパーネットワーク
 
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcPC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
Yahoo!デベロッパーネットワーク
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcモブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
Yahoo!デベロッパーネットワーク
 
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
Yahoo!デベロッパーネットワーク
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Yahoo!デベロッパーネットワーク
 

More from Yahoo!デベロッパーネットワーク (20)

ゼロから始める転移学習
ゼロから始める転移学習ゼロから始める転移学習
ゼロから始める転移学習
 
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
 
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるかヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
 
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッションオンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
 
LakeTahoe
LakeTahoeLakeTahoe
LakeTahoe
 
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
 
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability FeaturePersistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
 
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
 
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtceコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
 
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtcヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
 
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtcYahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
 
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtcビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
 
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtcサイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
 
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtcヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
 
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtcYahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
 
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
 
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtcPC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
 
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtcモブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
 
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
 
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtcユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
 

Recently uploaded

なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDDなぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
ssuserfcafd1
 
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
Seiya Shimabukuro
 
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
Shinichi Hirauchi
 
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
Osaka University
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
Osaka University
 
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
iPride Co., Ltd.
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
ARISE analytics
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
 
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptxiMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
kitamisetagayaxxx
 
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
Takuya Minagawa
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
azuma satoshi
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
sugiuralab
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
osamut
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
Yuki Miyazaki
 

Recently uploaded (14)

なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDDなぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
なぜそのDDDは効果が薄いのか?名ばかりDX案件での経験を踏まえて培った他の思考を交えた現代風?のDDD
 
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
20240621_AI事業者ガイドライン_セキュリティパートの紹介_SeiyaShimabukuro
 
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
気ままなLLMをAgents for Amazon Bedrockでちょっとだけ飼いならす
 
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
生成AIの実利用に必要なこと-Practical Requirements for the Deployment of Generative AI
 
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
協働AIがもたらす業務効率革命 -日本企業が押さえるべきポイント-Collaborative AI Revolutionizing Busines...
 
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
Microsoft Azureで生成AIを使ってみた話 2024/6/14の勉強会で発表されたものです。
 
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
 
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptxiMacwoSu_Gong_de_barabaranishitaHua_.pptx
iMacwoSu_Gong_de_barabaranishitaHua_.pptx
 
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT  vol112 発表資料)
ろくに電子工作もしたことない人間がIoT用ミドルウェアを作った話(IoTLT vol112 発表資料)
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
 
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
ヒアラブルへの入力を想定したユーザ定義型ジェスチャ調査と IMUセンサによる耳タッチジェスチャの認識
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
 
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
無形価値を守り育てる社会における「デー タ」の責務について - Atlas, Inc.
 

Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望

  • 1. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2017年9月15日 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ヤフー株式会社 東浩稔 Yahoo!プロモーション広告の ビックデータ基盤を 支える技術と今後の展望
  • 2. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 自己紹介 東 浩稔(あずま ひろとし) 所属:マーケティングソリューションズカンパニー 開発本部 パフォーマンスデータPF開発部 プロモーション広告のデータPF全般について、アーキテクチャの刷新や パフォーマンスの改善を担当 経歴: 2012年中途入社。現在3社目 1社目:製造業(ITエンジニアではない) 2社目:証券系SIer 3社目:Yahoo!ディスプレイアドネットワーク(以下、YDN)のレポート開発や集計シス テムのリードエンジニアを担当し、今年度より現在の業務を担当。 2
  • 3. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. アジェンダ 1. Yahoo!プロモーション広告と現在の システム 2. 現在の課題 3. 今後の展望と事例 3
  • 4. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 1. Yahoo!プロモーション広告と現在の システム 2. 現在の課題 3. 今後の展望と事例 4
  • 5. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データプラットフォームのミッション Yahoo!プロモーション広告のPFを 利用している人たちのストレスを無くす 5
  • 6. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データプラットフォームのミッション Yahoo!プロモーション広告のPFを 利用している人たちのストレスを無くす 6
  • 7. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Yahoo!プロモーション広告 7
  • 8. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. プロモーション広告システムとその利用者 8 広告主様 ヤフーを訪れた ユーザー様 メディア担当様 広告配信 システム 広告管理 システム パートナー 管理システム 集計システム分析システム広告業務 担当 広告 広告 配信結果 レポート 配信面のチューニング レポート ログ 集計データ 集計データ 分析結果
  • 9. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. プロモーション広告システムとその利用者 9 広告主様 ヤフーを訪れた ユーザー様 メディア担当様 広告配信 システム 広告管理 システム パートナー 管理システム 集計システム分析システム広告業務 担当 広告 広告 配信結果 レポート 配信面のチューニング レポート ログ 集計データ 集計データ 分析結果
  • 10. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. プロモーション広告システムとその利用者 10 広告主様 ヤフーを訪れた ユーザー様 メディア担当様 広告配信 システム 広告管理 システム パートナー 管理システム 集計システム分析システム広告業務 担当 広告 広告 配信結果 レポート 配信面のチューニング レポート ログ 集計データ 集計データ 分析結果
  • 11. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. プロモーション広告システムとその利用者 11 広告主様 ヤフーを訪れた ユーザー様 メディア担当様 広告配信 システム 広告管理 システム パートナー 管理システム 集計システム分析システム広告業務 担当 広告 広告 配信結果 レポート 配信面のチューニング レポート ログ 集計データ 集計データ 分析結果
  • 12. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. プロモーション広告システムとその利用者 12 広告主様 ヤフーを訪れた ユーザー様 メディア担当様 広告配信 システム 広告管理 システム パートナー 管理システム 集計システム分析システム広告業務 担当 広告 広告 配信結果 レポート 配信面のチューニング レポート ログ 集計データ 集計データ 分析結果
  • 13. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. プロモーション広告システムとその利用者 13 広告主様 ヤフーを訪れた ユーザー様 メディア担当様 広告配信 システム 広告管理 システム パートナー 管理システム 集計システム分析システム広告業務 担当 広告 広告 配信結果 レポート 配信面のチューニング レポート ログ 集計データ 集計データ 分析結果
  • 14. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 数字で見るプロモーション広告システム 14 広告主様 ヤフーを訪れた ユーザー様 メディア担当様 広告配信 システム 広告管理 システム パートナー 管理システム 集計システム分析システム広告業務 担当 広告 広告 配信結果 レポート 配信面のチューニング レポート ログ 集計データ 集計データ 分析結果 ※1 出典:ヤフー株式会社 2017年度 第1四半期 事業指標推移表 ※2 YDB+スポンサードサーチのレポート作成数 月間 約4400万 レポート作成 (※2) 月間 約725億PV (※1) 月間 約150TB (※3) ※3YDNのデータ量/gz圧縮済み
  • 15. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 本日お話する対象システム 15 広告主様 ヤフーを訪れた ユーザー様 メディア担当様 広告配信 システム 広告管理 システム パートナー 管理システム 集計システム分析システム広告業務 担当 広告 広告 配信結果 レポート 配信面のチューニング レポート ログ 集計データ 集計データ 分析結果
  • 16. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 現在のシステム構成(YDN) 16 Oracle (OLTP) Oracle (Batch) 統計 広告入稿 レポート Hadoop 集計 Teradata (DWH) パートナー 配信Data Pipeline 広告運用 分析/業務 メディア担当様 Isilon (Storage) 配信面運用 広告主様 ヤフーを訪れた ユーザー様 広告業務 担当
  • 17. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 現在のシステム構成(YDN) 17 Oracle (OLTP) Oracle (Batch) 統計 広告入稿 レポート Hadoop 集計 Teradata (DWH) パートナー 配信Data Pipeline 広告業務 担当 広告運用 分析/業務 メディア担当様 Isilon (Storage) 配信面運用 広告主様 ヤフーを訪れた ユーザー様
  • 18. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 現在のシステム構成(YDN) 18 Oracle (OLTP) Oracle (Batch) 統計 広告入稿 レポート Hadoop 集計 Teradata (DWH) パートナー 配信Data Pipeline 広告運用 分析/業務 メディア担当様 Isilon (Storage) 配信面運用 広告主様 ヤフーを訪れた ユーザー様 広告業務 担当
  • 19. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 現在のシステム構成(YDN) 19 Oracle (OLTP) Oracle (Batch) 統計 広告入稿 レポート Hadoop 集計 Teradata (DWH) パートナー 配信Data Pipeline 広告運用 分析/業務 メディア担当様 Isilon (Storage) 配信面運用 広告主様 ヤフーを訪れた ユーザー様 広告業務 担当
  • 20. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 現在のシステム構成(YDN) 20 Oracle (OLTP) Oracle (Batch) 統計 広告入稿 レポート Hadoop 集計 Teradata (DWH) パートナー 配信Data Pipeline 広告運用 分析/業務 メディア担当様 Isilon (Storage) 配信面運用 広告主様 ヤフーを訪れた ユーザー様 広告業務 担当
  • 21. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 現在のシステム構成(YDN) 21 Oracle (OLTP) Oracle (Batch) 統計 広告入稿 レポート Hadoop 集計 Teradata (DWH) パートナー 配信Data Pipeline 広告運用 分析/業務 メディア担当様 Isilon (Storage) 配信面運用 広告主様 ヤフーを訪れた ユーザー様 広告業務 担当
  • 22. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 補足:統計とレポートの違い 22 • 両方とも配信の実績を確認するツール • 統計で概要を確認し、レポートで詳細を分析する 機能 I/F 種別 速度 自由度 統計 画面 リアル タイム型 数秒 低い レポート ファイル DL バッチ型 数十秒〜数分 高い
  • 23. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 1. Yahoo!プロモーション広告と現在の システム 2. 現在の課題 3. 今後の展望と事例 23
  • 24. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ヤフーの広告事業は堅調 24出典:2017年度第1四半期決算発表 プレゼンテーション資料
  • 25. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. その裏側では
  • 26. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. スポンサードサーチ 広告入稿量 26 2年間で約3倍
  • 27. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. YDN 配信ログ量 27 2年間で約3.6倍
  • 28. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. YDN レポート作成数 28 2年間で約3倍
  • 29. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 利用が増えることでシステムの負荷も増える 29 Oracle (OLTP) Oracle (Batch) 広告入稿 統計 レポート Hadoop 集計 Teradata (DWH) パートナー 配信Data Pipeline 広告運用 分析/業務 メディア担当様 Isilon (Storage) 配信面運用 広告主様 ヤフーを訪れた ユーザー様 配信ログ量 増レポート作成数 増 広告入稿量 増 広告業務 担当
  • 30. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 影響:レポートのスループット低下 30 Oracle (OLTP) Oracle (Batch) 広告入稿 統計 レポート Hadoop 集計 Teradata (DWH) パートナー 配信Data Pipeline 広告運用 分析/業務 メディア担当様 Isilon (Storage) 配信面運用 広告主様 ヤフーを訪れた ユーザー様 YDNレポートの 作成要求に対して 処理が追いつかなくなってきた 広告業務 担当
  • 31. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 影響: RDBのレイテンシ低下 31 Oracle (OLTP) Oracle (Batch) 広告入稿 統計 レポート Hadoop 集計 Teradata (DWH) パートナー 配信Data Pipeline 広告運用 分析/業務 メディア担当様 Isilon (Storage) 配信面運用 広告主様 ヤフーを訪れた ユーザー様 統計情報を参照する際の レイテンシが低下しはじめた 広告業務 担当
  • 32. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データプラットフォームのミッション Yahoo!プロモーション広告のPFを 利用している人たちのストレスを無くすこと 32
  • 33. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データプラットフォームのストレスとは? 33 • 遅い - レイテンシの低下 - データの反映遅延(リアルタイム性) • 使えない - 稼働率の低下
  • 34. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データプラットフォームのストレスとは? 34 • 遅い - レイテンシの低下 - データの反映遅延(リアルタイム性) • 使えない - 稼働率の低下
  • 35. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 広告主様が感じるストレス 35 • 遅い - レイテンシの低下 → 統計画面の表示 → YDNレポート作成 - データの反映遅延(リアルタイム性) • 使えない - 稼働率の低下
  • 36. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ストレスにどう対処していくか? 36 1. 処理リソースを増やす 2. 定期的に技術を見直す
  • 37. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ストレスにどう対処していくか? 37 1. 処理リソースを増やす 2. 定期的に技術を見直す
  • 38. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. どういうアプローチか? 38 必要なリソース 時間 キャパシティ トラフィック、必要な計算リソース オーバーキャパシティ
  • 39. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 1.処理リソースを増やす 39 必要なリソース 時間 トラフィック、必要な計算リソース キャパシティ サーバ追加でキャパシティの上限値をあげる
  • 40. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. では、それ以上増えたら? 40 必要なリソース 時間 トラフィック、必要な計算リソース キャパシティ
  • 41. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. リソースを追加しつづけることはできない 41 • 費用対効果が合わない • どこかにボトルネックが生まれるので 永遠にスケールアウトし続けることは できない
  • 42. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ストレスにどう対処していくか? 42 1. 処理リソースを増やす 2. 定期的に技術を見直す
  • 43. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2.定期的に技術を見直す 43 必要なリソース 時間 トラフィック、必要な計算リソース アーキテクチャ を見直して効率 を良くする
  • 44. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 現在の課題は? 44 1. 処理リソースを増やす → RDBがそもそもスケールアウト しにくい構成 2. 定期的に技術を見直す → YDNレポートのトラフィックの伸びに 対してリソースが不足してきた
  • 45. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 1. Yahoo!プロモーション広告と現在の システム 2. 現在の課題 3. 今後の展望と事例 45
  • 46. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. どこを見直すのか 46 Oracle (OLTP) Oracle (Batch) 広告入稿 統計 レポート Hadoop 集計 Teradata (DWH) パートナー 配信Data Pipeline 広告運用 分析/業務 メディア担当様 Isilon (Storage) 配信面運用 広告主様 ヤフーを訪れた ユーザー様 2.利用している技術を 見直し、リソースの 利用効率をあげる 1.RDB一辺倒からユース ケース毎にデータPFを 使い分け、増え続ける データ量に対応する 広告業務 担当
  • 47. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. データプラットフォーム見直しの方針 47 • 大方針としては、全てOracleを利用するのではなく、 ユースケースを見極めて、プラットフォームを 分散させる • 分散させたデータを繋ぐためにマルチデータソース にアクセスできるPrestoを採用する • トランザクション管理が必要なものは従来通り Oracleを使用する
  • 48. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 今後の展望 ※まだ導入してません
  • 49. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 今後の展望(全体像) 49 Oracle (OLTP) 広告入稿 統計 レポート Hadoop (HDFS) 集計 広告運用 Presto (クエリエンジン) HBase/Phoenix (KVS) TBD (Cache) SQLレイヤ Cacheレイヤ 永続化レイヤ ストレージレイヤ 広告主様
  • 50. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 1.スケールアウト構成+Cache 50 Oracle (OLTP) 広告入稿 統計 レポート Hadoop (HDFS) 集計 広告運用 Presto (クエリエンジン) HBase/Phoenix (KVS) TBD (Cache) 分離した入稿データと統計 データをジョインするため クエリエンジンとして Prestoを利用 統計 データ 入稿 データ (Cache) 入稿 データ 広告主様
  • 51. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2.技術の見直し(Hive → Presto) 51 Oracle (OLTP) 広告入稿 統計 レポート Hadoop (HDFS) 集計 広告運用 広告主様 Presto (クエリエンジン) HBase/Phoenix (KVS) TBD (Cache) レポート データ YDNレポートで利用しているHive を Presto + HDFSへ切り替える
  • 52. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 検証した結果 ※まだ導入してません
  • 53. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 1.HBase/Phoenix 53 • サーバ30台 • 1,6,12,24,48並列で実行 • テーブルレコードは22億行 • 大中小150アカウントを選び 3回実行(450Query ) • 22億件から1件〜300件程度 抽出するパターン - 0.04秒〜1.06秒(48並列)に 収まる Response Time
  • 54. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2.Presto 54 • HiveとPrestoの比較 • サーバ13台 • 1,2,4,8,16,32並列で実行 - スループットがHiveの8倍以 上(32並列) - レスポンスタイムもHiveの8 倍速い(32並列) - 並列度を増やしても劣化が少 ない Request per Hour Total Response Time
  • 55. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. まとめ • Yahoo!プロモーション広告はYahoo!サービスの 膨大なトラフィックが集まる また、その伸びも速い • トラフィックの伸びに追従するにはリソースの 追加と技術を定期的に見直すことが必要 • 新しい技術に触れ、成果が目に見えやすい 55
  • 56. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 最後に 詳細はこの後の懇親会でお話しましょう! 56
  • 57. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ありがとうございました!