Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
2017年3月15日
岡田 幸大
Presto in Y!J
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
自己紹介
• 岡田幸大, #新卒2009
• github: @yuokada
• Like: #golang #...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
自己紹介
• 2009/07~2013/03
コメント機能 BE開発
• 2013/04~2016/09
Web ...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
アジェンダ
• Yahoo! Japanのマルチビッグデータ
• Prestoとは? - 事例紹介
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
サービス数は100以上
メディア、コマース、金融・決済...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
データのバラエティも100以上
検索キーワード、ビュー...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
8
月間 674億PV / 1日9,000万UB
PC...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
NoSQLHadoop RDB
7,000 nodes...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
様々なPFにあるデータを
インタラクティブに分析する必...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Y!J is Multi Big Data Company
そこで選んだのは、
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
What is Presto?
• Facebook製OSS
• 分散クエリエンジン
• インタラクティブなクエリ...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
What is Presto?
Presto Users
• Facebook
• Netflix
• Amazo...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
What is Presto?
source: https://prestodb.io/overview.html
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
What is Presto?
✅ Pros
• コネクターを追加することで
多種多様なデータPFと接続出来る
•...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
What is Presto?
• データがメモリから溢れた場合、
クエリの実行に失敗
• ノードの障害時もクエリ...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Prestoクラスターの導入例
• Object Storage上のログの分析
• 障害発生時の調査を目的
• ロ...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Prestoクラスターの導入例
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Prestoクラスターの導入例
このクラスターを構築/運用したことで
Prestoの課題が見えてきた
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Prestoクラスターの導入例
• 原因
1. クエリ実行の度にファイルを取得
2. jsonフォーマットの場合、...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
Prestoクラスターの導入例
もちろん、コミュニティと協力して!
さらに、Pull-Requestで!
この課題...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
まとめ
• インタラクティブなクエリはPresto
• クラスター運用するための課題は
まだまだ沢山
• 課題を解...
Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Res...
Upcoming SlideShare
Loading in …5
×

Presto in Yahoo! JAPAN #yjdsnight

792 views

Published on

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Presto in Yahoo! JAPAN #yjdsnight

  1. 1. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 2017年3月15日 岡田 幸大 Presto in Y!J
  2. 2. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 自己紹介 • 岡田幸大, #新卒2009 • github: @yuokada • Like: #golang #python • よく使うY!のサービス: #ヤフオク
  3. 3. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 自己紹介 • 2009/07~2013/03 コメント機能 BE開発 • 2013/04~2016/09 Web ビーコン 運用・開発 • 2016/10~ Presto Cluster 構築・運用
  4. 4. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. アジェンダ • Yahoo! Japanのマルチビッグデータ • Prestoとは? - 事例紹介
  5. 5. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Y!J is Multi Big Data Company サービス数は100以上 メディア、コマース、金融・決済など、幅広くサービスを展開
  6. 6. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Y!J is Multi Big Data Company データのバラエティも100以上 検索キーワード、ビュー/クリック、コンテンツ、購買情報、など、 多様なデータを活用可能
  7. 7. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Y!J is Multi Big Data Company 8 月間 674億PV / 1日9,000万UB PC + その他 281億 PV Smart Phone 393億 PV FY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html
  8. 8. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Y!J is Multi Big Data Company NoSQLHadoop RDB 7,000 nodes 150PB 800 DBs 2,000 nodes Object Storage 1,500 nodes
  9. 9. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Y!J is Multi Big Data Company 様々なPFにあるデータを インタラクティブに分析する必要がある これらのマルチビッグデータを活かすには?
  10. 10. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Y!J is Multi Big Data Company そこで選んだのは、
  11. 11. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. What is Presto? • Facebook製OSS • 分散クエリエンジン • インタラクティブなクエリに 最適化されたアーキテクチャ
  12. 12. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. What is Presto? Presto Users • Facebook • Netflix • Amazon • etc https://github.com/prestodb/presto/wiki/Presto-Users
  13. 13. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. What is Presto? source: https://prestodb.io/overview.html
  14. 14. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. What is Presto? ✅ Pros • コネクターを追加することで 多種多様なデータPFと接続出来る • データをメモリ上で処理するため クエリの実行が高速 • ANSI SQL サポート • UDF(ユーザー定義関数) サポート https://prestodb.io/docs/current/connector.html
  15. 15. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. What is Presto? • データがメモリから溢れた場合、 クエリの実行に失敗 • ノードの障害時もクエリが失敗 • 失敗時、自動での再実行無し ❌ Cons
  16. 16. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Prestoクラスターの導入例 • Object Storage上のログの分析 • 障害発生時の調査を目的 • ログの形式はjson+gz
  17. 17. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Prestoクラスターの導入例
  18. 18. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Prestoクラスターの導入例 このクラスターを構築/運用したことで Prestoの課題が見えてきた
  19. 19. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Prestoクラスターの導入例 • 原因 1. クエリ実行の度にファイルを取得 2. jsonフォーマットの場合、 ファイル全体を取得 課題: ネットワーク帯域の圧迫
  20. 20. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Prestoクラスターの導入例 もちろん、コミュニティと協力して! さらに、Pull-Requestで! この課題をどう解決するのか?
  21. 21. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. まとめ • インタラクティブなクエリはPresto • クラスター運用するための課題は まだまだ沢山 • 課題を解決するためにヤフーは 積極的にOSSへコントリビュート
  22. 22. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. EOP

×