大規模サイトを支えるビッグデータプラットフォーム技術

1. 1Privileged and Confidential 大規模サイトを支えるビッグデータプラットフォーム技術遠峯康夫データソリューション本部ヤフー株式会社

2. 自己紹介 Privileged and Confidential 2 遠峯康夫(とおみねやすお) 事業戦略統括本部データソリューション本部データインフラ開発部 2010年新卒入社 Hadoopクラスタ立ち上げの部署に配属 2012年データソリューション配属 Hadoop、リアルタイム処理基盤などを担当

3. Privileged and Confidential 3 is

4. Privileged and Confidential 4 … … …

5. Privileged and Confidential 5 … … … あらゆるジャンルのビッグデータを保有

6. 目次 Privileged and Confidential 6 月間総ページビュー数 (2013年1-3月平均)

7. Privileged and Confidential 7 年間ユニーク検索クエリ数 (Yahoo! JAPAN調べ)

8. ビッグデータはユーザーのために利活用 Privileged and Confidential 8 ページビュー広告ログ検索クエリ購買履歴データ処理・・・アクセス解析効果測定日本語処理マルチメディア処理レコメンデーションターゲティングデータフィード ! ユーザー属性ビッグデータはユーザーの課題解決につながる

9. 利活用事例 Privileged and Confidential 9 サービス改善

10. 利活用事例 Privileged and Confidential 10 縦22ピクセル縦28ピクセルサービス改善

11. 利活用事例 Privileged and Confidential 11 縦22ピクセル縦28ピクセルサービス改善

12. 利活用事例 Privileged and Confidential 12 ￥ターゲティング広告ＰＲ閲覧検索キーワード購買広告閲覧/クリック … 興味関心を推定し最適な広告を掲出

13. 利活用事例 Privileged and Confidential 13 レコメンデーションキーワード入力補助音声アシスト (音声認識、意図解析)

14. 利活用事例 Privileged and Confidential 14 アクセス解析マーケットインテリジェンス

15. 利活用事例 Privileged and Confidential 15 アクセス解析マーケットインテリジェンス

16. 利活用事例 Privileged and Confidential 16 ビッグデータレポート

17. 目次 Privileged and Confidential 17 どのようなシステムでデータを処理しているのか？

18. データインフラ概要 Privileged and Confidential 18 ・・・ Storm 生成収集格納・処理利活用

19. Privileged and Confidential 19 Yahoo! JAPANの Hadoopについて

20. Yahoo! JAPANのHadoopについて – 目次 Privileged and Confidential 20 1. Yahoo! JAPANのHadoop構成 2. Yahoo! JAPANのHadoop規模 3. Yahoo! JAPANのHadoopの特色 4. チューニング事例 5. 機材の選び方 6. 今後の展望

21. Privileged and Confidential 21 Yahoo! JAPANの Hadoop構成

22. Yahoo! JAPANのHadoop構成 – クラスタ Privileged and Confidential 22 本番系：2クラスタ Production Cluster1 開発系：6クラスタ Production Cluster2 開発系は本番と比べると非常に小さいクラスタ次期投入バージョンの検証なども実施

23. Yahoo! JAPANのHadoop構成 – エコシステム Privileged and Confidential 23 Oozie,Pig,Hive等のエコシステムを活用

24. Hadoopを中心とした周辺システムとの連携 Privileged and Confidential 24 Storm DataHighway データ入力一次加工データ分析用データ連携

25. DataHighwayについて Privileged and Confidential 25 Storm DataHighway データ入力一次加工データ分析用データ連携

26. DataHighwayについて Privileged and Confidential 26 とは？ Yahoo! JAPANで利用しているログ収集プロダクト全てのWeblogを回収する仕組み大量のデータを処理できる環境に運ぶために必須の仕組み DataHighwayの規模・回収先：約8,500台・データ転送量：約13TB/day DataHighway

27. Stormについて Privileged and Confidential 27 Storm DataHighway データ入力一次加工データ分析用データ連携

28. Stormについて Privileged and Confidential 28 Stormとは？ Twitter社がOSSとして公開している、分散ストリーム処理プラットフォーム（リアルタイムに）逐次流れてくるデータを即時に処理していこうという仕組み。 Yahoo! JAPANでの活用例・各ページのリンクのクリック速報・広告改善のための一次データ加工・スマートフォンアプリのエラー速報など

29. Teradataについて Privileged and Confidential 29 Storm DataHighway データ入力一次加工データ分析用データ連携

30. Teradataについて Privileged and Confidential 30 とは？ Teradata社の商用RDBMS 並列分散処理で、高速にSQLを実行できる Yahoo! JAPANでは、主にアナリストの分析用途として活用 Yahoo! JAPANでの活用例・広告レポートの抽出・広告モデルの効果測定など

31. Hadoopだけではなく適切な役割分担が必要 Privileged and Confidential 31 Storm ・大規模バッチ処理・大規模アドホック処理・大量データの蓄積・リアルタイム処理・逐次流れるデータの一次加工・大規模な結合処理・高速なアドホック分析処理

32. Privileged and Confidential 32 Yahoo! JAPANの Hadoopの規模

33. Yahoo! JAPANのHadoop規模 Privileged and Confidential 33 約3,500台その規模感は？

34. Yahoo! JAPANのHadoop規模感 Privileged and Confidential 34 ・1日に故障するサーバ台数約1.5台/day ・1日にRead/Writeされるデータ量 Read:約750TB/day Write:約60TB/day ・1日に処理されるJobの積算時間約1,000時間/day

35. Privileged and Confidential 35 Yahoo! JAPANの Hadoopの特色

36. Yahoo! JAPANのHadoop特色 Privileged and Confidential 36 400ユーザを超える規模でのマルチテナンシー運用

37. どれくらいマルチテナンシー？ Privileged and Confidential 37 ・平均同時実行Job数・同時最大実行ユーザ数・最大同時実行Job数約40Job 120Job超約30ユーザ

38. マルチテナンシーの難しさ Privileged and Confidential 38 いかに安定してマルチテナント運用を行うか

39. 状況の可視化 Privileged and Confidential 39 リソース使用状況の可視化ある一日の利用状況グラフの色でどの部署（ユーザ）がどの程度利用しているかを可視化最大能力使用量

40. 状況の可視化 Privileged and Confidential 40 もちろん、曜日によって使われ方も違う濃青は主に個人ユーザのアドホック利用土日はあまり使われていないのがわかる

41. マルチテナントでうまく回すために Privileged and Confidential 41 ・利用者による一定の自治・リソースキャパシティの定期的な見直し・スケジューラ設定のチューニング先の可視化グラフをユーザに見せ、空いている時間帯を自ら選んでもらう。部署毎に利用できるリソースの量に違いを持たせる。利用率などを見て定期的に見直し。 Job同士のリソースの分け方に最適値はない。トライアンドエラーで最も良いものを探し続ける。

42. Privileged and Confidential 42 Yahoo! JAPANでのチューニング事例

43. チューニングの内容 Privileged and Confidential 43 タスクslot数の最適化タスクslot数とは？単純に言うと、どれだけHadoopで並列処理をさせるかの指標これを多く出来れば、同じ機材でより処理効率が高まる。ここの高さを高くするということ

44. チューニングの一例 – 現状の分析 Privileged and Confidential 44 様々な指標を確認・当然、個別のノードの指標（CPU,Mem,Disk等）は重要・個別のノードだけでなく、システム全体の指標（スイッチのトラフィック等）もとても重要

45. チューニングの一例 – 気をつける項目の一例 Privileged and Confidential 45 気をつける項目の一例・個別のノード（計算ノード側）・CPU（特にwaitIO）・Memory ・Disk（IObusy, queue）・LoadAverage ・インターフェーストラフィック・システム全体（スイッチ、マスタノード等）・スイッチトラフィック・マスタノードリソース（CPU, Mem, etc…) 個別のノードの指標に集中しすぎると、システム全体のデグレに気付かない可能性がある

46. チューニングの一例 – 結果 Privileged and Confidential 46 チューニングの成果チューニング実施実施後の最大性能 50%向上

47. Privileged and Confidential 47 機材の選び方

48. 「コモディティ」が大切 Privileged and Confidential 48 コモディティな機材を選ぶコモディティ＝低性能・低価格ディスク：CPUコア数メモリ：CPUコア数これらの比率に特に注意して選定 HBase等、使うエコシステムは事前に考えておくコモディティ＝最高のコスパ

49. Yahoo! JAPANで使っている機材の一例 Privileged and Confidential 49 メモリ： 64GB CPU ： 12コア24スレッドディスク： 3TB × 4ディスク Yahoo! JAPANでも当初それに倣い構成を計画ディスクIOがネックになると言うのがHadoopのセオリー定期的な計測により、ディスクを重視しない（CPU重視）のYahoo! JAPANの現在に合った構成に処理に応じた適切な構成を選択する必要がある

50. Privileged and Confidential 50 今後の展望

51. 今後の課題 Privileged and Confidential 51 安定性基本的に安定的に運用できているが、単一障害点（SPOF）があるのがネック拡張性 MapReduceだけでは今後の処理ニーズに対応しきれない新しいフレームワークの模索の必要性

52. 今後の展開の一つのケースとして Privileged and Confidential 52 Hadoop-2.xの導入単一障害点（SPOF）であったNameNodeの可用性が向上より信頼のおけるシステムへ・NameNode-HA ・YARN JobTrackerというSPOFのあったアーキテクチャを改良全くJobが動かせなくなる可能性を低減 MapReduceのみならない多様なフレームワークの可能性 ※YARNの安定にはもう少し時間がかかりそうですが

53. Privileged and Confidential 53 Ready?

54. 目次 Privileged and Confidential 54 どのようにしてビッグデータを利活用しているのか？全員がデータに触れることが重要データは一部の人だけのものではない

55. 目次 Privileged and Confidential 55 どのようにしてビッグデータを利活用しているのか？全員がデータに触れられる環境

56. まとめ Privileged and Confidential 56 ・Yahoo! JAPANはあらゆるジャンルのビッグデータを保有・Hadoopを中心としたデータ処理システムを構築、運用・データを効果的に利活用するには技術面だけでなく組織面での整備も必要

57. Privileged and Confidential 57 データで、ユーザーファーストを実現

58. Privileged and Confidential 58

大規模サイトを支えるビッグデータプラットフォーム技術

You are reading a preview.

Check these out next

大規模サイトを支えるビッグデータプラットフォーム技術

More Related Content

Slideshows for you (20)

Similar to 大規模サイトを支えるビッグデータプラットフォーム技術 (20)

More from Yahoo!デベロッパーネットワーク (20)

Recently uploaded (20)