Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

社会の頭脳システムの構築と運用 Hadoopユーザから見たSPARK等の期待 (Hadoop Conference Japan 2014)

3,093 views

Published on

Hadoop Conference Japan 2014 講演資料
https://hcj2014.eventbrite.com/

■本資料は次のセッション中にゲストとして登壇されたNTTドコモ 田中 聡様の講演資料です。
『Spark1.0での動作検証 - Hadoopユーザ・デベロッパから見たSparkへの期待』
土橋 昌 (NTTデータ)

Published in: Technology
  • Be the first to comment

社会の頭脳システムの構築と運用 Hadoopユーザから見たSPARK等の期待 (Hadoop Conference Japan 2014)

  1. 1. © 2008 NTT DOCOMO, INC. All rights reserved.© 2014 NTT DOCOMO, INC. All Rights Reserved. 社会の頭脳システムの構築と運用 - Hadoopユーザから見たSPARK等の期待 - 2014/07/08 株式会社NTTドコモ 先進技術研究所 田中聡、國頭吾郎、石田創、高橋竜男、川崎紀宏
  2. 2. © 2008 NTT DOCOMO, INC. All rights reserved.© 2014 NTT DOCOMO, INC. All Rights Reserved. アウトライン • 社会の頭脳システム – サーバ1000台を使ったHadoopシステム • 社会の頭脳システム運用からの課題 • 今後の取り組み 1
  3. 3. © 2008 NTT DOCOMO, INC. All rights reserved.© 2014 NTT DOCOMO, INC. All Rights Reserved. 社会の頭脳システム エコ社会 便利な社会 安心・安全な社会 社会の頭脳システム 新サービス研究のためのプラットフォーム 2
  4. 4. © 2008 NTT DOCOMO, INC. All rights reserved.© 2014 NTT DOCOMO, INC. All Rights Reserved. 3 33 NameNode(2台) Slave Node(1012台) Hadoop クライアント(2台) インストールサーバ 保守・運用・監視系サーバ(4台) JobTracker(2台) モニタリングサーバ 社会の頭脳システムの構成 • 汎用サーバ1000台超のクラスタを構築・運用 • 遠隔からの運用・保守方式の実現 • オープンソースソフトウェアで保守・運用・監視機能を実現 2009年から運用開始
  5. 5. © 2008 NTT DOCOMO, INC. All rights reserved.© 2014 NTT DOCOMO, INC. All Rights Reserved. 社会の頭脳システム運用からみた利点と課題 NameNode(2台) Slave Node(1012台) Hadoop クライアント(2台) JobTracker(2台) • 課題1:多様なスループットとレイテンシへの要求 • 課題2:Hadoop進化への追従 維持運用が容易 • 標準的なLinux技術者1名で維持管理 • 月1回のサーバ修理
  6. 6. © 2008 NTT DOCOMO, INC. All rights reserved.© 2014 NTT DOCOMO, INC. All Rights Reserved. 課題1:多様なスループットとレイテンシへの要求 • 多様なデータ入力とデータ出力への対応 – Hadoop上の取り組み:「マイクロバッチ化」 •Hiveスクリプトを短時間で繰り返し実行 •評価中 – 高密度なクラスタ – 最新Hadoopの採用 5 大規模な計算でも、フットプリントが小さい • SPARK • STORM
  7. 7. © 2008 NTT DOCOMO, INC. All rights reserved.© 2014 NTT DOCOMO, INC. All Rights Reserved. 課題2:Hadoop進化への追従 • データを維持しつつ、複数バージョンの使用 – 新しい研究用Hadoopシステムはマルチクラスタ構成に •二つの高密度なクラスタを構築 •新たなHadoopバージョンを片方のクラスタで評価 – しかし •クラスタ間での計算結果データの維持が必要 •利用者は、どちらか一方のクラスタのみを利用 6 同一クラスタ内でデータを共有しながらの利用 • YARN
  8. 8. © 2008 NTT DOCOMO, INC. All rights reserved.© 2014 NTT DOCOMO, INC. All Rights Reserved. Storm ストリーム並列処理基盤 Hadoop バッチ並列処理基盤 Spark インメモリ並列処理基盤 新たなモバイルアプリケーションに向けた検討 スケーラビリティ、オペラビリティ、フレキシィビリティ
  9. 9. © 2008 NTT DOCOMO, INC. All rights reserved.© 2014 NTT DOCOMO, INC. All Rights Reserved. まとめ • 社会の頭脳システム – 1000台超のサーバによるHadoopシステム – 運用維持が容易 • Hadoopシステム運用からの課題と期待 – 多様なスループットとレイテンシの要求 • SPARK、STORMへ期待 – Hadoop進化への対応 • YARNへ期待 • 今後の課題 – 新たなモバイルアプリケーションに向けて • 評価 • 利用可能なツール 8 参考文献: 「社会の頭脳システム」におけるドコモの Hadoop クラスタの活用事例、 デジタルプラクティス、Vol.5 No.2 通巻18号(2014年1月15日刊行)、情報処理学会

×