A.J.A.社内勉強会第2回 (2016.07.07) の資料です。

1. 分散処理のすゝめ？
大江喜渡

2. 自己紹介
・大江 喜渡
・専門: 分散システム系
- MapReduce on GPU
・言語/OSS
- Java
- Scala
- Hadoop

3. 大規模データを処理するには…
データを分割して複数サーバに保持
並列にデータを読み込む分散処理

4. 大規模データを処理するには…
データを分割して複数サーバに保持
並列にデータを読み込む分散処理
障害時の対応
プロセスの監視
プロセス間通信の管理

5. Hadoop
Google基盤技術を基に開発されたオープンソースクローン
面倒な分散処理を全て内部で実装
レプリカを生成 → 耐障害性・データの安全性
分散処理を意識せず処理の記述が可能に

6. HDFS(Hadoop Distributed File System)
- ファイルをブロック分割して分散配置
- 1ブロックは3つに複製される多重保存
- 故障してもどこかのサーバで複製

7. HDFS(Hadoop Distributed File System)
MapReduce
- MapとReduceのフェーズに分け
データから加工と抽出、集約を行う
- 分散処理の面倒な部分を内部で処理

8. HDFS(Hadoop Distributed File System)
MapReduce(v1)
DWH
NoSQL
Database
分散協調
サービス

9. Fluent-plugin-twitter Fluent-plugin-hbase Hive外部テーブル

10. HDFS(Hadoop Distributed File System)
MapReduce
YARN(Yet Another Resource Negotiator)
- リソースの制御を切り離し
- MR以外の分散アプリケーション
の実行が可能に

11. HDFS(Hadoop Distributed File System)
MapReduce
YARN(Yet Another Resource Negotiator)
Spark
SparkSQL
Spark
Streaming
MLlib GraphX
Spark
- MRの置き換わりを目指し
- バッチだけでなくストリーム
から機械学習、グラフ処理まで

12. MapReduce Spark
SparkSQL
Spark
Streaming
MLlib GraphX

13. メッセージキュー
集約
抽出/加工

14. HDFS
大規模データの効率的なスキャン
バッチ処理
HBase
各行への効率的な検索・書き込み
リアルタイム/ストリーム処理
http://www.cloudera.co.jp/blog/kudu-
new-apache-hadoop-storage-for-fast-
analytics-on-fast-data.html

15. http://www.cloudera.co.jp/blog/kudu-
new-apache-hadoop-storage-for-fast-
analytics-on-fast-data.html
Kudu
大規模データのフルスキャン
ランダムアクセス
※どっちかに特化しているのであれば
HDFSかHBase

16. Data
バッチ処理

17. Data
ストリーム処理

18. まとめ
多様なユースケースをカバーできる基盤が整っている
CDH等で簡単に基盤は作れて試せる
ニーズもあってか分散処理基盤OSSは次々誕生する
情報量多い… 更新速すぎ…
楽しいです！