Silicon Valley x 日本 / Tech x Business Meetup #12 (2015/04/17)
『並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ』
NTTデータ 基盤システム事業本部
システム方式技術事業部 OSSプロフェッショナルサービス
鯵坂 明
Silicon Valley x 日本 / Tech x Business Meetup #12 (2015/04/17)
『並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ』
NTTデータ 基盤システム事業本部
システム方式技術事業部 OSSプロフェッショナルサービス
鯵坂 明
Presentation in OpenStack days Tokyo 2016
Deep dive to OpenStack Congress project
OpenStack days tokyo 2016 での発表スライド Congress プロジェクトのユースケースとアーキテクチャ概要の紹介
41. 利用事例: facebook
4TBのデータが
毎日新規に生成される
135TBのデータを
毎日処理している
Hive & Hadoop Usage @ Facebook
Statistics per day:
– 4 TB of compressed new data added per day
– 135TB of compressed data scanned per day
– 7500+ Hive jobs on per day
– 80K compute hours per day
Hive simplifies Hadoop:
40
Hadoopで処理したデータを
Oracle RACやMySQLに格納して
利用しているものもある
(出典: Hadoop World:NYC)
– New engineers go though a Hive training session
– ~200 people/month run jobs on Hadoop/Hive
– Analysts (non-engineers) use Hadoop through Hive
– 95% of jobs are Hive Jobs