SlideShare a Scribd company logo
1 of 54
Download to read offline
Hiveを用いた
Amebaサービスのログ解析共通基盤
-Hadoop Conference Japan 2011-
株式会社サイバーエージェント
アメーバ事業本部 プラットフォームディヴィジョン
コアテクノロジーグループ
福田 一郎
2
株式会社サイバーエージェント
自己紹介
名前 : 福田一郎 (フクダ イチロー)
所属 : 株式会社サイバーエージェント
アメーバ事業本部 プラットフォームディヴィジョン
コアテクノロジーグループ (新卒入社3年目)
(過去)
• Ameba Pigg運用,開発
(現在)
• ログ解析基盤 「Patriot」設計,開発,運用
【Twitter】 @toutou 【はてなID】 id:ICHIRO
3
株式会社サイバーエージェント
アジェンダ
• アメーバについて
• ログ解析基盤Patriot
• Hive
• Patriotの構成と運用
アメーバについて
5
株式会社サイバーエージェント
サービス規模に関する数値
【Ameba全体】
[会員数] 1300万人 (2011/1/5時点)
[PV数] (2010年12月時点)
合計:194.9億PV (2011年1月で200億PV突破)
PC : 99.9億PV
MB : 95.0億PV
(スマートフォンUU : 367万UU)
【アメーバPigg】
[会員数] 600万人 (2011/1/14時点)
[ARPPU] ¥2,121 (2010年12月時点)
6
株式会社サイバーエージェント
Amebaサービス
ブログ
なう
Pigg
7
株式会社サイバーエージェント
アメーバピグ
Pigg for Android
8
株式会社サイバーエージェント
モバイルゲーム
Ameba と Hadoop
10
株式会社サイバーエージェント
Hadoop使用実績
アメーバピグ
(HDFS)
アクセス解析(0.13.1)
pico
(Amazon EMR,
Pig)
ログ解析基盤 Patriot
12
株式会社サイバーエージェント
Patriot開発までの経緯
[2009年]
11月13日 Hadoop Conference Japan 2009
ー CDH,Hiveなどを知る
11月21日~23日 開発合宿@伊豆高原
ー 統合ログ解析基盤が必要という結論に至る
11月27日 局長に相談 → 即GOサイン
[2010年]
3月末 本格検証開始
7月 第1弾リリース,11月 WebUIを中心にリニューアル
13
株式会社サイバーエージェント
標準的なサービス開発体制
プロデューサ
インフラエンジニアアプリエンジニア
課金系担当
会員獲得系担当
数値を
知りたい
14
株式会社サイバーエージェント
今までの問題点
• 各サービスごとに独自に解析
– プロフィールデータとの結合など定型的なものも
• ログ容量の肥大化
– 消されていくログ
• サービス開発担当者が解析部分にまで手が回らない
– モバイルゲームなど開発スピードが速い
– サービスリリースしてスグに情報が欲しい
15
株式会社サイバーエージェント
目的
Amebaサービス全体の
統合的な現状把握と未来予測
各サービスのデータを集約
サービス開発支援
16
株式会社サイバーエージェント
方法
• ログの集約
– HDFS
• ログの集計
– Map/Reduce
• ログの構造化
– Hive
• 集計結果の表示
– Patriot WebUI (CIC)
• アドホックな集計,解析
– HUE
Hive
18
株式会社サイバーエージェント
Hiveとは
• Hadoopのサブプロジェクト
• Facebookで開発されていた
• SQLライクな言語でMap/Redを記述
• 同様の試みにPig(スクリプト言語)
19
株式会社サイバーエージェント
Hiveの特徴
• HiveQL
– SQLのような言語でMapReduceを実行
• メタストア
– テーブルのカラム情報などを保持
– デフォルトはDerby
– PatriotではMySQLを使用
• 行単位での更新ができない
– Partitionを使う
20
株式会社サイバーエージェント
データストア
login
テーブル Partition
date=2011-02-23
dev=pc
dev=mb
date=2011-02-22
Bucket
21
株式会社サイバーエージェント
データモデル
• Primitive
• int,float,double,String
• Complex
• map<key-type,value-type>
• list<element-type>
• struct<field-name:field-type>
22
株式会社サイバーエージェント
DDL
CREATE TABLE pigg_login
( time STRING, ameba_id STRING, ip STRING)
partitioned by(dt STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '¥t'
STORED AS SEQUENCEFILE;
カラムの区切り文字を指定
Partitionカラムを指定
ファイル形式を指定
• TextFile
• SequenceFile
• (RCFile)
23
株式会社サイバーエージェント
データのロード
LOAD DATA (LOCAL) INPATH '/tmp/pigg_login.log'
INTO TABLE pigg_login
PARTITION(dt='2011-02-22');
• dfs mv, putをする形
INSERT OVERWRITE TABLE t1 SELECT c1 FROM t2;
24
株式会社サイバーエージェント
HiveQL(1)
• JOIN,LEFT OUTER JOIN
• GROUP BY
• UNION ALL
など
SELECT * FROM t1
JOIN t2 ON(t1.a2 = t2.b2);
25
株式会社サイバーエージェント
HiveQL(2)
• UDF
• cast, abs, substr
• UDAF
• count, sum, max, min, avg
• パーセント点
percentile(col, p)
(参考)
http://wiki.apache.org/hadoop/Hive/LanguageManual/UDF
26
株式会社サイバーエージェント
SerDe(1)
• Serialization/Deserialization
• カラムの区切り文字などを定義
CREATE TABLE test(c1 string, c2 int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '¥t'
LINES TERMINATED BY '¥n';
ichiro[tab]16
suzuki[tab]51
c1
ichiro
suzuki
c2
16
51
27
株式会社サイバーエージェント
SerDe(2)
【Apacheログ】
add jar 'hive_contrib.jar'
CREATE TABLE apachelog (host STRING, identity STRING, user STRING,
time STRING, method STRING, resource STRING,
proto STRING, status STRING, size STRING, referer STRING,
agent STRING, proctime STRING)
ROW FORMAT SERDE
'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES
("input.regex" = "^(.*?) (.*?) (.*?) ¥¥[(.*?)¥¥]
¥"(¥¥S+?)(?: +(.*?) +(¥¥S*?))?¥" (.*?) (.*?)
¥"(.*?)¥" ¥"(.*?)¥" (.*?)$",
"output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s
%8$s %9$s %10$s %11$s %12$s");
Patriotの構成と運用
29
株式会社サイバーエージェント
開発体制
システム 3名 インフラ
都度対応
課金系担当会員獲得系担当
30
株式会社サイバーエージェント
解析フロー
ログ転送
Util
Hadoop
クラスタ
ログ整形
Hiveインポート
Hive Job各サービス
サマリDB(MySQL)
サマリデータ
View
31
株式会社サイバーエージェント
システム構成(サーバ1)
【NN,JT,SNN】
2CoreCPU,16GB RAM
各1台 (Dell R300)
【DN,TT】
4CoreCPU,16GB RAM
1TB HDD×4 (RAIDなし),
全18台 (Dell R410)
32
株式会社サイバーエージェント
システム構成(サーバ2)
【Utilサーバ】
4CoreCPU,16GB RAM
1TB HDD×4 (RAID1)
全2台
サマリDB,Web/APサーバ
(Dell R410)
33
株式会社サイバーエージェント
システム構成(アプリ)
【Webアプリ】
Ext JS3.2.1
HUE1.0.1
【Hadoop関連】
CDH3 (Hadoop0.20,Hive0.5)
Puppet,Nagios,Ganglia
【ジョブ管理】
Hinemos 3.2
34
株式会社サイバーエージェント
システム構成(misc)
Hadoop
クラスタ
踏み台サーバ
NameNodeはNFSでバックアップ
35
株式会社サイバーエージェント
ファイルフォーマットの検討
圧縮形式 : gzip,bzip2,LZO
フォーマット : TextFile,SeqenceFile
圧縮率 : bzip2>gzip>LZO
インポート時間 : LZO>無圧縮>gzip>bzip2
計算時間 : 無圧縮>LZO>gzip>bzip2
→ Patriotではgzip,SeqenceFile,ブロック単位の圧縮を使用中
→ MapOutputはLZOで圧縮
36
株式会社サイバーエージェント
インポート処理
ログ転送
Util
Hadoop
クラスタ
各サービス
SCP
HDFS get
• 正規表現でマッチするレコードを抽出
• gzip,SeqenceFileでHDFS上に出力
• Hiveにロード
37
株式会社サイバーエージェント
インポート処理 DSL(1)
import {
service "gyaos"
backup_dir "/data/log/gyaos"
data {
type "scp" ← その他に「mysql」,「hdfs」
servers ["172.xxx.yyy.zzz", " 172.xxx.yyy.zzz "]
user "cy_httpd"
path "/home/cy_httpd/logs/tomcat/lifelog/*.#{$dt}*"
limit 10000
}
(つづく)
38
株式会社サイバーエージェント
インポート処理 DSL(2)
load {
type "hive" ← 「mysql」
table {
name "game_login"
regexp "^[^¥¥t]*¥¥t([^¥¥t]*)¥¥tlogin"
output "$1"
partition :dt => "#{$dt}", :service => "gyaos"
}
table {
name "game_user"
regexp "^([^¥¥t]*)¥¥t([^¥¥t]*)¥¥tregist_game"
output "$2¥t$1"
partition :dt => "#{$dt}", :service => "gyaos"
}}}
39
株式会社サイバーエージェント
集計処理
Util
Hadoop
クラスタ
サマリDB(MySQL)
サマリデータHive Job
40
株式会社サイバーエージェント
集計・解析処理 DSL
mysql {
host "localhost"
port 3306
username "patriot-batch"
password "xxx
database "gyaos"
}
analyze {
name "gyaos_new_user_num_daily"
primary "dt"
hive_ql "select count(1), '#{$dt}' from game_user where dt='#{$dt}' and
service='gyaos'"
}
analyze {
name "gyaos_unregist_user_num_daily"
primary "dt"
hive_ql "select count(1), '#{$dt}' from game_user g join ameba_member a on
(g.ameba_id = a.ameba_id) where a.unregist_date <> '' and
to_date(a.unregist_date)='#{$dt}' and g.service='gyaos'"
}・・・
41
株式会社サイバーエージェント
ゲーム関連の集計
• モバイルゲーム
– ゲームごとにパーティションを作る
• Pigg内ゲーム
– 釣り,カジノゲーム
– UNION ALLで合わせて集計
テーブル
game_login
Partition
日付
ゲームID
42
株式会社サイバーエージェント
UDFの作り方
【年齢によるグルーピング】
public class ConvertAge extends UDF {
public Integer evaluate(String birth, String ym) {
if (birth == null || ym == null) {
return -1;
}
int ageRange = -1;
// 年齢の範囲に従ってageRangeに値を設定
(略)
return ageRange;
}
}
43
株式会社サイバーエージェント
運用上の数字
• HiveQLクエリ
• デイリー(定型)・・・約600
• マンスリー(定型)・・・約700
• 会員データレコード数・・・1300万以上
• ログ容量(デイリー)
• Pigg・・・4.5GB(圧縮後)
• タレントブログ関連(ログインユーザのみ)
・・・5.5GB(圧縮後)
• 処理時間(全集計)・・・3~4時間
Webインタフェース
(CIC)
45
株式会社サイバーエージェント
デイリー,マンスリーサマリ
46
株式会社サイバーエージェント
属性レポート
性別・年齢など属性ごとの割合
47
株式会社サイバーエージェント
タレントブログ解析(大和)
あるタレントのブログを見ている人の属性
HUE
49
株式会社サイバーエージェント
Beeswax
HiveQLをWEB UIから
直接叩ける
アドホックな集計
ヒープサイズに注意
50
株式会社サイバーエージェント
HUEの運用
• Hiveメタストア(マスター)
• HDFSへの書き込み権限のある
HUEのユーザ
• 管理者用
MySQLレプリ
• Hiveメタストア(スレーブ)
• HDFSへの書き込み権限無し
• プロデューサ用
51
株式会社サイバーエージェント
啓蒙活動
• 集計サマリをいつでも確認できる
• Webアプリ上でHiveQLが叩ける
• プロデューサなどエンジニアでない人もHiveQLを書く
– 毎日、多くのアドホックな集計が走っている
– 失敗から学ぶ
【失敗例】
select count(distinct m. ameba_id) from pigg_enter m join
pigg_enter p on m.ameba_id = p.ameba_id where m.dt like
'2010-10-__' and p.dt like '2010-11-__'
→ サブクエリを学ぶ
52
株式会社サイバーエージェント
今後の展開
• HBase ・・・ CDH3b4
• ログ収集の改善
– Flumeなど
• レコメンドなど実験的にやっているものを本格化
• 「なう」などグラフ構造を使った解析
53
株式会社サイバーエージェント
Ameba Technology Laboratory
• 秋葉原ダイビルに開設
• 2011年4月1日~
• 研究開発、実験的サービス、産学連携
• 勉強会スペース
(20~30人)
ありがとうございました

More Related Content

What's hot

Gcpug tokyo february 2016
Gcpug tokyo february 2016Gcpug tokyo february 2016
Gcpug tokyo february 2016Makoto Uehara
 
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...Insight Technology, Inc.
 
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔Insight Technology, Inc.
 
HAWQをCDHで動かしてみた
HAWQをCDHで動かしてみたHAWQをCDHで動かしてみた
HAWQをCDHで動かしてみたadachij2002
 
2017年5月26日 オープンソースデータベース比較セミナー「NoSQLとしても使えるMySQLとMySQL Cluster」
2017年5月26日 オープンソースデータベース比較セミナー「NoSQLとしても使えるMySQLとMySQL Cluster」2017年5月26日 オープンソースデータベース比較セミナー「NoSQLとしても使えるMySQLとMySQL Cluster」
2017年5月26日 オープンソースデータベース比較セミナー「NoSQLとしても使えるMySQLとMySQL Cluster」Ryusuke Kajiyama
 
Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-Yuki Gonda
 
[db tech showcase Tokyo 2016] C32: 世界一速いPostgreSQLを目指せ!インメモリカラムナの実現 by 富士通株式会...
[db tech showcase Tokyo 2016] C32: 世界一速いPostgreSQLを目指せ!インメモリカラムナの実現 by 富士通株式会...[db tech showcase Tokyo 2016] C32: 世界一速いPostgreSQLを目指せ!インメモリカラムナの実現 by 富士通株式会...
[db tech showcase Tokyo 2016] C32: 世界一速いPostgreSQLを目指せ!インメモリカラムナの実現 by 富士通株式会...Insight Technology, Inc.
 
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析Yukio Yoshida
 
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fallビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo FallYusukeKuramata
 
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...Insight Technology, Inc.
 
20190314 PGStrom Arrow_Fdw
20190314 PGStrom Arrow_Fdw20190314 PGStrom Arrow_Fdw
20190314 PGStrom Arrow_FdwKohei KaiGai
 
Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-Yuki Gonda
 
今さら聞けない HANAのハナシの基本のほ
今さら聞けない HANAのハナシの基本のほ今さら聞けない HANAのハナシの基本のほ
今さら聞けない HANAのハナシの基本のほKoji Shinkubo
 
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」オラクルエンジニア通信
 
Riak / Riak-CS(Enterprise版) ベンチマークしました
 Riak / Riak-CS(Enterprise版) ベンチマークしました Riak / Riak-CS(Enterprise版) ベンチマークしました
Riak / Riak-CS(Enterprise版) ベンチマークしましたTakashi Sogabe
 

What's hot (20)

Gcpug tokyo february 2016
Gcpug tokyo february 2016Gcpug tokyo february 2016
Gcpug tokyo february 2016
 
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
 
Riakを利用したパーソナライズ事例
Riakを利用したパーソナライズ事例Riakを利用したパーソナライズ事例
Riakを利用したパーソナライズ事例
 
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔
 
HAWQをCDHで動かしてみた
HAWQをCDHで動かしてみたHAWQをCDHで動かしてみた
HAWQをCDHで動かしてみた
 
2017年5月26日 オープンソースデータベース比較セミナー「NoSQLとしても使えるMySQLとMySQL Cluster」
2017年5月26日 オープンソースデータベース比較セミナー「NoSQLとしても使えるMySQLとMySQL Cluster」2017年5月26日 オープンソースデータベース比較セミナー「NoSQLとしても使えるMySQLとMySQL Cluster」
2017年5月26日 オープンソースデータベース比較セミナー「NoSQLとしても使えるMySQLとMySQL Cluster」
 
Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-
 
Webdb2011 hadoop
Webdb2011 hadoopWebdb2011 hadoop
Webdb2011 hadoop
 
[db tech showcase Tokyo 2016] C32: 世界一速いPostgreSQLを目指せ!インメモリカラムナの実現 by 富士通株式会...
[db tech showcase Tokyo 2016] C32: 世界一速いPostgreSQLを目指せ!インメモリカラムナの実現 by 富士通株式会...[db tech showcase Tokyo 2016] C32: 世界一速いPostgreSQLを目指せ!インメモリカラムナの実現 by 富士通株式会...
[db tech showcase Tokyo 2016] C32: 世界一速いPostgreSQLを目指せ!インメモリカラムナの実現 by 富士通株式会...
 
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
 
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fallビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
 
Impalaチューニングポイントベストプラクティス
ImpalaチューニングポイントベストプラクティスImpalaチューニングポイントベストプラクティス
Impalaチューニングポイントベストプラクティス
 
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
 
20190314 PGStrom Arrow_Fdw
20190314 PGStrom Arrow_Fdw20190314 PGStrom Arrow_Fdw
20190314 PGStrom Arrow_Fdw
 
Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-
 
ヤフーを支えるフラッシュストレージ
ヤフーを支えるフラッシュストレージヤフーを支えるフラッシュストレージ
ヤフーを支えるフラッシュストレージ
 
今さら聞けない HANAのハナシの基本のほ
今さら聞けない HANAのハナシの基本のほ今さら聞けない HANAのハナシの基本のほ
今さら聞けない HANAのハナシの基本のほ
 
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
 
Riak / Riak-CS(Enterprise版) ベンチマークしました
 Riak / Riak-CS(Enterprise版) ベンチマークしました Riak / Riak-CS(Enterprise版) ベンチマークしました
Riak / Riak-CS(Enterprise版) ベンチマークしました
 
20170303 java9 hadoop
20170303 java9 hadoop20170303 java9 hadoop
20170303 java9 hadoop
 

Viewers also liked

Integration of Hive and HBase
Integration of Hive and HBaseIntegration of Hive and HBase
Integration of Hive and HBaseHortonworks
 
日経ITpro EXPO2015 ソラコム特別講演: IoTのキャズムを超える by CEO玉川
日経ITpro EXPO2015 ソラコム特別講演: IoTのキャズムを超える by CEO玉川 日経ITpro EXPO2015 ソラコム特別講演: IoTのキャズムを超える by CEO玉川
日経ITpro EXPO2015 ソラコム特別講演: IoTのキャズムを超える by CEO玉川 SORACOM,INC
 
スタートアップ立ち上げマニュアル
スタートアップ立ち上げマニュアルスタートアップ立ち上げマニュアル
スタートアップ立ち上げマニュアルTakaya Shinozuka
 
13 03 21 livre blanc islamophobie_rapport 2012
13 03 21 livre blanc islamophobie_rapport 201213 03 21 livre blanc islamophobie_rapport 2012
13 03 21 livre blanc islamophobie_rapport 2012LeSoir.be
 
Teeth whitening top 10 tips.
Teeth whitening  top 10 tips.Teeth whitening  top 10 tips.
Teeth whitening top 10 tips.Noor. J
 
Vanden broele Academy
Vanden broele AcademyVanden broele Academy
Vanden broele AcademyEngagor
 
[Save themusicfoundation]
[Save themusicfoundation][Save themusicfoundation]
[Save themusicfoundation]Dino, llc
 
Boletín 21/03/2017
Boletín 21/03/2017Boletín 21/03/2017
Boletín 21/03/2017Openbank
 
Your style at powerpoint is dead
Your style at powerpoint is deadYour style at powerpoint is dead
Your style at powerpoint is deadAhmed Sabek
 
Overview: Space Radiation Environment
Overview: Space Radiation EnvironmentOverview: Space Radiation Environment
Overview: Space Radiation EnvironmentTimo A. Stein
 
Sintesis informativa 21 de marzo 2017
Sintesis informativa 21 de marzo 2017Sintesis informativa 21 de marzo 2017
Sintesis informativa 21 de marzo 2017megaradioexpress
 
スタートアップ期におけるリーン×超高速開発手法について
スタートアップ期におけるリーン×超高速開発手法についてスタートアップ期におけるリーン×超高速開発手法について
スタートアップ期におけるリーン×超高速開発手法についてTECHFUND
 
Quimica en las redes sociales
Quimica en las redes socialesQuimica en las redes sociales
Quimica en las redes socialesJuliana Acosta
 
มอค.3คณิตและสถิติในชีวิตประจำวัน ญาติกา
มอค.3คณิตและสถิติในชีวิตประจำวัน ญาติกามอค.3คณิตและสถิติในชีวิตประจำวัน ญาติกา
มอค.3คณิตและสถิติในชีวิตประจำวัน ญาติกาไชยยา มะณี
 
Le Bizzarre Avventure Di JoJo - Purple Haze Feedback ENG
Le Bizzarre Avventure Di JoJo - Purple Haze Feedback ENGLe Bizzarre Avventure Di JoJo - Purple Haze Feedback ENG
Le Bizzarre Avventure Di JoJo - Purple Haze Feedback ENGSimone Lauricella
 
Earth Day - 2017 - Environmental Teach-In Toolkit
Earth Day - 2017 - Environmental Teach-In ToolkitEarth Day - 2017 - Environmental Teach-In Toolkit
Earth Day - 2017 - Environmental Teach-In ToolkitSelassie Networks
 

Viewers also liked (20)

Integration of Hive and HBase
Integration of Hive and HBaseIntegration of Hive and HBase
Integration of Hive and HBase
 
日経ITpro EXPO2015 ソラコム特別講演: IoTのキャズムを超える by CEO玉川
日経ITpro EXPO2015 ソラコム特別講演: IoTのキャズムを超える by CEO玉川 日経ITpro EXPO2015 ソラコム特別講演: IoTのキャズムを超える by CEO玉川
日経ITpro EXPO2015 ソラコム特別講演: IoTのキャズムを超える by CEO玉川
 
いまだからしっかり話しておきたい、ユーザーエクスペリエンス概論
いまだからしっかり話しておきたい、ユーザーエクスペリエンス概論いまだからしっかり話しておきたい、ユーザーエクスペリエンス概論
いまだからしっかり話しておきたい、ユーザーエクスペリエンス概論
 
株式会社ディレクタス サービス紹介資料
株式会社ディレクタス サービス紹介資料株式会社ディレクタス サービス紹介資料
株式会社ディレクタス サービス紹介資料
 
スタートアップ立ち上げマニュアル
スタートアップ立ち上げマニュアルスタートアップ立ち上げマニュアル
スタートアップ立ち上げマニュアル
 
13 03 21 livre blanc islamophobie_rapport 2012
13 03 21 livre blanc islamophobie_rapport 201213 03 21 livre blanc islamophobie_rapport 2012
13 03 21 livre blanc islamophobie_rapport 2012
 
Teeth whitening top 10 tips.
Teeth whitening  top 10 tips.Teeth whitening  top 10 tips.
Teeth whitening top 10 tips.
 
Vanden broele Academy
Vanden broele AcademyVanden broele Academy
Vanden broele Academy
 
[Save themusicfoundation]
[Save themusicfoundation][Save themusicfoundation]
[Save themusicfoundation]
 
Boletín 21/03/2017
Boletín 21/03/2017Boletín 21/03/2017
Boletín 21/03/2017
 
Your style at powerpoint is dead
Your style at powerpoint is deadYour style at powerpoint is dead
Your style at powerpoint is dead
 
Overview: Space Radiation Environment
Overview: Space Radiation EnvironmentOverview: Space Radiation Environment
Overview: Space Radiation Environment
 
Chapter 1
Chapter 1Chapter 1
Chapter 1
 
Sintesis informativa 21 de marzo 2017
Sintesis informativa 21 de marzo 2017Sintesis informativa 21 de marzo 2017
Sintesis informativa 21 de marzo 2017
 
Eigen schul1.....
Eigen schul1.....Eigen schul1.....
Eigen schul1.....
 
スタートアップ期におけるリーン×超高速開発手法について
スタートアップ期におけるリーン×超高速開発手法についてスタートアップ期におけるリーン×超高速開発手法について
スタートアップ期におけるリーン×超高速開発手法について
 
Quimica en las redes sociales
Quimica en las redes socialesQuimica en las redes sociales
Quimica en las redes sociales
 
มอค.3คณิตและสถิติในชีวิตประจำวัน ญาติกา
มอค.3คณิตและสถิติในชีวิตประจำวัน ญาติกามอค.3คณิตและสถิติในชีวิตประจำวัน ญาติกา
มอค.3คณิตและสถิติในชีวิตประจำวัน ญาติกา
 
Le Bizzarre Avventure Di JoJo - Purple Haze Feedback ENG
Le Bizzarre Avventure Di JoJo - Purple Haze Feedback ENGLe Bizzarre Avventure Di JoJo - Purple Haze Feedback ENG
Le Bizzarre Avventure Di JoJo - Purple Haze Feedback ENG
 
Earth Day - 2017 - Environmental Teach-In Toolkit
Earth Day - 2017 - Environmental Teach-In ToolkitEarth Day - 2017 - Environmental Teach-In Toolkit
Earth Day - 2017 - Environmental Teach-In Toolkit
 

Similar to Hadoop conferencejapan2011

20100930 sig startups
20100930 sig startups20100930 sig startups
20100930 sig startupsIchiro Fukuda
 
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective DatalakeDevelopers.IO 2019 Effective Datalake
Developers.IO 2019 Effective DatalakeSatoru Ishikawa
 
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji Shinkubo
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji ShinkuboD22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji Shinkubo
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji ShinkuboInsight Technology, Inc.
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとInsight Technology, Inc.
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムRecruit Technologies
 
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料Recruit Technologies
 
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC EnterpriseYusukeKuramata
 
OSC2019 LT 運用レコメンドプラットフォーム開発におけるマイクロサービス構成の実現
OSC2019 LT 運用レコメンドプラットフォーム開発におけるマイクロサービス構成の実現OSC2019 LT 運用レコメンドプラットフォーム開発におけるマイクロサービス構成の実現
OSC2019 LT 運用レコメンドプラットフォーム開発におけるマイクロサービス構成の実現Daisuke Ikeda
 
Amazon Elasticsearch Service & Open Distro for Elasticsearch Meetup
Amazon Elasticsearch Service & Open Distro for Elasticsearch MeetupAmazon Elasticsearch Service & Open Distro for Elasticsearch Meetup
Amazon Elasticsearch Service & Open Distro for Elasticsearch MeetupHibino Hisashi
 
Redmineosaka 20 talk_crosspoints
Redmineosaka 20 talk_crosspointsRedmineosaka 20 talk_crosspoints
Redmineosaka 20 talk_crosspointsShinji Tamura
 
hbstudy#6LTyuzorock
hbstudy#6LTyuzorockhbstudy#6LTyuzorock
hbstudy#6LTyuzorockyuzorock
 
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展Recruit Technologies
 
ServerlessConf Tokyo2018 サーバーレスなシステムのがんばらない運用監視
ServerlessConf Tokyo2018 サーバーレスなシステムのがんばらない運用監視ServerlessConf Tokyo2018 サーバーレスなシステムのがんばらない運用監視
ServerlessConf Tokyo2018 サーバーレスなシステムのがんばらない運用監視Takanori Suzuki
 
CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編
CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編
CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編Fixstars Corporation
 
とあるメーカーのRedmine活用事例
とあるメーカーのRedmine活用事例とあるメーカーのRedmine活用事例
とあるメーカーのRedmine活用事例Shinji Tamura
 
とあるメーカーのRedmine活用事例
とあるメーカーのRedmine活用事例とあるメーカーのRedmine活用事例
とあるメーカーのRedmine活用事例agileware_jp
 
MySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQL
MySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQLMySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQL
MySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQLRyusuke Kajiyama
 
コピー自動生成プロダクトでDataflowを導入した話
コピー自動生成プロダクトでDataflowを導入した話コピー自動生成プロダクトでDataflowを導入した話
コピー自動生成プロダクトでDataflowを導入した話ShunyoKawamoto
 

Similar to Hadoop conferencejapan2011 (20)

20100930 sig startups
20100930 sig startups20100930 sig startups
20100930 sig startups
 
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective DatalakeDevelopers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
 
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji Shinkubo
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji ShinkuboD22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji Shinkubo
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji Shinkubo
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
 
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
 
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
 
OSC2019 LT 運用レコメンドプラットフォーム開発におけるマイクロサービス構成の実現
OSC2019 LT 運用レコメンドプラットフォーム開発におけるマイクロサービス構成の実現OSC2019 LT 運用レコメンドプラットフォーム開発におけるマイクロサービス構成の実現
OSC2019 LT 運用レコメンドプラットフォーム開発におけるマイクロサービス構成の実現
 
Amazon Elasticsearch Service & Open Distro for Elasticsearch Meetup
Amazon Elasticsearch Service & Open Distro for Elasticsearch MeetupAmazon Elasticsearch Service & Open Distro for Elasticsearch Meetup
Amazon Elasticsearch Service & Open Distro for Elasticsearch Meetup
 
Redmineosaka 20 talk_crosspoints
Redmineosaka 20 talk_crosspointsRedmineosaka 20 talk_crosspoints
Redmineosaka 20 talk_crosspoints
 
hbstudy#6LTyuzorock
hbstudy#6LTyuzorockhbstudy#6LTyuzorock
hbstudy#6LTyuzorock
 
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
 
ServerlessConf Tokyo2018 サーバーレスなシステムのがんばらない運用監視
ServerlessConf Tokyo2018 サーバーレスなシステムのがんばらない運用監視ServerlessConf Tokyo2018 サーバーレスなシステムのがんばらない運用監視
ServerlessConf Tokyo2018 サーバーレスなシステムのがんばらない運用監視
 
CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編
CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編
CPU / GPU高速化セミナー!性能モデルの理論と実践:実践編
 
Multiple Dimension Spreadのご紹介
Multiple Dimension Spreadのご紹介Multiple Dimension Spreadのご紹介
Multiple Dimension Spreadのご紹介
 
とあるメーカーのRedmine活用事例
とあるメーカーのRedmine活用事例とあるメーカーのRedmine活用事例
とあるメーカーのRedmine活用事例
 
とあるメーカーのRedmine活用事例
とあるメーカーのRedmine活用事例とあるメーカーのRedmine活用事例
とあるメーカーのRedmine活用事例
 
MySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQL
MySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQLMySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQL
MySQLのNoSQL機能 - MySQL JSON & HTTP Plugin for MySQL
 
コピー自動生成プロダクトでDataflowを導入した話
コピー自動生成プロダクトでDataflowを導入した話コピー自動生成プロダクトでDataflowを導入した話
コピー自動生成プロダクトでDataflowを導入した話
 
Snapdragon-SCORER
Snapdragon-SCORERSnapdragon-SCORER
Snapdragon-SCORER
 

Recently uploaded

Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Danieldanielhu54
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000Shota Ito
 
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdfUPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdffurutsuka
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Yuma Ohgami
 

Recently uploaded (7)

Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
 
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdfUPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
 

Hadoop conferencejapan2011