More Related Content
Similar to [C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu
Similar to [C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu (20)
More from Insight Technology, Inc.
More from Insight Technology, Inc. (20)
[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu
- 12. DWH/BIを支えるインフラ
本番環境
ETL Server(DataStage)
HP ProLiant DL360 G5 (2006)
CPU: Intel® Xeon® Processor X5260
CPU:1, Core:2
MEM:18.0GB, HDD:416GB
OS: Windows Server 2003 EE SP2(32bit)
開発環境
DWH Server(SybaseIQ)
HP ProLiant DL360 G5 (2006)
CPU: Intel® Xeon® Processor X5260
# of CPU:1, # of cores:2
MEM:32.0GB, HDD:694GB
OS: Windows Server 2003 SE SP2 (x64)
DWH Server(SybaseIQ)
Strage
HP ProLiant DL380 G5 (2006)
CPU: Intel® Xeon® Processor X5260
CPU:1, Core:2
MEM:32.0GB, HDD:136GB
OS: Windows Server 2003 SE SP2 (x64)
BI Server(MicroStrategy)
HP ProLiant DL380 G6 (2009)
CPU: Intel® Xeon® Processor E5540
CPU:2, Core:8
MEM:62.0GB, HDD:136GB
OS: Windows Server 2008 EE SP2 (x64)
HP StorageWorks MSA2312fc x 4 (2009)
HDD:48, Size:28TB
- 25. Hadoop システム構成
Amazon
GDO社内
Web
Service
Amazon VPC(Virtual Private Cloud)
Amazon EC2
プライベートサブネット
ログ解析
システム
アクセス
ログデータ
マスターノード(m1.large)
×3台(Client,Active,Standby)
CPU : Intel(R) Xeon(R) CPU 2.66GHz x 2cores
メモリ:7.5GB
Client
JournalNode
Hive
NameNode
JournalNode
Client
(EC2)
NameNode
JournalNode
Active
(EC2)
スレーブノード (m1.large)
Standby
(EC2)
×3(Datanode)
CPU : Intel(R) Xeon(R) CPU 2.66GHz x 2cores
メモリ:7.5GB
DataNode
TasKTracker
(EC2)
HDFS
(EBS)
500GB
DataNode
TaskTracker
(EC2)
HDFS
(EBS)
500GB
DataNode
TaskTracker
(EC2)
HDFS
(EBS)
500GB
キャンペーン
マネージメント
.
- 26. Hadoop + Hive
なぜGDOはHadoopを利用したのか?
① 夜間バッチが夜間に終わらなくなった。。。
② タダ(無料)だから。
③ 使ってみたかった
Hadoopを利用してみて分かったこと。
意外と安定している。
HiveQLには制限は少ない(SELECT)
開発生産性は高い
クラウドなのでスケールアウトは、とっても簡単。いろんな意味で。
更新、削除は出来ない
レスポンスは遅い
Hadoop + Hive のベストプラクティス
バッチ処理