Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
オンプレとクラウドのHadoopを比較
して僕の思うとこ
〜クラウドがいいのはわかってる、で
もオンプレも楽しい〜
これから始めるHadoop / Spark
03/22 2016
山田 雄
ネットビジネス本部
データ基盤T
■山田 雄(ヤマダ ユウ)
株式会社 リクルートライフスタイル
ネットビジネス本部
データ基盤T
Twitter:@nii_yan
Blog:イクジニアブログ
・元々フリーランスエンジニア
縁があってリクルートライフスタイルにお世話になることに...
会社紹介
今回の話は私の個人的感想によ
るもので、会社の意見ではあり
ません。
弊社のHadoop/Spark環境は全
てクラウド上で動いています。
クラウドとオンプレの比較
初期投資(クラウドの場合)
初期投資 (オンプレの場合)
どのサーバ買おうか?PowerEdgeでいいかね?
HDD買うときは製造番号近いの買うといっぺんに壊れるから・・・
SSDじゃなくてHDDで十分だよね!
HDFSはRAID組まない方がいいから・・・
初期投資 (オンプレの場合)
どのサーバ買おうか?PowerEdgeでいいかね?
HDD買うときは製造番号近いの買うといっぺんに壊れるから・・・
SSDじゃなくてHDDで十分だよね!
HDFSはRAID組まない方がいいから・・・
楽しい!!
Hadoopインストール(クラウドの場合)
AWSなら、EMRでポチッとな
Hadoopインストール(オンプレの場合)
Kernelチューニングしないと!vm.swappinessが!!
Diskが逝った〜〜〜 ToT
ClouderaManager使うとインストール楽だよね。
パーティションどう切ろう・・・
Hadoopインストール(オンプレの場合)
Kernelチューニングしないと!vm.swappinessが!!
Diskが逝った〜〜〜 ToT
ClouderaManager使うとインストール楽だよね。
パーティションどう切ろう・・・
楽しい!!
Hadoopアップデート(クラウドの場合)
AWSなら、EMRでポチッとな
(やったことないけど多分・・・)
Hadoopアップデート(オンプレの場合)
もう1つ検証用クラスタ用意する??
HiveのSelect結果が合わない!Hive-9613問題が〜 ToT
Tezすげ〜!ファイル形式も変えてみよう!!
データの同期どうしよう??Hbaseつらたん...
Hadoopアップデート(オンプレの場合)
もう1つ検証用クラスタ用意する??
HiveのSelect結果が合わない!Hive-9613問題が〜 ToT
Tezすげ〜!ファイル形式も変えてみよう!!
データの同期どうしよう??Hbaseつらたん...
こうやってみると圧倒的に(特にコ
スト面)クラウドがいいのですが、
オンプレの楽しさはプライスレス
(ROI?なにそれおいしいの?)
だが、クラウドは機能が充実しす
ぎてて、色々な事が出来てしまう
のも事実・・・
DynamoDB Lambda API
Gateway
Kafka
on-premises
AWS cloud
Web Server
Configuration
Management
Monitoring
Grafana
弊社のストリーム基盤例
Hadoopを新規で作る時一瞬オ
ンプレとクラウドで迷ってみても
いいと思います。
ただ、たいていの場合クラウド
がいいんじゃないかなぁ・・・
ご清聴ありがとうございました
(@nii_yan)
Upcoming SlideShare
Loading in …5
×

オンプレとクラウドのHadoopを比較して僕の思うとこ

1,215 views

Published on

これからはじめるHadoop / Spark LT資料
山田 雄(株式会社リクルートライフスタイル)

Published in: Technology
  • Be the first to comment

オンプレとクラウドのHadoopを比較して僕の思うとこ

  1. 1. オンプレとクラウドのHadoopを比較 して僕の思うとこ 〜クラウドがいいのはわかってる、で もオンプレも楽しい〜 これから始めるHadoop / Spark 03/22 2016 山田 雄 ネットビジネス本部 データ基盤T
  2. 2. ■山田 雄(ヤマダ ユウ) 株式会社 リクルートライフスタイル ネットビジネス本部 データ基盤T Twitter:@nii_yan Blog:イクジニアブログ ・元々フリーランスエンジニア 縁があってリクルートライフスタイルにお世話になることになった。 ビックデータ、Ruby、ビールが好き。 自己紹介
  3. 3. 会社紹介
  4. 4. 今回の話は私の個人的感想によ るもので、会社の意見ではあり ません。 弊社のHadoop/Spark環境は全 てクラウド上で動いています。
  5. 5. クラウドとオンプレの比較
  6. 6. 初期投資(クラウドの場合)
  7. 7. 初期投資 (オンプレの場合) どのサーバ買おうか?PowerEdgeでいいかね? HDD買うときは製造番号近いの買うといっぺんに壊れるから・・・ SSDじゃなくてHDDで十分だよね! HDFSはRAID組まない方がいいから・・・
  8. 8. 初期投資 (オンプレの場合) どのサーバ買おうか?PowerEdgeでいいかね? HDD買うときは製造番号近いの買うといっぺんに壊れるから・・・ SSDじゃなくてHDDで十分だよね! HDFSはRAID組まない方がいいから・・・ 楽しい!!
  9. 9. Hadoopインストール(クラウドの場合) AWSなら、EMRでポチッとな
  10. 10. Hadoopインストール(オンプレの場合) Kernelチューニングしないと!vm.swappinessが!! Diskが逝った〜〜〜 ToT ClouderaManager使うとインストール楽だよね。 パーティションどう切ろう・・・
  11. 11. Hadoopインストール(オンプレの場合) Kernelチューニングしないと!vm.swappinessが!! Diskが逝った〜〜〜 ToT ClouderaManager使うとインストール楽だよね。 パーティションどう切ろう・・・ 楽しい!!
  12. 12. Hadoopアップデート(クラウドの場合) AWSなら、EMRでポチッとな (やったことないけど多分・・・)
  13. 13. Hadoopアップデート(オンプレの場合) もう1つ検証用クラスタ用意する?? HiveのSelect結果が合わない!Hive-9613問題が〜 ToT Tezすげ〜!ファイル形式も変えてみよう!! データの同期どうしよう??Hbaseつらたん・・・
  14. 14. Hadoopアップデート(オンプレの場合) もう1つ検証用クラスタ用意する?? HiveのSelect結果が合わない!Hive-9613問題が〜 ToT Tezすげ〜!ファイル形式も変えてみよう!! データの同期どうしよう??Hbaseつらたん・・・ 楽しい!!
  15. 15. こうやってみると圧倒的に(特にコ スト面)クラウドがいいのですが、 オンプレの楽しさはプライスレス (ROI?なにそれおいしいの?)
  16. 16. だが、クラウドは機能が充実しす ぎてて、色々な事が出来てしまう のも事実・・・
  17. 17. DynamoDB Lambda API Gateway Kafka on-premises AWS cloud Web Server Configuration Management Monitoring Grafana 弊社のストリーム基盤例
  18. 18. Hadoopを新規で作る時一瞬オ ンプレとクラウドで迷ってみても いいと思います。 ただ、たいていの場合クラウド がいいんじゃないかなぁ・・・
  19. 19. ご清聴ありがとうございました (@nii_yan)

×