Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Jaws festa-2014-cdp-03

1,025 views

Published on

Published in: Engineering
  • Be the first to comment

Jaws festa-2014-cdp-03

  1. 1. CDP道場 中上級者向け 回答編 ~∼JAWS Festa Tohoku 2014~∼ #jawsug #festa2014 2014/09/06 ⼤大栗栗 宗 (@maroon1st)
  2. 2. ポイント • ⾃自前主義は程々に • 使える物は何でも使う • 運⽤用フリーを⽬目指す • スモールスタート、スケールアウト
  3. 3. ポイント • ⾃自前主義は程々に →素のEC2は最⼩小限にしてサービス利利⽤用 • 使える物は何でも使う →適材適所でAWS以外のサービスを活⽤用 • 運⽤用フリーを⽬目指す →もちろんフルマネージド優先 • スモールスタート、スケールアウト →最初から当らないのでコスト適正化
  4. 4. 当⽅方フォマフォ関連の経験が無いため 現実的な解では無いかもしれません
  5. 5. 構成はシンプルに 複雑だと作るのが⼤大変 運⽤用も⼤大変
  6. 6. 課題1:スマフォのログ出⼒力力 • (インフラ)多数の端末がログ情報を出⼒力力するた め、受⼝口側がスケールする必要が有る • (アプリ)通信が不不安定のため、通信環境が良良い 場合に送信するバッファリングが必要
  7. 7. 課題1:スマフォのログ出⼒力力 解決例例 • AWS SDK for iOS / AndroidでKinesis開発 スマフォ側のバファリング必要 • Treasure Data iOS / Android / Unity SDKで Treasure Dataへ送る
  8. 8. 課題2:⼤大量量ログの保存 • ⼤大量量に保存できる事(スケール/安価) • 必要な時に活⽤用できる事
  9. 9. 課題2:⼤大量量ログの保存 解決例例 • S3で保存する。 • Redshiftで保存する。処理理も可能。 • EMR(HDFS)で保存する。処理理も可能。 • 外部サービスに保存する。
  10. 10. 課題3:⼤大量量ログの処理理 • 1億件/⽇日のログを⼀一定時間内に処理理可能 • ログの量量が増えても対応できる • バッチ処理理とアドホッククエリ
  11. 11. 課題3:⼤大量量ログの処理理 解決例例 • Redshiftのクエリで処理理する。 • EMRで処理理する。 (MapReduce/Hive/Impala) • 外部サービスを利利⽤用する。 • BIツール(Server/Client)で表⽰示
  12. 12. 構成例例 Treasure Data Mobile SDKsExport mobile client SSDで⾼高速 BIHDDに⻑⾧長期間データ DW1 DW2 Direct Connect 分析者 閲覧者 corporate data center
  13. 13. Appendix:良良いアーキテクティングのために • 最初から100%を求めない • 作っては考える • ディスカッションしながら考える • 構成図を書いては書き替える
  14. 14. nu board 図を書きながらディスカッションに丁度度良良い http://www.obun.jp/original/nuboard/
  15. 15. WE ARE HIRING !

×