Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Awsとrubyで作るビッグデータ解析の裏側

3,623 views

Published on

第十七回Creators MeetUp 発表資料。

Published in: Data & Analytics
  • Be the first to comment

Awsとrubyで作るビッグデータ解析の裏側

  1. 1. AWSとRUBYで作る ビッグデータ解析の裏側 @srockstyle / Shohei Kobayashi ! Twitter : https://twitter.com/srockstyle Facebook : https://www.facebook.com/srockstyle Github : https://github.com/srockstyle
  2. 2. 15 MINITE 収まるように 頑張ります
  3. 3. WHO ARE YOU? 「あんた誰や!?」
  4. 4. Shohei Kobayashi Mind Palette.co.ltd. Backend ServerSide Engineer 仕事はAWS,Ruby漬け 家ではPHP,Swift漬け
  5. 5. TODAY’S THEME スマホアプリの データ解析インフラについて
  6. 6. SNAPEEEって? • 写真共有アプリから新しいメディアへ と進化しているF1層の女性向けスマホ アプリ。 • iOS版とAndroid版があるよ。 • この世に生を受けて四年目。 • 「カワイイを世界に届ける」がテーマ!
  7. 7. 日本からアジアへ アジアから世界へ 世界進出のために蓄積されるビッグデータ解析は不可欠 JAPAN TAIWAN CHINA HONGKONG SINGAPOLE TAILAND ….AND MORE!
  8. 8. SNAPEEEのデータ解析基盤
  9. 9. データ解析周りの用語 • データウェアハウス:集めたデータを 入れておくところ • データマート:解析結果をいれておく ところ • MapReduce:たくさんのコンピュータで 巨大なデータを解析するプログラミン グモデル。
  10. 10. 見ての通りAWSばっかりだよ! AWS万歳!ヽ(‘ ∇‘ )ノ AWS万歳!ヽ(‘ ∇‘ )ノ AWS万歳!ヽ(‘ ∇‘ )ノ
  11. 11. 解析基盤でAWSを選んだ理由
  12. 12. • 解析結果の格納・検索はRedshiftが超速い • Hadoopクラスタとジョブの追加・構築・増 減がAPI経由で楽に可能 • API経由でログの送信・解析・収納まで可能
  13. 13. それでこうなった
  14. 14. AWSまみれ AWS様々
  15. 15. 司令塔サーバの話 ○こいつ
  16. 16. RUBY ON RAILS AND AWS-SDK FOR RUBY
  17. 17. なんでRUBYを選んだか? • 書いてて楽しいから • Java、PHPもみんな書けたけど、JavaとPHPは書いてて数ヶ月 で飽きたから(弊社エンジニア陣の主観 • Rails使っての開発効率の高さ! • 全社でJavaからRubyへの移行を進めており、サーバ構築に Chefの導入もあって言語の統一化を進めていきたかったから
  18. 18. ちょっと待った! ○あれっ……
  19. 19. Q:HADOOPってJAVAじゃね? MAP REDUCEって JAVA以外使えないんじゃ……
  20. 20. そんなあなたに! HADOOP-STREAMING がオススメ!
  21. 21. AWSで HADOOP-STREAMING! • AWS-SDKからJob-Flowスクリプト流し込めばHadoop- Streamingでデータ解析が可能。 • S3上にログの設置→Job実行までをRails内のバッチ処 理で自動化。 • 標準入力/標準出力でHadoopとやりとりすればよい のでMapper&Reducerも全部Rubyスクリプト。
  22. 22. 流れ
  23. 23. JOB FLOW設定
  24. 24. 集計後データは…… • S3の結果ファイルをRedShiftへ投入 • ダウンロードしたファイルをRで解析 • RedShift上のデータを別バッチで再利用&フ ロントエンドでRailsのActive Recordで呼び出 してグラフ化!
  25. 25. おまけ
  26. 26. 弊社ではエンジニア募集中だよ! Ruby、Rails、AWS、iOS、Android、グロースハック そんなのに興味あるひとはぜひお声かけください ! Twitterで@srockstyleまで!
  27. 27. RAILS GIRLも大歓迎! F1層の女性向けアプリなので 女子のハートがわかるRails Girlも大募集です! ! ! Twitterで@srockstyleまで!
  28. 28. ご清聴ありがとうございました! 「“カワイイ”を世界に」

×