Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
クラウドで 
ビックデータのスモールスタート 
! 
! 
! 
⽚片岡 幸⼈人 
kataoka@city-‐‑‒net.jp
そもそも地⽅方で… 
クラウドって 使うことある? 
ビックデータって 関係ない? 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
2 
スモールスタートって できるの?
ビックデータ+クラウド 
感覚で例例えると? 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
3
2014/10/04(⼟土) 株式会社シティネット ⽚片岡幸⼈人 
4 
そんなの無理理!
⾃自⼰己紹介 
⽚片岡 幸⼈人(かたおか ゆきひと) 
⾼高知県吾川村(現、仁淀川町)出⾝身 
岐⾩阜に暮らし、名古屋の会社勤務、27歳でUターン 
役場職員から ITコミュニティの経験を経て、 
32歳でシティネットに参加 
ITと農業、⾼高...
株式会社シティネット ⽚片岡幸⼈人 
6 
ビックデータ 
2014/10/04(⼟土)
ビックデータ 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
7 
● 業務系 
! 
● センサ系 
! 
● その他 
ビッグデータを価値につなげる活⽤用事例例15( IT Leaders ) 
http://it....
ビックデータ 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
8 
● 業務系 
すでに巨⼤大データ保有 
● センサ系 
収集開始はゼロから 
● その他 
新規はアイディア次第?
ビックデータ 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
9 
● 業務系 
すでに巨⼤大データ保有 
● センサ系(注⽬目) 
収集開始はゼロから 
● その他 
新規はアイディア次第?
センサ系ビックデータ活⽤用 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
10 
ここからは、 
! 
センサ の 情報(ビックデータ)を活⽤用するため 
クラウドサービス Amazon AWS を使って、安 
価に情...
株式会社シティネット ⽚片岡幸⼈人 
11 
センサ系 
ビックデータ 
アイテム 
2014/10/04(⼟土)
Raspberry Pi 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
12
Raspberry Pi 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
13 
● 安価で⾼高スペック 
• 本体が4千円未満 
• CPU500MHz,メモリ512GB,HD SDカード 
● 情報量量とサポート 
...
株式会社シティネット ⽚片岡幸⼈人 
AWS 
2014/10/04(⼟土) 
14
よく使う!話題の! 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
15 
● RDS(MySql,SQLServer,Oracle他) 
• 利利便便性⼤大、汎⽤用性⼤大 
• コスト⾼高(MySql 10GB利利⽤用...
真打! DynamoDB 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
16
真打! DynamoDB 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
17 
● ⾯面倒な設定・維持管理理が不不要 
● 容量量は⾃自動拡張 
● パフォーマンスをコストで選択可能 
● ⼤大規模でも⾼高速なデータア...
よく使う!話題の! 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
18 
● EBS 
• データアクセスが容易易で⾼高速 
• コスト⾼高(約2.5倍) 
• 容量量は固定 
! 
● Glacier 
• データア...
定番! S3 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
19
定番! S3 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
20 
● 安価に⼤大量量のファイルを保管可能 
● 容量量は⾃自動拡張 
● 静的Webサイトとして利利⽤用可能 
● 最⼤大 99.999999999% ...
センサ系ビックデータ活⽤用 
株式会社シティネット ⽚片岡幸⼈人 
情報の・・ 
2014/10/04(⼟土) 
21 
● 獲得 
➢ 安価な⼩小型コンピュータ 
Raspberry Pi 
● 保管 
➢ スモールスタートクラウド 
AWS...
株式会社シティネット ⽚片岡幸⼈人 
22 
ビックデータ 
スモール 
スタート 
2014/10/04(⼟土)
スモールスタート1 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
23 
Raspberry 
Pi(BOX) 
DynamoDB 
S3(File 
Data) 
Internet 
参照者 
※VPCなどの構成は省...
スモールスタート2(今回) 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
24 
DynamoDB 
Raspberry 
Pi 
n台S3(File 
Data) 
Internet 
参照者 
EC2(Server...
デモ作ってみました 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
25 
塩けんぴ 試⾷食者・環境 
調査システム 
http://aws.ykata.net/ 
本⽇日(2014/10/04)のみ
デモ作ってみました 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
26 
※試験時塩ケンピが在庫切切れのためシュガーで代⽤用
デモ作ってみました 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
27 
● 収集情報 
• Raspberry Pi 専⽤用カメラ静⽌止画 
• Raspberry Pi CPU温度度・使⽤用率率率・メモリ使⽤用率率...
デモ作ってみました 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
28
デモ作ってみました 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
29
デモ環境構築など 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
30 
詳しくはBlogで 
http://bit.ly/10m6Lk6
結果 無償枠で(筈…) 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
31
実際に 
やってみると! 
株式会社シティネット ⽚片岡幸⼈人 
2014/10/04(⼟土) 
32
資⾦金金⼒力力に乏しい地⽅方 でも、⽬目的とアイ 
ディアと意思 があれば、Amazon 
AWS の クラウドサービス 
DynamoDB, S3 で、ビックデータへ 
の挑戦をスモールにスタートできま 
す! 
株式会社シティネット ⽚片岡...
株式会社シティネット ⽚片岡幸⼈人 
結論論 
2014/10/04(⼟土) 
34 
ダイブ!
Upcoming SlideShare
Loading in …5
×

2014/10/04 四国クラウドお遍路 クラウドでビックデータのスモールスタート

1,544 views

Published on

資金力に乏しい地方 でも、活用するアイディア があれば、クラウドサービスを活用して、ビックデータへの挑戦をスモールにスタート可能です!
今回はAmazon AWS の DynamoDB、S3 を活用して、無償利用枠内で構築した試作システムの例でご紹介します。

Published in: Internet
  • Be the first to comment

2014/10/04 四国クラウドお遍路 クラウドでビックデータのスモールスタート

  1. 1. クラウドで ビックデータのスモールスタート ! ! ! ⽚片岡 幸⼈人 kataoka@city-‐‑‒net.jp
  2. 2. そもそも地⽅方で… クラウドって 使うことある? ビックデータって 関係ない? 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 2 スモールスタートって できるの?
  3. 3. ビックデータ+クラウド 感覚で例例えると? 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 3
  4. 4. 2014/10/04(⼟土) 株式会社シティネット ⽚片岡幸⼈人 4 そんなの無理理!
  5. 5. ⾃自⼰己紹介 ⽚片岡 幸⼈人(かたおか ゆきひと) ⾼高知県吾川村(現、仁淀川町)出⾝身 岐⾩阜に暮らし、名古屋の会社勤務、27歳でUターン 役場職員から ITコミュニティの経験を経て、 32歳でシティネットに参加 ITと農業、⾼高知と地域に拘り ! マイキーワード ! センサ、クラウド、ロボット 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 5
  6. 6. 株式会社シティネット ⽚片岡幸⼈人 6 ビックデータ 2014/10/04(⼟土)
  7. 7. ビックデータ 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 7 ● 業務系 ! ● センサ系 ! ● その他 ビッグデータを価値につなげる活⽤用事例例15( IT Leaders ) http://it.impressbm.co.jp/articles/-‐‑‒/10777
  8. 8. ビックデータ 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 8 ● 業務系 すでに巨⼤大データ保有 ● センサ系 収集開始はゼロから ● その他 新規はアイディア次第?
  9. 9. ビックデータ 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 9 ● 業務系 すでに巨⼤大データ保有 ● センサ系(注⽬目) 収集開始はゼロから ● その他 新規はアイディア次第?
  10. 10. センサ系ビックデータ活⽤用 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 10 ここからは、 ! センサ の 情報(ビックデータ)を活⽤用するため クラウドサービス Amazon AWS を使って、安 価に情報を データベース に保管し、⽬目的に応じ た情報の参照を、迅速に⾏行行う ⽅方法 ! についてです。
  11. 11. 株式会社シティネット ⽚片岡幸⼈人 11 センサ系 ビックデータ アイテム 2014/10/04(⼟土)
  12. 12. Raspberry Pi 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 12
  13. 13. Raspberry Pi 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 13 ● 安価で⾼高スペック • 本体が4千円未満 • CPU500MHz,メモリ512GB,HD SDカード ● 情報量量とサポート • イギリス財団が製造、販売元 • 利利⽤用者が多くネット情報量量も豊富 ● 汎⽤用的 • OSがLinuxで各種フリーソフト利利⽤用可能 • GPIO、I2C等に対応
  14. 14. 株式会社シティネット ⽚片岡幸⼈人 AWS 2014/10/04(⼟土) 14
  15. 15. よく使う!話題の! 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 15 ● RDS(MySql,SQLServer,Oracle他) • 利利便便性⼤大、汎⽤用性⼤大 • コスト⾼高(MySql 10GB利利⽤用で約8倍) • データ増レスポンスダウン、容量量は固定 ! ● Redshift • 最速処理理、利利便便性⼤大 • コスト最⾼高(10GB利利⽤用で約38倍) • 160GBから開始、容量量は固定 ※コストは利利⽤用⽅方法を想定したシュミレーション値で実際とは異異なる場合もあります。
  16. 16. 真打! DynamoDB 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 16
  17. 17. 真打! DynamoDB 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 17 ● ⾯面倒な設定・維持管理理が不不要 ● 容量量は⾃自動拡張 ● パフォーマンスをコストで選択可能 ● ⼤大規模でも⾼高速なデータアクセス ● データは複数の場所で同時保管 ● キーを除くデータ項⽬目フリーフォマット ● 初期設計が重要(⼀一部を除き変更更不不可) ● キー以外のソート、値の集計は⾃自⼒力力で
  18. 18. よく使う!話題の! 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 18 ● EBS • データアクセスが容易易で⾼高速 • コスト⾼高(約2.5倍) • 容量量は固定 ! ● Glacier • データアクセスが遅いアーカイブ向け • コスト最安(10GB利利⽤用で約1/5倍) • 容量量は⾃自動拡張 ※コストは利利⽤用⽅方法を想定したシュミレーション値で実際とは異異なる場合もあります。
  19. 19. 定番! S3 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 19
  20. 20. 定番! S3 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 20 ● 安価に⼤大量量のファイルを保管可能 ● 容量量は⾃自動拡張 ● 静的Webサイトとして利利⽤用可能 ● 最⼤大 99.999999999% の耐久性 ● 99.99% の可⽤用性 ● ファイル管理理が⾯面倒 ● アクセス権限など細かな設定⼿手間
  21. 21. センサ系ビックデータ活⽤用 株式会社シティネット ⽚片岡幸⼈人 情報の・・ 2014/10/04(⼟土) 21 ● 獲得 ➢ 安価な⼩小型コンピュータ Raspberry Pi ● 保管 ➢ スモールスタートクラウド AWS DynamoDB、S3
  22. 22. 株式会社シティネット ⽚片岡幸⼈人 22 ビックデータ スモール スタート 2014/10/04(⼟土)
  23. 23. スモールスタート1 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 23 Raspberry Pi(BOX) DynamoDB S3(File Data) Internet 参照者 ※VPCなどの構成は省省略略
  24. 24. スモールスタート2(今回) 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 24 DynamoDB Raspberry Pi n台S3(File Data) Internet 参照者 EC2(Server) ※VPCなどの構成は省省略略
  25. 25. デモ作ってみました 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 25 塩けんぴ 試⾷食者・環境 調査システム http://aws.ykata.net/ 本⽇日(2014/10/04)のみ
  26. 26. デモ作ってみました 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 26 ※試験時塩ケンピが在庫切切れのためシュガーで代⽤用
  27. 27. デモ作ってみました 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 27 ● 収集情報 • Raspberry Pi 専⽤用カメラ静⽌止画 • Raspberry Pi CPU温度度・使⽤用率率率・メモリ使⽤用率率率 • Raspberry Pi GPIO距離離センサ・温湿度度センサ ● 機能 • Raspberry Pi から Dynamo,S3 データアップ • EC2 Webサーバから提供 ● 開発環境 • PHP5 + AWS PHP SDK2 + bash + C
  28. 28. デモ作ってみました 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 28
  29. 29. デモ作ってみました 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 29
  30. 30. デモ環境構築など 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 30 詳しくはBlogで http://bit.ly/10m6Lk6
  31. 31. 結果 無償枠で(筈…) 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 31
  32. 32. 実際に やってみると! 株式会社シティネット ⽚片岡幸⼈人 2014/10/04(⼟土) 32
  33. 33. 資⾦金金⼒力力に乏しい地⽅方 でも、⽬目的とアイ ディアと意思 があれば、Amazon AWS の クラウドサービス DynamoDB, S3 で、ビックデータへ の挑戦をスモールにスタートできま す! 株式会社シティネット ⽚片岡幸⼈人 結論論 2014/10/04(⼟土) 33
  34. 34. 株式会社シティネット ⽚片岡幸⼈人 結論論 2014/10/04(⼟土) 34 ダイブ!

×