Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

クラウドでビックデータのスモールスタート

792 views

Published on

資金力に乏しい地方 でも、活用するアイディア があれば、Amazon AWS の クラウドサービス DynamoDB, S3 を活用して、ビックデータへの挑戦をスモールにスタートできます。

Published in: Software
  • Be the first to comment

  • Be the first to like this

クラウドでビックデータのスモールスタート

  1. 1. クラウドで ビックデータのスモールスタート 株式会社シティネット 片岡幸人 kataoka@city-net.jp
  2. 2. そもそも 2014/08/28(木) 株式会社シティネット 片岡幸人 2 ビックデータって何? スモールスタートって矛盾? クラウドって何?
  3. 3. 自己紹介 片岡幸人(かたおかゆきひと) 高知県吾川村(現、仁淀川町)出身 岐阜に暮らし、名古屋の会社勤務、27歳でUターン 役場職員からITコミュニティの経験を経て、 32歳でシティネットに参加 ITと農業、高知と地域に拘り マイキーワード センサ、クラウド、ロボット 2014/08/28(木) 株式会社シティネット 片岡幸人 3
  4. 4. 今日の内容について 2014/08/28(木) 株式会社シティネット 片岡幸人 4 ビックデータ活用の現状 AWSのビックデータ関連サービス ビックデータスモールスタート
  5. 5. 5 ビックデータ 活用の現状
  6. 6. ビックデータ活用例 2014/08/28(木) 株式会社シティネット 片岡幸人 6 センサ系 業務系 その他 IT Leaders ビッグデータを価値につなげる活用事例15http://it.impressbm.co.jp/articles/-/10777 より引用、抜粋
  7. 7. センサ系 2014/08/28(木) 株式会社シティネット 片岡幸人 7 ウェザーニュース[情報・通信業] 会員から寄せられる現地の気象情報を分析。詳細なエリアごとに的確な天気予 報を配信できるようにする。ゲリラ豪雨などの局地的な天気も高い精度で予測 できる。観測機の気象データも活用。 国土交通省関東地方整備局[公社・官庁] 2012年に開通した「東京ゲートブリッジ」の異常を検知するのにセンサー データを活用する。橋脚に多数のセンサーを取り付け、橋のひずみや振動など を検知する。橋の破損状況を遠隔より把握できる。橋を通行する車両の重量か ら、橋への負担なども予測する。 小松製作所[機械] 建機に取り付けたセンサーから稼働状況や燃料の残量などを把握。故障の事前 検知やリース建機の最適配置、盗難防止、省エネ運転支援などに役立てる。建 機を遠隔監視するシステムに集められる建機情報は、顧客や販売代理店に無料 で提供する。
  8. 8. 業務系 2014/08/28(木) 株式会社シティネット 片岡幸人 8 大阪ガス[電気・ガス業] コールセンターに寄せられる給湯器などの修理依頼の内容から、交換が必要と なりそうな部品を自動で割り出す。過去数百万件の修理履歴や機器の型番など をもとに適切な部品を自動抽出するシステムを自社開発。修理作業員の業務効 率化に寄与する。 全日本食品[小売業] 約1800店舗のPOSデータを収集/分析する。発行したクーポンや配布したチ ラシの効果を最大化する施策の検討に用いる。顧客情報や購買履歴をもとに、 最適なクーポンをレシートの裏に印刷して発行する。 ヤフー[サービス業] Webサイトを通じて取得する利用者のアクセスログなどを分析。利用者に応じ た適切な広告や商品などをサイト上に掲載できるようにする。サイトのデザイ ンやメニュー変更が売上にどう貢献するのかを把握する指標にもデータを活用 する。
  9. 9. その他 2014/08/28(木) 株式会社シティネット 片岡幸人 9 カブドットコム証券[証券・商品先物取引業] Twitterの投稿を分析する。特定キーワードの登場頻度と株価の動向に相関関 係があるかどうかを分析する。顧客に対して適切な投資情報を提供することを 目指す。 本田技研工業[輸出用機器] 約150万人の会員から自動車の走行データを5分おきに収集。1カ月あたり約1 億km分のデータを取得/分析する。渋滞地点を避けたルートを案内したり、 走行時間短縮によりCO2を削減したりできる。 リクルート[サービス業] GPSを使って旅行者の位置情報を収集。どこを訪れたのか、どこに宿泊したの かなどの行動を把握する。観光地の活性化やニーズに即した観光情報を提供で きるようにする。
  10. 10. ビックデータ活用の現状 2014/08/28(木) 株式会社シティネット 片岡幸人 10 いつ、どこで? ターゲット有、無の双方あり 誰が? 情報の収集者 どのような目的で? 判断、予測、推測などの活用が多い
  11. 11. ビックデータ活用例 2014/08/28(木) 株式会社シティネット 片岡幸人 11 センサ系(注目!) 業務系 その他 IT Leaders ビッグデータを価値につなげる活用事例15http://it.impressbm.co.jp/articles/-/10777 より引用、抜粋
  12. 12. センサ系ビックデータ活用 2014/08/28(木) 株式会社シティネット 片岡幸人 12 ここからの話題は、 センサの情報(ビックデータ)を活用する ためクラウドサービスAmazon AWS を 使って、安価に情報をデータベースに保管 し、目的に応じた情報の参照を、迅速に行 う方法 についてです。
  13. 13. 13 AWSのビック データ関連 サービス
  14. 14. センサ系ビックデータ活用 2014/08/28(木) 株式会社シティネット 片岡幸人 14 どう獲得する? 安価な小型コンピュータ Raspberry Pi どこに保管する? スモールスタート可能なクラウド Amazon AWSDynamoDBとS3 問題は、センサの情報を
  15. 15. Raspberry Pi 2014/08/28(木) 株式会社シティネット 片岡幸人 15
  16. 16. Raspberry Pi 2014/08/28(木) 株式会社シティネット 片岡幸人 16 安価で高スペック •本体が4千円未満 •CPU500MHz,メモリ512GB,HDSDカード 情報量とサポート •イギリス財団が製造、販売元 •利用者が多くネット情報量も豊富 汎用的 •OSがLinuxで各種フリーソフト利用可能 •GPIO、I2C等に対応
  17. 17. DynamoDB 2014/08/28(木) 株式会社シティネット 片岡幸人 17
  18. 18. DynamoDB 2014/08/28(木) 株式会社シティネット 片岡幸人 18 DynamoDBは高速な完全マネージド型 NoSQL データベースサービスで、任意の量 のデータを格納、取得し、任意のレベルの リクエストトラフィックを処理できます。 スループットとミリ秒で1 桁台のレイテン シーが保証されており、ゲーム、広告、モ バイル、他の多くのアプリケーションに最 適です。 http://aws.amazon.com/jp/dynamodb/
  19. 19. DynamoDB 2014/08/28(木) 株式会社シティネット 片岡幸人 19 面倒な設定・維持管理が不要 容量は自動拡張 パフォーマンスをコストで選択可能 大規模でも高速なデータアクセス データは複数の場所で同時保管 キーを除くデータ項目フリーフォマット 開発者はAPI経由で利用
  20. 20. DynamoDB他との比較 2014/08/28(木) 株式会社シティネット 片岡幸人 20 RDS(MySql,SQLServer,Oracle他) •データ量増で速度が遅い •コスト高(MySql10GB利用で約8倍) •容量固定 Redshift •最速処理 •コスト最高(10GB利用で約38倍) •160GBからで容量固定 ※コストは利用方法を想定したシュミレーション値で実際とは異なる場合もあります。
  21. 21. S3 2014/08/28(木) 株式会社シティネット 片岡幸人 21
  22. 22. S3 2014/08/28(木) 株式会社シティネット 片岡幸人 22 Amazon S3 はインターネット用のストレージサービス です。ウェブスケールの処理能力を開発者が簡単に利用 できるよう設計されています。 Amazon S3 にはシンプルなインターフェイスが用意さ れており、いつでもウェブのどこからでも容量に関係な くデータを保存/取得できます。これによって、開発者 は拡張可能で信頼性が高く、安全で、高速でありながら 安価なインフラストラクチャを利用することが可能にな ります。このシステムは、Amazon が使用しているウェ ブサイトのグローバルネットワークと同じものです。こ のサービスの目的は規模のメリットを最大化で開発者に 提供することです。 http://aws.amazon.com/jp/s3/
  23. 23. S3 2014/08/28(木) 株式会社シティネット 片岡幸人 23 安価に大量のファイルを保管可能 容量は自動拡張 静的Webサイトとして利用可能 最大99.999999999% の耐久性 99.99% の可用性 開発者はAPI経由で利用
  24. 24. S3他との比較 2014/08/28(木) 株式会社シティネット 片岡幸人 24 EBS •データアクセスが高速 •コスト高(約2.5倍) •容量固定 Glacier •データアクセスが遅いアーカイブ向け •コスト最安(10GB利用で約1/5倍) •容量は自動拡張 ※コストは利用方法を想定したシュミレーション値で実際とは異なる場合もあります。
  25. 25. 25 ビックデータ スモール スタート
  26. 26. よくあるシステム構成 2014/08/28(木) 株式会社シティネット片岡幸人26 Raspberry Pi(BOX) EC2(Server) EBS(File Data) RDS(RDB) Internet 参照者
  27. 27. スモールスタート構成 2014/08/28(木) 株式会社シティネット片岡幸人27 Raspberry Pi(BOX) S3(File Data) DynamoDB Internet 参照者
  28. 28. ネクスト構成 2014/08/28(木) 株式会社シティネット片岡幸人28 Raspberry Pi (BOX) n台 S3(File Data) DynamoDB Internet 参照者 EC2(Server)
  29. 29. デモ作ってみました 2014/08/28(木) 株式会社シティネット 片岡幸人 29
  30. 30. デモ作ってみました 2014/08/28(木) 株式会社シティネット 片岡幸人 30 収集情報 •Raspberry Pi 専用カメラ静止画 •Raspberry Pi CPU温度・使用率 •Raspberry Pi メモリ使用率 機能 •Raspberry Pi からクラウドにデータをアップ •クラウド保管データをRaspberry Pi Webサー バから提供 開発環境 •PHP5 +AWS PHP SDK2+bash
  31. 31. デモ(コード例1) 2014/08/28(木) 株式会社シティネット 片岡幸人 31 // SDK読込み require_once('AWSSDKforPHP/aws.phar'); useAws¥Common¥Aws; useAws¥Common¥Enum¥Region; use Guzzle¥Http¥EntityBody; // Dynamo 処理 $aws= Aws::factory(“configのパス"); $dynamo = $aws->get('dynamodb'); $dynamoTbl= "test-hub-table"; // TABLE NAME $data['data-id'] = $dataId;// Hash Key $data['data-r'] = $ymdhm;// Range Key $data['data-r2'] = $hmymd;// Range Key ( Local Index )
  32. 32. デモ(コード例1) 2014/08/28(木) 株式会社シティネット 片岡幸人 32 // Data $data['datetime'] = $datetime; $data['cpu_temp'] = $cputemp; $data['cpu_unit'] = "*C"; $data['cpu_used'] = $cpuused; $data['cpu_unit2'] = "%"; $data['mem_used'] = $memused; $data['mem_unit'] = "%"; // Save $result = $dynamo->putItem(array( 'TableName'=> $dynamoTbl, 'Item'=> $dynamo->formatAttributes($data), 'ReturnConsumedCapacity'=> 'TOTAL‘ ));
  33. 33. デモ(コード例2) 2014/08/28(木) 株式会社シティネット 片岡幸人 33 $iterator = $dynamo->getIterator('Query', array( 'TableName'=> $dynamoTbl, 'KeyConditions'=> array( 'data-id'=> array( ‘AttributeValueList’=> array(array('S'=> $cameraId)), 'ComparisonOperator'=> 'EQ‘ ), 'data-r'=> array( 'AttributeValueList'=> array( array('S'=> $s_ymdhm), array('S'=> $e_ymdhm)), 'ComparisonOperator'=> 'BETWEEN‘ ) ) ));
  34. 34. デモ(コード例2) 2014/08/28(木) 株式会社シティネット 片岡幸人 34 foreach($iterator as$item) { echo "<table>¥n"; echo "<tr><th>Hash Key</th><td>“ .$item['data-id']['S']."</td></tr>¥n"; echo “<tr><th>RengeKey1</th><td>” .$item['data-r']['S']."</td></tr>¥n"; (中略) echo "<tr><th>Command</th><td>“ .$item['command']['S']."</td></tr>¥n"; echo "</table>¥n"; }
  35. 35. DynamoDB保管データ 2014/08/28(木) 株式会社シティネット 片岡幸人 35
  36. 36. DynamoDB保管データ 2014/08/28(木) 株式会社シティネット 片岡幸人 36
  37. 37. S3保管データ 2014/08/28(木) 株式会社シティネット 片岡幸人 37
  38. 38. 結論 2014/08/28(木) 株式会社シティネット 片岡幸人 38 資金力に乏しい地方でも、活用するア イディアがあれば、Amazon AWS の クラウドサービスDynamoDB,S3 を活用して、ビックデータへの挑戦を スモールにスタートできます!

×