Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

re:Invent 2016 の振り返りで学ぶawsを利用したデータ活用戦略と、サバカン屋の新作缶づめ戦略

re:Port 2016 @大坂 で発表させて頂いた内容です

  • Login to see the comments

  • Be the first to like this

re:Invent 2016 の振り返りで学ぶawsを利用したデータ活用戦略と、サバカン屋の新作缶づめ戦略

  1. 1. あなたの側で、あなた以上に考える。 re:Inventの振り返りで学ぶAWSを利用したデータ活 用戦略と、サバカン屋の新作缶づめ戦略 1
  2. 2. あなたの側で、あなた以上に考える。Agenda 1. 自己紹介 /会社紹介 2. 弊社IoT/データ活用 事例 1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例 2. IoT 概念実証 - 大阪の企業様との実証例 実証で出てきた課題点 3. re:Inventで発表された新サービスで課題点の解決 モダンデータアーキテクチャ サーバレスで大量のデータ処理/整形/解析が可能に Amazon Athena / AWS Glue 4. re:Inventで配布された Amazon Echo Dotで学ぶLambda 5. まとめ 2
  3. 3. あなたの側で、あなた以上に考える。自己紹介 20年程前 電子工作少年 N88-BASIC パラレルポート経由でLチカ、ラジコンを動かしたり… 現在 前職:不動産ASPの開発PHPプログラマ+Linuxサーバ管理者+情シス 現職:様々な角度から日々のサーバ管理業務にまつわる 業務効率化、自動化、新規サービス開発に取り組んでおります。 趣味:Raspberry PiでLチカ、R2D2をJuliusで日本語対応させて動かした り… 株式会社スカイアーチネットワークス 運用自動化責任者 神津 崇士 (こうづ たかし) tktk19 http://kouzu.info
  4. 4. あなたの側で、あなた以上に考える。 4 サバカン屋 (サーバー管理) 大阪 NY 大連 東京サバ缶活動 どんな会社?
  5. 5. あなたの側で、あなた以上に考える。 5 普段の業務風景 サーバー購入 サーバー構築 サーバー運用
  6. 6. あなたの側で、あなた以上に考える。 6 ラスベガス用のサバ缶つくりました 【オリジナル】 サーバー屋のサバ缶 【トレンドマイクロコラボ】 サーバーを守る会社のサバ缶 【ラスベガス限定】 サーバー屋のラスベガス缶!!
  7. 7. あなたの側で、あなた以上に考える。 7 300缶作りました
  8. 8. あなたの側で、あなた以上に考える。 8 出展しました
  9. 9. あなたの側で、あなた以上に考える。 9 作り過ぎました…
  10. 10. あなたの側で、あなた以上に考える。Agenda 1. 自己紹介 /会社紹介 2. 弊社IoT/データ活用 事例 1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例 2. IoT 概念実証 - 大阪の企業様との実証例 実証で出てきた課題点 3. re:Inventで発表された新サービスで課題点の解決 モダンデータアーキテクチャ サーバレスで大量のデータ処理/整形/解析が可能に Amazon Athena / AWS Glue 4. re:Inventで配布された Amazon Echo Dotで学ぶLambda 5. まとめ 10
  11. 11. あなたの側で、あなた以上に考える。 11 社内事例 - パンデミック防止のための温度・湿度 可視化事例 ▼ 背景 ここ2,3年 インフルエンザ等パンデミックが起きて しまっている ▼ 対策 1. マスク・手洗いの徹底 2. 湿度が50%を切らないようにする (ウイルスの活動しにくい環境作り) ▼ 実施した事 社内にセンサをばらまき、見える化
  12. 12. あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例 12 年初めに作成したRaspberry Piサイネージ活用
  13. 13. あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例 15秒おきに 8個のセンサから温度・湿度取得 TWE-Lite(ZigBee) + Raspberry Pi で送信 → Dashboardフレームワークで見やすく表示 13
  14. 14. あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例 MongoDBに蓄えられた 現時点5009万件の温度・湿度・場所データ
  15. 15. あなたの側で、あなた以上に考える。 15 社内事例 - パンデミック防止のための温度・湿度 可視化事例 パンデミック防止の観点で 残念ながら負け 若手を中心に 約10名程のインフルエンザ感染が発生 • 夜間サーバ監視や、コンビニ飯で不摂生している若手エンジニアが多い 同じ寮に住んでいても、自炊をしている人は掛かっていない • 加湿器への水補給が追いつかず、50%以上は維持するのが難しい → 加湿器の水切れを大きく通知しなければ注意を引けない • 場所によって温度が最大で3度程、湿度も30%の違いがあった → サーキュレーターの効果的な設置場所を見極める必要がある? • 作成したシステム パンデミックの起きた事もあり、今後より使われそうなシステムとなった データ解析ツール立ち上げのためにサーバ構築せねばで大変 データ連携には自前でコンバート等せねばならない、、、 → 予算とってクラウドに置けば良かった
  16. 16. あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例 16 半年に2台ペースで SDカードが昇天、電源により不安定な事も → 安定動作するデバイスが欲しい Raspberry Pi 2 Model B を利用
  17. 17. あなたの側で、あなた以上に考える。Agenda 1. 自己紹介 /会社紹介 2. 弊社IoT/データ活用 事例 1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例 2. IoT 概念実証 - 大阪の企業様との実証例 実証で出てきた課題点 3. re:Inventで発表された新サービスで課題点の解決 モダンデータアーキテクチャ サーバレスで大量のデータ処理/整形/解析が可能に Amazon Athena / AWS Glue 4. re:Inventで配布された Amazon Echo Dotで学ぶLambda 5. まとめ 17
  18. 18. あなたの側で、あなた以上に考える。IoT 概念実証 - 大阪の企業様との実証例 18
  19. 19. あなたの側で、あなた以上に考える。IoT 概念実証 - 大阪の企業様との実証例 19 or • CONPROSYSとは WebUI上でタスクスクリプティング&モニタリング • AWSサービスへ接続を弊社で実証 センサ接続
  20. 20. あなたの側で、あなた以上に考える。IoT 概念実証 - 大阪の企業様との実証例 20 SensorTag モータの振動を検知! 9種類のセンサを内蔵 S3 Conprosys PC LabVIEW Cloudberry カメラ画像 モータ電圧・マイク音量 各種センサ値を可視化して見える化 Raspberry Pi EC2 PLC
  21. 21. あなたの側で、あなた以上に考える。 21 IoT 概念実証で出てきた課題点 PoCフェイズのため センサ値取得→UPしたいデータやフォーマットが常に増える・変わるを繰り返す • このセンサ・機器からのデータを取得してみたい • 取得出来た!が別機器のほうがサンプリングレートが良いため こちらで実施したい、追加でこちらの機器のデータも取り込みたい • データアップロード・コンバート形式の新規作成・変更 フォルダ構成案、ローテーションの再検討 → 仕様変更と吐き出されるCSVフォーマットの変更に追従していく必要がある
  22. 22. あなたの側で、あなた以上に考える。Agenda 1. 自己紹介 /会社紹介 2. 弊社IoT/データ活用 事例 1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例 2. IoT 概念実証 - 大阪の企業様との実証例 実証で出てきた課題点 3. re:Inventで発表された新サービスで課題点の解決 モダンデータアーキテクチャ サーバレスで大量のデータ処理/整形/解析が可能に Amazon Athena / AWS Glue 4. re:Inventで配布された Amazon Echo Dotで学ぶLambda 5. まとめ 22
  23. 23. あなたの側で、あなた以上に考える。Amazon Athena 23 Amazon Athena の発表
  24. 24. あなたの側で、あなた以上に考える。Amazon Athena 24 Amazon S3 内のデータを SQL を使用して簡単に分析可能に 裏では、クエリを並列化して何百、何千コアに分散し数秒で結果が帰る サーバレスで動作するため、インフラストラクチャ管理コスト無し
  25. 25. あなたの側で、あなた以上に考える。モダンデータアーキテクチャ 25 現在のデータ分析の仕事のうち作業の80% は分析に関係ない作業 様々なデータソースからデータを取り出し、データストア先に統合する には糊のような役割が必要
  26. 26. あなたの側で、あなた以上に考える。AWS Glue 26 AWS Glue の発表
  27. 27. あなたの側で、あなた以上に考える。AWS Glue 27 Step 1. データカタログの構築 JSON、CSV、Parquet(パーケイ)など、多くの一般的なデータタイプに対し て、あらかじめ作成された分類子を使用してデータカタログを構築
  28. 28. あなたの側で、あなた以上に考える。AWS Glue 28 Step 2. データ変換ルールをコードで記載 データソースとターゲットを選択すると、AWS GlueはPythonコードを生 成してソースからデータを抽出、データを変換行いターゲットにロード します
  29. 29. あなたの側で、あなた以上に考える。AWS Glue 29 Step 3. スケジュールの作成・実行 定期的にトリガに応じて、フローを実行できます。データ量が増えるに つれて実行時間が一定に保たれるように、ジョブの実行を適切な順序で 調整し、失敗したジョブを自動的に再試行します。必要なインフラスト ラクチャをスケーラブルに拡張します。
  30. 30. あなたの側で、あなた以上に考える。Agenda 1. 自己紹介 /会社紹介 2. 弊社IoT/データ活用 事例 1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例 2. IoT 概念実証 - 大阪の企業様との実証例 実証で出てきた課題点 3. re:Inventで発表された新サービスで課題点の解決 モダンデータアーキテクチャ サーバレスで大量のデータ処理/整形/解析が可能に Amazon Athena / AWS Glue 4. re:Inventで配布された Amazon Echo Dotで学ぶLambda 5. まとめ 30
  31. 31. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 31 参加者全員に配布されました!!
  32. 32. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 32 このデバイスでLambda実行できるプログラムを開発!
  33. 33. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 33 Lambdaとは https://aws.amazon.com/jp/lambda/
  34. 34. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 34 Skillという概念で色々な機能を追加出 来ます (iPhoneのアプリのような概念) ※英語Only、国内利用不可 • 音楽を再生する • SmartHome連携機能の呼び出し • 天気予報を読み上げる • ニュースサイトのニュースを読む … • 雷の音を再生して • 猫にまつわるウンチクを教えて • 私を奮い立たせる名言を教えて
  35. 35. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 35 本日のブログ投稿数を教えてくれるSkillを作成する事に
  36. 36. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 36 Lambda実行時のイベントにAlexa Skills Kitを指定
  37. 37. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 37 詳細は弊社ブログまで! Amazon Echoの応答
  38. 38. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 38
  39. 39. あなたの側で、あなた以上に考える。 まとめ 1. データ分析・変換系の新サービス データをよりシームレスに繋ぐ事の出来るサービスが次々と出ており、デー タ分析までに必要な時間が劇的に短縮される 特にS3に上げておくだけでも解析が出来るようになる! 2. 人口知能系の新サービス AWSのサービスと直結出来るインターフェースを持った Amazon Echo等の製品で、データさえAWSに上げておけば 様々な処理、結果取得を音声だけで出来る未来はすぐそこにある 3. サーバー管理会社はお客さまにどのようなサービスを提供すべきか 様々なAWSのサービスに精通しつつ、構成案から提案をし サバ缶だけでなく、Lambdaも缶づめのように提供する必要がある 39
  40. 40. あなたの側で、あなた以上に考える。 40 coming soon…
  41. 41. ご清聴ありがとうございました。

×