2020/2/27(木)に開催された、 Serverless Meetup Tokyo #16の発表資料です。

1. AWS × Serverless Framework
×QuickSightで
IoTデータを可視化する
Author: Masaki Suzuki
@makky12

2. 本日お話しすること
• きっかけ～作成アプリ～サーバーレスアプリの問題点(の一例)
• サーバーレスアプリの問題点の解決
• Infrastructure as Code(IaC)
• Serverless Framework
• AWSでの収集データの分析・可視化
• Amazon Athena ＆ Amazon QuickSight(※)
• Amazon Neptune(参考資料) (※)
• 自己紹介＆告知
※以後、製品名の「Amazon」は省略して記載します

3. 資料＆サンプルアプリ
• 本日の発表資料＆作成アプリは、以下の場所で公開してます
• 登壇資料
• https://www.slideshare.net/MasakiSuzuki3/
• 作成アプリ(GitHub)
• https://github.com/smt7174/nature-remo

4. きっかけ
• 大平さんのツイート(→)
• 大平さんはAzureで実行
• じゃあ、僕はAWSでやってみよう！
• AWSなら、Athena→QuickSightに
流してグラフ表示したら、BIっぽくて
いい感じじゃない？

5. 作ったアプリの構成
LambdaCloudWatch
DynamoDB
Simple Storage Service(S3) Athena
QuickSight
Lambda Lambda
リソースが多い…
API Gateway
※今回は未使用

6. サーバーレスアプリの問題点(の一例)
• リソース作成が大変
• コンソール上で1つ作るだけでも、結構手間
• コンソールの使い勝手が不十分…などの問題も
• コンソールでは完結できない…という場合も
• 管理はもっと大変
• 作成リソース/作業手順/設定などを覚えなければならない
• 手順書を残すにしても、その作成が手間だったり…
• 作成担当者=作成経験者とは限らない
• 人為的ミスが発生しやすくなる
• 過去リソース作成担当者でも、時間が経てばミスが発生しやすくなる
• (作業者により)品質が変わる/作業の俗人化などの問題
→リソース作成を楽にできる機能が欲しい！

7. Infrastructure as Code(IaC)とは
• インフラ構成・定義・構築を、コードから行うプロセスのこと
• 「インフラ」とあるが、実際は各種リソースの作成・設定も合わせて実施
• コード(=定義ファイル)を作成し、デプロイするだけでOK
• CloudFormation(AWS)/Azure Resource Manager(Azure) など
• IaCを導入することで、下記のメリットがある
• 安定した品質の保証
• 結果は毎回同じ(=冪等性(※)の確保)
• 作業者の知識・スキル・経験に依存しない(=属人化解消)
• 管理コストの削減
• 定義はすべて定義ファイル内で完結
• 細かい作業も不要(デプロイを行うだけ)
• 開発者が「開発」にのみ注力できる
※冪等性(べきとうせい)：「ある作業を何度行っても、毎回必ず同じ結果が得られる」性質のこと

8. Serverless Frameworkとは
• サーバーレスアプリの構築・開発・運用管理をサポートするOSS
• 公式URL: https://serverless.com/
• IaCによるリソースデプロイにも対応
• AWS/Azure/GCPを始め、数多くのクラウドに対応
• 一番サポートが手厚いのはAWS
• その他、テスト/CI・CD/モニタリングなども対応
• 特に、テストはCloudWatchログを出力出来たりと便利
• 各クラウドでの定義ファイルを共通のフォーマットで書ける
• クラウドごとにフォーマットを覚え直す必要がない(=学習コストが少ない)
• JSON/YAMLに対応
• その他、JavaScriptでの(動的な)値の設定なども可能

9. IaC(Serverless Framework)を使うと…
Lambda
DynamoDB
Simple Storage Service(S3) Athena
QuickSight
Lambda Lambda
ここまでServerless Frameworkで作成できる！
※Athenaは「保存クエリ」の作成のみ対応
CloudWatch
API Gateway
※今回は未使用

10. Athenaついて
• S3のファイル内の大量データの分析を簡易化するツール
• S3ファイル内のデータを、RDBのようにテーブル/SQLで扱える
• QuickSightと統合することで、データを簡単に可視化できる
• QuickSightを始め、各種BI(※)ツールとの相性がいい
• BIツール以外にも、ログファイルなどの解析にも便利
• JSON/CSVを始め、多くのファイル形式に対応
• JSONは一手間かかる。手っ取り早く行うならCSVがおすすめ
• 正確には「ネスト」「構造体」などのデータがあると少々面倒
※BI：Business Intelligence(企業が膨大な蓄積データを分析し、その結果を経営意思決定に活用する事)

11. QuickSightについて
• AWSのクラウド駆動BIツール
• 分析データなどの各種データをグラフなどで可視化できる
• 企業などの迅速な意思決定などをサポートする
• 堅牢なインメモリエンジン(SPICE)を使用
• 容量制限あり。不要なら無理に使わなくてもよい
• 分析データのソースはAthena・RDS・S3など多岐にわたる
• GitHub/Twitterなどにも対応
• BI用途でなくても、収集データの可視化などが容易に行える
• (例)ログ解析/集計データの可視化… etc
• まさに今回がコレ

12. QuickSightで表示した結果
• 色々あったけど、無事QuickSightでグラフ表示することができた

13. まとめ
• サーバーレスアプリのリソース管理には、IaCが便利
• リソースの管理コストの削減
• 冪等性による、属人化・スキル依存の解消
• IaCのツールとして、Serverless Frameworkが便利
• 複数のクラウドに対応
• 特にAWSはサポートが手厚い
• Athenaを使うと、収集データをRDBのように扱えて便利
• テーブル/ビュー/SQL etc.
• QuickSightで、収集データをグラフで可視化できる
• BIツールとして、容易に導入しやすい
• BI用途以外にも、ログ解析など

14. 【参考】Neptuneについて
• フルマネージドなグラフ型データベース
• 「ノード・エッジ型」の構造を持つ(右下図)
• 「テーブル型」が弱い「データ間の関係性/依存性」の保持も可能
• Twitterの「フォロー/フォロワー」
• ECサイトの「一緒に買われてる商品(サジェスチョン)」etc.
• 今回は下記の理由で利用せず
• 収集データ間に具体的な「関係性/依存性」がない
• コストの問題(「無料枠」がない)
• AWS公式URL：https://aws.amazon.com/jp/neptune/
本１
作者：A
ジャンル：IT
本2
作者：B
ジャンル：IT
本3
作者：A
ジャンル：ゲーム
作者が同じジャンルが同じ
一緒に
買われてる

15. 自己紹介
• 名前：鈴木 正樹 (Masaki Suzuki)
• 在住：愛知県半田市
• 職業：フリーランスエンジニア(4月に法人化予定)
• 業務：サーバーレスアプリのアーキテクチャ構築/設計/開発 など
• 技術：
• AWS/Azure/Serverless Framework/IaC全般
• 各種イベント・SNS・ブログでのクラウド普及活動(個人的に)
• Power Platform(Power Apps/Power Automate)/MS系全般
• SNS
http://makky12.hatenablog.com/
https://github.com/smt7174
@makky12 (Masaki Suzuki＠フリーランスクラウドエンジニア)
名古屋市
豊橋市
中部国際空港
(セントレア)
半田市

16. 【おまけ】愛知県半田市について
• 有名なもの
• 「ごんぎつね」の作者、新美南吉の生誕地
• お酒(日本酒。「國盛」「半田郷」など)
• お酢(「ミツカン」の本社があるのが半田市)
• 山車
• 市内で合計31台の山車がある
• 5年に一度、「はんだ山車まつり」という市内の山車が勢揃いする祭りがある
• 知多半島全体が「知多娘」という萌えキャラで町おこしをしている
• 公式URL： http://www.chita-musume.com/character/
• 半田市にはキャラクターが２人いる
• 半田 酔子(左)
• 広小路 クララ(右)

17. 告知(Serverless Meetup Nagoyaについて)
• Serverless Meetup Nagoyaを開催します！
• 日時：2020/4/11(土) 13:00～ (予定)
• 場所：ワンダープラネット株式会社様 名古屋本社
※オンライン開催になる可能性あり
• 私がオーガナイザーを担当します
• 今のところ、5名のスピーカーが登壇予定です
• 大平 かつみさん/私も登壇します！
• 参加お待ちしてます！
…と言ってもなかなか難しいと思うので、知人やSNSで拡散お願いします
※イベントURL(まだ未公開)： https://connpass.com/event/168807/

18. 以上です
ご清聴ありがとうございました