2015.10.20 勉強会で発表した資料

1. AWS re:Inventラップアップ0
2015.10.200
吉田真吾 @yoshidashingo0
これからのビッグデータ技術勉強会(仮)0

2. 自己紹介0
☁ バックグラウンド0
– PHS基地局管理制御システム開発0
– GIS(地図)システム開発0
– 証券システム基盤構築、DBチューニング0
– cloudpack0
­ エバンジェリスト0
­ ソリューションアーキテクト：AWS設計・移行支援0
☁ 現在0
– 株式会社セクションナイン 代表0
­ AWSインフラ設計・構築・PoC0
­ DevOps定着化支援0
­ DBチューニング、などなど0
– フリーランス0
­ 技術顧問0

3. イベント情報0
AWS re:Invent ラップアップ0

4. AWS re:Invent 20150
l 2015/10/6-90
l 開催4回目0
l Venetian @ Las Vegas0
l 参加者19,000人0
l うち日本人約500名0
l 基調講演0
l 新サービス発表0
l 401セッション0
l ブートキャンプ0
l AWS Central0
l パートナーブース0
l re:Play Party0
l Pub Crawl0

7. http://yoshidashingo.hatenablog.com/entry/2015/10/08/004318

8. Use Case) Major League Baseball
Advanced Media0
☁ MLBAMはメジャーリーグのインタ
ラクティブメディアとインターネッ
ト事業を扱う会社0
☁ シーズンあたり17PBのデータを収
集し分析するビッグデータのソ
リューションをAWSに移行した0
– AWSを使うことでファンや解説者、
チームにゲームの動向やスポーツ熱を
より理解する術を提供している。0
https://aws.amazon.com/jp/solutions/case-studies/major-league-baseball-mlbam/A

9. Use Case) Hearst Corporation0
☁ Hearst CorporationはITインフラの
運用を外部化するために、29のグ
ローバルなデータセンターのうち10
箇所をAWSに移行した。0
☁ AWSに移行することで、伝統的なオ
ンプレミスなITインフラへの数百万
ドルの投資を抑え、予定の1/5の期
間でITインフラの統合管理が可能に
なった。0
https://aws.amazon.com/jp/solutions/case-studies/hearst/A

10. Use Case) Philips0
☁ Philipsは家電、ヘルスケア、照明を主要な
事業としているオランダのテクノロジー企業0
– 15PBの患者のデータを取り扱っている0
☁ PhilipsのUSヘルスケア事業部では、AWS
MarketplaceのAttunity CloudBeamを用い
て3700万行のレコードをオンプレミスDBか
らAWSに90分で移行した0
☁ AWSにデータを移すことでコンサルタント
やアナリストは2時間以内に顧客に分析デー
タを提供できるようになった。0
https://aws.amazon.com/jp/solutions/case-studies/philips/A

11. Use Case) Slack0
☁ Slackのプラットフォームは広いカ
バー範囲を効率的にカバーするク
ラウAWSで稼働している0
☁ AWSを使うことでSlackは毎週5%
ずつ増えるユーザーベースのため
に数秒でキャパシティの増加が可
能であり、毎週3000万メッセージ
をやり取りする顧客情報を守るこ
とができている0
https://aws.amazon.com/jp/solutions/case-studies/slack/A

12. Use Case) Instacart0
☁ Instacartは生鮮食品の買い物を代
行するサービス0
☁ Instacartは本番環境のデータベー
ス、コンテンツ配信、分析プラッ
トフォームをAWSに移行した0
☁ AWSを使うことで、毎月100万以
上の新しい日用品が、数TBの新し
い情報として追加されている0
https://aws.amazon.com/jp/solutions/case-studies/instacart/A

14. Pub Crawl0
☁ スポンサー企業がホス
トする参加無料なミー
トアップ0
☁ スポンサー各社のエン
ジニアがいたりするの
で色々聞ける（努力次
第）0

15. ホテル＜コンドミニアム0

16. re:Play Party0
https://instagram.com/p/8me9fWS822/A
https://instagram.com/p/8mUpM6S85I/A
https://twitter.com/rukes/status/652400784353595392A

17. 皆勤賞でわかったこと0
AWS re:Invent ラップアップ0

18. なぜこんなにAWSは勢いがあるの0
☁ IaaS主導（EC2, S3：2006〜）0
1. 連続性0
­ アーキテクチャ、アプリケーションソースのオンプレ資産
を引き継げる（学習コスト、移行コスト、移行期間、移行
難易度）0
2. サービスレベルの体感的な理解のしやすさ0
­ PaaS, SaaSに比べて、どの程度の耐障害性や可用性が実現
されそうか理解しやすい0
­ 仮想サーバーでないS3については、それを埋めるように堅
牢性99.999999999%であることを強く啓蒙0

19. AWSはユーザー目線0
☁ 「ユーザーにとっての利益はなにか」にフォーカスしている0
– 競合他社はあまり関係ない0
– パートナーの先攻分野であっても踏み抜いてく0
☁ サーバーレスアーキテクチャ0
– API Gateway, Lambda, Cognito, WAF, CloudFront, ELB, Route 53, etc…0
☁ 情報系基盤、管理・バックヤード基盤のサービスの充実0
– IAM0
– ロギング：CloudWatch Logs, Elasticsearch Service, Kinesis Firehose, 0
– Redshift, EMR0
– Machine Learning0
– Work*0
– Code*, Mobile Hub0
– Directory Service0
– CloudTrail, Config, Config Rules, Inspector 0

20. サーバーレスアーキテクチャ0
☁ (似てるもの)2-Tier, BaaS0
– 認証、データベース（カバー範囲＝狭い）0
☁ AWS Lambdaでできること0
– AWS利用における社内ルール違反の発見 (Config Rules)0
– DynamoDBレプリケーション0
– ログファイルのRedshift自動取り込み (from S3)0
– ホームオートメーション (Alexa Skills)0
– API アプリケーション (with API Gateway)0
– Cronバッチ処理（定間隔実行も）→レポート作成など0
– 他にももっともっと0

21. Disruption0

22. 関連アップデート0
☁ AWS Database Migration Service0
– レプリケーションインスタンス0
­ T2 or C40
– オンプレ→AWS、AWS→AWS0
– Oracle同士、Oracle→Aurora、SQL Server→MySQL
などなど0
– AWS Schema Conversion Tool0
­ ソースとターゲットで自動変換できない部分のマッピ
ングを定義するETL定義ツール0
https://aws.amazon.com/jp/dms/A

23. 関連アップデート0
☁ Amazon RDS for MariaDB0
– 10.0.17から提供開始0
– ストレージエンジン0
­ InnoDB (デフォルト)0
– DB Parameter Groupで変更可0
– すでに使える0
­ 東京リージョンでも利用可能0
https://aws.amazon.com/jp/rds/mariadb/A

24. AWA Partner Network0
☁ APNプレミアコンサルティングパート
ナーが46社に倍増0
– 韓国、LATAMの増加が顕著0
http://yoshidashingo.hatenablog.com/entry/2015/10/13/145236

25. 技術アップデート0
AWS re:Invent ラップアップ0

26. 新サービス・アップデート0
1. AWS WAF0
2. Amazon QuickSight0
3. AWS IoT0
4. Amazon Inspector0
5. AWS Database Migration Service0
6. AWS Import/Export Snowball0
7. AWS Config Rules0
8. Amazon RDS for MariaDB0
9. AWS Mobile Hub0
10. AWS Lambdaアップデート0
11. EC2にX1インスタンスとT2.nanoインスタン
スが登場0
12. EC2 Spot Block0
13. EC2 Dedicated Host0
14. Amazon Kinesis Firehose0
15. Amazon Kinesis Analytics0
16. Amazon API Gatewayが東京リージョンで利
用可能に 0
17. Amazon RDS for Auroraが東京リージョンで
利用可能に0
18. Amazon EC2 Container Serviceアップデート 0
19. Amazon CloudWatch Dashboards0
0

27. ビッグデータ関連0
AWS re:Invent ラップアップ0

28. 新サービス・アップデート0
1. AWS WAF0
2. Amazon QuickSight3
3. AWS IoT3
4. Amazon Inspector0
5. AWS Database Migration
Service3
6. AWS Import/Export Snowball3
7. AWS Config Rules0
8. Amazon RDS for MariaDB0
9. AWS Mobile Hub0
10. AWS Lambdaアップデート0
11. EC2にX1インスタンスとT2.nanoインスタン
スが登場3
12. EC2 Spot Block0
13. EC2 Dedicated Host0
14. Amazon Kinesis Firehose3
15. Amazon Kinesis Analytics0
16. Amazon API Gatewayが東京リージョンで利
用可能に 0
17. Amazon RDS for Auroraが東京リージョンで
利用可能に0
18. Amazon EC2 Container Serviceアップデート 0
19. Amazon CloudWatch Dashboards0
0

29. Amazon QuickSight0
http://aws.amazon.com/jp/quicksight/A

30. Amazon QuickSight0
http://aws.amazon.com/jp/quicksight/A

31. Amazon QuickSight0
http://aws.amazon.com/jp/quicksight/A
☁ 複数データソース0
– Amazon Redshift、Amazon RDS、Amazon Aurora、
Amazon EMR、Amazon DynamoDB、Amazon S3、Amazon
Kinesis0
– CSV、TSV、スプレッドシートファイル0
– Salesforce0

32. Amazon QuickSight0
http://aws.amazon.com/jp/quicksight/A
☁ 動的に可視化0
– おすすめのグラフが推薦される0
– 自分でつくり込みも可能0

33. Amazon QuickSight0
http://aws.amazon.com/jp/quicksight/A
☁ 他のBIとの連携もサポート0

34. Amazon QuickSight0
http://aws.amazon.com/jp/quicksight/A
☁ 料金0
– Standard0
­ $12/ユーザー/月(年間契約で$9)0
­ $0.25/GB/月：SPICEストレージ0
– Enterprise0
­ $24/ユーザー/月(年間契約で$18)0
­ $0.38/GB/月：SPICEストレージ0
☁ 東京リージョンは2016年以降0

35. AWS Import/Export Snowball0
https://aws.amazon.com/jp/importexport/A

36. AWS Import/Export Snowball0
☁ 10TB以上のインポートに適した設計0
☁ 6Gの振動に耐えられる耐久性！0
☁ 1人で持ち運ぶのに十分な軽さ！0
☁ 110ボルトの電源！0
☁ 背面に1つの10Gbネットワーク接続！0
☁ 防水仕様！0
☁ 最大50TB！0
☁ ネットワークにアタッチ(IP払い出し)してSnowballクライアントを
入れたPCから操作0
☁ 今ならなんと！1ジョブ$200からレンタル！0
☁ （ただしUS限定のサービス…）0
https://aws.amazon.com/jp/importexport/A

37. Amazon Kinesis Streams0
☁ 従来のKinesisは「Kinesis Streams」に改
名しました0
– シャード内のデータの保持期間が24時間から
最大7日間に変更(費用が変わる)になった0
https://aws.amazon.com/jp/kinesis/streams/A

38. Amazon Kinesis Firehose0
☁ ストリーミングデータを自動的にS3や
Redshiftに連携することができるサービス0
– 最小1分間隔で連携0
– 圧縮や暗号化の設定も可能0
– 秒間PutRecord(デフォルト2500)回数の指定/
PutRecordBatchが可能0
☁ 東京リージョンはまだ未展開0
https://aws.amazon.com/jp/kinesis/firehose/A

39. Amazon Kinesis Analytics0
☁ 先行発表されたサービス0
☁ ストリーミングデータに対してSQL クエ
リを実行することができる0
https://aws.amazon.com/jp/kinesis/analytics/A

40. AWS Lambda0
☁ VPC内のリソースにインターネットを介さずアクセス可能に0
– Lambdaの接続元にVPCサブネット内のIPを割り当て0
☁ ファンクションのバージョニング0
– ARNもバージョン単位に割り付けられる0
☁ Python 2.7サポート0
– 非同期がツラかった方へ0
☁ 設定可能なタイムアウト時間が60秒から300秒(5分)にまで延長0
☁ スケジュールイベントでcron的な処理が可能0
– Cron形式0
– インターバル実行形式（最短5分）0
☁ 以下のサポート追加0
– SESインバウンドメール0
– CloudWatch Logs0
– Amazon Connected Home (Alexa & Echoなど)0
– AWS IoT0
http://aws.typepad.com/aws_japan/2015/10/aws-lambda-update-python-vpc-
increased-function-duration-scheduling-and-more.htmlA

41. EC2にX1インスタンス登場0
☁ X1インスタンス0
– 4x Intel® Xeon® E7 プロセッサー (物理)0
→ 100以上のvCPU0
– 最大2TBメモリ0
☁ 何に使う？0
– SAP HANA0
– Dockerの超マルチコンテナホスト？（ポート足り
なくなるくらいは上げられそう）0
http://aws.typepad.com/aws_japan/2015/10/ec2-instance-update-x1-sap-
hana-t2-nano-websites.htmlA

42. AWS IoT0
https://aws.amazon.com/jp/iot/A

43. AWS IoT0
https://aws.amazon.com/jp/iot/A
☁ IoT向けマネージドプラットフォーム0
☁ 主要なコンポーネント0
– メッセージブローカー0
– ルールエンジン0
– デバイスシャドウ0
– デバイスSDK0
– レジストリ0

44. https://aws.amazon.com/jp/iot/A

45. AWS IoT0
https://aws.amazon.com/jp/iot/A
☁ メッセージブローカー (AWS IoT Device Gateway)0
– MQTTとHTTP 1.1をサポートしたメッセージブローカー（Pub/Subサービス）0
– モノはここにメッセージを投げ込み、バックエンドなどはこれをサブスクライブ(購読)
することで、非同期かつN:Nのメッセージ仲介ができる0
☁ ルールエンジン (AWS IoT Rules Engine)0
– メッセージを入力として、ルールに基づくアクション(DynamoDB,S3,Lambda,Kinesis
Streamなどへの連携など)を行うイベントドリブンなエンジン0
☁ デバイスシャドウ (AWS IoT Thing Shadow)0
– モノのステータス情報を管理する仕組み0
– たとえば、一定の照度以下になったときに自動掃除機に掃除を開始させるというときに、
掃除機の接続ステータスをシャドウが管理しているので、アプリケーションはシャドウ
に対して命令するだけでOK。掃除機がオンラインになったら、シャドウが確実に命令を
到達させてくれ、指示と指示応答が揃うまでExponentialな実装などをアプリで行わな
くてもよいということ0

46. おすすめセッション0
AWS re:Invent ラップアップ0

47. AWS Professional Services
Architecting Workshop0

49. SORACOM0
IoTスタートアップ0

51. SORACOM x AWS IoT0
☁ 例) AWS IoTのThingsにはHTTPSや
MQTTSを使うための証明書の導入が必要
だが、これをSORACOM Beamを使うこと
で、より省力なHTTPやMQTTのままキャ
リア網を通して、Beamで紐付け管理する
証明書で暗号化してサーバーに投げるこ
とが可能0
https://dev.soracom.io/jp/docs/aws_iot_guide/

52. http://yoshidashingo.hatenablog.com/entry/2015/10/10/091359