2017年8月14日にJavits Centerで開催されたAWS Summit New YorkのKeynoteを日本語でまとめました

1. AWS Summit New York 2017
Keynote Recap
2017年8⽉ 篠原 英治 @shinodogg

2. AWS Summit New York 2017
§ 様々なアナウンスがされました！
https://aws.amazon.com/jp/blogs/news/aws-summit-new-york-summary-of-announcements/

3. AWS Summit New York 2017
§ KeynoteはYouTubeで公開されています！
https://www.youtube.com/watch?v=HzEW-cP8MD4

4. AWS Summit New York 2017
§ 本スライドはKeynoteの様⼦を⽇本語で解説したものになります
個⼈的にまとめたものになりますので勤務先との関係はございません(免責)
§ Keynoteスピーカー
Adrian Cockcroft, Vice President Cloud Architecture Strategy
Dr. Matt Wood, GM, Artificial Intelligence

5. AWS Summit New York 2017
§ ゲスト登壇企業
HULU - https://www.hulu.com/
FICO - http://www.fico.com/
Zocdoc - https://www.zocdoc.com/

6. Adrian Cockroft – VP, Cloud Architecture Strategy

7. AWSのビジネス規模
§ $16B+revenue runrate, 42% YoY growth

8. AWS Marketplace

9. AWS Pace of Innovation
§ New Capabilities Daily

10. Compute Resources
§ シンプルなVPSから、テラバイト級のメモリを搭載したインスタンスや、
FPGAによるハードウェアアクセラレーションが可能なインスタンスまで
様々なコンピュートリソースを取り揃えている

11. Rafael Soltanovich – VP of Software Development, HULU
§ HULUの事例紹介

12. § Tech Companyとして全てをスクラッチから⾃分たちで作っていた
§ テレビをre-defineするための新しいHULU体験に向けたジャーニー
HULUの事例

13. § Videoオンデマンドのサブスクリプション, ライブ, DVR, プレミアコン
テンツがブレンドされた⼀つのシームレスでエレガントなユーザー体験
の提供は未だなされていない
§ それを実現するために全てのTech Stackを再構築することに！
§ やりきったメンバー達を誇りに思っている！詳細はre:Invent 2017で
HULUの事例

14. § どのくらいのトラフィックが発⽣するか、それはどのようなパターンで
のスパイクなのか予想が難しい中、クラウドに⼤規模なデプロイメント
HULUの事例

15. § ベンダーから⼊ってくる動画をre-packageしHLSおよびDASH live⽤に
ノーマライズを⾏った後、DRM処理を施しon the flyにManifestを⽣成
Hulu Liveのアーキテクチャ

16. § ラッキーだったのか、準備が⾏き届いていたのか、恐らく両⽅であるが、
ローンチは⾮常にスムーズだった
§ ⼤きかったのAWSとのパートナーシップ
§ オペレーション視点での準備とパフォーマンス・チューニング
Hulu Liveのローンチ

17. § Side-By-Side and Continue to work closely
§ Pre-Warming ELBs, Monitoring Traffic, and Make sure whatever it takes
Hulu Liveのローンチ

18. Hulu Innovations in the Cloud!

19. Old World Databases

20. Moving to Open Database Engines

21. Migrating Databases to AWS
§ 34,000以上のデータベースがData Migration ServiceでAWSへ

22. Amazon Aurora
§ Highly Available, High Performance
§ Fastest growing AWS service ever

23. Amazon Aurora
§ Amazon Aurora PostgreSQL-Compatible edition
§ スキーマやクエリモデルがOracleと近い
§ re:Invent 2016で発表。現在はオープンプレビュー

24. Amazon Aurora 事例
§ Expediaでは1⽇3億writes。ピークでは秒間に約1万7000writes

25. Migration is a Journey
§ Journeyを経験したお客様の紹介

26. Claus Moldt- CIO, FICO
§ FICO Score is used by 90 of the top 100 largest US lending
institutions for their risk assessment needs

27. Deliver in the Public Cloud
§ Highly Regulated Industries向けにSoftwareをデリバー
§ ⾦融業界や保険業界がPublic Cloud上のサービスに⽬を向けている

28. なぜPublic Cloud、そしてAWS？
§ コスト、スケール、ベロシティ、グローバルなプレゼンス、そしてセ
キュリティ＆コンプライアンス

29. マイグレーションのアプローチ
§ 創業から61年の歴史を持つ会社。オンプレミスには様々なソフトウェア
§ AWSに移⾏するにあたりMicroservices化を実現
§ AWSのフレームワークを活⽤してSignificantな量の⾃動化に取り組みデ
リバリーのスピードを加速

30. マイグレーション
§ Databases, And Servers, And Applications, Oh My!

31. AWS Migration Hub
§ Generally Available!

32. AWS Migration Hub
§ Discover -> Migrate -> Track

33. AWS Migration Hub
§ Track progress from a single location

34. AWS Migration Hub
§ 全てのリージョンで利⽤可能
§ Migration Hubそのものはus-west-2にホストされている

35. Dr. Matt Wood – GM, ARTIFICIAL INTELLIGENCE

36. Petabyte-scale Analytics
§ F1のカーエンジニアはスイスアーミーナイフでFIXしようとしない
§ ツールは適材適所で使い分けるべき
§ 我々のアプローチはお客様が⾏いたい分析にフィットするツールの提供

37. Amazon Athena
§ インタラクティブなクエリサービス
§ S3上にある様々なデータ(CSVやParquet等)を標準SQLでアドホックにクエリ

38. Amazon Athena
§ For anybody inside your organization!
§ SQLを知っている⼈なら誰でもS3上の巨⼤なデータセットにクエリを投げられる
§ Developer
§ Excel Jockey
§ Entirely Serverless
§ クラスタ管理不要
§ 本当にSQLを投げるだけ
§ Pay for the queries you run

39. Amazon EMR
§ Run more sophisticated custom big-data applications
§ Spark, Presto, HBaseのようなラージスケールなエンジンを活⽤
§ EMR上でオープンソースのプロジェクトの最新のバージョンを選択可能
§ マネージメントコンソール上で数クリックするだけでいい

40. Amazon Redshift
§ Data Warehousing Service
§ アグリゲートされた⼤規模なデータセットに複雑なクエリを⾛らせることが可能
§ TPC(標準的なベンチーマーキングツール)で⾏ったベンチマークの結果において
も⾮常に良い結果が出ている

41. Amazon Redshift Spectrum
§ データウェアハウスの中だけでなく、S3の中のデータもクエリの対象に
§ RedshiftからS3のデータに直接クエリを投げることも、Redshift内のデータとS3
のデータをジョインすることもできる

42. Extract, Transform, Load
§ データサイエンティストやデータウェアハウスマネージャーは75%もの
時間をデータを解析できる状態にすることに使っていると⾔われている

43. AWS Glue
§ Generally Available!
§ Fully Managed Data Catalog and ETL service

44. AWS Glue
§ Entirely Serverless
§ Catalog the data automatically(スケジュールorデータ変更)、カスタマイズ可
能なデータ変換コード(Python)の⽣成、ETLジョブのスケジューリング

45. AWS Glue
§ Three things to do to get started
1. Build your data Catalog

46. AWS Glue
§ Three things to do to get started
2. Generate and edit transformations

47. AWS Glue
§ Three things to do to get started
3. Schedule and run your jobs

48. AWS Glue
§ Private Beta Customersの事例
§ IoT、Clickストリーム、医療といった様々な⽤途で既にGlueが利⽤されている

49. Machine Learning
§ 現在は機械学習ルネサンスであると⾔える。そこではスケールが鍵
§ WebやモバイルのアプリケーションだけでなくEdge(デバイス等)も対象

50. Machine Learning
§ Volta: 次世代のgeneral-purpose GPUインスタンス
§ 2017年のlaterに利⽤可能
§ Greengrass: Lambdaファンクションをデバイス上で稼働

51. Machine Learning on AWS

52. Machine Learning
§ We make available GPUs an CPUs
§ Optimize wide variety of “Deep Learning” engines
§ MXNet, TensorFlow, Cafe2, PyTorch, CNTK 等

53. Early detection of diabetic complications at Stanford
§ 糖尿病による失明は、アメリカの21〜46歳までの男性の間では失明の⼀
番の理由
§ 早期に発⾒できれば失明を防ぐことができる
§ Highly Trainedな⼈間が⾮常に細かな⽬の奥の⾎管を診察する必要があった
§ 健康もの、不健康なもの、それぞれの写真を元にDeep Learningモデルを構築
§ 90%のケースにおいて発⾒が可能に！

54. ARTERYS
§ FDA(Food and Drug Administration)が承認した医療画像のNeural
Networks
§ スライドの画像はMRIに映る腫瘍

55. STITCH FIX
§ 機械学習で顧客のスタイルを推測
§ Generate new styles and new products
§ Deep LearningエンジンのChainerを活⽤

56. WalframAlpha
§ Computational knowledge engine
§ Q&Aシステム on AWS
§ You can ask pretty much anything
§ Q. “Pet Sounds”は誰のアルバム？⇒ A. “The Beach Boys”

57. Instacart
§ Online grocery delivery service
§ Deep LearningのフレームワークであるKerasを活⽤
§ スーパーで⾷材を集める際に、どこに何があるか分かっていて、そこに機械学習
技術を⽤いて最短のルートを導き出す
§ Right objects in the right order -> デリバリーの時間短縮

58. Pinterest
§ Pinterest Lens モバイルアプリ
§ TensorFlowを活⽤して撮影した写真に関連する画像をユーザーに
§ Visually similarなピンを取得するVisual Searchケーパビリティ

59. TuSimple
§ MXNet on AWSで学習したモデルを活⽤した⾃動運転技術
§ サンフランシスコと北京を拠点にするStartup
§ World's best performing autonomous driving

60. TuSimple
§ MXNet on AWSで学習したモデルを活⽤した⾃動運転技術
§ どこが道か、道ではないかも正確に抽出する
§ ⾞、道、標識といった様々な情報を”SLAM”というシステムに集約
§ 3D空間の中でCM単位での正確性

61. Serkan Kutan - CTO, ZOCDOC
§ ZOCDOCはNY basedなスタートアップ
§ 毎⽉6百万⼈の患者が、医者のアポイントメントの予約にZOCDOCを使っている

62. アメリカにおける診療の現状
§ 平均24⽇待ち。30%は予約の不備やキャンセル、リスケジュール等
§ その結果、ERに⾏くような事態を招き、医療費が⾼騰

63. ZOCDOCはヘルスケアに市場の効率性をもたらす
§ アナロジーとしては、KAYAK、OpenTable、Hotels.comといったプ
レーヤーがそれぞれのインダストリに持ち込んだ効率性
§ ZOCDOCはそれをヘルスケア業界に
§ 今まで24⽇待たされていたものが24時間になったような事例も

64. 2007年からオンプレミスで稼働
§ As gained critical mass
§ より⼤きなシステムの必要性

65. Zocdoc 2.0 - New Technical Strategy
§ Solve the business transformation needs as well as innovate faster

66. Zocdoc 2.0 - New Technical Strategy
§ 100% in AWS in less than 12 month

67. Choosing the right partner
§ Customer Obsession and Rapid Innovation
§ Ramp up on concepts
§ Infrastructure as Code, DevOps, Compliance and Security

68. from .net Monolith to Microservices
§ Standardized on 3 Tech Stacks: Scala, Node.js, C#
§ All running on Linux. C#もLinux上で稼働
§ Zocdocをはじめた10年前には今のような便利なサービスはなかった
§ モニタリング、A/Bテスト等。解決したいのは患者が抱える予約の課題なのに
Undifferentiated Heavy Lifting強いられる状況だった

69. A Robust Data Foundation on AWS
§ from pretty much base level to the top
§ データサイエンティスト達が⾃ら必要な環境を構築するようになった

70. プロダクションで稼働している機械学習
§ Patient-Powered Search
§ Clinical Terminology(医療の専⾨⽤語)を患者が理解するのは難しい
§ 例えば”blurry eyes”な症状で眼科を探す時にスペリングすら困難
§ SerkanさんもESL(English as a Second Language)
§ 3つの機械学習モデル: semantic, multi-armed bandit, relevancy

71. Deep Learning at ZOCDOC
§ Deep Learning used to be hard but Not Anymore!
§ GPU basedであるp2インスタンスでDeep Learning AMIを活⽤
§ 学習をはじめて1⽇でニューラルネットワークを構築
§ 今はもうデータセンター環境でソフトウェアもハードウェアも整備するなんて考えたくもない

72. Innovate Faster with AWS
§ エンジニアチームのスピードは以前と⽐べて3倍以上早くなった
§ エンジニアキャパシティをインフラ整備からプロダクトエンジニアリングへ

73. Machine Learning in Amazon
§ Amazonの様々なサービスやプロダクトで機械学習技術が使われている

74. Securing Sensitive Data is Job Zero
§ Security is Job Zero

75. センシティブなデータの保護
§ Identifying and Protecting sensitive data
§ That can be challenging and time-consuming
§ ⼤概はマニュアルなプロセスで、専⾨チームを作ってセキュアなデータ
を分類している
§ 時間がかかり、正確でなく、⼈⼿が必要なためコストが⾼く、スケールが困難

76. Amazon Macie
§ Automatically discover, classify, and protect sensitive data

77. Amazon Macie
§ S3に保存されているデータに対して⾃然⾔語処理を⾏い、その情報のコ
ンテキストを元に分類
§ どこにセンシティブなデータがあるか判別
§ 800種類以上のファイルタイプから70種類以上の異なるクラスに分類し、
それぞれlow, medium, highといった形でリスクのレベルを関連付ける
§ Eメールアドレス、社会保障番号、運転免許、クレジットカードといった個⼈情報
からAPIの鍵など

78. Amazon Macie
§ Macieはセンシティブなデータに対するアクセスパターンを学習し、通常
のパターンと異なるアクセスを検知する
§ 例えば、HRの部署のメンバーが⼈事関連の⽂書にアクセスするのは⽇常
的なことであり、Macieはそのアクセスパターンを学習する
§ そのHR担当者が、⽇頃の業務と関連が無い、システム関連のデータや鍵
ファイルなどにアクセスしだした場合に、Macieはアクセスパターンの変
化から即座にそれを検知し、アラートを上げる

79. Amazon Macie
§ Webサイトとして公開しているデータにセンシティブな情報が含まれる
場合の例

80. Amazon Macie
§ アクセスパターンを可視化
§ この例では時系列データに対するslice and diceな解析処理のアクセス

81. Amazon Macie
§ 監査基準やコンプライアンス要件などにおいてもあなたを助けます
§ 2017年8⽉現在の対応リージョン
§ US East (Northern Virginia)
§ US West (Oregon)

82. Amazon Macie
§ 利⽤事例
§ Edmunds, NETFLIX, AUTODESK

83. Protecting Your Customers and Business
§ “Security by design” and “Automation is key”

84. Cloud Security Tools
§ Networking, Identity, Encryption, Compliance

85. Encryption on AWS
§ Encrypt Amazon EFS data at rest

86. Encryption Key Management
§ AWS CloudHSMはあまりCloudyでないところもあった

87. AWS CloudHSM
§ Complete Rewrite -> Fully Managed by AWS

88. Compliance on AWS
§ AWS Service Catalog, AWS CloudTrail, AWS Config

89. CloudTrail Event History by Default
§ 過去7⽇間のアカウント活動の可視性を提供、全てのお客様が無料で利⽤
可能。必要なマニュアル設定などは不要

90. AWS Config
§ S3のパーミッションに新しいルール

91. Capital One
§ AWS as a central part of technology strategy
§ Move Fast and Stay Secure

92. Startups
§ どの業界においても新しい旋⾵を巻き起こしている

93. Enterprises
§ デジタルトランスフォーメーションが⽣き残るための鍵
§ GEはkeep reinventingし続けることでサバイブし続けている唯⼀のオリジナル
S&P 500

94. One more thing... re:Invent 2017
§ 2017年11⽉27⽇から12⽉1⽇ @ Las Vegas

95. Twitch - https://www.twitch.tv/aws
§ Special Events | Live from the AWS Summit in NYC
§ https://www.twitch.tv/videos/166917418
§ エバンジェリストによるKeynoteのRecapやサービス開発チームによる解説
デバンジャンによるGlueの解説 クリスによるSAM Localのデモ