9 月までオンラインで開催された Google Cloud Next '20: OnAir、大変多くの方々にご覧いただきました。その中で、世界ではどのようなセッションが注目を集めたのか、人気のコンテンツを解説します。

1. Cloud OnAir
Cloud OnAir
Google Cloud Next '20: OnAir 特別編
〜世界で人気のあったセッション特集〜
2020 年 9 月 24 日 放送

2. 写真を配置後
角丸六角形くり抜きの図形を
被せてください
https://goo.gl/NcsiAz
Speaker
Cloud OnAir
グーグル・クラウド・ジャパン合同会社 エン
タープライズ
マーケティング 担当部長
北瀬 公彦

3. Agenda
Cloud OnAir
APP316: Anthos 詳細: パート 1
Anthos Deep Dive: Part One
DA100: Google Cloud によるデータレイクの構築
Building Data Lakes on Google Cloud
DA105: BigQuery Omni を使ったマルチクラウド環境でのデータ分析
Analytics in a Multi-Cloud World with BigQuery Omni
1
3
2

4. Nitin Motgi, Google Cloud
DA100
Building Data Lakes on
Google Cloud
Google Cloud によるデータレイクの構築

5. データレイクとは、あらゆる規模の
構造化データ、半構造化データ、
非構造化データをすべて取り込み、
安全かつ一元的に
保存、処理、分析を行うための
データ プラットフォームです
データレイクとは？
取り込み
保管
処理
分析

6. ガバナンス
データレイクでは、構
築と管理が複雑で
時間のかかる
プロセスです...
バージョンアップ
リソース管理
サイロ
人材採用
コスト

7. レイクを迅速に構築 レイクを管理、保護 レイクへのアクセスを容易に
レイクにデータを迅速に
取り込み
すべてのデータを
カタログ化し、
レイク全体にわたって
探索を可能に
レイクのさまざまな
レベルでのアクセス制御、
およびアプリケーション
制御を定義
すべてのジョブの指標とSLA
をアクセスし
人気の OSS ツールから
レイク内のデータに自動的
にアクセスし、データ サイエ
ンス ワークロードを実行
レイク内のデータ
パーティションを
最適化し、分析
パフォーマンスを改善
コーディングなしで
レイク内のデータを
クレンジングし、標準化
コンプライアンスおよび監査
ログ レポートを
管理者に提供
標準テンプレートを使って
データをゾーン間で
簡単に移動
レイクをシンプルに！
Spark
Hive
presto

8. データレイク ユースケース
データウェアハウス ステージング
Image, Audio,
Video
Web Logs
Social
Sensor &
Device
Spatial
Refined
Stage
Raw Stage
Data Lake
Curated
Stage
● データレイクに保存されているデータ
の利用
● データ変換、クレンジング、整形など

9. データレイク ユースケース
データサイエンス、Hadoop
● Hive, Spark などの
オープンソースソフトウェア
との連携
● データ分析、解析用の
データの準備
Image, Audio,
Video
Web Logs
Social
Sensor &
Device
Spatial
Data Science
Stage
Raw Stage
Data Lake
Exploratory Analysis
Curated
Data
Advanced
Analytics
Machine
Learning

10. データレイク ユースケース
アクティブ アーカイブ
Image, Audio,
Video
Web Logs
Social
Sensor &
Device
Spatial
Raw Stage
Data Lake
Curated
Stage
Data Warehouse
Archive
Stage
● 利用しないデータの
オフロード
● アクティブ アーカイブを
有効に
● 外部データソースへのクエリ

11. Cloud
Storage
中央ストレージ
安全で費用対効果の高い
Catalog & Metastore
メタデータへのアクセスと検索
データ取り込み
データを GCS にすばやく安全に転送します
セキュリティ
データの安全性とユーザーの ID を確保する
検証済み
データ処理と分析
好きなデータ処理のパイプラインを使って、記述的および予測的分析
をやります
Data
Catalog
Cloud
Dataproc
Cloud
Dataflow
BigQuery
KMS
Cloud
Pub/Sub
Data
Transfer
Service
Dedicated
Interconnect
Partner
Interconnect
Cloud Data
Fusion
BigQuery
Storage
Cloud Machine
Learning Engine
Dataproc
Metastore
ALPHA

12. Analytics in a Multi-Cloud
World with BigQuery Omni
Emily Rapp, Google Cloud
DA105
BigQuery Omni を使ったマルチクラウド環境でのデータ分析

13. インサイトをすべての人に
クラウドスケールの
エンタープライズ
データ ウェアハウス
Unique
サーバーレス
プラットフォーム
標準 SQL（ANSI 2011 準拠）の
DML をサポート
暗号化、耐久性、高可用性
Unique
組み込みML Unique
リアルタイムのインサイト Unique
Google BigQuery
TB 規模から数百 PB 規模のデータを扱うお客様をサポートするデータ ウェアハウス

14. SQL: 2011
準拠
ペタビット規模ネットワーク
高可用性を備えた
コンピュート クラスタ
(Borg)
ストリーミング
インサート
無料の
バルクロード
複製済み、
分散ストレージ
(Colossus)
REST API
7 言語の
クライアント
ライブラリ
Web UI, CLI分散インメモリ
シャッフル
Google 管理の巨大なクラスタ、エクサバイト規模のストレージ、 etc
サーバレス、性能、拡張性、従量課金
BigQuery
コンピュートとストレージの分離
拡張性 (コンピュート ストレージを別々に拡張）、可用性
BigQuery アーキテクチャ

15. BigQuery Omni アーキテクチャ
BigQuery コンピュートクラスタ
分散メモリシャッフル層
AWS リージョン (Omni)
お客様の S3 ストレージ
Google Cloud 上の BigQuery
コントロールプレーン (UI / API / CLI)
コンピュートとストレージの
分離による優れた柔軟性
powered by Anthos technology
ペタビットネットワーク
BigQuery コンピュートクラスタ
分散メモリシャッフル層
Google Cloud リージョン
BigQuery ストレージ
AWS Direct Connect
BigQuery Router

16. BigQuery Omni
ユースケース

17. 営業から得たデータをより
効果的に利用して、新しい
オーディエンスを獲得するには
どうすればいいのでしょうか？”Data scientist
“

18. “営業から得たデータをより効果的に利用して、
新しいオーディエンスを獲得するには
どうすればいいのでしょうか？ ”
アクティベート
複数のデータストーリー
AWS S3
Data Storage
Google Analytics
360
BigQuery
BigQuery
(Omni)
Marketing
platforms

19. 私たちは毎日何千ものジョブを
使用してログを処理し、
複数のクラウドで、ETL
パイプラインを構築しています。”Data engineer
“

20. “私たちは毎日何千ものジョブを使用して
ログを処理し、複数のクラウドで、 ETL
パイプラインを構築しています。 ”
最適化
既存のワークロード

21. BigQuery Omni
を是非使ってみて下さい
Customer Interest Form
こちらから登録ください
g.co/cloud/omni-form

22. Anthos Deep Dive:
Part One
Vic Iglesias, Google Cloud
John Murray, Google Cloud
APP 316
Anthos 詳細: パート 1

23. Anthos を導入することでGoogle Kubernetes Engine（GKE）を
GCP に加え、オンプレミス、他社クラウドでも利用出来る他、
サービスメッシュ、サーバーレスなどモダナイゼーションに
有用な機能が提供される
https://cloud.google.com/anthos/
Anthos とは
アプリケーションのモダナイゼーションのためのプラットフォーム

24. Anthos の特徴
OSS をベースにしたソフトウェア スタック
コンテナ オーケストレーション
Kubernetes Anthos GKE
サービスメッシュ
Istio Anthos Service Mesh
サーバーレス
Knative Cloud Run for Anthos
ビルド、デプロイ、スケールを
サーバーレスに実現
サービス間をセキュアに接続し
L7 ルーティング、可観測性の提供
インフラの抽象化と高い拡張性
コンテナプラットフォーム

25. Google Cloud’s Anthos
クラウド、オンプレミスで
モダンなアプリケーション
の開発
ポリシー、セキュリティの
自動適用
Kubernetes を始めとした
オープンソース技術を利用した
高いポータビリティ、拡張性
モダナイゼーション セキュリティ
ポータビリティ、非ロックイン
オンプレミスやクラウドで、
統合管理環境を提供
アプリをどこでも実行できる
一貫性
サブスクリプションベースの
価格設定と TCO の削減
統合管理
一貫性
TCO 削減

26. 設定、ポリシー管理
Anthos Config
Management
アプリケーション開発
Cloud Run for Anthos
サービス管理
Anthos Service Mesh
コンテナ管理
Anthos GKE
運用管理
Cloud
Monitoring
and
Logging
Core Components of Anthos

27. 設定、ポリシー管理
Anthos Config
Management
アプリケーション開発
Cloud Run for Anthos
サービス管理
Anthos Service Mesh
コンテナ管理
Anthos GKE
運用管理
Cloud
Monitoring
and
Logging
Core Components of Anthos
Anthos Deep Dive: Part One

28. 設定、ポリシー管理
Anthos Config
Management
アプリケーション開発
Cloud Run for Anthos
サービス管理
Anthos Service Mesh
コンテナ管理
Anthos GKE
運用管理
Cloud
Monitoring
and
Logging
Core Components of Anthos
Anthos Deep Dive: Part Two

29. Simplified
Management
GKE が選択される理由
Scale to any
workload
Optimized
workloads
Easy to start

30. Kubernetes を
簡単に利用
ワンクリックでクラスタを作成
クラスタと、ワークロードを容易に監視
マネージドの環境

31. 統合的な Kubernetes の可観測性
オープンソースの採用
どこでも実行可能
マネージド監視サービスとの連携
Google SRE の
ベストプラクティスが採用
Kubernetes 環境の監視

32. ハードウェア アクセラレーション
Graphics Processing Units (GPUs)
Tensor Processing Units (TPUs)
ローカルSSD
Master
Nodes
TPUGPU

33. コンテナ用にチューニングされたWindows サーバーコンテナの準備
Linux と Windows のコンテナを実行可能
レガシーなWindows サーバーアプリケーションのアップグレードや、クラウドネ
イティブなアプリケーションの開発、DevOps の採用
Windows サーバーコンテナ

34. Google Cloud Other CloudsOn-prem Edge
多様な Anthos のデプロイメント
Anthos GKE on AWS

35. オンプレミスへのデプロイメント
が必要なケース
Latency Requirements Data Locality
Bob from Berlin Alice from Arkansas
US Germany
<2ms

36. Anthos GKE on-prem

37. vSphere
Admin ClusterAdmin
Workstation
gkectl
kubectl
User Cluster
vCenter
LB
Admin Master (VM)
Admin Control Plane
kubelet
Multiple node Pools
1x Admin Control Plane
2x Add-On Nodes
4 vCPU
8 GB RAM
User Master
kubelet
User Control Plane
User Master
kubelet
User Control Plane
3x User Control Plane
4 vCPU
8 GB RAM
Admin Node (VM)
Admin Add-Ons
kubelet
Admin Node (VM)
Admin Add-Ons
kubelet
Virtual Machine
Workload
kubelet
Worker Node (VM)
Workload
kubelet
User Master
kubelet
User Control Plane
Data Center
Virtual Machine
Workload
kubelet
Worker Node (VM)
Workload
kubelet
ハイレベル アーキテクチャ

38. vSphere
vCenter
Data Center
ホストに接続
“gkeadm”
1
1 Jump host
● PC を使って接続
● “gkeadm” ツールを使って管理
● Linux, Windows で利用可能
まもなく、Mac でも
Anthos GKE on-prem - ハイレベル アーキテクチャ

39. vSphere
Admin
Workstation
gkectl
kubectl
vCenter
Data Center
Admin Workstation
● Linux ワークステーション
● OVA で展開
● “gkectl” をつかって、
インストール、スケール、
アップデートを行う
2
2
Jump host
“gkeadm”
Anthos GKE on-prem - ハイレベル アーキテクチャ

40. Anthos GKE on-prem - ハイレベル アーキテクチャ
vSphere
Admin ClusterAdmin
Workstation
gkectl
kubectl
vCenter
Admin Master (VM)
Admin Control Plane
kubelet
1x Admin Control Plane
2x Add-On Nodes
4 vCPU
8 GB RAM
Admin Node (VM)
Admin Add-Ons
kubelet
Admin Node (VM)
Admin Add-Ons
kubelet
Data Center
Jump host
“gkeadm”
Admin Cluster
● User cluster の管理
（インストール、
アップグレードなど）
● User cluster master の監視
● クラスタの監視
● セキュリティ、ログ、
監視ツールの利用
33

41. vSphere
Admin ClusterAdmin
Workstation
gkectl
kubectl
User Cluster
vCenter
Admin Master (VM)
Admin Control Plane
kubelet
Multiple node pools
1x Admin Control Plane
2x Add-On Nodes
4 vCPU
8 GB RAM
User Master
kubelet
User Control Plane
User Master
kubelet
User Control Plane
3x User Control Plane
4 vCPU
8 GB RAM
Admin Node (VM)
Admin Add-Ons
kubelet
Admin Node (VM)
Admin Add-Ons
kubelet
Virtual Machine
Workload
kubelet
Worker Node (VM)
Workload
kubelet
User Master
kubelet
User Control Plane
Data Center
User Cluster(s)
● ユーザーのワークロードを実行
● サイズや構成を変更可能
● 別々の vSphere データストアに
デプロイ可能
● ライセンス数には、Worker
ノードだけがカウントされる
● Admin cluster 毎に、
10 User cluster と 100 ノードを管
理可能
4
4
Jump host
“gkeadm”
Virtual Machine
Workload
kubelet
Worker Node (VM)
Workload
kubelet
Anthos GKE on-prem - ハイレベル アーキテクチャ

42. Anthos GKE on-prem - ハイレベル アーキテクチャ
vSphere
Admin ClusterAdmin
Workstation
gkectl
kubectl
User Cluster
vCenter
LB
Admin Master (VM)
Admin Control Plane
kubelet
Multiple node Pools
1x Admin Control Plane
2x Add-On Nodes
4 vCPU
8 GB RAM
User Master
kubelet
User Control Plane
User Master
kubelet
User Control Plane
3x User Control Plane
4 vCPU
8 GB RAM
Admin Node (VM)
Admin Add-Ons
kubelet
Admin Node (VM)
Admin Add-Ons
kubelet
Virtual Machine
Workload
kubelet
Worker Node (VM)
Workload
kubelet
User Master
kubelet
User Control Plane
Data Center
Load Balancer
● バンドル済みの LB
● F5 Big IP (Physical & Virtual)
● Bring your load balancer
(BYOLB), I.e Citrix and
soon NSX
5
5
Jump host
“gkeadm”
Virtual Machine
Workload
kubelet
Worker Node (VM)
Workload
kubelet

43. Google Cloud Other CloudsOn-prem Edge
多様な Anthos のデプロイメント
Anthos GKE on AWS

44. AWS で、GKE を利用
AWS のエコシステムとの連
携
マルチクラウド
アーキテクチャ
Anthos GKE on AWS

45. AWS
EC2
Jump host
“anthos-gke”
1
1 Jump host
● PC を使って接続
● “anthos-gke” ツールを使って
管理
Anthos GKE on AWS - ハイレベル アーキテクチャ

46. AWS
EC2
Jump host
“anthos-gke”
2 Admin Cluster
● PC を使って接続
● “anthos-gke” ツールを使って
管理
● Terraform により admin cntrol
plane をプロビジョニング
Admin Cluster
Admin Master (VM)
Admin Control Plane
kubelet
Admin Node (VM)
Admin Add-Ons
kubelet
Admin Node (VM)
Admin Add-Ons
kubelet
2
Anthos GKE on AWS - ハイレベル アーキテクチャ

47. AWS
EC2
Jump host
“anthos-gke”
3
Admin Cluster
Admin Master (VM)
Admin Control Plane
kubelet
Admin Node (VM)
Admin Add-Ons
kubelet
Admin Node (VM)
Admin Add-Ons
kubelet
User Cluster
Multiple node pools
User Master
kubelet
User Control Plane
User Master
kubelet
User Control Plane
3x User Control Plane
4 vCPU
8 GB RAM
Virtual Machine
Workload
kubelet
Worker Node (VM)
Workload
kubelet
User Master
kubelet
User Control Plane
3
Virtual Machine
Workload
kubelet
Worker Node (VM)
Workload
kubelet
ELB
Anthos GKE on AWS - ハイレベル アーキテクチャ
User Cluster(s)
● ユーザーのワークロードを実行
● kubectl を使用した、Admin
Cluster の設定
● Admin cluster によって
プロビジョニング
● ELB によるロードバランシング

48. 設定、ポリシー管理マルチクラスタ管理
Config
Sync
Policy
Controller

49. Multi-Cloud
GCP Other Cloud Provider
マルチクラスタ採用のユースケース
Low-Latency Services
Alice in Arkansas Bob in Berlin
US Germany
Environment Separation
(by Team, Tenant, Dev/Stage/Prod)
Team A Team B Team C
Canary Clusters
(for upgrades)
Existing Cluster (v 1.10) Canary Cluster (v 1.11)
Data Locality
Bob from Berlin Alice from Arkansas
US Germany
Highly Available Services
Region A Region B

50. Anthos Config Management（ACM）
Config Sync と Policy Controller 2 つのサービスから構成
Config Sync
Namespace や Quota、RBAC など Kubernetes の
設定を 複数のクラスタ間で GitOps 的に同期 / 管理
Policy Controller
クラスタに適用されるマニフェストに対して、
予め定義したポリシー遵守を強制し、
コンプライアンスを強化する

51. Config Sync の仕組み
Git
repository
k8s クラスタ運用者
セキュリティ担当者
① 新しいポリシー（コード）を
コミット
Anthos GKE on GCP Anthos GKE on VMware
各クラスタには
Config Management Operator が
インストールされる
② 各クラスタは対象のGit リポジトリを定期
的に確認しており、
コードに変更があった場合は、
当該変更をクラスタに自動的に反映する

52. Policy Controller
● Open Policy Agent (OPA) Gatekeeper がベース
● Constraints を用いてクラスタのコンプライアンスを強化
● PodSecurityPolicy と同様の要件を適用出来るが、更に
適用前のポリシーの監査をすることが可能
● Rego と呼ばれるNarive Query Language を使って
ポリシーを記述、テンプレートもあり

53. まとめ
Cloud OnAir
Anthos 詳細: パート 1
Anthos Deep Dive: Part One
Google Cloud によるデータレイクの構築
Building Data Lakes on Google Cloud
BigQuery Omni を使ったマルチクラウド環境でのデータ分析
Analytics in a Multi-Cloud World with BigQuery Omni
1
3
2

54. 2020 年 10月 8 日（木）11:00 〜 19:00
Kubernetes を使った最新の開発アプローチを学ぶ
Anthos Day
http://goo.gle/anthos4お申込はこちらから

55. http://goo.gle/appmodern視聴はこちらまで

56. 10 月 6 日 (火) GKE 講座
10 月 7 日 (水) Anthos 講座
Cloud OnBoard
お申し込み：https://goo.gle/33wNmiC

57. Cloud OnAir
Cloud OnAir
Thank you