2018.3.20 @ AliEaters #2 で発表した資料です。

1. k8s on Alibaba Cloud
AliEaters #2
@yoshidashingo
2018.3.20

2. 吉田真吾
n バックグラウンド
証券システム基盤開発
p 基盤システム開発、Oracleチューニングなど
エバンジェリスト
p 講演113回(2013年実績)
p AWS設計・構築・移行(2014-2015)
n 現在のしごと
(株) セクションナイン 代表取締役社長
p APN コンサルティングパートナー
p DevOps Dockerize Serverless 支援など
(株) 実績等
p AWSウルトラクイズ
初代チャンピオン (2012年)
p AWS Samurai 2014 / 2016

3. Agenda
• おさらい
• Alibaba Cloudのはじめかた
• 基本的なアーキテクチャと
利用するコンポーネントサービス
• Container Service - Kubernetes Mode -

4. アカウント / ユーザー管理
3種類 (International / 中国 / 日本)
• 在住国の「電話番号」「ク
レジットカード」によりア
カウント種別が決定
• 使えるサービスに差分はあ
るが誰でもすぐに中国内に
インスタンスを起動できる
(公開にはICP必要)
Resource Access Management
• RAMユーザーを作成して
ユーザーやグループでアク
セス権限を付与することで
リソースにアクセス

5. 第三者認証
https://www.alibabacloud.com/trust-center

6. SOCレポート
https://www.alibabacloud.com/trust-center/soc
• Scope:
• ECS 仮想サーバー
• RDS マネージドRDBMS
• OSS オブジェクトストレージ
• VPC 仮想ネットワーク
• SLB ロードバランサー
• CDN
• 内部セキュリティシステム
• SOC 3 レポートがDL可能、より詳細な
SOC1,2は個別取得が必要
• 2016年5月〜10月 by Earnest and Young
• @シンガポール (2DC)

7. リージョン
• 中国内
• フフホト(内モンゴル自治区)
• 張家口
• 北京
• 青島
• 上海
• 杭州
• 国際
• 東京
• 香港
• クアラルンプール
(マレーシア)
• シンガポール
• シドニー(オーストラリア)
• ドバイ
• フランクフルト(ドイツ)
• ヴァージニア (米国)
• シリコンバレー (米国)
https://jp.alibabacloud.com/help/doc-detail/40654.htm

8. ICP申請(Filling) / ICPライセンス(Liscence)
• ICP申請(登録)
• 中国内でWebサイトをホスティングする、またはCDN配置する場合に申請必須
• 2015年7月から外国籍企業でも登録可能(事務所の駐在員登録証必要)
• モバイルアプリは対象外
• 完成前でもドメインがあれば登録可能
• 複数サイトをホストしている場合は1回でOK
• ICP商用ライセンス
• ECサイトなど営利目的のサイトを運営するための許可(代表者による申請が必要)
• 非商用ICPライセンスの場合は担当レベルの申請
• 事業免許
• ICPライセンスの取得に必要な中国内での事業免許
• 中国内の本社所在地に近いリージョンから配信する必要あり
• 香港リージョン
• ICPライセンス不要なのでこちらで十分か検討する
https://www.alibabacloud.com/forum/read-873
https://www.alibabacloud.com/help/zh/faq-detail/43904.htm
https://jp.alibabacloud.com/help/product/35468.htm

9. 中国サイバーセキュリティ法(网 安全法)
• 2017.6.1施行(猶予期間〜2018.12.31)
• 個人情報保護
• 中国内での個人情報の収集・仕様・保護要件の明確化
• 機密情報の保存
• 中国内で収集された個人情報やデータは中国国内で保存
• 国外へのデータ移転
• 原則禁止、ただしオプトインかつ届出を行い許可を受け
て行うことができる
• セキュリティ製品は当局の認証を受ける必要があ
る

10. 基本的な
アーキテクチャ

11. 高可用なWebアプリケーション
リージョン
DNS
Subnet
VPC
Zone A Zone B
OSS
SLB
RDSECS ECS
SLB
ECS ECS
Auto Scaling

12. Storage & Networking
Virtual Private Cloud (VPC)
• 閉域ネットワーク環境
• 1VPC:1VRouter(ルート
テーブル)
• VSwitch(サブネット)
NAT Gateway
VPN Gateway
Customer Gateway
Elastic IP Address
Express Connect
• VPC同士の接続 (ex.日本⇄
中国リージョン)
• オンプレからの専用線接続
VPN
Alibaba Cloud CDN
PCDN
HTTPDNS
Object Storage Service
Table Store

13. Storage & Networking
Virtual Private Cloud (VPC)
• 閉域ネットワーク環境
• 1VPC:1VRouter(ルート
テーブル)
• VSwitch(サブネット)
NAT Gateway
VPN Gateway
Customer Gateway
Elastic IP Address
Express Connect
• VPC同士の接続 (ex.日本⇄
中国リージョン)
• オンプレからの専用線接続
VPN
Alibaba Cloud CDN
PCDN
HTTPDNS
Object Storage Service
Table Store

14. 高可用なWebアプリケーション
リージョン
VRouter
VSwitch
Subnet
VPC
Zone A Zone B
VSwitch
Subnet

15. Computing
Elastic Compute Services(ECS)
• 仮想サーバーのサービス
• ネットワークストレージ
CloudDiskを接続して利用
• 99.95%の可用性
Server Load Balancer
• ロードバランサー
Auto Scaling
Container Service
• Swarm, Kubernetesクラスタに対
応したコンテナサービス
• テンプレートによる自動構築
BatchCompute
• コンテナでジョブを実行
Function Compute
• FaaS
Simple Application Server
• VPS
中国のみ
中国/国際のみ

16. Computing
Elastic Compute Services(ECS)
• 仮想サーバーのサービス
• ネットワークストレージ
CloudDiskを接続して利用
• 99.95%の可用性
Server Load Balancer
• ロードバランサー
Auto Scaling
Container Service
• Swarm, Kubernetesクラスタに対
応したコンテナサービス
• テンプレートによる自動構築
BatchCompute
• コンテナでジョブを実行
Function Compute
• FaaS
Simple Application Server
• VPS
中国のみ
中国/国際のみ

17. 高可用なWebアプリケーション
リージョン
VRouter
VSwitchSubnet
VPC
Zone A Zone B
SLB
VSwitch

18. Computing
Elastic Compute Services(ECS)
• 仮想サーバーのサービス
• ネットワークストレージ
CloudDiskを接続して利用
• 99.95%の可用性
Server Load Balancer
• ロードバランサー
Auto Scaling
Container Service
• Swarm, Kubernetesクラスタに対
応したコンテナサービス
• テンプレートによる自動構築
BatchCompute
• コンテナでジョブを実行
Function Compute
• FaaS
Simple Application Server
• VPS
中国のみ
中国/国際のみ

19. 高可用なWebアプリケーション
リージョン
VRouter
VSwitchSubnet
VPC
Zone A Zone B
SLB
ECS
VSwitch

20. 高可用なWebアプリケーション
リージョン
VRouter
VSwitchSubnet
VPC
Zone A Zone B
SLB
ECS
VSwitch
SLB
ECS

21. Computing
Elastic Compute Services(ECS)
• 仮想サーバーのサービス
• ネットワークストレージ
CloudDiskを接続して利用
• 99.95%の可用性
Server Load Balancer
• ロードバランサー
Auto Scaling
Container Service
• Swarm, Kubernetesクラスタに対
応したコンテナサービス
• テンプレートによる自動構築
BatchCompute
• コンテナでジョブを実行
Function Compute
• FaaS
Simple Application Server
• VPS
中国のみ
中国/国際のみ

22. 高可用なWebアプリケーション
リージョン
VRouter
VSwitchSubnet
VPC
Zone A Zone B
SLB
ECS ECS
VSwitch
SLB
ECS ECS
Auto Scaling

23. Database
ApsaraDB for RDS (MySQL)
ApsaraDB for RDS (SQL Server)
ApsaraDB for RDS (PostgreSQL)
ApsaraDB for MongoDB
ApsaraDB for Redis
ApsaraDB for Memcache
ApsaraDB for Hbase
AnalyticDB
• MySQL互換のOLAPデータ分析
サービス
HiTSDB (High-Performance Time Series
Database)
• 時系列DB
HybridDB for MySQL
HybridDB for PostgreSQL
• MPP用エンジン
Distributed Relational Database Service
Application Realtime Monitoring Service

24. Database
ApsaraDB for RDS (MySQL)
ApsaraDB for RDS (SQL Server)
ApsaraDB for RDS (PostgreSQL)
ApsaraDB for MongoDB
ApsaraDB for Redis
ApsaraDB for Memcache
ApsaraDB for Hbase
AnalyticDB
• MySQL互換のOLAPデータ分析
サービス
HiTSDB (High-Performance Time Series
Database)
• 時系列DB
HybridDB for MySQL
HybridDB for PostgreSQL
• MPP用エンジン
Distributed Relational Database Service
Application Realtime Monitoring Service

25. 高可用なWebアプリケーション
リージョン
DNS
Subnet
VPC
Zone A Zone B
OSS
SLB
RDSECS ECS
SLB
ECS ECS
Auto Scaling

26. Alibaba Cloud
Container Service
- Kubernetes Mode -

27. Container Adoption Inside Alibaba
Singles Day(2017)
• 10K container instances
provisioned in 10 minutes
• 100Ks of running containers
for transaction processing
• Processing 325K orders per
second at peak
https://speakerdeck.com/ddbmh/container-service-at-alibaba-cloud
T-mallのSingle DayをさばいたContainer Service
• 2017.11.11
• 取引 1682億元/日
(2兆8594億円)
• 10分で1万台のコンテ
ナインスタンスを配備
• 10万以上のコンテナで
決済処理
• 325,000Txn/秒(ピー
ク時)

28. Container Community Engagement
Platinum Member since Dec 06
Kubernetes certified service provider
Out-of-tree cloud providers
OSS/NAS support by FlexVolume
VPC Network support by Flannel
Fluentd-pilot
OSS backend for Docker Registry
Docker Machine for ECS
https://speakerdeck.com/ddbmh/container-service-at-alibaba-cloud
Contribution

29. China International Japan
日本アカウントではまだ使えません

30. クラスタの作成
Resource Orchestration Service (ROS)
によるプロビジョビング

31. クラスタの作成
Master: 3台
Worker: 3台

32. Out-of-tree Cloud Provider
>HHEG = H>I8 DB A IC DCH7 C 7A ADI: DCH DAA B7C7=
AE>7 & H7 & H78A
https://speakerdeck.com/ddbmh/container-service-at-alibaba-cloud
ネイティブサポート
alicloud-controller-manager による抽象化

33. Kubernetesのオペレーション
n コンソールからyamlで操作 or
n Kubectl コマンド
• Masterノードからconfigをコピーして操作
U R T 2) ) ) /$H $N EHTPH HU$N EH PI 8 6$ N EH$ PIL
N EH O H R GU
<3 6 635D @A3A @ 6@A3 A@ 376
R UX ETM $ PPLP
R UX RSY $ PPLP
N EH O H UHTXL HU
<3 6 AD>6 4: @A6 9> 6CA6 <3: 9> > A @ 376
R UX < GH> T . 0P PH1 - /( ( $A4>
N EHTPH HU 4O U HT9> . 0P PH1 ))($A4>

34. アプリのコンテナをデプロイ (kubectl続き)
M DGE N IG R U
:295 524 > 2 > 5> 2 > 265
T P GP - ). YXS $ PP PI )
T P GP - ). E. LO $ PP PI )
T P GP - ). DO T $ PP PI )
R UXE DTL $ PP PI
R UXE RS $ PP PI
TG U OCU GT D ) EE OUT $ PP PI
TG U UNCXG -)-) D- - - SD $ PP PI )
TG U UNCXG -)-) D- - N E.O $ PP PI )
M DGE N IG UGTX EGU
:295 <5 38 > 5 7< 5A 5 :28 7< < > 265
T P GP : G< T . 0P PG1 - /( $ 3< )
R UXE : G< T . 0P PG1 - /( ( $ 3<
M DGTPG GU 3N U GT7< . 0P PG1 ))($ 3<
TG U OCU GT 3N U GT7< . . - 0P PG1 ( .$ 3< )
TG U UNCXG 3N U GT7< . ( 0P PG1 ( .$ 3< )

35. ホストのスケールアウト

37. アプリケーションのスケールアウト
TDN< =ME A MT >
5042TTTTTTTTTTTTTTTTTTTTTTTTTTTT6201 TTTTT780897TTTT62780687TTT032
GM G> > TTTTTTT$"$TTTTTTT6NGG GATTT TTTTTTTTTT
GM G> > M< M TTTTTTT$"$TTTTTTT6NGG GATTT TTTTTTTTTT
-RS/
TDN< =ME = E T> E GMT GM G>T E =
> E GMT GM G> T = E >
TDN< =ME A MT >
5042TTTTTTTTTTTTTTTTTTTTTTTTTTTT6201 TTTTT780897TTTT62780687TTT032
GM G> > TTTTTTT$"$TTTTTTT6NGG GATTT TTTTTTTTTT
GM G> > TTTTTTT$"$TTTTTTT6NGG GATTT TTTTTTTTTT
GM G> > M< M TTTTTTT$"$TTTTTTT6NGG GATTT TTTTTTTTTT
-RS/

38. Helmも統合されてる

39. Application Catalog
A tool that streamlines installing and managing Kubernetes applications
repository :https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
https://speakerdeck.com/ddbmh/container-service-at-alibaba-cloud

40. まとめ
• 簡単にはじめられる Alibaba Cloud
• 基本的なアーキテクチャからコンテナベースの
アプリケーション運用まで多岐にわたるコン
ポーネント群が準備されている
• Container Service：ダブルイレブンでの大規
模な実績
• セットアップが簡単、オペレーションは通常の
Kubernetesの使い方で（独自の作り込みは少
なめ）