2018年3月23日のmanabiya.techでの発表資料。 世界のトップ企業として君臨するAlibabaの技術がつまったAlibaba Cloudのご紹介。

1. 知られざる、
Alibaba Cloudを支えるテクノロジー
世界に目を向けよう。Alibabaのクラウドテクノロジーを明かす
1
@mosuke5
manabiya.tech
2018/03/23

2. 2
Who are you?
名前：森 真也
もーすけ (@mosuke5)
仕事：
Alibaba Cloud Solutin Architect
MVPに日本人初として選ばれた。
以前はシステム開発エンジニア。
ネタ：
旅行がすき。登壇と相性がよい。

3. 3

4. 4

5. 5

6. 6

7. 7
本題

8. 今日伝えたいこと
1. Alibabaという謎深い企業と
そのテクノロジーについて。
2. アメリカ以外の海外にも目を向ける
きっかけになれば。
8

9. アジェンダ
1. 昨今の中国のIT事情
2. Alibaba Cloudについて
3. Alibaba Cloudの特徴1 MaxCompute
4. Alibaba Cloudの特徴2 オープンソース技術
5. さいごに
9

10. 自分がクラウドプロバイダーをやるまで
10
年 やってたこと チーム
2011年 当時大学3年生。はじめてのWebサービスの開発とそのビ
ジネス展開を試みた。
ただの学生
2013年 社会人になり、携帯電話のネットワークの監視システムの
開発。そこでは、ソフトウェア開発に専念できる業務スタイ
ルへの改善が必要だった。いわゆるInfrastructure as
Codeによるインフラ作業の自動化などを推し進めていた。
日本企業、日本人
のみのチーム
2016年 縁あって、新規事業をやる部門へ。
そこで、Alibaba Cloudの日本リージョンの立ち上げから、
その展開に携わる。
外国企業とのジョ
イントベンチャー、
多国籍メンバー

11. 11

12. 中国のIT事情に熱気
12出典：http://tomoima525.hatenablog.com/entry/2018/03/12/065926
https://www.slideshare.net/SORACOM/soracom-ug-tokyo-9-2018iot-lt

13. 世界時価総額（2018年1月末時点）
13
No 国名 会社名 時価総額
1 アメリカ アップル 859.638
2 アメリカ アルファベット（Google） 817.117
3 アメリカ マイクロソフト 731.557
4 アメリカ アマゾン・ドット・コム 699.144
5 中国 テンセント・ホールディングス 558.084
6 アメリカ フェイスブック 543.067
7 アメリカ バークシャー・ハサウェイ 530.275
8 中国 アリババ・グループ・ホールディング 516.724
9 中国 中国工商銀行 425.118
出典：http://www.180.co.jp/world_etf_adr/adr/ranking.htm

14. 気になりませんか？？
今日、それを明かしていきます
14

15. 15
時は20年ほど前の話…

16. 20年前のインターネット世界
16
1998年 Google誕生 1994年 Amazon.com誕生

17. 17

18. もう一方のインターネット世界（中国）
18
1999年 Alibaba誕生
1998年 Tencent誕生

19. 19
11月11日はネットセールで
たった１日で2.8兆円近い売上をあげた。

20. なんだ向こうの世界線で
すごいテクノロジー企業が
うまれているらしいぞ
20

21. そのアリババが、
まさに今海外に出ようとしている
その真っ最中。
それが「今」
21

22. アリババってどんな会社？
22
E-commerce
data
Marketing
data
Mobile app
monitor &
browser
data
PC website
monitor data
Entertainment
data
SNS
data
Health&
life data
Geographical
data and
Vehicle data
Logistics
data
Alibaba
経済圏
One ID, One Platform
eコマース企業ではな
い。eコマースをはじ
め、決済、物流などを
One ID, Platform化し
ている強み。

23. Alibaba Cloudなるものが誕生している
23

24. グローバルインフラストラクチャ（世界17リージョン）
24
2016年12月 東京リージョン開設

25. プロダクトラインナップ
25
Block Storage
OSS
Object Storage Service
Archive Storage
NAS
Network Attached Storage
Message Service
グローバル IDC リージョン アベイラビリティゾーン
Technical
Support
Professional
Services
Training &
Certification
Cloud
Architects
Pricing
Report
ECS
Elastic Compute Service
Auto Scaling
SLB
Server Load Balancer
Container Service
HPC
High Performance Compute
BatchCompute
FunctionCompute
RDS
Relational Database Servie
Oceanbase
Memcache
Table Store
Redis MongoDB
DMS
Database Management
Analytic DB
DTS
Data Transmission Service
PetaData
VPC
Virtual Private Cloud
ExpressConnect
Elastic IP
CDN
HA-IP
High Availability IP
Nat Gateway
EDAS
Enterprise Distributed
Application Service
ONS
Open Notification Service
HttpDNS
Log Service
ROS
Resource Orchestration Service
Performance Testing
Live streaming
Domain
IOT Suit
DirectMail
DataV
Rec Eng
DataHub
ImageMaxCompute
EMR
DataIDE
Face Rec
API
RAM
Resource Access Management
CLI
Cloud Monitor
Anti-DDoS
Cloud Shield
WAF
Web Application Firewall
HSM
Hardware Secure Module
KMS
Key Management Service
Server Guard
Action Trail
ビッグデータ アプリケーションサービスSupport
コンピューティング ネットワーク ストレージ データベース
基 盤
DevOps
管理・セキュリティ

26. 勝手に考えてる、いいところ悪いところ
26
Alibaba自身が
苦労して乗り越えた
ノウハウや技術
特にビッグデータ・機械
学習プロダクトは
Alibabaの自信作
サーバレスなど新しい概
念のものは、まだフォロ
ワーの立場。
独自の考え方をもっとだ
せるといい。
日本サイトではまだ一
部のプロダクト
しかない。
（がんばります）
フォロワーなのもあって
ユーザ要望は相当反
映される。開発スピード
の速さ。

27. Alibaba Cloudのデータソリューション
27
ストリーム
データ
バルク
データ
LogService
ストリーム処理
StreamCompute
Object
Storage
TableStore
分散データ処理
MaxCompute
データマート
RDBなど
BI, 可視化
分散ストレージ
DataV

28. 28
オンプレミス
MySQL
TXT Text Data
…
Oracle
データマネジメント
データ収集 データアプリケーションデータ処理 / マネジメント
MaxCompute 基盤
クラウド環境
RDS
OSS
ECS
…
データウェアハウス
Data
Mining
Task
Scheduling
Scrubbing &
Converting
データ同期
ETL
アプリケーショ
ン
レポート
リアルタイム
クエリ
データ分析
マイニング
予想
データファイ
ル
アクセス制御・ポータルインテグレーション
Alibaba Cloudのデータソリューション

29. GUIベースでタスクスケジューラが設定可能
29

30. 30
2015 2016
2015年のコンペティションで、
AlibabaクラウドチームはGray
(100TBデータのソート時間)と
Minute (60sでソートできるデータ
量) 試験で優勝。
2016年のコンペティションで、
Alibabaクラウドチームは Cloud
(1TBをソートするための料金)試験
で優勝。
ソートベンチマーク大会の結果

31. Apsara Cloud Platform
31
Linux cluster
Resource
Management
(Fuxi)
Security
Management
(Zhongkui)
Remote
Procedure Call
(Kuafu)
Distributed
Coordination
Service (Nvwa)
(Dayu)Cluster
Deployment
(Shennong)Cluster
Monitoring
Distributed File System (Pangu) Job Scheduling (Fuxi)
ACE
ECS RDS OSS TableStore
MaxComput
e
Data center
青がApsara Platform

32. Apsara Cloud Platformは神様の名前由来
32
1. Apsara ←全体総称
2. Dayu
3. Pangu
4. Kuafu
5. Fuxi
6. Zhongkui
7. Nvwa
8. Shennong 「川，雲，電光，星の中などに住む、
古水の精の類。古くから美女の典型。」
出典: https://en.wikipedia.org/wiki/Apsara

33. Apsara Cloud Platform
33
Linux cluster
Resource
Management
(Fuxi)
Security
Management
(Zhongkui)
Remote
Procedure Call
(Kuafu)
Distributed
Coordination
Service (Nvwa)
(Dayu)Cluster
Deployment
(Shennong)Cluster
Monitoring
Distributed File System (Pangu) Job Scheduling (Fuxi)
ACE
ECS RDS OSS TableStore
MaxComput
e
Data center
青がApsara Platform

34. 分散処理を支えるプラットフォーム
34
Fuxi
・リソース管理基盤
・ジョブスケジューラー
Pangu
・分散ファイルシステム
1.https://en.wikipedia.org/wiki/Fuxi
2. https://en.wikipedia.org/wiki/Pangu

35. リソースマネージャ、ジョブスケジューラ Fuxi
1. Incremental resource
management protocol
2. User transparent failure
recovery
3. Faulty node detection and
multi-level blacklist
出典) http://www.vldb.org/pvldb/vol7/p1393-zhang.pdf
35

36. 分散ファイルシステム Pangu (盘古）
36
● Panguは中国の神様の名前（天と地を分けた神）
● Alibabaが独自に開発している分散ファイルシステム
(Like GFS, HDFS but more advanced)
● Alibaba Cloudの多くのプロダクトのストレージレイヤーとして利用
Master
Master
Master
Paxos
Chank
Server
Chank
Server
Chank
Server
Chank
Server
Chank
Server
Chank
Server
Block
Storage
Object
Storage
Table
Store
Bigdata
Service
Message
Queue
Persistent
Storage
Layer
Alibaba Cloud
Service
Pangu

37. さらに、オープンソース技術でも
Alibaba Cloudを支えている
37

38. Tengine
https://github.com/alibaba/tengine
● NginxベースのWebサーバ
● Nginx-1.8.1の機能はすべて継承
● ダイナミックモジュール対応や、spdy対応、豊富なロードバラ
ンス機能、Lua対応など
● Alibaba製プロダクトの殆どのWebサーバはTengine
38

39. そうだ、curlしてみよう
$ curl -I https://jp.alibabacloud.com
HTTP/2 200
date: Mon, 26 Feb 2018 04:35:47 GMT
content-type: text/html; charset=utf-8
vary: Accept-Encoding
server: Tengine
vary: Accept-Encoding
x-powered-by: Express
39

40. LoadBalancer(SLB)とCDNはTengineベースの実装
● Alibaba Cloudのロードバラ
ンサとCDNはTengineベー
スで実装
● 仮想サーバではなく専用の
物理クラスタがある。
Pre-Warmingは必要ない。
40
Server Load Balancer
L4 layer: LVS L7 layer:
アプリケーション
環境

41. OpenRestyは実は。。。
● OpenRestyの作者はもとAlibaba(Taobao)の人で、Tengine
のベースを作った人らしい。
41
OpenRestyOpenResty作者

42. AliSQL
https://github.com/alibaba/AliSQL
● AlibabaカスタマイズのMySQL
● 100%MySQL互換
● パフォーマンス改善と一部機能の追加
● このAliSQLをマネージドで利用できる、ApsaraDB for RDSを
AlibabaCloudで提供
42

43. RDSのアーキテクチャ
43
Load
Balancer
Proxy Proxy Proxy
DB Engine
Load
Balancer
Proxy Proxy Proxy
DB Engine
Replication
Bare Metal Database Server
ApsaraDB
for RDSMaster Slave
ベアメタルサーバを使ってデータベースサービスを提供。
仮想基盤のオーバーヘッドがないため、ハイパフォーマンスを実現。

44. ApsaraCache
https://github.com/alibaba/ApsaraCache
● Redis 4.0ベース
● パフォーマンスチューニング（30%の性能向上）
● Memcacheプロトコルのサポート（！？？？）
○ そんなことができるのか？
○ どこまで互換性あるのか？
○ まさかMemcacheのサービスはこれで実装？？
44

45. ApsaraDB for RedisとMemcache
というわけで、担当者に聞い
てみました。
Alibaba CloudのRedisと
Memcacheのプロダクトで利
用しているのか、どうなの
か！？
45
RedisとMemcacheのプロダク
トはまさかこれ使って両方実装
してるの？
昔はそうしてたけど、
Memcacheのほうが流石に対
応できないプロトコルもあって
やめました
さすがにそうっすよねｗｗｗ
でもRedisのパフォーマンス改
善の効果はよくでてるぜ。

46. Apache RocketMQ
https://rocketmq.apache.org/
● アリババがサービス展開するにあたって直面した課題から生
まれた。
● ActiveMQのIOが辛くなってきた。Kafkaが要件に合わなかっ
たので、自作しオープンソース化。
● Apache Foundationプロダクト
● AlibabaCloudのメッセージキュープロダクトのベースに利用
されている。
46

47. Alibabaの技術が詰まっている。
そしてまだまだ謎深い
47

48. 48
<Developer Community>
2018年2月 AliEatersが立ち上がっ
てました。

49. 49
Meetup第3回はあのWeWorkで
4月11日開催予定。らしいです。

50. 50
Alibaba Cloudのかっこいい
転写ステッカー配布してますの
で、声かけて下さい！
（早い者勝ち）

51. 51
ご静聴ありがとうご
ざいました