ConsulとNomadで簡単クッキング

A Cloud Operating Model
App
?
● インフラプロビジョニング
● クラウドセキュリティ
● サービスデスィカバリ
● セキュアコミュニケーション
● アプリケーションのデプロイ
Challenge

Cloud、そしてMulti-Cloudへ
Traditional Datacenter
“Static”
Modern Datacenter
“Dynamic”
Dedicated
Infrastructure
Private
Cloud
AWS Azure GCP ...+ + +

“Static”
Modern Datacenter
“Dynamic”
Dedicated
Infrastructure
Private
Cloud
Provision
Operations
専用マシンオンデマンド

“Static”
Modern Datacenter
“Dynamic”
Dedicated
Infrastructure
Private
Cloud
Secure
Security
Provision
Operations
高信頼性
IP-based
低信頼性
Identity-based

“Static”
Modern Datacenter
“Dynamic”
Dedicated
Infrastructure
Private
Cloud
Connect
Networking
Secure
Security
Provision
Operations
高信頼性
IP-based
低信頼性
Identity-based
ホストベース
Dynamic IP
サービスベース
Dynamic IP

“Static”
Modern Datacenter
“Dynamic”
Dedicated
Infrastructure
Private
Cloud
Run
Development
専用
プラットフォーム様々なプラットフォームでの実行
Connect
Networking
ホストベース
Dynamic IP
サービスベース
Dynamic IP
Secure
Security
高信頼性
IP-based
低信頼性
Identity-based
Provision
Operations

The HashiCorp Stack
A control plane for every layer of the cloud operating model
Run
Development
Connect
Networking
Secure
Security
Provision
Operations
PRIVATE
CLOUD
AWS AZURE GCP

s
Copyright © 2017 HashiCorp
12
Connect

モノリシック　→　マイクロサービス
“Static”
Modern Datacenter
“Dynamic”
Dedicated
Infrastructure
Private
Cloud

モノリシック　→　マイクロサービス
“Static”
Modern Datacenter
“Dynamic”
Dedicated
Infrastructure
Private
Cloud
Payment Web
DB
Service 1 Service 2
Analytics
PaymentDB Service 1
Service 2
Web Analytics
Host-based　　　　　　　→ Service-based
Payment
Payment
Payment
Web

Consul Service Discovery
Service
Discovery
● サービスの登録・カタログ化
● ヘルスチェック
● DNSとHTTPインターフェース
● ロードバランサーとの連携
Private
Cloud
Web PaymentDB Service 1
Service 2
Analytics
Payment
Payment
Payment
Service 2
Service 1Web
Catalog

Consul Service Discovery
Service
Discovery
Private
Cloud
Service 2
Analytics
Payment
Payment
Payment
Service 2
Service 1Web
Catalog
app1.service.consuldb.service.consul web.service.consul analytics.service.consul payment.service.consul
Consul DNS
● サービスの登録・カタログ化
● DNSとHTTPインターフェース
● ヘルスチェック
● ロードバランサーとの連携

Consul Service Segmentation
Private
Cloud
Service 2
Analytics
Payment
Payment
Payment
Service 2
Service 1Web
Service
Segmentation
▪ サービス間のAuthorization
▪ サイドカープロキシ
▪ mTLSコネクション
Intention

Consul Service Segmentation
Private
Cloud
Service 2
Analytics
Payment
Payment
Payment
Service 2
Service 1Web
Service
Segmentation
▪ サービス間のAuthorization
▪ サイドカープロキシ
▪ mTLSコネクション
$ consul intention create -deny ‘*’ payment
Created: ‘*’ => payment (deny)
$ consul intention create -allow web app1
Created: web => app1 (allow)
$ consul intention create -allow web db
Created: web => db (allow)
Intention
Intention

Consul Service Configuration
Private
Cloud
Service 2
Analytics
Payment
Payment
Payment
Service 2
Service 1Web
K/V
● K/Vストアで設定を保管
● リアルタイムでの設定変更
○ 設定ファイル / 環境変数
● サービスのリロードやリスタートを実行
● イベント・ドリブンな構成変更
Service
Configuration

Consul Service Configuration
Private
Cloud
Service 2
Analytics
Payment
Payment
Payment
Service 2
Service 1Web
K/V
● K/Vストアで設定を保管
● リアルタイムでの設定変更
○ 設定ファイル / 環境変数
● サービスのリロードやリスタートを実行
● イベント・ドリブンな構成変更
Service
Configuration
Config Env Secret

Consul 1 slide
Service-basedのネットワーキングを中央管理する
50k+
Used at scale with
50k+ agents
1M+
Monthly D/Ls
Service registry & health monitoring
ヘルスチェックを含めたリアルタイムなサービスカタログの提供
Network middleware automation
ダイナミックに変化するサービスをミドルウェアへ反映
Zero trust network with service mesh
サイドカープロキシによるIdentityベースのセキュアな通信
Trusted by:

s
22
Run

Nomad: Workload orchestration
Private
Cloud
Lamda GPUDB Java K8s
Python C# Spark
専用プラットフォーム　　→　　様々なプラットフォーム

What is Nomad?
24
● Workload orchestrator
○ 様々なワークロードのデプロイとマネージメント
● Go言語で開発されたSingle binary
○ 容易にNomadクラスタを構築
● Infrastructure-as-code
○ Developerによる宣言的なデプロイの記述
● Hashicorp Ecosystem
○ Service discoveryのためにConsulと連携
○ シークレット管理のために Vaultと連携

Nomadができること
25
● Container Orchestration + Scheduler
○ First-class Docker workflow + Consul/Vault
● Legacy Application Deployment
○ Legacy/JARs/OS command/etc
● Batch processing workloads
○ ハイパフォーマンス＋スケーラブルな Batch処理の実行
○ GPU container, Apache Spark
● multi-region/multi-cloud federated deployments
○ どこへでもデプロイ（ Bare metal/VMware/OpenStack/AWS/Azure/etc)

Copyright © 2017 HashiCorp 26
ユーザー
Nomad
Servers
JobをSubmit
Nomad
Clients
AppのDeploy・Update
Bin
Packing
様々なアプリケーション - Run

Task
Task Driver
27
Job
Job Group Task
Docker
Rkt
Exec
Java
Device plugin
Group
Task
Task
TaskTask
Group
Task
TaskTask
● 各Jobファイルに一つのJob定義
● Jobは複数のGroupを定義可能
● Groupには複数のTaskを定義可能
○ Group化されたTaskは一つのマシンに集約される
● 各TaskはTask Driverによる処理を行う
○ Task同士のDependencyも指定可能
Community

job "my_job" {
datacenters = ["us-west-1", “us-east-1"]
type = "service"
group "web" {
count = 5
task "frontend" {
driver = "docker"
config { image = "hashicorp/web-frontend" }
resources {
cpu = 500 # MHz
memory = 128 # MB
network {
mbits = 100
}
}
Declarative Job
Specification

Nomadには３つのSchedulerがある
▪ Service
– Long running
– OperatorがStopするまでRunning状態を維持する
– TaskがFailした場合、RestartやRescheduleが可能
▪ Batch
– Short lived
– Taskが終了するまで実行（Success）
– TaskがFailした場合、RestartやRescheduleが可能
– ParameterizedやPeriodicなど
▪ System
– 全てのClient上で実行するTask（Taskの要求を満たしているClientのみ）
– OperatorがStopするか、PreemptedされるまでRunning状態を維持
– TaskがFailした場合、Restartが可能
– 新たなClientがJoinした際にも起動
– ログ収集や監視系のTaskに便利（fluentdやdatadogdなど）
29
Job Scheduler

Scheduler
● Schedulingとは、適切なAllocationを決定するプロセスで、Evaluationの一環として行われる。
● Allocationは、ジョブ内の一連のタスクを特定のノードで実行するための宣言
● Evaluationは、外部の状態が変化するたびに作成される。
● Schedulerは、Evaluationを処理してAllocationのPlanを生成
● Planとは、Create、Update、EvictなどのAllocationのセット
https://www.nomadproject.io/docs/internals/scheduling/scheduling

Single Binary - Client/Server Deployment
Topology
31
▪ シングルバイナリ
– ClientもしくはServerモードで起動
– Zero Dependency
▪ サーバーがタスクスケジューリングのControl Planeを担う
▪ サーバーはRAFTにより、Leader electionやReplicationを行う
– Raft algorithmはConcensus Protocolを利用
▪ クラスタ管理はLocal/WAN Gossipプロトコルを利用

Client
DC1
Client
DC1
Multi-region Deployment Topology
32
▪ 複数のRegion間をWAN Gossipにより管理
▪ 各Region内で複数のデータセンターを管理
Client
DC1
Client
DC1
Client
DC1
Client
DC2
Client
DC1
Client
DC1
Client
DC3
Client
DC1
Client
DC1
Client
DC4

Nomad 1 slide
Cloud operating modelにおいてアプリケーションの Orchestrationを担う
Container Orchestration
デプロイ、状態管理、スケーリング、ビンパッキング
Legacy Application Orchestration
レガシーアプリの疑似コンテナ化
Batch Workload Orchestration
High performance computing (ML, AI data science, etc)
Trusted by:
4.7k+
GitHub Stars
20k+
Monthly D/Ls

s
34
Consul + Nomad
Service discovery
Demo

Consul cluster
Demo: Service Discovery
デプロイされたサービスを瞬時に利用可能へ
Simple HTTP Simple HTTP
1. アプリケーションのデプロイ
● デプロイ
● オートヒーリング
● アップデート
2. サービスの登録
Other app
3. サービスディスカバリ（DNS)
4. サービスの呼び出し

s
36
Consul + Nomad
Service Mesh
Demo

Demo: サービス同士をセキュアにコネクトする
DC2DC1
Dashboard
localhost:9002
Counting
localhost:9001
暗号化
▪ Intentions
▪ Certificate
Management
▪ ACLs
サイドカー
プロキシ
サイドカー
プロキシ

Demo: サービス同士をセキュアにコネクトする
DC2DC1
Dashboard
localhost:9002
Counting
localhost:9001
暗号化
▪ Intentions
▪ Certificate
Management
▪ ACLs
サイドカー
プロキシ
サイドカー
プロキシ
Deploy Deploy
設定設定

s
39
Consul + Nomad
L7 routing with Envoy
Demo

L7 Traﬃc management
Connect Proxyによって
L7ベースの細かな通信の
制御が可能
Canaryテスト、A/Bテスト、
Blue/Greenデプロイメントなど
様々なシナリオに対応
条件に合わせて細かに通
信の重み付けが可能
SplitterによりターゲットのAPIへ
の通信の重み付けをおこない段
階的にAPIのデプロイが可能
ヘルスチェックと併用し
Failoverシナリオに対応
Consulのヘルスチェック機能によ
り、Failover時の対応方法を細か
に制御

L7 Traﬃc management - Stages
● Routingのルールでリク
エストの送信先を決定
● Path
● HTTP header
● Parameter
● 複数のバージョンにま
たがるAPIへの通信の
重み付けを設定
● API A:B = 50%:50%
● API A:B = 10%:90%
● 複数のAPIの定義
● フィルタリングにより細
かなサービスディスカ
バリ

まとめ
42
● サービスディスカバリを簡単に
● サービスメッシュを簡単に
● サービスルーティングを簡単に
● デプロイを簡単に
● アップデートを簡単に
● オートヒーリングを簡単に

ConsulとNomadで簡単クッキング

More Related Content

What's hot

Similar to ConsulとNomadで簡単クッキング

More from Masatomo Ito

ConsulとNomadで簡単クッキング