Session Affinity 問題をテーマに学ぼう

1. Ingress on Azure Kubernetes Service
Session Affinity問題をテーマに学ぼう
真壁 徹
日本マイクロソフト株式会社
2021/6

2. お伝えしたいこと
Session Affinity そろそろ やめましょう
それでもAKSで、どうしても使いたい場合、手はあります
AKSでのIngressを学ぶのに良いテーマなので、整理してみましょう

3. 章立て
Ingressとは何か
Azure Kubernetes Service(AKS)のIngress 代表的な選択肢
AKS Ingress での Session Affinity 実現方法と懸念事項

4. Ingressとは何か
Kubernetesの

5. Ingressとは何か
公式ドキュメントより
クラスター内のServiceに対する外
部からのアクセス(主にHTTP)を管
理するAPIオブジェクトです。
Ingressは負荷分散、SSL終端、名
前ベースの仮想ホスティングの機
能を提供します。
Ingress | Kubernetes

6. Ingressを使用する上での前提条件
公式ドキュメントより
Ingressを提供するためにはIngress
コントローラーが必要です。
Ingressリソースを作成するのみで
は何の効果もありません。
ingress-nginxのようなIngressコン
トローラーのデプロイが必要な場
合があります。いくつかのIngress
コントローラーの中から選択して
ください。
Ingress | Kubernetes
Ingress
Controller
別途必要

7. 多様なIngressコントローラー
公式ドキュメントより
プロジェクトとしてのKubernetes
は現在、AWS、GCE、およびnginx
のIngressコントローラーをサポー
ト・保守しています。
(左の一覧はその他でベンダー、コ
ミュニティが開発しているコント
ローラー)
Ingress | Kubernetes

8. 実装イメージ (NGINX)
コントローラー、データプレーン処理ともにKubernetesのPodとして動く
Ingress
Controller
NGINX
API Server
NGINX Ingress
Controller Pod
KubernetesのIngressやService
APIから、ルーティングルール
やEndpoint(PodのIPアドレス)な
どを継続的に取得する
Kubernetes APIから取得
した情報をもとに、
NGINXの構成を作成、維
持する
データプレーン処理は
NGINXが行う データプレーンとしての
Serviceは利用せず、NGINX
は直接Pod(Endpoint)にトラ
フィックを送る

9. 実装イメージ (Azure Application Gateway)
コントローラーはKubernetesのPod、データプレーン処理はクラスターの外で動く
Ingress
Controller
App GW
API Server
App GW Ingress
Controller Pod
データプレーン処理は
App GWが行う
Azure API
KubernetesのIngressやService
APIから、ルーティングルール
やEndpoint(PodのIPアドレス)な
どを継続的に取得する
Kubernetes APIから取得
した情報をもとに、App
GWの構成をAzure API経
由で作成、維持する
データプレーンとしての
Serviceは利用せず、App
GWは直接Pod(Endpoint)に
トラフィックを送る

10. [補足] Gateway の足音
Evolving Kubernetes networking with the Gateway API | Kubernetes
コントローラーの多様化による負
の影響が目立ってきた(似て非なる
CRD、annotation頼り とか)
その他の改善を含めた、Gateway
プロジェクトが本格化しつつある
広く普及したIngressがすぐに置き
換わるとは考えにくいが、動向は
要注視

11. Ingress 代表的な選択肢
AKSでの

12. 以降の図解では簡素化のため
コントローラーを図から省き
データプレーン処理のみとします

13. 代表的な選択肢
App GW
Pod
Pod
App GW NGINX
Pod
Pod
NGINX
Pod
Pod
案1 App GW Ingress Controller 案2 NGINX Ingress Controller 案3 NGINX Ingress Controller &
App GW Frontend
• データプレーン処理をクラス
ター外にオフロードできる
• 豊富な実績と情報量
• 組み合わせをサポートする製
品、OSSが多い
• 例: Canary release、A/B
Testing、Blue/Green
deploymentを実現する
Flagger
• 案1、2のいいとこどり
• 組織で役割分担がしやすい
• 例: インターネットとの境界
になるApp GWは、ネット
ワークチームが独立して運用
したい

14. Azure 公式ドキュメントでのサンプル
Azure Kubernetes Service (AKS) クラスターのベースライン アーキテクチャ - Azure
Architecture Center | Microsoft Docs
NGINXがtraefikに変わっているが、
案3のパターン
大きな組織で役割分担をしている
場合に好まれるパターン
インターネット側/境界を専門家に
任せることで、AKS担当チームの
リスク軽減だけでなく、自由度や
裁量も増す

15. Session Affinity
実現方法と制約
AKS Ingressでの

16. Session Affinityとは
“Sticky”と呼ばれることもある
Client
Load Balancer/
Gateway / Proxy
Server side
App
Server side
App
Session
cookieや送受信IPアドレス/ポート番
号などを使って、できる限り同じア
プリケーションインスタンスにトラ
フィックを送る仕組み
Client
Session

17. おすすめしません
できれば やめましょう
Webシステムの中には、“スティッキーセッション”に頼るものがある
– これはユーザーのセッションデータをアプリケーションプロセスの
メモリにキャッシュし、同じ訪問者からの将来のリクエストが同じプ
ロセスに送られることを期待するものである。スティッキーセッショ
ンはTwelve-Factorに違反しており、決して使ったり頼ったりしてはな
らない。セッション状態のデータは、有効期限を持つデータストア
（例：Memcached や Redis）に格納すべきである。
The Twelve-Factor App VI. プロセス より

18. おすすめしない理由
Kubernetesでは特に
Client
Load Balancer/
Gateway / Proxy
Server side
App Pod
Server side
App Pod
Session
Client
Session
KubernetesのPodは、アプリの更新、リソース不足による排出、ノードメンテナンスなど、様々な
理由で再作成されます
graceful shutdownを実現する仕組みはありますが、そのタイミングでセッション情報をPod外部に
退避させるようなアプリを作れるのであれば、はじめからデータストアに持ったほうがよいです
Server side
App Pod
すぅーっ
わたくし
ドロンさせて
いただきます
Podのヤツ また突然
いなくなったよ…

19. それでもSession Affinityしたい場合
仕組みを理解して使いましょう
(しつこいですが)おすすめしましせん
ですが、前述の3案ともにAffinityを効かせる仕組みはあります
それぞれ仕組みを見ていきましょう

20. Node
案1 Azure Application Gateway Ingress Controller
Client
Azure Application Gateway
Pod
Pod
Instance
Instance
LB
cookie
Application
Gatewayがセット
したcookieを保持
Node
どのインスタンスで処理さ
れても、cookieで接続バッ
クエンドが分かる
• Application Gatewayはバックエン
ド情報としてPodのIPアドレス
(Endpoint)を持つため、送信先を
判断できる
• バックエンドIPをもとにしたハッ
シュを生成し、cookieとしてレス
ポンスにセット

21. Application Gateway Affinity仕様
公式ドキュメントより
Azure Application Gateway では、ユーザー セッションを維持するた
めに、ゲートウェイで管理される Cookie を使用します。 ユーザーが
最初の要求を Application Gateway に送信すると、セッションの詳細
を含むハッシュ値を使用して、応答にアフィニティ Cookie が設定され
ます。これにより、このアフィニティ Cookie を伝送する後続の要求は、
持続性を維持するために同じバックエンド サーバーにルーティングさ
れるようになります。
Azure Application Gateway の HTTP 設定の構成 | Microsoft Docs

22. apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: guestbook
annotations:
kubernetes.io/ingress.class: azure/application-gateway
appgw.ingress.kubernetes.io/cookie-based-affinity: "true"
spec:
rules:
- http:
paths:
- backend:
serviceName: frontend
servicePort: 80
利用方法
Application Gateway で Cookie ベースのアフィニティを有効にする | Microsoft Docs

23. aksClusterName="<aksClusterName>"
aksResourceGroup="<aksResourceGroup>"
appGatewayName="<appGatewayName>"
appGatewayResourceGroup="<appGatewayResourceGroup>“
nodeResourceGroup=$(az aks show -n $aksClusterName -g $aksResourceGroup -o tsv --query "nodeResourceGroup")
routeTableId=$(az network route-table list -g $nodeResourceGroup --query "[].id | [0]" -o tsv)
appGatewaySubnetId=$(az network application-gateway show -n $appGatewayName -g $appGatewayResourceGroup -o
tsv --query "gatewayIpConfigurations[0].subnet.id")
az network vnet subnet update ¥
--ids $appGatewaySubnetId
--route-table $routeTableId
[補足] kubenetを使う場合
How to setup networking between Application Gateway and AKS
ネットワークプラグインがkubetnetの場合は、Pod
の前に該当Nodeにパケットを届ける必要があるた
め、クラスターサブネットと同じルートテーブル
をApp GWサブネットにも適用
Azure CNIの場合はPodがVNetのIPアドレスを持つ
ため、この作業なしに到達可能
Session Affinity有効化に限りませんが
よく話題になるので

24. Node
案2 NGINX Ingress Controller
Client
Pod
Pod
Azure LB
cookie
NGINXがセットし
たcookieを保持
Node
どのNGINXで処理されても、
cookieで接続Endpointが分か
る
• NGINX Ingress Controllerは
Endpointとサービス名をもとに
したハッシュを生成し、cookie
とする
NGINX
(+ Controller)
NGINX
(+ Controller)

25. apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
annotations:
nginx.ingress.kubernetes.io/affinity: cookie
nginx.ingress.kubernetes.io/affinity-mode: persistent
利用方法
Sticky Sessions - NGINX Ingress Controller (kubernetes.github.io)
既定値は”balanced”で、Pod(Endpoint)が増減
した場合に接続先の見直し、再分散を行う
もしSession Affinityをできる限り維持したい場
合は、”persistent”を指定する

26. --- create_map generates the node hash table
-- @tparam {[string]=number} nodes A table with the node as a key and its weight as a value.
-- @tparam string salt A salt that will be used to generate salted hash keys.
local function create_map(nodes, salt)
local hash_map = {}
for endpoint, _ in pairs(nodes) do
-- obfuscate the endpoint with a shared key to prevent brute force
-- and rainbow table attacks which could reveal internal endpoints
local key = salt .. endpoint
local hash_key = ngx.md5(key)
hash_map[hash_key] = endpoint
end
return hash_map
end
ハッシュ生成コード
ingress-nginx/nodemap.lua

27. Node
案3 NGINX Ingress Controller & App GW Frontend
Client
Pod
Pod
Azure LB
cookie
NGINXがセットし
たcookieを保持
Node
どの経路を通っても、cookie
で接続Endpointが分かる
• NGINX Ingress ControllerはEndpoint
とサービス名をもとにしたハッシュ
を生成し、cookieとする
NGINX
(+ Controller)
NGINX
(+ Controller)
Azure Application Gateway
Instance
Instance
LB
Service Type
LoadBalancer
• App GWのバックエンドはAzure LB
のフロントエンドIPアドレス(1つ)
であるため、Affinity設定は不要

28. まとめ

29. お伝えしたかったこと
Session Affinity そろそろ やめましょう
それでもAKSで、どうしても使いたい場合、cookieを利用します
AKSでのIngressを整理する機会となったのであれば幸いです

30. サンプルコード
Azure CLI & flux GitOps
ToruMakabe/aks-ingress-pattern (github.com)

31. © Copyright Microsoft Corporation. All rights reserved.