株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game & Apps

1. GKEとCloud Spannerが躍動するドラゴンクエストウォーク

2. 51 自己紹介 ● 邵正 / Zheng Shao @axot ● 株式会社コロプラ（2015年新卒入社） ○ インフラチーム所属 ○ 主に大規模アーキテクチャ設計担当

4. 53 1000万DL 

7. 56 GKEシングルクラスタ課題 ● Master Nodeに過負荷 ● Spinnaker Deploy時間が長い ● 動作しないコンポーネント

8. 57 ● Master Nodeに過負荷 ● Spinnaker Deploy時間が長い ● 動作しないコンポーネント GKEマルチクラスタで解決シングルクラスタ場合マルチクラスタ場合オブジェクト数: 大オブジェクト数: 小

9. 58 GKEマルチクラスタ導入 ● トラフィック制御 ● クラスタ間通信 ● モニタリング FE FE FE BE Cloud Spanner

10. 59 トラフィック制御 Frontend Backend 33% 33% 33% ?

11. 60 トラフィック制御 Frontend Canary 1% HAProxy Frontend Backend 33% 33% 33%

12. 61 GKE Cluster クラスタ内通信 Application Kubernetes Engine RabbitMQ™ GKE/Kubernetes RabbitMQ Service ● 通常タイトルにおける構成(クラスタ内通信) KubeDNS GKE/Kubernetes

13. 62 GKE Cluster クラスタ内通信 Application Kubernetes Engine RabbitMQ™ GKE/Kubernetes RabbitMQ Service ● 通常タイトルにおける構成(クラスタ内通信) KubeDNS GKE/Kubernetes 1. rabbitmq.ns.svc.cluster.local.

14. 63 GKE Cluster クラスタ内通信 Application Kubernetes Engine RabbitMQ™ GKE/Kubernetes RabbitMQ Service ● 通常タイトルにおける構成(クラスタ内通信) KubeDNS GKE/Kubernetes 10.10.0.1

15. 64 GKE Cluster クラスタ内通信 Application Kubernetes Engine RabbitMQ™ GKE/Kubernetes RabbitMQ Service ● 通常タイトルにおける構成(クラスタ内通信) KubeDNS GKE/Kubernetes 10.0.0.110.10.0.1

16. 65 クラスタ間通信 Frontend Cluster Backend Cluster Application GKE/Kubernetes RabbitMQ™ GKE/Kubernetes RabbitMQ Service rabbitmq.ns.svc.cluster.local. ● クラスタにおける通信 ???

17. 66 クラスタ間通信 Frontend Cluster Backend Cluster RabbitMQ™ GKE/Kubernetes CoreDNS GKE/Kubernetes Cloud Load Balancing Local DNS Cache GKE/Kubernetes RabbitMQ Service Node kube-system https://github.com/colopl/k8s-local-dns https://github.com/colopl/expose-kubedns ● クラスタにおける通信 Application GKE/Kubernetes

20. 69 クラスタ間通信 Frontend Cluster Backend Cluster RabbitMQ™ GKE/Kubernetes CoreDNS GKE/Kubernetes Cloud Load Balancing Local DNS Cache GKE/Kubernetes RabbitMQ Service rabbitmq.ns.svc.cluster.local. Node kube-system https://github.com/colopl/k8s-local-dns https://github.com/colopl/expose-kubedns ● クラスタにおける通信 Application GKE/Kubernetes

21. 70 クラスタ間通信 Frontend Cluster Backend Cluster RabbitMQ™ GKE/Kubernetes CoreDNS GKE/Kubernetes Cloud Load Balancing Local DNS Cache GKE/Kubernetes Node RabbitMQ Service kube-system https://github.com/colopl/k8s-local-dns https://github.com/colopl/expose-kubedns ● クラスタにおける通信 Application GKE/Kubernetes 10.10.0.1 ?

22. 71 クラスタ間通信 Frontend Cluster Backend Cluster RabbitMQ™ GKE/Kubernetes CoreDNS GKE/Kubernetes Cloud Load Balancing Local DNS Cache GKE/Kubernetes Node RabbitMQ Headless Service kube-system 10.0.0.1 https://github.com/colopl/k8s-local-dns https://github.com/colopl/expose-kubedns ● クラスタにおける通信 Application GKE/Kubernetes

23. 72 通常タイトルにおける構成 DQウォークにおける構成 Monitoring スケーリング(VictoriaMetrics) … Grafana Prometheus VictoriaMetrics Cluster Mode

24. 73 ● GKEマルチクラスタ採用 ● HAProxyによるトラフィック制御を実現 ● Custom DNSによるクラスタ間通信 ● Victoria Metricsを使ったモニタリングシステム GKEまとめ

25. Cloud Spannerにおける急激な高負荷へ対策法

26. 75 自己紹介 ● 粟田大樹 / Awata Hiroki ● 株式会社コロプラ（2016年新卒入社） ○ サーバー基盤チーム所属 ○ 主に Cloud Spanner まわり担当

27. 76 Cloud Spanner と ● Google Cloud Platform にある DB サービス  ● SQL が使えるに KVS ようなスケール性能  ● ダウンタイムなしでスケール可能

29. 78 ● ゲームサーバー急激に高い負荷が来ます  ○ リリース直後  ○ イベント開始直後  ○ ...  ● Cloud Spannerに急激に高い負荷をかけてみよう  ▶ ガンガンいこうぜ

30. 79 ▼ Cloud Spanner レイテンシ (99 perecentile)

31. 80 Split Node 急激な負荷!!!! Split分割が追いつかない〜〜 SplitSplitSplit Split そ結果レイテンシ悪化...

32. 81 Splitと？ Split Split Split Split …0 ~ 2 Node Node Node 3 ~ 5 7 ~ 9 a ~ c Split Key 範囲で分割 …

33. 82 ● Splitが増える条件 ○ Load-based split（負荷トリガー） ○ Size-based split（サイズ増加トリガー）

34. 83 Splitが増える条件 [1] Load-based split Split Split Split Split …0 ~ 2 Node Node Node 3 ~ 5 7 ~ 9 a ~ c 0 Keyへアクセスが多い… …

35. 84 Splitが増える条件 [1] Load-based split Split Split Split Split …1~2 Node Node Node 3 ~ 5 7 ~ 9 a ~ c … Split 0 0 Keyを分離新規Splitに

36. 85 Splitが増える条件 [2] Size-based split Split Split Split Split …0 ~ 2 Node Node Node 3 ~ 5 7 ~ 9 a ~ c 0 Key データ量が多い… …

37. 86 Splitが増える条件 [2] Size-based split Split Split Split Split …1~2 Node Node Node 3 ~ 5 7 ~ 9 a ~ c … Split 0 0 Keyを分離新規Splitに

38. 87 Split 事前にwarm-up Split Split Split じわじわ… warm-up後圧倒的安定感!!! Node

39. 88 1. warm-up 2. 負荷試験 3. リリースリリースまで流れレイテンシ

40. 89 Cloud Spanner Warm-up 手法 ● ダミーデータをINSERT, SELECT ● GKEに乗せて並列化 … INSERT, SELECT

41. 90 $ kubectl scale deployment ... Cloud Spanner Console 負荷を上げて... Cloud Spanner 様子みて… ノード数を調節して… 手動でwarm-up...HPA(Human Pod AutoScaler)!!!

42. 91 DQウォーク Cloud Spanner 自動warm-up計画

43. 92 … 2. Podスケール INSERT, SELECT 1. Cloud Spanner CPUを監視 3. 状況報告

44. 93 Cloud Spanner ノード数を段階的に上げる波ように負荷を上下させるノード数 QPS

45. 94 1. warm-up 2. 負荷試験 3. リリースリリースまで流れ warm-upされているか確認

46. 95 1. warm-up 2. 負荷試験 3. リリースダミーデータ削除ここでwarm-upと負荷試験で入れたデータを消したい場合

47. 96 Split Node Split Split Split DROP DATABASE していけない!!! DROP DATABASE するとSplitも全部消えちゃう Splitを残したまま行だけを消す (DELETE)

48. 97 1. warm-up 2. 負荷試験 3. リリース無事リリース

49. 98 リリース直後ピークを乗り切ったら… サービスを継続したまま柔軟にスケール可能！ Cloud Spanner 強み！ノード数

50. 99 Cloud Spanner負荷対策まとめ ● まっさらなCloud Spanner 急激な高負荷に弱い ● Latencyが悪化する場合、事前に温めておく ● 温めたあとデータを消す場合行み消す ● ピークを乗り切ったら柔軟にスケール可能

51. 全体まとめ

52. 101 まとめ ● GKEマルチクラスタ ○ HAProxyを使ったトラフィック制御 ○ Customsize DNSでクラスタ間通信 ○ Victoria Metricsによるモニタリング基盤 ● Cloud Spanner ○ 新しいCloud Spanner 事前に温める ○ 温めると急激な負荷がきても大丈夫！

53. 102 We are hiring! ● コロプラでエンジニアを積極採用中です!! ○ Cloud Spanner, GKE を使ったゲームや基盤開発 ○ 他にもいろいろ...! コロプラ　採用検索 ▼詳しく

株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game & Apps

You are reading a preview.

Check these out next

株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game & Apps

More Related Content

More from Google Cloud Platform - Japan

Featured

Related Books

Related Audiobooks

株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game & Apps