Download to read offline
JAWS-UG コンテナ支部 #19
- 1. స৬ձٞSRE meets EKS స৬ձٞͷӡ༻ͰಘΒΕͨEKSͷݟΛେެ։ JAWS-UGίϯςφࢧ෦#19 ࣜגձࣾϦϒηϯε స৬ձٞࣄۀ෦ SRE ࢁ㟒 ཧ߂ a.k.a ͔͍ͨͳ͔ (@katainaka0503)
- 2.
- 3. ΞδΣϯμ • ࣗݾհ • EKSԽҎલͷస৬ձٞͷECSج൫ͷ՝ •EKSҠߦΛͲ͏ਐΊ͔ͨ • స৬ձٞͷEKSج൫ • ECS/EKSͷϝϦσϝ • ·ͱΊ
- 4.
- 5. ࣗݾհ • ࢁ㟒ཧ߂ a.k.a͔͍ͨͳ͔ • @katainaka0503 (Twitter, GitHub) • ࣜגձࣾϦϒηϯε స৬ձٞࣄۀ෦ SREνʔϜ
- 6.
- 7.
- 8. EKSԽҎલͷస৬ձٞͷECSج൫ͷ՝ • SRE͕͍ͳ͍ͱ৽͍͠αʔϏεΛσϓϩΠͰ͖ͳ͍ • ECSͷσϓϩΠπʔϧ͕ಠࣗ •ECSɾEC2ɾLambdaͰ࡞ΒΕͨγεςϜ͕ࠞࡏ • ΫϨσϯγϟϧͷѻ͍ํ͕ηΩϡϦςΟ্͕͋Δ • ʑ
- 9.
- 10.
- 11. ϚΠΫϩαʔϏε͝ͱͷΓସ͑ • ϚΠΫϩαʔϏε͝ͱʹΓସ͑Δ͜ͱͰোܘΛ࠷খԽ • ALB+ ECSΛࢦ͍ͯ͠ΔRoute53ͷϨίʔυΛ ExternalDNSԼʹҠ͠Route53ͰΓସ͑ • Γ͠Route53ϨίʔυΛͱʹ͢
- 13. ϑΣʔζΛ͚ͯਐతʹ͢͢ΊΔ • EKSҠߦ࡞ۀͷશମ૾Λఆٛ͠ɺ ϑΣʔζΛ͚ͯண࣮ʹਐΊΔ • KubernetesΤίγεςϜͷେͳબࢶʹѹ͞Ε Ҡߦ͕ਐ·ͳ͘ͳΔ͜ͱΛ͙ •ϑΣʔζ͝ͱʹ࠷ݶຬ͍ͨͯ͠Δ͖ঢ়ଶΛҙࣝ͠ͳ͕Β ண࣮ʹEKSج൫ߏஙΛਐΊͨ
- 15. ։ൃऀͷࣝҠస • ΞϓϦέʔγϣϯ։ൃऀΛରʹͨ͠ษڧձΛ։࠵ • ࿅शΛଟΊʹ࣮͠ࡍʹखΛಈ͔ͯ͠Β͑ΔΑ͏ʹ •ϞϒϓϩάϥϛϯάͰࣜܗSREࢦಋͷݩɺ ࣮ࡍʹ։ൃ͍ͯ͠ΔϚΠΫϩαʔϏεΛEKSԽ • ษڧձͰͷࣝΛ࣮ࡍͷۀͱଓ͢Δ
- 16.
- 17.
- 18. CI/CD • FluxΛ࠾༻ • GitOpsʹΑΔCI/CDΛ࣮ݱ •KubernetesϦϙδτϦͷઃఆ༰ΛGitHubͱಉظ • ৽͍͠ΠϝʔδΛσϓϩΠͨ͠ΒGitHubʹΠϝʔδΛॻ͖͢ • νϟοτϘοτͱ࿈ͨ͠ܞϒϥϯνσϓϩΠͷඋ
- 19. CI/CD • ৽͍͠ΠϝʔδͷλάͰεςʔδϯάΛࣗಈͰߋ৽ • ಛఆͷϒϥϯν͔Β࡞ΒΕͨΠϝʔδΛ ChatOpsͰεςʔδϯάʹσϓϩΠ •ຊ൪ʹChatOpsͰ৽͍͠ΠϝʔδΛσϓϩΠ
- 21. ิ: ͳͥFluxΛબΜ͔ͩ • ʮYAMLͷߋ৽ʯͱʮ৽͍͠ΠϝʔδͷσϓϩΠʯͷ ̎ͭͷϢʔεέʔεͷ྆ํʹରԠͰ͖ΔͨΊ •৽͍͠ΠϝʔδͷσϓϩΠʹ͍ڧπʔϧ͕͋·Γͳͦ͞͏ͩͬͨ • fluxctlΛ͏ͱಛఆϒϥϯνͷΠϝʔδΛΞυϗοΫʹσϓϩΠ͢Δ͜ͱʹରԠͰ͖Δ • ݸਓతʹɺࠓ͔ΒΈ͢ͳΒArgoCDʹArgoCD Image Updater͕͋ͬͨΓɺ PipeCD༗ͦ͏ͳͨΊFluxબͳ͍͔ • ҆ఆͨ͠GUI͕͋Δͷ ։ൃऀʹৗతʹKubernetesΫϥελΛ৮ͬͯΒ͏্Ͱັྗత
- 22.
- 23. ࢹ • DatadogͰࢹ • DeploymentCronJobͷঢ়ଶΛࢹ •AWS Load Balancer ControllerɺΧελϜγεςϜίϯϙʔ ωϯτϝτϦΫεΛࢹ • յΕͨઃఆΛσϓϩΠͨ͠ΒଈΞϥʔτ
- 26. ϩά • Grafana LokiΛ༻ •S3Λσʔλอଘઌʹ͢Δ • CloudWatch LogsDatadog Logsʹൺͯஈ͕͍҆ • Podͷϝλσʔλ(ϥϕϧ)͔Βϩάʹϝλσʔλ༩
- 29.
- 30. ࣗಈεέʔϦϯά • Cluster AutoscalerͰϊʔυΛࣗಈͰ૿ݮ •Horizontal Pod AutoscalerͰPodΛࣗಈͰ૿ݮ
- 31.
- 32. ͦͷଞ • ΫϨσϯγϟϧཧ: SealedSecret •SealedSecretͷ伴ͷόοΫΞοϓ: Velero • ConfigMap, SealedSecretߋ৽࣌ͷrestart: Reloader • όονॲཧ: Argo Workflow • AWSͷϦιʔεཧ: External DNS, AWS Load Balancer Controller
- 33.
- 34.
- 35. ECSͰEKSͰͰ͖Δ͜ͱ • ίϯςφΦʔέετϨʔγϣϯʹඞཁͳػೳͷ΄ͱΜͲ • Fargateͷར༻ •ίϯςφʹೖͬͯσόοά • ECS Exec • αʔϏεϝογϡͷར༻
- 36.
- 37. EKSͷϝϦοτ • γϯϓϧͳίϯϙʔωϯτΛΈ߹Θͤͯج൫Λθϩ͔Β࡞Δͷʹ͘ • ʢ࣭ͷߴ͍ج൫͕࡞ΕΕʣ ΞϓϦέʔγϣϯ։ൃऀཱ͕ࣗͯ͠৽αʔϏεͷσϓϩΠʹऔΓΊΔ •ͨͩ͠ɺΈ߹ΘͤΔίϯϙʔωϯτ͕૿͑Δͨͼ ࢹΞοϓάϨʔυͷର͕૿͑Δ͜ͱҙ͖ࣝ͢ • KubernetesΤίγεςϜͷࢿ࢈Λར༻Մೳ • GitOpsͷ࣮ݱͷ༰қ͞
- 38. స৬ձٞͰڗड͍ͯ͠ΔϝϦοτͷྫ • ։ൃऀϑϨϯυϦʔͳUXͷπʔϧͷͨΊɺ ࣝҠసΛ͔ͬ͠Γߦ͑ΞϓϦέʔγϣϯ։ൃऀ͕ࣗతʹಈ͖͍͢ • ArgoΛ༻ͯ͠όονॲཧؒͷґଘؔΛཧ͢Δ࡞ ͕ۀ ΞϓϦέʔγϣϯ։ൃऀओಋͰਐߦத •GitOpsʹΑΔӡ༻ίετͷݮ • PRҰൃͰϝϯςφϯεϞʔυʹ
- 39.
- 40. ECSͷϝϦοτ • ඞཁेͳίϯςφج൫Λ͔ΜͨΜʹߏஙͰ͖Δ • CopilotͷศརͳσϓϩΠπʔϧ͕͋Δ •ΞοϓάϨʔυ͕ࣗಈ • Ϋϥελࣗମແྉ
- 41.
- 42. PodΛ҆શʹऴྃ͢Δ • ΞϓϦέʔγϣϯΛSIGTERMड৴࣌ʹऴྃ͢ΔΑ͏ʹ࣮ (ECSͰΔ͖) • τϥϑΟοΫΛड͚͚ΔPodͷpreStopϑοΫͰsleep͢Δ •Service͔ΒͷΤϯυϙΠϯτͷআ֎ͱPodͷऴྃॲཧඇಉͰظਐ ΉͨΊɺService͔ΒͷΤϯυϙΠϯτͷআ֎͕࣮֬ʹऴΘ͔ͬͯΒ PodͷऴྃॲཧΛ͢͢ΊΔ
- 43. STSͷϦʔδϣφϧΤϯυϙΠϯτΛ͏ • EKSͷIAM Rolefor Service AccountsͰ IAMͷݶݖΛಘΔͨΊʹk8sͷID TokenΛ AWSͷҰ࣌ΫϨσϯγϟϧʹҾ͖͍ͯ͑Δ (STS:AssumeRoleWithWebIdentity) • https://b.hatena.ne.jp/entry/s/ katainaka0503.hatenablog.com/entry/2019/12/07/091737
- 44.
- 45. STSͷϦʔδϣφϧΤϯυϙΠϯτΛ͏ • Pod͔ΒAWS SDKΛ͏߹ɺ STSͷϦʔδϣφϧΤϯυϙΠϯτΛ͏ઃఆΛೖΕΔ͜ͱ •`AWS_STS_REGIONAL_ENDPOINTS=regional` • SDKʹΑͬͯσϑΥϧτͰ ϦʔδϣφϧΤϯυϙΠϯτʹଓ
- 46. γεςϜίϯϙʔωϯτͷࢹ • AWS LoadBalancer ControllerExternalDNS ઃఆແ͠ͰͨͬޡઃఆʹΑΔॲཧͷࣦഊͷࢹΛߦ͑ͳ͍ • ʮYAMLΛमਖ਼ͨ͠ͷͷຊ൪ʹڥΤϥʔͰద༻͞Ε͍ͯͳ͔ͬͨʂʯ ͱ͍͏έʔε͕ൃੜ͢ΔՄೳੑ • AWS Load Balancer Controllerͷ߹ɺ KubernetesʹIngress͓Αͼannotationͱͯ͠ઃఆΛొ => ίϯτϩʔϥ͕ղऍ ͯ͠ALBͷઃఆΛมߋͱ͍͏ྲྀΕͳͷͰɺ ొ࣌ʹෆਖ਼ͳ͕͔Εʹ͍͘͜ͱʹ
- 47. γεςϜίϯϙʔωϯτͷࢹ • γεςϜίϯϙʔωϯτͷPrometheusΤϯυϙΠϯτ͔Β ϝτϦΫεΛऔಘ͠ɺΤϥʔൃੜ࣌ʹ௨͕ඈͿΑ͏ʹ • Datadogͷ߹Autodiscoveryͱ͍͏ػೳ͕͑ΔͷͰγες ϜίϯϙʔωϯτͷPodʹΞϊςʔγϣϯΛ͚Δ͚ͩͰϝτ ϦΫε͕औಘͰ͖Δ
- 48.
- 49. ·ͱΊ • EKSΫϥελΛߏங͢Δͷʹ࿑ྗ͕͔͔Δ͕ɺ Γ͖ͬͨͱ͖ͷϝϦοτେ͖͍ • γεςϜͷੑ࣭։ൃ৫ͷঢ়͔گΒECS͔EKS͔Λஅ͢Δ •EKSԽΑΓઌʹࢄτϨʔγϯά “͋ͨΓ·͑” Λ͑Δ ͱ͍͏ઓུݸਓతʹΞϦ