Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

시간과비용을갈아넣은 kubernetes

214 views

Published on

짧은 시간안에 적은 비용으로 aws 에서 kubernetes 환경을 구성한 내용입니다

Published in: Technology
  • Be the first to comment

  • Be the first to like this

시간과비용을갈아넣은 kubernetes

  1. 1. 최소한의 비용과 시간을 갈아넣어 만든 Kubernetes + CI/CD + Real-time streaming pipeline + OLAP + Monitoring. by 독고혁
  2. 2. 01 02 03 04 05 06 00 CONTENTS Introduction K8s + kops CI/CD Real-time streaming data processing OLAP Monitoring Endgame (이젠 가망이 없어)
  3. 3. 빅데이터 가공 솔루션 (주)빅인사이트는 AI 기반 데이터분석 툴, 빅데이터 처리 기술을 자체 개발하여 국내 우수 스타트업부터 대형 기업들에게 공급합니다. 데이터 가공, 데이터분석 솔루션, SI 사업분야별로 전문가들이 고객사 맞춤 컨설팅 및 개발을 원스탑으로 제공하며 국내 최고의 AI 기반 데이 터 가공, 데이터 분석 기업으로 발돋움 하고 있습니다. Who we areIntro k8s+kops CI/CD Real-time OLAP Monitoring Endgame
  4. 4. What we doIntro k8s+kops CI/CD Real-time OLAP Monitoring Endgame 기존의 웹 분석 도구와 무엇이 다른가요? bigin 애널리틱스는 이벤트의 수집을 방문, 사용자 단위로 수집하여 사용자의 방문 당 행동 이벤트의 수준까지 측정 수준을 다르 게 하여 다차원 분석이 가능한 이벤트 기반 분석 인사이트 솔루션 입니다.
  5. 5. 분석 결과의 실제 사용자 목록을 제공합니다.Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame I•STACKSHARE•U
  6. 6. ArchitectureIntro k8s+kops CI/CD Real-time OLAP Monitoring Endgame Kafka Flink Hazel- cast Ingress nginx Linkerd Prome- theus Grafana Jenkins Sonar- qube EFK Druid Zoo- keeper Arango DB Portus APP
  7. 7. ? 분석 결과의 실제 사용자 목록을 제공합니다. !Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame k8s and CNCF https://github.com/cncf/landscape
  8. 8. ? 분석 결과의 실제 사용자 목록을 제공합니다. !Intro k8s+kops CI/CD Real-time OLAP Monitoring Demo k8s + kops https://github.com/cncf/landscape
  9. 9. We like to think of it as kubectl for clusters. kops helps you create, destroy, upgrade and maintain production-grade, highly available, Kubernetes clusters from the command line. AWS (Amazon Web Services) is currently officially supported, with GCE in beta support , and VMware vSphere in alpha, and other platforms planned. 분석 결과의 실제 사용자 목록을 제공합니다. !Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame https://github.com/kubernetes/kops
  10. 10. Kubernetes Operations 쿠베니티스운영의 핵심 요소 Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame https://kubernetes.io Deployemnts Daemon Sets Services Ingress Self Healing Rolling Update Load Balancing Auto Scaling
  11. 11. Kubernetes Operations Stateful Sets Database? Kafka Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame
  12. 12. Kubernetes Operations Stateful Sets Database? Kafka Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame https://docs.confluent.io/current/installation/installing_cp/cp-helm-charts/docs/index.html
  13. 13. Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame CI/CD PITA
  14. 14. Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame CI/CD pipeline git push build store deploy test notify
  15. 15. Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame Real-time streaming data
  16. 16. Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame Real-time streaming data Job Manager Task Manager Task Manager Task Manager Checkpoint
 Storage Task Manager Task Manager Task Manager Session Cluster ZK
  17. 17. 분석 결과의 실제 사용자 목록을 제공합니다.Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame OLAP BI 서비스 플랫폼이라
 다차원 분석이 MUST
  18. 18. 분석 결과의 실제 사용자 목록을 제공합니다.Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame OLAP OLAP Open Source Platforms • ClickHouse • Druid • Pinot Which one to use? Pick one that is right for your use case We needed an OLAP for limited audience with high performance + stability + scalability
  19. 19. Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame Monitoring 장점: 빠르게 적용/사용 가능 왠만한 대쉬보드는 이미 다 있다 쓰기 쉽다 ... 단점: 쓰다보면 무언가 아쉽다 처음엔 이쁜것 같은데 보다보면... Prometheus + Grafana
  20. 20. 분석 결과의 실제 사용자 목록을 제공합니다.Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame Monitoring 이쁜 Kibana 로그만이 아니라 모니터링도 여기서
  21. 21. 분석 결과의 실제 사용자 목록을 제공합니다.Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame Endgame(이젠 가망이 없어) •kops ver = kubernetes ver •vpc route table 건드릴때는 뭐 할지 확실히 알고 해야한다 •helm forbidden error •topology-aware volume provisioning •ubuntu+docker+ufw = 아무나 드르와 •그 외에도 너무 많지만... History of 삽 to the 질
  22. 22. 분석 결과의 실제 사용자 목록을 제공합니다.Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame Endgame •ACM / Let's encrypt abuse it! •Lightsail abuse it!! (vpc peering 도 됨) •docker system prune --all --filter until=24h •direnv 디렉토리만 바꾸면 환경설정을 바꿔준다 •kubectx/kubens •kube-ps1 Dog 꾸르 tip
  23. 23. Intro k8s+kops CI/CD Real-time OLAP Monitoring Endgame 감사합니다~

×