실시간 서비스 플랫폼 개발 사례
•
217 likes•9,213 views
This document discusses designing a real-time service platform using Node.js and building a distributed server environment. It covers setting up load balancing with Nginx and Zookeeper for scaling, designing the server architecture for authentication, assigning servers, and monitoring servers with tools like PM2, InfluxDB and Grafana. The document provides code examples and explanations for key aspects like authentication, server assignment, load balancing algorithms and monitoring the distributed system.
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 실시간 서비스 플랫폼 개발 사례
Similar to 실시간 서비스 플랫폼 개발 사례 (20)
More from John Kim
Recently uploaded
Recently uploaded (20)
실시간 서비스 플랫폼 개발 사례
- 1. 실시간 서비스 플랫폼 설계 Node.js 기반의 분산 서버 환경 구축 김요한 (yohany@gmail.com)
- 2. 기술은 공유되어야 하고, 서비스로 차별화 해야 한다. 김요한 GSSHOP architect https://www.facebook.com/JohnKim0331 https://github.com/JohnKim yohany@gmail.com
- 3. 요즘 유행하는 실시간 서비스 개발하기 위해 분산 서버 구성하고 그리고 운영 하기 Service
- 4. Platform
- 6. ? Monitoring
- 7. ?
- 8. 1. 실시간 서비스 플랫폼 우리는 왜 플랫폼으로 만들어야 하는가 ?
- 9. 실시간 서비스 플랫폼
- 10. 실시간 서비스 ?
- 12. https://www.flickr.com/photos/xrrr/1750232320/ FIDS (Flight Information Display System)
- 13. 실시간 서비스 플랫폼
- 14. 플랫폼 ?
- 17. REAL-TIME SERVICE PLATFORM Dashboards Mobile Notifications Messengers
- 18. is ideal for building dashboards, activity streams, notification and chat systems, backend-less apps and websites, real-time collaboration, live statistics, remote controls, multiplayer games, and more. REAL-TIME SERVICE PLATFORM
- 21. Start with a Platform , and Then Use it for Everything.
- 23. 2. 분산 서버 설계하기 확장성을 고려한 서버 아키텍처 설계 NodeJS
- 24. +
- 25. Socket.IO,
- 26. NGINX,
- 27. HAPROXY,
- 28. ELB,
- 29. Zookeeper,
- 30. Redis
- 31. “무엇으로 만들 것인가 ? ” 가장 많이 사용하고 있는 socket.io
- 34. “그런데, 아프리카 처럼 ? ” 서버 하나로는 부족하다! SCALE UP SCALE OUT
- 36. SCALE OUT
- 37. “Scale Out 은, 처음부터 고려하지 않으면 힘들다”
- 38. “가장 흔한 방법 부터 적용하자. 하지만 socket.io 에 맞게 해야 한다 ”
- 39. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER ? 가장 쉬운 방법
- 40. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER NGINX HA PROXY ELB Elastic Load Balancing (AWS)
- 41. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER NGINX HA PROXY ELB Elastic Load Balancing (AWS) Websocket 을 지원하지 않는, IE 에서 socket.io로 접속할 때 xhr-polling
- 42. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER NGINX HA PROXY ELB Elastic Load Balancing (AWS) 같은 서버에 polling 해야만 함
- 43. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER NGINX HA PROXY ELB Elastic Load Balancing (AWS) 같은 서버에 polling 해야만 함 CHAT SERVERX
- 44. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER NGINX upstream io_nodes { ip_hash; server 127.0.0.1:6001; server 127.0.0.1:6002; server 127.0.0.1:6003; server 127.0.0.1:6004; } Client 의 IP 를 해싱하여 분배
- 45. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY backend io_nodes balance source server 127.0.0.1:6001 . . . . server 127.0.0.1:6002 . . . . server 127.0.0.1:6003 . . . . server 127.0.0.1:6004 . . . . Client 의 IP 를 해싱하여 분배 (v1.5 부터 SSL 지원)
- 46. X CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER ELBElastic Load Balancing (AWS)
- 47. X CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER ELBElastic Load Balancing (AWS)
- 48. CHAT S CHAT S CHAT S CHAT S CHAT S ELBElastic Load Balancing (AWS) TCP MODE HA PROXY HA PROXY
- 49. “역할 별로 분리 해서 확장하자” 좀더 고민해서,
- 50. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 메시지 송신 전용 (HTTP RESTful) 메시지 수신 전용 (socket)
- 51. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY HA PROXY
- 52. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY HA PROXY
- 53. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY HA PROXY REDIS publish subscribe
- 54. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY HA PROXY REDIS publish subscribe Broker (pub/sub server) Publisher Subscriber 1 Subscriber 2 Subscriber 3 redis rabbitMQ
- 55. REST S REST S CHAT CHAT CHAT HA PROXY HA PROXY
- 56. REST SERV REST SERV CHAT SERV CHAT SERV HA PROXY HA PROXY 관리자가 메시지 발송 !!
- 57. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER OXY OXY REDIS publish subscribe
- 58. REST S REST S CHAT CHAT CHAT HA PROXY HA PROXY
- 59. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 메시지 송신 전용 (HTTP RESTful) 메시지 수신 전용 (socket)
- 60. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT 서버 할당 접속 인증 (HTTP RESTful) CHAT 메시지 송/수신 전용 (socket)
- 61. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT 서버 할당 접속 인증 (HTTP RESTful)
- 62. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY 123.0.0.2:9002 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 어느 서버에 접속해?
- 63. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY 123.0.0.2:9002 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 어느 서버에 접속해?
- 64. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER HA PROXY 123.0.0.2:9002 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 어느 서버에 접속해? REDIS ABCDEFG01234인증 토큰 ABCDEFG01234 SET 토큰 GET 토큰
- 65. ” “인증 처리 ! OAuth 2.0 로 별도의 서버로 구축한다
- 66. ” “인증 처리 ! OAuth 2.0 로 별도의 서버로 구축한다
- 67. “인증 처리 ! OAuth 2.0 로 별도의 서버로 구축한다 ” SPRING SECURITY OAUTH 2
- 68. “접속할 서버를 할당하려면 ? ” 먼저, 서버 목록을 가지고 있어야 한다.
- 69. REST SERVER REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004
- 70. REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 서버 목록을 모두 가지고 있어야 함. 장애난 서버와 신규 추가된 서버 정보도 동기화 되어야 함
- 71. REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 zookeeper watching node 변경된 노드 정보 동기화
- 72. REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 zookeeper watching node 변경된 노드 정보 동기화 create EPHEMERAL node 임시 노드로 서버 정보 생성 The King of Coordination apache zookeeper - DISTRIBUTED LOCKING - SERVICE MANAGEMENT (LOAD BALANCER, DNS . . .)
- 73. REST SERVER CHAT SERVER CHAT SERVER CHAT SERVER 123.0.0.1:9001 123.0.0.2:9002 123.0.0.3:9004 zookeeper watching node 변경된 노드 정보 동기화 create EPHEMERAL node 임시 노드로 서버 정보 생성
- 74. “서버는 어떻게 할당해 주는가?” 같은 채팅방 사람들은 같은 서버에 접속하도록.
- 75. 같은 채팅방 사람들은 같은 서버에 접속하도록. Client 의 IP 를 해싱하여 분배 체팅방 키를 해싱하여 분배 NGINX 의 ip_hash HAPROXY 의 balance source
- 76. CONSISTENT HASHING https://github.com/3rd-Eden/node-hashring var HashRing = require('hashring'); var ring = new HashRing([ '127.0.0.1', '127.0.0.2', '127.0.0.3', '127.0.0.4' ]); ring.get('채팅방키’); // 접속 서버 반환
- 77. Weighted CONSISTENT HASHING https://github.com/3rd-Eden/node-hashring var HashRing = require('hashring'); var ring = new HashRing({ '127.0.0.1': { weight: 200 }, '127.0.0.2': { weight: 200 }, '127.0.0.3': { weight: 200 }, '127.0.0.4': { weight: 1000 } }); ring.get('채팅방키’); // 접속 서버 반환
- 79. 3. 운영하기 서버 실행 및 모니터링하기 uptime,
- 80. PM2,
- 81. influxDB,
- 82. grafana
- 83. https://github.com/foreverjs/forever A simple CLI tool for ensuring that a given script runs continuously (i.e. forever).
- 84. $ npm install forever -g $ forever start server.js
- 85. https://github.com/Unitech/pm2 PM2 is a production process manager for Node.js applications with a built-in load balancer . It allows you to keep applications alive forever , to reload them without downtime and to facilitate common system admin tasks.
- 86. $ npm install pm2 -g $ pm2 start server.js $ pm2 reload all $ pm2 startup -i 0
- 87. $ pm2 start server.js -i 0 node process 1 node process 2 node process 3 node process 4 load balancer cluster mode $ pm2 reload all
- 90. Grafana is a frontend for Graphite, InfluxDB and OpenTSDB with powerfull visualization features for time series data
- 92. InfluxDB distributed, time series database with no external dependencies
- 93. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER admin Log Collector InfluxDB NGINX +
- 94. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER admin Log Collector InfluxDB NGINX Socket.IO (separated namespace for monitoring) { pid : process.pid, arch : process.arch, platform : process.platform, uptime : process.uptime(), memory : process.memoryUsage(), // 그 외 // 서버에 연결된 Client 수 // 체팅방 수 등 }
- 95. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER admin Log Collector InfluxDB NGINX Influx.writePoint() Socket.IO-client
- 96. CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER CHAT SERVER admin Log Collector InfluxDB NGINX + // nginx 설정 auth_basic Restricted; auth_basic_user_file /path/to/my/htpasswd/file;
- 98. AWS 기반 실시간 서비스 플랫폼 ( 예시, 주요 인스턴스만 표기 함 )
- 99. Availability Zone #1 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group
- 100. Availability Zone #1 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Availability Zone #2 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Auto Scaling group VPC Elastic Load Balancing
- 101. Availability Zone #1 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Availability Zone #2 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Auto Scaling group VPC Elastic Load Balancing
- 102. Availability Zone #1 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Availability Zone #2 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Auto Scaling group VPC - Service Platform Elastic Load Balancing VPC - Operation VPC peeringLog Collector (EC2 instances) InfluxDB (EC2 instances) Grafana (EC2 instance) security group security group Administrator
- 103. Availability Zone #1 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Availability Zone #2 Auth Servers (EC2 instances) Chat Servers (EC2 instances) redis (ElastiCache) zookeeper (EC2 instances) message DB (DynamoDB) security group security group security group security group Auto Scaling group VPC - Service Platform Elastic Load Balancing VPC - Operation VPC peeringLog Collector (EC2 instances) InfluxDB (EC2 instances) Grafana (EC2 instance) security group security group Administrator
- 104. VPC - Authorization Service VPC - AAA 서비스 플랫폼 VPC - BBB 서비스 플랫폼 VPC - 실시간 서비스 플랫폼 AAA 서비스 Clients 실시간 서비스 Clients VPC - 운영관리 실시간 자원/성능 모니터링, 통합 로그 수집 . . . . . VPC peering
- 106. 왜 였나?“ ” 마지막 정리하면서….
- 107. 성능“ ” 하지만, 항상 빠르지는 않다
- 108. 생산성“ ” 이건 거의 중독될 수도 있다.
- 109. 빠른 시작“ 장애나면, 즉시 재시작하고 보자 ! ”
- 110. 그리고 , “실시간 서비스가 딱 맞다”