네트워크 운영 및 관리 측면에서 애플리케이션을 고려한 네트워크 운영은 SD-WAN(Software Defined-WAN)이라는 새로운 서비스 영역을 만들어냈습니다. 그 배경에는 무조건적으로 장비 규모를 확장하던 방식에서 기존 리소스를 최적화하고 의미있는 트래픽을 효과적으로 관리함으로 투자 비용은 줄이고, 서비스는 지속적으로 확장할 수 있게하자는 시대적 요구가 있습니다. 여기에 기존의 복잡한 IP/MPLS 기술을 단순화하면서 확장성을 고려한 솔루션이 있다면, 보다 적극적인 검토가 이루어 질 것으로 생각합니다.
Open Source and its role in a new IT ecosystemBruno von Rotz
Bob Gett presents Optaros' view on how Open Source influences the overall IT eco system and how it's a key ingredient of many of the new business models we currenlty see developing
네트워크 운영 및 관리 측면에서 애플리케이션을 고려한 네트워크 운영은 SD-WAN(Software Defined-WAN)이라는 새로운 서비스 영역을 만들어냈습니다. 그 배경에는 무조건적으로 장비 규모를 확장하던 방식에서 기존 리소스를 최적화하고 의미있는 트래픽을 효과적으로 관리함으로 투자 비용은 줄이고, 서비스는 지속적으로 확장할 수 있게하자는 시대적 요구가 있습니다. 여기에 기존의 복잡한 IP/MPLS 기술을 단순화하면서 확장성을 고려한 솔루션이 있다면, 보다 적극적인 검토가 이루어 질 것으로 생각합니다.
Open Source and its role in a new IT ecosystemBruno von Rotz
Bob Gett presents Optaros' view on how Open Source influences the overall IT eco system and how it's a key ingredient of many of the new business models we currenlty see developing
The document provides insights from the 10th annual Future of Open Source survey. Some key findings include:
1) Open source is now ubiquitous worldwide and powers technologies like operating systems, cloud computing, big data and IoT. 2) Over 65% of companies leverage open source to speed application development and over 55% use it for production infrastructure. 3) Container adoption is increasing, with 76% having plans to use containers and over a third currently using them for testing and development. 4) While open source use and contributions are increasing, security and management practices have not kept pace with rapid adoption.
Cloud-Barista 제2차 오픈 컨퍼런스 : CB-Waterstrider-멀티 클라우드 서비스 공통 플랫폼 웹도구(Cloud-Bari...Cloud-Barista Community
# 부제 : 멀티 클라우드와 스킨십을
- CB-Webtool 개요 및 기술 컨셉
- CB-Webtool 주요 기술
- CB-Webtool 개발 현황 및 로드맵
- CB-Webtool을 통한 서비스 운영 시연
# 발표영상(Youtube) : https://youtu.be/-lUhCizLs-A
------------------------------------------------------------------------------------------------
# Cloud-Barsita Community homepage : https://cloud-barista.github.io
# Cloud-Barsita Community github : https://github.com/cloud-barista
# Cloud-Barsita youtube channel : https://cloud-barista.github.io/youtube
Pivotal은 개발자 생산성을 높이고 운영비용을 줄이면서 성공적인 비지니스를 할 수 있도록 개발 환경의 혁신 문화와 플랫폼을 제공하고 있습니다.
본 세션에서는 플랫폼의 구조와 효과에 대해 소개하며 기업이 진정한 기술선도 업체로 발전해 갈 수 있도록 혁신적은 플랫폼 *PAS, *PKS를 소개합니다.
*PAS: Pivotal Application Service로 개발자에게 기능 구현 속도를 높이고, 운영 팀은 세계 최고 수준의 가용성을 제공해주는 서비스입니다.
*PKS: Pivotal Container Service로 Kubernates의 배포, 관리, 모니터링, 업데이트 등을 자동화하고 Pivotal에서 관리해주는 서비스입니다
서버, 도커 컨테이너, 데이터베이스, 네트워크, 쿨링랙, 서버 취약점 등 IT 인프라 모니터링 솔루션 (old version)옥시즌
‘인사이트뷰 모니터링 (insightVew Monitoring)’ 솔루션은 클라우드/IDC 운영자를 위한 IT 인프라 모니터링 솔루션으로 Linux/Unix, Windows 서버 OS 및 도커 컨테이너, 데이터베이스, 네트워크, 쿨링랙, 서버 취약점 등 IT 인프라 자원에 대한 장애/성능/구성정보 모니터링을 통하여 IT 인프라 자원의 안정적인 운영을 지원합니다. IT 인프라 자원에 대한 주요 상태 정보를 직관적으로 파악하고 관리할 수 있도록 효율적인 각종 기능을 제공하고 있습니다.
- Linux/Unix, Windows 서버 통합 모니터링 관리 지원
- 계정그룹을 통한 관리자 계정 권한 위임
- 서버 OS 및 도커 컨테이너 통합 모니터링 지원
- Port 및 URL 모니터링 지원
- MySQL/MrariaDB 등 데이터베이스 모니터링 지원
- SNMP를 통한 네트워크 장비 모니터링 지원
- 쿨링랙(Cooling Rack) 컨트롤러 모니터링 지원
- 서버 OS 취약점 분석 지원
- 사용자 스크립트 실행을 통한 모니터링 지원
- 모니터링 설정 기본값 적용에 따른 설치 즉시 사용 가능
- 태스크 별 적용을 통한 유연한 모니터링 항목 관리
- 현 상태 정보 제공을 통한 모니터링 설정의 편의성 제공
- 통지 메시지에 대한 데이터 속성값 매핑 지원
- 장애 이벤트의 다양한 통지 방법 제공(이메일, 슬랙, 텔레그램 등)
- DB 연계를 통한 대시보드 구성
Cloud-Native Architecture
MSA(Micro Service Architecture)
MDA(Micro Data Architecture)
MIA(MIcro Inference Architecture)
MSA-Service Mesh
MDA-Data Mesh
MIA-AI Inference Mesh
Kubernetes
Container
Kubeflow
Volcano
Apache Ynikorn
ChatGPT
AGI(Artificial General Intelligence)
ASI(Artificial Specialized Intelligence)
초-전환시대
초-연결시대
SQream GPU DBMS
Cloud와 Cloud Native의 목표는.. 왜? 어떻게? 뭐가 좋아지나...
1. (왜) 가속화된 초-전환, 초-연결 IT 환경변화에 대비하기 위해서
2. (어떻게-H/W) IT H/W 부분은 IaaS 서비스화하여
점유된, Over Subscription된 H/W(Server, Network, Storage)들 모아서 Pool화하고, 가상화기술을 통해 Tenant로 자원들을 분리해 서비스화해 제공하고
필요시 적시에 Pool의 가상H/W를 제공하고, 상황에 따라 확장・축소(Scale in/out, up/down)하면서, 축소된 자원을 다른 요청들을 위해 빠르게 재-할당하는 유연성을 제공하고
3. (어떻게-S/W) S/W 부문도
PaaS, SaaS 적극 활용으로 App.개발 시간을 단축하고
App.분야인 기존 MACRO Service Architecture형 Monolith Architecture(Web-WAS-DB)를 작게 쪼개서 변화에 빠르게 적응할 수 있는 MSA(Micro Service Architecture)로 변경하여 Service Mesh형으로 관리하고
Data분야도 Data Warehouse, DataLake(Bigdata), LakeHouse등 기존 MACRO Data Architecture를 MSA형식으로 MDA(Micro Data Architecture)로 전환 후 Data Mesh형태로 관리하고,
AI로 동적프로그램 생성하여 App.개발시간 단축하고, AI분야도 초-거대 AI구현(MACRO)보다는 작은|특화된 Deep Learning Network(Model)들로 작게 쪼개서 MIA(Micro Inference Architecture)로 비지니스 환경에 적용하고 Inference Mesh형태로 관리하는 시스템으로 전환하고
4. (어떻게-조직) 조직구조도 CI/CD형 DevOps환경, 데이타,트랜잭션중심업무중심, 기술중심 문제해결중심, 직능중심조직직무중심조직으로 전환하면
5. (좋아지는 것) 초-전환, 초-연결 환경에 빠르고, 지속적으로 적응할 수 IT as a Product 환경을 구현하는 것
2. 2
Agenda
개요
목표 시스템
참조모델
Capability Model
기능 아키텍처
물리 아키텍처
세부 기능 정의
구축 방안
Amazon API 분석
3. 3
개요
PCW OSS/BSS는 Amazon Cloud
기반의 PCW 서비스에 적합한
OSS/BSS 구축 프로젝트입니다.
OSS/BSS는 Amazon Cloud와
PCW과 모두 연동하게 됩니다.
인증, 모니터링, 컨텐츠 관리, 과금,
정산 등 OSS/BSS 기능을 제공합니다.
OSS/BSS 참조 모델 및 Capability
Model을 이용하여 적합한
아키텍처를 제시할 예정입니다.Amazon
EC2 S3
SQS Simple DB
Cloud WatchCloud Front
pCloud Services OSS/BSS
운영자
삼성Cloud
Cloud Servers Cloud Storages
Load Balancer Cloud Servers
Open APICloud Storages
4. 4
목표 시스템
가상화 기반 클라우드 서비스의 용이한 관리 및 운용을 지원하기 위한 시스템 체계를 프레임워크 형태로 구축하고,
이를 기반으로 데이터 센터의 IT 자원의 효율화를 통한 Green IT 전략을 실행할 수 있는 가상화 기반 데이터 센터
운영 모델을 제시합니다.
• 장애 감시 기능, 장애 관리 기능
• EBS 사용량 감시, S3 사용량 감시, 네트워크 사용량 감시
• AMI 형상 관리, DB 설정 관리
• 인스턴스 성능 측정, AMI 성능 측정, 네트워크 성능 측정
운영 지원
• 서비스 형상 관리
• 비즈니스 모니터링, 요율 분배 기능 개발
• 사용량 통계, Amazon 사용량 통계, 요율 배분 통계
• VOC 관리
• AMI 배포관리, 서비스 배포 관리
인스턴스 관리
비즈니스 지원
• 설정 관리, 구성 관리, 장애 관리 화면 구성, 운영 포탈 UX
• 인스턴스, EBS, S3, 네트워크 실시간 대시보드
운영 포탈
가상화 기반 클라우드 서비스 운용관리 시스템 체계
• 사용자 관리, 사용자 권한 관리
• 접속 Key 관리
• 비즈니스 관리 UX
비즈니스 포탈
• 비즈니스 레파지토리
• 운영 레파지토리
레파지토리
• 인터페이스 관리
• Amazon API 인터페이스/PCW 인터페이스(인증, OSP, 제니퍼)
연동 인터페이스
5. 5
참조모델
PCW OSS/BSS는 향후 용이한 확장을 제공할 수 있도록 OSS/BSS 기능이 결합한 NGOSS를 참조 모델로 제시합니다.
eTOM(enhanced Telecom OperationsMap) Framework
출처: 차세대 운용관리 시스템의 기술 동향, 이지넷 소프트, 2001
PCW
OSS/BSS 영역
TM Forum의 제공 표준
TM Forum은 이동통신의 재사용 가능한 OSS의
표준화를 위해 창설
네 영역에 대한 표준화 포럼이 진행이 되고 있음
PCW OSS/BSS에서 관심을 가질 영역은 Telecom
Operation Map과 Central Information Facility
영역임
PCW OSS/BSS에서는 운용 강화 및 데이터 모델
정립 분야를 활용할 예정임
TM Forum의 TOM영역을 확장하여 위와 같은 모델을 제시하고
eTOM이라는 명칭을 사용함
크게 네트워크/시스템 관리, 서비스 관리, 고객 관리의 세 영역으로 구분함
6. 6
참조모델(eTOM)
eTOM(enhanced Telecom OperationsMap) Framework
PCW
OSS/BSS 영역
PCW OSS/BSS 구축 영역
출처: 차세대 운용관리 시스템의 기술 동향, 이지넷 소프트, 2001
고장 처리: 서비스 활용 시
발생하는 각종 VOC에 대한 처리
및 오류 추적 업무 제공
고객 QoS: 응답 속도와 대역폭
보장 등을 품질 보장 업무 제공
청구/수납: 서비스에 대한 과금
업무 제공
계획/개발: 서비스 운영에 대한
방안
구성: 각종 서비스에 대한 환경
설정 및 라이프 사이클 관리 제공
고장 관리: 서비스 장애에 대한
대응 및 장애 예방 및 모니터링
관리 제공
품질 관리: 서비스 제어, 응답 시간
보장 등 관리 제공
요율/할인: 서비스에 대한 정산
요율에 따른 분배 기능 제공
자원관리: AMI 등 클라우드 자원
관리 기능 제공
데이터 관리: 클라우드 기반 데이터
관리 기능 제공
7. 7
참조모델(Eco-System)
출처: SDP and OSS/BSS: Best Practices f or Architecture and Integration, 2007
TMF SDF Reference Model Business
Plan Deliver Operate
BSSSCE
Contract Partnership
Design Services
Subscribe APIs
OSS
Develop Services
Verify Services
Deploy Services
Monitoring P/C
Manage SLA
Planning Services
Manage Problem
Charging & Billing
Settlement
Statistics
Manage Performance
Manage Fault/Usage
Register Services
Retire Services
Register P/C
Define Metadata
Verify P/C
8. 8
참조모델(ITIL)
Business, Customers, Users
Business
Strategy
Service
Planning
Organization
Planning
Service Level
Management
Availability
Management
System
Management
Capacity
Management
Network
Management
App & DB
Management
Storage
Management
Security
Management
Desktop
Management
IT - Business
Alignment
ITIL Service Delivery
Service
Continuity
Management
Financial
Management
Infrastructure Management
Incident
Management
Problem
Management
Release
Management
Configuration
Management
Change
Management
Service Desk
ITIL Service Support
Technology
Planning
PCW
OSS/BSS 영역
9. 9
Capability Model
OSSPortal(OSP)
BSSPortal(BSP)
Service Creation Environment(SCE)
Repository(REP)
Business Support
Functions(BSF)
Operation Support
Functions(OSF)
Interface Functions(INF)
Business Process Management(BPM)
서비스 운영, 모니터링, 장애 감지,
Usage 관리 화면을 제공
계약 관리, 서비스 기획, 과금,
정산, 통계, 과금 검증 등을
제공함
서비스 운영, 모니터링,
장애 감지, Usage 관리 등을
수행함
서비스 Ecosystem을 위한 각종 Service
Logic의 실행 및 트랜잭션 관리
비즈니스 및 운용 지원을 위해 과금,
정산, OA & M 및 통계, 분석 데이터,
외부 컨텐츠 메타 정보 등을 제공함
내외부의 다양한 플랫폼의 연동 및
내외부 인프라 연동을 위한 인터페이스
제공
계약 관리, 서비스 기획, 과금,
정산, 통계, 과금 검증 관리
화면을 제공함
서비스 생성, API 사용 예약, 서비스
개발 지원, 커뮤니티 등 개발 지원 환경
제공
BSS와 BSS 포탈, OSS와 OSS 포탈, SCE, 관련 데이터를 처리하는Repository와 내외부 연동을 제공하는 Linkage, 내부
워크플로우를 관장하는 BPM 등, 모두 8개의 기능 블록으로 구성되어 있습니다.
10. 10
Capability Model(계속)
OSSPortal(OSSP)
BSSPortal(BSSP)
Service Creation Environment(SCE)
Repository(REP)
Business Support Functions(BSF) Operation Support Functions(OSF)
Interface Functions(INF)
Business
Repository
API Management
Development
Management
Contract
Management
Service
Management
Marketplace
Management
Billing
Management
Settlement
Management
Price
Management
Service
Monitoring
SLA
Management
Fault
Management
Interface Management
Internal Interface
ConfigurationPortal
OperationSupportAssetManagement
Dashboard
BusinessSupportAssetManagement
BusinessSupportPortal
Problem(VOC)
Management
Content
Management
Usage
Monitoring
Content
Monitoring
Configuration
Management
External Interface SNMP
Business Process Management(BPM)
Business Process Management Business Transaction Management
Verification
Management
Deploy Management
BI
Management
Statistics
Management
Performance
Management
Operation
Repository
Change
Management
11. 11
기능 아키텍처(1차-계획)
참조 모델과 Capability Model을 조합하여 구성한 아키텍처는 아래와 같습니다.
OSSPortal(OSSP)
BSSPortal(BSSP)
Service Creation Environment(SCE)
Repository(REP)
Business Support Functions(BSF) Operation Support Functions(OSF)
Interface Functions(INF)
Business
Repository
Metering
Management Fault
Management
Interface Management
pCloud Interface
ConfigurationPortalDashboard
BusinessSupportPortal
Usage
Monitoring
Configuration
Management
Amazon API Interface
Statistics
Management
Performance
Management
Operation
Repository
Service
Management
Deploy Management
Change
Management
12. 12
기능 아키텍처(1차-완료)
OSSPortal(OSSP)
BSSPortal(BSSP)
Service Creation Environment(SCE)
Repository(REP)
Business Support Functions(BSF) Operation Support Functions(OSF)
Interface Functions(INF)
Business
Repository
Metering
Management Fault
Management
Interface Management
pCloud Interface
ConfigurationPortalDashboard
BusinessSupportPortal
Usage
Monitoring
Configuration
Management
Amazon API Interface
Statistics
Management
Performance
Management
Operation
Repository
참조 모델과 Capability Model을 조합하여 구성한 아키텍처는 아래와 같습니다.
Change
Management
13. 13
기능 아키텍처(2차-계획)
OSSPortal(OSSP)
BSSPortal(BSSP)
Service Creation Environment(SCE)
Repository(REP)
Business Support Functions(BSF) Operation Support Functions(OSF)
Interface Functions(INF)
Business
Repository
Service
Management
Metering
Management
Settlement
Management
Service
Monitoring
SLA
Management
Fault
Management
Interface Management
pCloud Interface
ConfigurationPortal
OperationSupportAssetManagement
Dashboard
BusinessSupportPortal
Problem(VOC)
Management
Usage
Monitoring
Configuration
Management
Amazon API Interface SNMP
Deploy Management
BI
Management
Statistics
Management
Performance
Management
Operation
Repository
Change
Management
14. 14
기능 아키텍처>설명
Service Creation Environment(SCE), Business Support Functions(BSF)
• Deploy 관리
• Service 관리, Metering 관리, P/C 관리, 통계 관리
Level 1 Level 2 Description
Platform 형태 하드웨어
형상Web WAS APP DBMS M/W Storage
Service
Creation
Environment
Deploy Management
어플리케이션 및 서비스의 원격 배포 기
능 제공(개발Staging상용)
○ △ □ ○ ○ BSS 서버
Business
Support
Functions
Service Management 서비스의 생성 및 관리 기능 제공 ○ △ □ ○ ○ BSS 서버
Metering Management 요율별 정산 분리 기능, 검증 기능 △ □ ○ ○ Metering 서버
Statistics Management
실시간 비즈니스 통계 기능 제공, 마케
팅 관점 통계 정보 제공
△ □ ○ ○ Metering 서버
범
례
○:연동 △:50% 활용 □: 100% 활용
15. 15
기능 아키텍처>설명
Operation Support Functions(OSF)
• Fault 관리, Usage 관리, Configuration 관리, Performance 관리, Change 관리
Level 1 Level 2 Description
Platform 형태 하드웨어
형상Web WAS APP DBMS M/W Storage
Operation
Support
Functions
Usage Monitoring
Activity 추적 기능, 데이터 Cleansing
관리 기능, 시스템/인프라/서비스 별 일
/월/년 통계 기능
△ □ ○ ○ Metering 서버
Performance
Management
실시간 트래픽 통계 기능 ○ △ □ ○ ○ Metering 서버
Fault Management
통합 장애 감지 기능, 장애 원인 추적
기능, 서비스 차단 기능
○ △ □ ○ OSS 서버
Change Management
설정 관리, 장애 처리 등으로 변경 사항
이 발생할 경우 변경 이력 관리
○ △ □ ○ OSS 서버
Configuration
Management
서비스/이용자에 대한 Policy 관리 기능,
내부 시스템의 설정 관리 기능
○ △ □ ○ ○ ○ OSS 서버
범
례
○:연동 △:50% 활용 □: 100% 활용
16. 16
기능 아키텍처>설명
Repository(REP) 및 Interface Functions(INF)
• Business Repository, Operation Repository
• Interface Management, Cloud Interface, PCW Interface
범
례
○:연동 △:50% 활용 □: 100% 활용
Level 1 Level 2 Description
Platform 형태 하드웨어
형상Web WAS APP DBMS M/W Storage
Repository
Business Repository
BSS 관련 데이터 저장소(가입자, 계약,
서비스 카탈로그어플리케이션, 정산 요
율 등)
○ ○ ○ □ DB 서버
Operation Repository
OSS 관련 데이터 저장소(로그 정보, 누
적 통계 정보, 설정 정보)
○ ○ ○ □ △ DB 서버
Interface
Functions
Interface Management 내외부 인터페이스 관리 기능 ○ ○ ○ □ ○
인터페이스 서
버
Cloud Interface 클라우드 API 연동 기능 ○ ○ □ ○ ○
인터페이스 서
버
PCW Interface PCW 연동 기능, 인증 연동 기능 ○ ○ □
인터페이스 서
버
17. 17
기능 아키텍처>설명
BSS Portal(BSSP) 및 OSS Portal(OSSP)
• Business Support Portal
• Configuration Portal, Dashboard
범
례
○:연동 △:50% 활용 □: 100% 활용
Level 1 Level 2 Description
Platform 형태 하드웨어
형상Web WAS APP DBMS M/W Storage
BSS Portal Business Support Portal BSS 웹 사이트 □ △ ○ ○ ○ BSS 서버
OSS Portal
Configuration Portal
서비스 설정 및 서비스 로직 설정의 위
한 UI 사이트
□ △ ○ ○ OSS 서버
Dashboard
실시간 모니터링 및 통계 정보 보기를
위한 웹 사이트 및 전용 클라이언트
□ △ ○ ○ OSS 서버
18. 18
물리 아키텍처>소프트웨어 구성
Business Storage Operation Storage
BSS Portal OSS Portal
L4L4
L2L2
SCE Application BSF Application OSF Application INF Application
L3L3
Business Repository Operation Repository
NASSAN
Web/Client
접
속
AmazonEC
2
RDS/SQS/MapReduceS
3
/EBS
Deploy 관리 통계 관리
Configuration
Web
Dashboard웹화면
웹서비스
WAS
Application
RDBMS
Grid, Message
기타
OSS
WAS
BSS Web
BSS DB
AMI Data Service Data
OSS DB
BSS WAS
Service 관리
Metering
관리
Fault
관리
Usage
감시
Performance
관리
Config.
관리
Change.
관리
INF 관리
PCW/Ama
zon 관리
통계 DB
Log Data
Metering
Processor
19. 19
물리 아키텍처>통합 물리 아키텍처
인터페이스 서버
REST
I/F
Java VM
SOAP
I/F
JMS
I/F
Socket
I/F
I/F
관리자
EBS/S3
OSS Repository
RDS
Metering 서버
Java VM
로그
엔진
Metering
엔진
OSS 서버
WAS
Java VM
HTTP/WEB
BSS Repository
RDS
BSS 서버
WAS
Java VM
HTTP/WEB
AMI/서비스 Log
OSS DB 기타 DBBSS DB 통계 DB
사업자 운영자 관리자
20. 20
물리 아키텍처>서버 용도 정의
구분 서버명 Description Amazon 형상
BSS BSS 서버 정보 관리, 배포 관리, 정책 관리, 요율 모니터링를 위한 웹 서버 EC2
OSS OSS 서버 모니터링 및 통계를 위한 웹 서버 EC2
공통
인터페이스 서버 PCW 및 Amazon API 연동 게이트웨이 서버 EC2/SQS
DB 서버 가입자 정보, 단말 정보 및 각종 binary, 운영 정보 및 통계 정보를 관리하는 DB 서버 RDS
Metering 서버 수집된 로그 및 모니터링 정보를 이용하여 통계정보를 생성하는 서버 EC2/MapReduce
외장 스토리지 AMI, 서비스 등 물리 파일 저장 서버 EBS/S3
21. 21
물리 아키텍처>시스템 별 소프트웨어 정의
스토리지
EBS/S3
DB 서버
RDS
Mule Service Bus
인터페이스 서버
PCW I./F
JDK 1.6.0_23
Amazon Linux AMI 1.0 32bit
TCP/IP
Amazon I/F
OSS Web Application
OSS 서버
SpringTC/Apache
JDK 1.6.0_23
Amazon Linux AMI 1.0 32bit
TCP/IP
BSS Web Application
BSS 서버
SpringTC/Apache
JDK 1.6.0_23
Amazon Linux AMI 1.0 32bit
TCP/IP
Metering Application
Metering 서버
Usage Processor
JDK 1.6.0_23
Amazon Linux AMI 1.0 32bit
TCP/IP
Log Processor
22. 22
물리 아키텍처>성능 및 용량 산정(1/2)
PCW OSS/BSS를 제공할 때, 이용자 수는 100 명이고, 일일 인당 최대 이용 건 수는 1,000건이고, 일일 사용자 80%
정도가 Active User 인 경우를 기준으로 산정 했습니다. 또한, 이용 건 당 10KB의 DB 정보가 신규로 생성됨을
가정했습니다.
구분 구성 시스템 성능/용량 기준 관련 클라우드 비고
BSS BSS 단위 시간당 화면 호출 처리 건수 EC2 WAS의 처리성능과 비례
OSS OSS 단위 시간당 화면 호출 처리 건수 EC2 WAS의 처리성능과 비례
공통
Interface 단위 시간당 API 호출 처리 건수 EC2/SQS Layer 간 Data 전송
DB 일일 최대 레코드 수 RDS 건 당 10KB 정보 생성
Metering 단위 시간당 처리 건수 EC2/MapReduce 현행 시스템 기준
Storage 일일 저장량 S3 Metering 만 산정
PCW OSS/BSS의 각 서버 별 성능/용량 기준
PCW OSS/BSS를 사용하는 이용자는 100명 이고 일일 인당 최대 사용 건수는 1,000건 이고 사용자의 일일
평균 80% 가 PCW OSS/BSS를 이용한다. 이 기준으로 시스템 운영에 필요한 TPM를 계산합니다.
Metering은 현행 시스템 처리량을 기준으로 계산합니다.
• 일일 PCW OSS/BSS를 사용하는 건 수 = 100 * 1,000 * 0.8 = 80,000 ( 분당 처리 건수: 250건 )
• 분당 건수 = 건수 / 8 시간 ( 일간 사용시간 보정 치 ) / 60 분 * 150 % ( 피크 보정치 )
• 일일 Metering 처리 건수 = 500 * 60 * 24 = 720,000 ( 분당 처리 건수: 500건)
• 일일 Metering 저장 용량 = 720,000 * 10KB = 약 6.8GB ( 로그 크기: 10KB)
PCW OSS/BSS의 처리 예상치를 고려하여 각 서버별의 성능/용량 산정
23. 23
물리 아키텍처>성능 및 용량 산정(2/2)
서버 별로 성능을 계산하고 보정치를 반영하면 BSS은 250tpm, OSS은 750tpm, Interface는 875tpm, Metering은
495tmp이 산출되고 DB 사용량은 21GB/월, 스토리지 사용량은 210GB/월이 산출됩니다.
구분 계산 기준 현재 필요량 비고 Amazon 추정 비용(APAC 기준)
BSS 80,000 / 8 / 60 * 150% * 1.0 250tpm
BSS: OSS : I/F =
1 : 3 : 3.5 로 가정
1 * $0.095 * 24 * 30 = $68.4/월
OSS 80,000 / 8 / 60 * 150% * 3.0 750tpm 1 * $0.095 * 24 * 30 = $68.4/월
Interface 80,000 / 8 / 60 * 150% * 3.5 875tpm 1 * $0.095 * 24 * 30 = $68.4/월
DB 80,000 * 10KB 0.7GB/일 호출 건 당 10KB 1 * $0.11 * 24 * 30 + 0.7 * $0.1 * 30 = $81.3/월
Metering 6.8GB / 10KB / 24시간 / 60분 495tpm 일 6.8GB, 건 당 10KB 1 * $0.095 * 24 * 30 = $68.4/월
Storage 495 * 10KB * 24 시간 * 60분 6.8GB/일 로그 건 당 10KB 1 * $0.14 + 0.1 * 0.01 * 6.8 * 30 + 0.495 * $0.01 * 60 * 24 * 30 = $214.2/월
PCW OSS/BSS의 각 서버 별 성능/용량 목표
AMI Small Instance 4인스턴스 + RDS 1인스턴스 + S3 1TB = $569.1/월
AMI Small Instance – default*
1.7 GB memory
1 EC2 Compute Unit (1 virtual core with 1 EC2 Compute Unit)
160 GB instance storage
32-bit platform
I/O Performance: Moderate
API name: m1.small
Small DB Instance – default*
1.7 GB memory
1 EC2 Compute Unit (1 virtual core with 1 EC2 Compute Unit)
64-bit platform
I/O Performance: Moderate
24. 24
세부 기능 정의
대 항목 중 항목 설명 세부 기능
SCE Deploy Management 어플리케이션 및 서비스의 원격 배포 기능 제공 AMI 형상 관리, AMI 버전 관리, AMI 및 서비스 배포 관리
BSF
Service Management 서비스의 생성 및 관리 기능 제공 서비스 형상 관리
Metering Management 요율별 정산 분리 기능, 검증 기능 비즈니스 모니터링, 요율 분배, 요율 분배 검증
Statistics Management 실시간 비즈니스 통계 기능 제공, 마케팅 관점 통계 정보 제공 사용자 통계, Amazon 사용량 통계, 요율 분배 통계
BSSP BSS Portal BSS 웹 사이트 사용자 관리, 사용자 권한 관리, 접속 Key 관리. 비즈니스 관리 UX
OSF
Fault Management
클라우드 포함 통합 장애 감지 기능, 서비스에서 클라우드 까지의
장애 원인 추적 기능, 클라우드 장애에 따른 서비스 차단 기능
장애 감시, 장애 추적, 서비스 차단
Usage Monitoring
Activ ity 추적 기능, 데이터 Cleansing 관리 기능, 시스템/인프라/서
비스 별 일/월/년 통계 기능
EBS 사용량 감시, S3 사용량 감시, 네트워크 사용량 감시, 사용량
통계
Configuration Management
서비스/이용자에 대한 Policy 관리 기능, 내부 시스템의 설정 관리
기능
인스턴스 관리, IP 관리, EBS 관리, S3 관리, DB 관리, Policy 관리
Performance Management 실시간 트래픽 통계 기능 인스턴스 성능 통계, 네트워크 성능 통계
Change Management
설정 관리, 장애 처리 등으로 변경 사항이 발생할 경우 변경 이력
관리
변경 이력 항목 관리, 변경 이력 추적 관리
OSSP
Configuration Portal 설정을 위한 UI 사이트 설정 관리, 구성 관리, 장애 관리, SLA 관리, 운영 관리 UX
Dashboard
실시간 모니터링 및 통계 정보 보기를 위한 웹 사이트 및 전용 클라
이언트
인스턴스, EBS, S3, 네트워크, 장애 실시간 대시보드
REP
Business Repository
BSS 관련 데이터 저장소(가입자, 계약, 서비스 카탈로그 어플리케
이션, 정산 요율 등)
데이터 모델링, 연동 인터페이스
Operation Repository OSS 관련 데이터 저장소(로그 정보, 누적 통계 정보, 설정 정보) 데이터 모델링, 연동 인터페이스
INF
Interface Management 인터페이스 관리 ESB
Amazon API Interface Amazon API 연동 인터페이스
AWS API, EBS API, S3 API, DB API, SQS API 연계, Cloud Watch
연계
PCW Interface PCW 연동 인터페이스 mySingle 연동, 모니터링 시스템 연계(OSP, Jennifer )
25. 25
Interface
Functions(INF)
PCW
Adaptor
세부 기능 정의>Level3 아키텍처
Service Creation Environment(SCE) Deploy
Management
OSSPortal
(OSSP)
Repository
(REP)
BSSPortal
(BSSP)
Business Support Functions(BSF) Operation Support Functions(OSF)
BSS
Portal
ConfigurationPortalDashboard
AMI
형상 관리
AMI
버전 관리
AMI
배포 관리
접
속
키
관
리
비
즈
니
스
PoC
사
용
자
관
리
권
한
관
리
운
영
PoC
구
성
관
리
Amazon
기
반
UX
장
애
기
반
UX
Service Mgmt Metering Mgmt Statistics Mgmt
서비스
형상 관리
서비스
버전 관리
비즈니스
로그 처리자
요율 분배
엔진
요율 분배
검증
통계 관리자
통계 처리
엔진
Fault Mgmt Usage 감시 Config. Mgmt Perf. Mgmt
로그 수집
Mgmt
장애 설정
Mgmt
장애 처리
Mgmt
Usage Data
관리
Usage Data
처리자
Usage모니
터링/추적
Policy
Mgmt
Amazon
구성 Mgmt
서비스 구성
Mgmt
성능 설정
Mgmt
성능 모니터
Mgmt
성능 Noti.
Mgmt
Business Repos. Operation Repos.
가입자 정보
서비스
카탈로그
로그 정보
통계 정보
요율 메타
정보
통계 정보
설정 정보
Machine
Images
Interface
Mgmt
Amazon
Adaptor
Protocol
Mgmt
Routing
Mgmt
Interface
Mgmt
Connection
Mgmt
Error
Handling
EC2
Adaptor
S3 Adaptor …
OAF
Adaptor
mySingle
Adaptor
설
정
관
리
모
니
터
링
관
리서비스
배포 관리
리포트 처리
엔진
Change Mgmt
변경 항목
Mgmt.
변경 추적
Mgmt.
26. 26
세부 기능 정의>Data 모델 정의
접속 키 관리
사용자 관리
권한 관리
AMI
형상 관리
AMI
버전 관리
AMI
배포 관리
사용자 정보
그룹 정보
사용자-그룹 매핑
기능 정보
기능-권한 정보 매핑
권한-그룹 정보 매핑
접속키 정보
사용자–그룹–권한-접속키 매핑
Profile
서비스
형상 관리
서비스
버전 관리
서비스
배포 관리
인스턴스 정보(버전 포함)
AMI 형상 정보(버전 포함)
AMI 배포 정보
서비스 상세 정보(버전 포함)
서비스 배포 정보
Deploy
비즈니스
로그 처리자
요율 분배
엔진
요율 분배 검증
통계 관리자
통계 처리 엔진
로그 수집
Mgmt
장애 설정
Mgmt
장애 처리
Mgmt
Usage Data
관리
Usage Data
처리자
Usage모니터링
/추적
Policy Mgmt
Amazon 구성
Mgmt
서비스 구성
Mgmt
성능 설정
Mgmt
성능 모니터
Mgmt
성능 Noti.
Mgmt
리포트 처리
엔진
변경 항목 Mgmt.
변경 추적
Mgmt.
부서 상세 정보
부서별 요율 정보
요율 분배 처리 정보
비즈니스 로그 처리 결과 정보
통계 템플릿 정보
리포트 템플릿 정보
Business
로그 처리 결과 정보
장애 처리 및 결과 정보
Usage Data 처리 및 결과 정보
성능 수집 정보
변경 정보
Notification 정보
Operation
비즈니스 로그 설정 정보
로그 설정 정보
장애 등급 설정 정보
Usage Data 설정 정보
Policy 정보
성능 설정 정보
Notification 설정 정보
Amazon 구성 정보
서비스 구성 정보
Configuration
Raw Data
Index Data
Usage
27. 27
세부 기능 정의>Log Data 및 Data flow 정의
PCW Instance2
Usage Log(CloudWatch)
System Log
Application Log
Jennifer Log
Metering
Management
performance
Management
Usage
Monitoring
Statistics
Management
Fault
Management
PCW Instance1
Usage Log(CloudWatch)
System Log
Application Log
Jennifer Log
PCW InstanceN
Usage Log(CloudWatch)
System Log
Application Log
Jennifer Log
28. 28
세부 기능 정의>POC 정의
BSS Portal Configuration Portal
Dashboard
AMI 형상 관리
웹 화면
AMI 버전 관리
웹 화면
AMI 배포 관리
웹 화면
AMI 배포 관리
대시보드
인증/권한/키 관리
서비스 형상 관리
웹 화면
서비스 버전 관리
웹 화면
서비스 배포 관리
웹 화면
서비스 배포 관리
대시보드
요율 분배 리포트
웹 화면
비즈니스 로그
관리 웹 화면
리포트
웹 화면
통계 관리
웹 화면
Usage 모니터링
대시보드
Usage 관리
웹 화면
장애 모니터링
대시보드
장애 관리
웹 화면
성능 모니터링
대시보드
Usage 모니터링
웹 화면
장애 모니터링
웹 화면
성능 관리
웹 화면
성능 모니터링
웹 화면
서비스 구성 관리
웹 화면
Amazon 구성 관리
웹 화면
변경 관리
웹 화면
Amazon 구성 관리 서비스 구성 관리
29. 29
세부 기능 정의>Open Source 솔루션 소개
Jack Rabbit(Content Repository for Java, JSR-170/283)
Image 관리
Binary 관리
버전 관리
각종 Binary에 대한 입출력 API 제공
다양한 형태의 Storage와의 연동
지원
S3/EBS와의 연동을 위해서 일부
확장이 요구됨
30. 30
세부 기능 정의>Open Source 솔루션 소개
Talend(ETL 솔루션)
ETL이란 Extract Transform Load의
약자임
다량의 로그에 대한 효율적인 처리
원하는 형태로 변환 후 다른 Log
또는 DB에 저장
처리 로직 변경 시 코딩 없이 GUI
통한 설정으로 변경 가능
S3 연동을 위한 변경 작업이 필요함
31. 31
세부 기능 정의>Open Source 솔루션 소개
Lucene(검색 솔루션)
다양한 소스에 대한 검색 기능 제공
다양한 소스의 검색 제공을
위해서는 Parser를 확보해야 하며
여러 종류의 Open Source Parser가
존재함
Index 파일은 메인 메모리, 파일
시스템, DBMS 등 어디나 저장
가능함
S3에 저장하기 위한 확장 개발이
요구됨
한글 처리가 원활하지 않은 관계로
주로 수행 로그 검색 및 추적 용도로
활용이 될 예정임
32. 32
세부 기능 정의>Open Source 솔루션 소개
Esper(Complex Event ProcessingEngine)
CEP
Reaction to incidents in real-time is
a requirement for data center
monitoring
Expression of abstract rules related
to the business is desirable
Correlation of events through user-
defined queries
Esper
Open source CEP Implementation
Supports an EPL
High throughput, requirement in
our context
Ease of embed in our application