웹 애플리케이션 로그 분석 - REAL-TIME INSIGHT SOLUTION

Discovery Value in Real-Time!
HTTP://WWW.KOPENS.COM

운영 인텔리전스를 위한
웹 애플리케이션 로그 REAL-TIME 분석 및 관리 솔루션 소개

© 2012 KOPENS Inc. All Rights Reserved. Confidential and Proprietary.

Table of Contents HTTP://WWW.KOPENS.COM

순서

1. What’s Web Application Log?
2. As-Is > To-Be Architecture
3. Implementation
4. Summary



1. What’s Web Application Log?


Web Application Log 의 정의 HTTP://WWW.KOPENS.COM

Transaction

웹 애플리케이션 로그는 소프트웨어 응용 Security

프로그램에 의해 기록 된 이벤트의 정보입니다.
Info

• 웹 애플리케이션에 의해 기록 Error

• 이벤트의 오류 정보 및 경고가 포함 Debug

• 형식과 내용은 프로그램 개발자에 의해 결정
Performance

• 웹 서버 및 데이터베이스 등의 미들웨어가
아닌 애플리케이션에서 발생하는 이벤트
• 목적에 따라 여러가지 유형이 존재함

• 트러블 슈팅 및 기능 개선을 위한 필수 정보
Web Application Log


Web Application Log 의 예 HTTP://WWW.KOPENS.COM

• 디스크 공간 부족에 대한 경고
• 수행 된 작업 (=비즈니스 트랜잭션=회원등록/문서수정 등)
• 심각한 모든 문제 (오류 이벤트로 알려진 사항들)
• 디버그(Debug) 정보
• 성공적인 로그온과 같은 보안 이벤트를 표시하는 성공 감시
• 로그온 실패로 이벤트를 표시하는 실패 감시


Web Application Log 의 성질 HTTP://WWW.KOPENS.COM

웹 애플리케이션 로그는 각종 정보성 로그로 인해
매우 빠른 속도로 발생함 대용량임

Velocity Volume

디버그, 오류, 트랜잭션
성공 여부, 로그인 여부
등 다양하고 복잡한
상관관계를 가짐 Complex

“ 웹 애플리케이션 로그는
고속 빅 데이터의 전형적인 성질을
가짐 “


Web Application Log 처리 유틸 HTTP://WWW.KOPENS.COM

JAVA 기반 웹 애플리케이션
• Apache Log4j
• Apache Commons Logging
• SLF4J
• System.out or System.err API
• java.util.logging API

.NET 기반 웹 애플리케이션
• Apache Log4net
• NLog
• Enterprise Library
• SmartInspect


Web Application Log 관리의 필요성 HTTP://WWW.KOPENS.COM

 웹 애플리케이션 모니터링 및 트러블 슈팅을
위한 가장 실질적인 정보
 개발자 및 운영자가 웹 애플리케이션 로그(에러)
상황에 대한 정확한 인지 필요
 위협 감지 및 검색
 사고 대응
 포렌식(Forensics)
 내부 정책 및 절차 준수 확인
 IT 시스템 성능 모니터링


Web Application Log 관리를 위한 주요 요소 HTTP://WWW.KOPENS.COM

• Log Collection and Centralization
• Log Storage
• Log Filtering
• Log Aggregation
• Log Search and Extraction
• Log Retention



2. As-is > To-be Architecture


As-is Architecture HTTP://WWW.KOPENS.COM

기존의 웹 애플리케이션 로그 분석 및 저장 아키텍처는 애플리케이션 내부에서 파일
또는 콘솔에 출력하거나 관계형 데이터베이스에 저장해서 개발자가 분석하는 방식임.
A System

저장 분석
File
System.out
System.err

분석 불가

B System

저장 분석
System.out
Database
System.err

More ……….


As-is Problems HTTP://WWW.KOPENS.COM

기존 분석 및 저장 방식의 문제점

기술적 관점 개발자 운영자

빠르게 발생하는 로그 데이터에 사용자의 보고에 운영자는 오류에 대한 분석 및 현황을
대한 기술적 분석이 어려움 의존해서 트러블 슈팅을 해야함 알 수가 없음
대용량으로 인해 관리 / 파일 대용량 로그정보를 저장소에만
실시간 오류 알림 부재
스토리지 및 데이터베이스 관리하므로 이력열람이 어려움
많은 로그 발생시 보틀넥 현상
여러 시스템에 산재되어 있는 개별
발생 => File I/O 로 인한 CPU 라인by라인으로 직접 읽으면서 디버깅
로그의 통합관리가 되지 않음
부하
많은 로그 파일으로 인해 예기치
인터페이스와 로컬 시스템의 상관 에러 실시간 알림의 부재로 인한 시스템
않은 하드 디스크 풀 =>
도출에 많은 시간이 소요 오류 대응시간의 지연
추가 에러 발생

애플리케이션 처리 성능에 집중 중요 패턴 추출의 어려움 가시적인 시스템 성능 확인의 어려움

실시간 분석과 통합 관리를 하기 위한 기술
셋트의 구현 어려움이 원인


To-Be Architecture HTTP://WWW.KOPENS.COM

RealDisplay® Platform 을 통해 향상된 통찰 (Insight) 제공과 이전에는 가능하지 않았던 또는
비용 효과적으로 구현하기 어려웠던 새로운 실시간 로그 분석 구현을 가능하게 함.

Log Agent
RealDisplay® Platform Dashboard

Config Push Console
Report
A~Z System

I/O Adapter Framework
M Alert
Q
CEP Engine Search

Manager

X 100의 확장성 100ms이하 응답의 고성능 분석 통찰 및 관리


To-Be Architecture – Technologies HTTP://WWW.KOPENS.COM

RealDisplay® Platform 의 핵심 기술은 Tube 형식의 데이터 전송 및 처리 아키텍처,
500,000MPS 이상의 스트림을 처리할 수 있는 고성능 CEP(Complex Event Processing) 엔진임.

SQL(AD-HOC) PROCESSING COMPLEX EVENT PROCESSING

INPUT
OUPUT

Memory

VS
Memory
Actions
Disk
Disk
Polling Queries

Relational
NoSQL
Database

• 데이터베이스에 저장해서 분석 • In-Memory 기반 고성능 분석
• 요청 > 저장 > 처리 아키텍처 • 비동기(Async) 처리 지향
• 많은 이벤트 발생시 Update 지연 • Event Driven Architecture
• Bottleneck 현상 • 선 처리 > 후 저장 메커니즘
• 데이터가 축적될수록 응답 지연 • 데이터 용량에 상관없이 Low-Latency 확보


To-be Solution HTTP://WWW.KOPENS.COM

새로운 분석 및 저장 아키텍처의 장점

기술적 관점 개발자 운영자

중앙 집중적인 수집 & 오류 및 상황 / 패턴에 대한 애플리케이션에 대한
고성능 로그 분석 즉시 응답 및 대응 실시간 통찰력 확보
대용량 로그를 저장소를 통하지 사용자 보고를 거치지 않고 즉각적인 통합 로그 관리 정책을 수립하여
않고 실시간 시각화 트러블 슈팅 가능 효율적인 운영이 가능
복잡한 로그 파일을 하드디스크가 아닌
로그 처리의 중앙집중으로 실시간 알림으로 인하여 오류에 대한
시각화된 애플리케이션에서
기존 애플리케이션의 성능 향상 즉각 대응이 가능
확인함으로써 개발 생산성 향상

대용량 로그 저장으로 발생하는 고성능 로그처리로 가능해진 빠른
하드디스크 풀 현상을 예방 로그 이력정보 열람

다양한 저장소에 로그정보 저장 로그정보의 통합관리로 인하여
가능 개발자와의 커뮤니케이션 원활

기존 아키텍처의 단점을 RealDisplay® Platform
으로 해결함으로써 실시간 통찰력 제공



3. Implementation


Analytics Target HTTP://WWW.KOPENS.COM

로그 분석 및 관리 애플리케이션을 구현하기 위한 주요 대상에 대한 요약

로그 카운트 로그 볼륨
타임 라인 게이지 모니터링을 필요로 하는
모든 행위 및 패턴
로그 레벨 측정 시스템별 성능  연관 시스템과의 상호 로그 패턴
변화율 레벨 히트맵  특정 비즈니스 트랜잭션 통계
 특정 사용자의 액션 등

비즈니스
주요 트랜잭션
클래스별 로그
로그 오류 측정
레벨 카운트


Modules HTTP://WWW.KOPENS.COM

REAL-TIME 로그 분석 및 관리 애플리케이션 구현 모듈

Real-Time Log Analytics And Management Application

Dashboard Report Alert Search Manager

* “Search” 외의 모듈은 RealDisplay Platform 에서 제공하는기본 기능이므로, Search 모듈만 구현하면 됨.


Features HTTP://WWW.KOPENS.COM

 고성능 CEP (Complex Event Processing) 엔진
 Low-Latency (<1sec) 분석
 고성능 NoSQL (MongoDB) 데이터베이스
 이벤트 정의 및 분석, 응답, 실시간 차트, 웹 및 SMS/이메일 알림,
보고서, 관리 등 에 이르는 전체 라이프사이클 자동화
 수집을 위한 에이전트 적용을 위한 애플리케이션 수정 필요없음.
(Log4j, Log4net 일 경우)
 아름다운 데이터 시각화 및 대쉬보드, TV/모니터 지원
 스케쥴링을 통한 적극적인 리포팅
 Mobile(iPhone 및 Android) 지원 (V1.5부터 예정)
 다양한 이벤트 영역에 대한 추가 확장성
 WAS 재기동 없이 CEP 엔진 재시작 및
새로운 분석 전략 배치 가능(Zero Downtime)
 100% 커스터마이징 가능
 100 + More Features


Implementation Preview HTTP://WWW.KOPENS.COM

A. 대쉬보드
로그에 대한 전체적인 모니터링 대쉬보드 제공 메뉴

 대쉬보드
대쉬보드 메뉴에서는 로그 정보의 통계나 분
1 5 석 데이터에 대한 시각화 정보를 제공합니다.
실시간 시리즈, 게이지, 파이, 막대 차트 등
4 다양한 차트와 푸쉬 알림을 통해 실시간으로
정보를 비주얼하게 전달합니다.
2

3
1) 개인 환경에 대한 메뉴
- 오늘 발생한 알림 검색
2) 개인 정보
3) 최근 알림
4) 포털형식으로 구성 가능한 대쉬보드
- 대쉬보드 탭 추가 / 수정 / 삭제
- 대쉬렛 추가 / 수정 / 삭제 / 레이아웃
5) 로그인시 현황 알림
6) 푸쉬알림 발생시 팝업
6



B. 보고서
정해진 일정마다 전송되는 보고서 제공 메뉴

 보고서
보고서 메뉴에서는 일정시간마다 자동으로
수신되는 로그 분석 및 현황 등의 보고서를
확인하고 처리하는 작업을 할 수 있습니다.
2

1 3 1) 보고서 그룹별 보기
2) 보고서 상세 검색
3) 보고서 목록
4) 보고서 보기

4



C. 알림
실시간 알림 제공 메뉴

 알림
알림 메뉴는 실시간 즉시 경고 사항에 대해
확인을 할 수 있는 메뉴입니다.
(오류 발생이나 신규 회원 가입 등)
3

1 2
1) 알림 중요도별 보기
2) 알림 그룹별 보기
3) 오늘 알림 현황 및 기간별 현황 차트
4) 알림 상세 검색
4 5) 알림 목록
6 6) 알림 상세 보기 팝업

5



D. 검색
실시간 또는 기간별 로그 검색 제공 메뉴

 검색
검색 메뉴는 실시간 로그 현황 및 대용량
로그 데이터에 대한 검색을 제공하는
메뉴입니다.
3
1

2
1) 실시간 로그 트렌드 보기
- 드래그를 통한 바로 검색
2) 로그 검색 옵션
3) 검색 로그 목록
4 3
6

5


Use Cases HTTP://WWW.KOPENS.COM

로그 분석의 사용 유형

CASE 1. 실시간 오류 탐지

 중요도(Priority)가 ERROR 인 것을 개발자 또는 운영자에 알림
 ERROR 이면서 SQLException 인 것을 알림

CASE 2. 패턴 모니터링

 A.JSP 에서 B.JSP 로 이동한 사용자 알림
 문서를 등록하고 확인없이 바로 이탈한 사용자를 알림

CASE 3. 연관 시스템과의 상관 분석

 인터페이스에서는 INFO 이고 로컬 시스템에서 ERROR 인 것을 알림
 위와 반대로 API를 호출해서 오류가 난 원격 시스템 알림


More HTTP://WWW.KOPENS.COM

향후 분석 가능한 이벤트를 더욱 추가하여 다양한 분석과 모니터링 체계를 구축하고,
이후 빅데이터 플랫폼 도입시 추가 작업없이 연동할 수 있는 아키텍처 구현.

분석 가능한 이벤트 추가

 O/S 자원 상태 로그 뿐만 아니라
 네트워크 성능 성능 및 트랜잭션, 사용자 Flow 등
 JVM / .NET 성능 및 상태 다양한 영역에 대한 인텔리전스 도출
 WAS 성능 및 상태
 웹 접속 성능 및 사용자 Flow
 비즈니스 트랜잭션


Next HTTP://WWW.KOPENS.COM

향후 분석 가능한 이벤트를 더욱 추가하여 다양한 분석과 모니터링 체계를 구축하고,
이후 빅데이터 플랫폼 도입시 추가 작업없이 연동할 수 있는 아키텍처 구현.

빅데이터
플랫폼과
(Hadoop)
연결



4. Summary


Summary HTTP://WWW.KOPENS.COM

웹 애플리케이션 운영 상황에 대한 REAL-TIME INSIGHT 확보!
“ 기존에 처리가 불가능하여 버려지거나 요약된 정보만 보관되었던 웹 애플리케이션
로그 데이터도 이제 실시간으로 통계 및 분석, 모니터링, 조기 경보 및 오류 예측을 할
수 있고 장기 보관해도 검색이 가능하게 합니다. “

실시간 운영 인텔리전스

√ 빠른 의사 결정
√ 답변 효율 의미
√ 더 많은 관련 정보를 의미
√ 더 나은 결론을 의미

Real-Time Insight

DW/Appliance
Console & File
Database
File & Console


END
감사합니다!

(주)한국오픈솔루션
본사위치 : 642-971) 창원시 성산구 성산동 77-1 SK테크노파크 넥스존 7층 710호
대표전화 : 055-607-0737 / 팩스: 055-607-0736
구매 관련 문의 : sales@kopens.com

웹 애플리케이션 로그 분석 - REAL-TIME INSIGHT SOLUTION

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (14)

Similar to 웹 애플리케이션 로그 분석 - REAL-TIME INSIGHT SOLUTION

Similar to 웹 애플리케이션 로그 분석 - REAL-TIME INSIGHT SOLUTION (20)

웹 애플리케이션 로그 분석 - REAL-TIME INSIGHT SOLUTION