2012

H-navi
Hadoop 인프라를 활용한
중앙집권적 로그 수집 아키텍처

윤태섭 멘티
김주리 멘티
김태완 멘토
목차

Problem

•
•
•
•
•
•

2012

프로젝트 동기
프로젝트 목표
구현 내용
구현 결과 시연
프로젝트 계획
Q&A

Object

Impl.
Future

2
로그의 중요성

데이터

정보

2012

지식

Problem
Object

Impl.
Future

3
현재 로깅 아키텍처의 문제점

2012

Server Farm

System

다수의 머신 환경에서는 시스템상의 관리가 어렵다.

Data
Problem
Object

Impl.
Future

로그로부터 정보를 추출하기...
요구사항
중앙 집권 형태의 로그 관리
기존 소프트웨어의 변경 최소화
Scale Out 지원
Problem
Object

Impl.
Future

로그 데이터에 대한 접근성 및 분석기능 지원

2012
프로젝트 정의

2012

Web & App
 어디서나 쉽게 로그데이터에 쉽게 접근해야 한다.
 로그 데이터관리가 용이해야 한다.

HDFS Client

Flume
 Scale Out이 지원되어야 한다.

 기...
프로젝트 시스템 아키텍쳐

2012

로그수집기

Problem
Object

Web
Client

HDFS-core Server

App
Client

Impl.
Future

7
구현 방식 1 – File Tailing

2012

Application
Framework

FileRollingAppender

Problem
Object

LOG Files tailing

Local To HDFS...
구현 방식 1 – File Tailing

2012

Application
Framework

FileRollingAppender

Problem
Object

LOG Files tailing

Local To HDFS...
구현 방식 2 – Message Queue

2012

Application

Log4j/Logback AmqpAppender

Problem
Object

Message Queue

AMQPSource
Collecto...
하둡에 저장된 로그관리

2012

HDFS-core Server

Problem
Object

Impl.
Future

Web Client
ExtJS 4.1.0

HDFS Browser

Java Client
Ecli...
HDFS Browser

2012

Problem
Object

Impl.
Future

12
Summary

2012

대량의 로그를 중앙집권적으로
저장, 관리할 수 있어야 한다.
하둡 인프라를 이용한
로그 수집 프레임워크 설계 & 개발
기술셋

사용

확장

Hadoop

Problem
Object

Impl...
Summary

2012

서브 프로젝트

분류

설명

Flume Amqp Source
Plug in

라이브러리

로그수집기(Flume)에서 사용자지정 port를
사용하기 위한 amqp 라이브러리 개발

Logbac...
프로젝트 확장(안)

2012

오픈소스화
Data Analysis
Data Visualization
정리된 Documentation,
설치/사용 용이성 제공

하둡 맵리듀스 프레임워크

통계 수치들의 시각화

데이터 ...
사례분석 - Splunk

2012

 소프트웨어 플랫폼 제공
 포맷, 소스에 상관없는 로그 데이터 수집
 데이터 indexing 후 검색 지원
 데이터 모니터와 리포팅 기술 제공
 올해 1월 나스닥 상장 후 ...
Lessons Learned

2012

Hadoop 이론 & 클러스터링 설정
Play Framework & Rest
ExtJS & Cross Domain
Eclipse RCP
Flume 설정 & Plug in 개발

...
2012

Q&A

18
2012

감사합니다

19
Upcoming SlideShare
Loading in...5
×

Hnavi-HDFS based log aggregater with HDFS Browser

631

Published on

'HDFS에 로그를 좀 더 쉽게 저장하고 보자!'
H-Navi - Log4j, RabbitMQ, Flume과 HDFS 기반의 로그수집 및 ExtJS 및 Eclipse RCP(3.7) 의 HDFS 브라우저
- 지식경제부 SoftwareMaestro 2기 2단계 2차 발표 자료
- 김주리 멘티
- 김태완 멘토

0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
631
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Hnavi-HDFS based log aggregater with HDFS Browser

  1. 1. 2012 H-navi Hadoop 인프라를 활용한 중앙집권적 로그 수집 아키텍처 윤태섭 멘티 김주리 멘티 김태완 멘토
  2. 2. 목차 Problem • • • • • • 2012 프로젝트 동기 프로젝트 목표 구현 내용 구현 결과 시연 프로젝트 계획 Q&A Object Impl. Future 2
  3. 3. 로그의 중요성 데이터 정보 2012 지식 Problem Object Impl. Future 3
  4. 4. 현재 로깅 아키텍처의 문제점 2012 Server Farm System 다수의 머신 환경에서는 시스템상의 관리가 어렵다. Data Problem Object Impl. Future 로그로부터 정보를 추출하기 어렵다. logger logger logger Accessibility 장애 발생시 혹은 특정 시점에 접근 자체도 어렵다. Permanent FormattedLOG VM 이미지가 FormattedLOG FormattedLOG 깨지거나 하드 손상의 경우 손상될 위험이 크다. 4
  5. 5. 요구사항 중앙 집권 형태의 로그 관리 기존 소프트웨어의 변경 최소화 Scale Out 지원 Problem Object Impl. Future 로그 데이터에 대한 접근성 및 분석기능 지원 2012
  6. 6. 프로젝트 정의 2012 Web & App  어디서나 쉽게 로그데이터에 쉽게 접근해야 한다.  로그 데이터관리가 용이해야 한다. HDFS Client Flume  Scale Out이 지원되어야 한다.  기존의 소프트웨어를 최소한으로 변경해야 한다.  설정하기 쉬워야 한다. Problem Impl. Future  로그로부터 정보를 추출하기 어렵다. (Data)  에러 상황 시 데이터 복구가 어렵다. (Permanent)  로그를 중앙집권적으로 관리할 수 있어야 한다.  Logging Extension 시스템상의 관리가 어렵다. (System) Repository의 제약이 따른다.  Object  Log 수집기 로그데이터에 대한 분석기능이 있어야 한다. Hadoop File System 6
  7. 7. 프로젝트 시스템 아키텍쳐 2012 로그수집기 Problem Object Web Client HDFS-core Server App Client Impl. Future 7
  8. 8. 구현 방식 1 – File Tailing 2012 Application Framework FileRollingAppender Problem Object LOG Files tailing Local To HDFS Impl. Future 8
  9. 9. 구현 방식 1 – File Tailing 2012 Application Framework FileRollingAppender Problem Object LOG Files tailing Local To HDFS Impl. Future 9
  10. 10. 구현 방식 2 – Message Queue 2012 Application Log4j/Logback AmqpAppender Problem Object Message Queue AMQPSource CollectorSink Impl. Future 10
  11. 11. 하둡에 저장된 로그관리 2012 HDFS-core Server Problem Object Impl. Future Web Client ExtJS 4.1.0 HDFS Browser Java Client Eclipse RCP 3.7 I 11
  12. 12. HDFS Browser 2012 Problem Object Impl. Future 12
  13. 13. Summary 2012 대량의 로그를 중앙집권적으로 저장, 관리할 수 있어야 한다. 하둡 인프라를 이용한 로그 수집 프레임워크 설계 & 개발 기술셋 사용 확장 Hadoop Problem Object Impl. Future Play Framework Flume Amqp Log4j / Logback ExtJS Eclipse RCP 13
  14. 14. Summary 2012 서브 프로젝트 분류 설명 Flume Amqp Source Plug in 라이브러리 로그수집기(Flume)에서 사용자지정 port를 사용하기 위한 amqp 라이브러리 개발 Logback Amqp Appender 라이브러리 Logback 로거에서 올바르게 지원되지 않 Amqp Appender 개발 HDFS Core Server 서버 원격지에 위치한 하둡 네임노드의 파일시스템의 정보를 Rest 아키텍처를 활용한 서버사이드 개발 (Play Framework) Problem ExtJS Web Client 클라이언트 웹 표준을 준수하고 크로스 브라우징이 가능한 ExtJS를 이용한 Web Client 개발 Object Eclipse RCP Client 클라이언트 멀티 OS 를 지원하고 개발자에게 익숙한 Eclipse RCP 를 이용한 Client 개발 Impl. Future 14
  15. 15. 프로젝트 확장(안) 2012 오픈소스화 Data Analysis Data Visualization 정리된 Documentation, 설치/사용 용이성 제공 하둡 맵리듀스 프레임워크 통계 수치들의 시각화 데이터 처리 시스템 구현 로그 이벤트 기반 프로세싱 Problem Object Impl. Future 15
  16. 16. 사례분석 - Splunk 2012  소프트웨어 플랫폼 제공  포맷, 소스에 상관없는 로그 데이터 수집  데이터 indexing 후 검색 지원  데이터 모니터와 리포팅 기술 제공  올해 1월 나스닥 상장 후 꾸준한 성장세 데이터 수집/검색/분석 소프트웨어 Problem Object Impl. Future Splunk in NASDAQ 16
  17. 17. Lessons Learned 2012 Hadoop 이론 & 클러스터링 설정 Play Framework & Rest ExtJS & Cross Domain Eclipse RCP Flume 설정 & Plug in 개발 17
  18. 18. 2012 Q&A 18
  19. 19. 2012 감사합니다 19

×