빅데이터 분석 사례 2014

19,871 views

Published on

0 Comments
37 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
19,871
On SlideShare
0
From Embeds
0
Number of Embeds
80
Actions
Shares
0
Downloads
895
Comments
0
Likes
37
Embeds 0
No embeds

No notes for slide

빅데이터 분석 사례 2014

  1. 1. Mobile Operating Systems, Inc. Data Analysis Service 2013 Version 3 - Korean
  2. 2. > BigData/SmartData
  3. 3. 데이터 처리 엔진의 변화 1970’s 1980’s 데이터 정확성/편리함 Now 검색속도 /데이터량
  4. 4. 데이터 처리의 새로운 접근 관계형 DB 금융거래기록, 제조 and 물류정보, 개인 정보 정형화된 구조 유연하지 못한 스키 마, 오랜 구축 기간 다차원 DB 사업 및 통계 관리를 위 한 다차원 DB, 수학,고밀 도 데이터 유연한 금융분석을 위한 피벗 데이터 월간 리포트, 실시간성이 지원하지 않음 4 스키마에 구애받지 않는 시계열기반의 비정형 데이터 모든 IT시스템의 비 표준, 비정형 포맷 의 데이터 대용량; 빠른 검색 및 분석 함수 제공
  5. 5. 주요 데이터 분석 서비스 Transaction & Service Profiling Customer Profiling & Marketting Decision Public Service Science Special Data Profiling Fraud Detection
  6. 6. 주요 공급 플랫폼 및 분석 툴 Visual한 데이터 상관 분석 Machine 데이터 Human 데이터 Data 지식화 Entity 인지 기술, Domain Knowledge, Data Analyzing RDBMS/In-Memory 오픈소스
  7. 7. 스플렁크는 빅데이터 엔진이며 대용량 로그성 데이터 수집/분석 엔진입니다. 데이터수집과 인덱싱 Business Insights Connectors Configuration data > Scripts > Metrics > DB Change Events > Logs > Servers > Enterprise > Management > Any Ascii data, any format > Business Applications > Errors > Structured > Semi-Structured > > Databases > Web Services > Value Real Time Business Vision ↑ Value Limit Service Business Analytics ↑ KPIs, SLAs, QoS Proactive Monitoring Proactive Security & Compliance Reactive Application Management 차이점 ↑ Uptime Universal Data Engine Powerful Search & Reporting Language Transactions > Fast Time to Value Schema on the Fly Scales from Desktop to Enterprise Agile Reporting, Analytics & Visualization Search + Investigate Passionate and Vibrant Community Open, Extensible Platform Cloud Solutions Microsoft Solutions Operational Visibility Unstructured > Storage > Networks > 제공솔루션 활용분야 스플렁킹 ↓ 90% MTTR or MTTI ↓ 70% Escalations IT Operations Management
  8. 8. 마크로직은 정형/반정형/비정형 데이터의 통합 검색/분석 플랫폼으로 NoSQL DB입니다. Alerting Words and phrases ... Semantic Web is a collaborative movement led by the World Wide Web Consortium (W3C) ... Structure <Rule> <Rule>Image over 10MB</Rule> <Rule>Image restricted</Rule> <Rule> Label Author Ing Comp Org Data/Metadata Universal 인덱스 ID Para Name:J.K.Lee date:2012-06-04 company:MOS Entities in Context ... ACE inhibitors, since the risk of lithium toxicity is very high in such patients... Geospatial Security <User>James</User> <Role>Admin</Role> <Role>Editor</Role> <location> <lat>46.946584</lat> <lng>93.076172</lng> </location>
  9. 9. Centrifuge is VNA : 빅데이터 시각화 도구
  10. 10. Big Data Landscape www.bigdatalandscape.com
  11. 11. > Step for BD
  12. 12. 내 안의 데이터는? 예산은? 현업에 줄 총알? DB로 안되는 건? ROI? 단계별 도입 방법은?
  13. 13. RFID Online Shopping Carts Web Services Care IVR Supporting the nex t gen airliner Health Desktops Databases Social Media Shipping 보안장비 Energy Cars as telemetry sensors GPS/Cellular Manufacturing 네트웍 서버 Clickstream Virtual Flood monitoring warning
  14. 14. Big Data Capabilities Model Delivery & Visualization BI, Cusotm Wudgets, Portals Big Data Application Big Data Analytics Pattern Detection Relationship Detection Predictions 6 Delivery & Visualization Big Data Analytics Big Data Acquisition Big Data Big Data Refinery Acquisition Validation & Data Correction Scale for volume Multi structured data Data Discovery Knoledge Management Big Data Management Big data management Transactions Real-Time Processing Scale/performance Data Discovery Search SQL Query Sematic Query Knowledge Creation Text Mining Semantic Tools Ontology/Taxonomy Management
  15. 15. 무엇을(장비/HW/SW) 가지고 있나? 무엇을(DATA) 더 가질 수 있나? 무엇을 가져올 수 있나? 어떻게 연관성을 지을 것인가? 지속적인 활용방안은? ####<Sep 24, 2009 2:52:38 PM PDT> <Warning> <EJB> <virt3> < myserver> <[ACTIVE] ExecuteThread: '224' for queue: 'weblogic.kernel.Default (self-tuning)'> <<anonymous>> <> <> <1253829158586> <BEA-010065> <MessageDrivenBean threw an Exception in onMessage(). The exception was: javax.ejb.EJBException: nested exception is: javax.ejb.ObjectNotFoundException : Bean with primary key '10011968' was not found by ' findByPrimaryKey'.. javax.ejb.EJBException: nested exception is: javax.ejb.ObjectNotFoundException : Bean with primary key '10011968' was not found by ' findByPrimaryKey'. at com.sun.j2ee.blueprints.opc.customerrelations.ejb.MailOrderApprovalMDB.onMessage(MailOrderApprov alMDB.java:140) at weblogic.ejb.container.internal.MDListener.execute(MDListener.java:429) at weblogic.ejb.container.internal.MDListener.transactionalOnMessage(MDListener.java:335) at weblogic.ejb.container.internal.MDListener.onMessage(MDListener.java:291) at weblogic.jms.client.JMSSession.onMessage(JMSSession.java:4072) at weblogic.jms.client.JMSSession.execute(JMSSession.java:3962) at weblogic.jms.client.JMSSession$UseForRunnable.run(JMSSession.java:4490) at weblogic.work.ServerWorkManagerImpl$WorkAdapterImpl.run(ServerWorkManagerImpl.java:518) [Thu Sep weblogic.work.ExecuteThread.execute(ExecuteThread.java:209) at 24 14:57:33 2009] [error] [client 10.2.1.44] ap_proxy: trying GET /petstore/ enter_order_information.screen at backend host '127.0.0.1/7001; got exception at weblogic.work.ExecuteThread.run(ExecuteThread.java:181) 'CONNECTION_REFUSED [os error=0, line 1739 of ../nsapi/URL.cpp]: Error connecting to host 127.0.0.1:7001', referer: http://10.2.1.223/petstore/cart.do?action= purchase&itemId=EST-14 정형 반정형 비정형(내부) 비정형(외부) 내부의 정형/비정형? 외부 데이터? 기존과 다른 어떤 색다른 리포트와 분석 뷰를 만들 것인가?
  16. 16. 어떻게? 뭘? 아하!! 이런 일이~!
  17. 17. AS-IS & SHOULD BE… 국내 업체 Amazon
  18. 18. Wiki Intelligence Is every where. 19
  19. 19. Collective Intelligence Collective intelligence is a theory that describes a type of shared or group intelligence that emerges from the collaboration and competition of many individuals and appears in consensus decision making in bacteria[clarification needed], animals, and computer networks. 20
  20. 20. Recommender Systems Recommender systems typically produce a list of recommendations in one of two ways - through collaborative or content-based filtering. Recommender Systems Collaborative Filtering Neighborhood-based Approach Content-base Approach Model-based Approach 21
  21. 21. Netflix Prize The Netflix Prize was an open competition for the best collaborative filtering algorithm to predict user ratings for films, based on previous ratings without any other information about the users or films, i.e. without the users or the films being identified except by numbers assigned for the contest. 22
  22. 22. Collaborative Filtering Collaborative filtering methods are based on collecting and analyzing a large amount of information on users’ behaviors, activities or preferences and predicting what users will like based on their similarity to other users 23
  23. 23. Complex Relationships Collect Analyze all the relationship and all the purchase transactions Yo u 24
  24. 24. Automated Decision Making “I Don’t Like it” 25
  25. 25. Pearson Correlation 26
  26. 26. Proof Of Concept • Live Demo • Connnect to URL • Pick your selection and purchase http://demo.splunkmos.com:88 27 88/music
  27. 27. Customer Profiling
  28. 28. 활용 방법 예시1 - 시나리오 주제 선정 Survey 및 선진사례 분석, XX사 데이터 분석 결과를 바탕으로 빅데이터 시나리오 도출 XX사 데이터 분석 Survey 선진사례 다채널 기반 고객 통합 뷰 실시간 서비스 QoS 고객 마스터 고객 Micro Segmentation 디바이스 오류 로그 관리 디바이스 마스터 실시간 서비스 QoS 관리 서비스 품질 BI 연계 관리 서비스 마스터 디바이스 로그 기반 품질 분석 고객 ID 기준 이력 정보 통합 고객/ 디바이스 매핑 고객 Behavior 분석 서비스 사용 로그 Internet of Things 응용 디바이스 사용 로그 Opt-in을 통한 고객 정보 습득 인프라 로그 / 오류 로그
  29. 29. 활용 방법 예시2 - 고객 중심의 통합 뷰 고객별 디바이스 보유 내역과 서비스 사용로그를 통합 분석 (이를 기반으로 고객 Micro Segmentation 수행) 통합고객ID = XXXXX 디바이스A고객ID = aaaaaaa 디바이스B고객ID = bbbbbb 디바이스C고객ID = cccccccc 디바이스D고객ID = dddddd 고객 마스터 계층 고객 디바이스 계층 서비스사용 로그 계층 A디바이스ID = mmmmmmm 디바이스유형 = A 생성일자 = 13/01/12 동작시작 = 2012-03-12 11:17:00 동작종료 = 2012-03-12 8:38:00 동작시작 = 2012-03-13 10:43:00 동작종료 = 2012-03-13 6:59:00 동작시작 = 2012-03-14 10:47:00 동작종료 = 2012-03-14 8:08:00 오전 오후 오전 오후 오전 오후 ………… B디바이스ID = nnnnnnnnn 디바이스유형 = B 생성일자 = 12/09/16 서비스사용순위 = AAA BBB CCC DDD EEE FFF 서비스수행시각, …
  30. 30. 활용 방법 예시3 - 시나리오 Break Down 시나리오 AAA, BBB, CCC 서비스 통합 성능/오류 진단 이상 발생 디바이스 / API별 상세 진단 실시 및 이상 패턴 분석 현 데이터 매핑 • 제품 ID - TB_AAA - TB_BBB - TB_CCC • 서비스 운영 Log - AAA 서버 로그 - BBB 서버 로그 - CCC 서버 로그 주요 정보 • 에러/이상 발생 건의 상세 내역 • OPEN API URL ERROR 이상패턴 • WAS API ERROR 이상패턴 • 특정 디바이스에서 이상 발생시 이에 대한 상세 내역 추가 수집 요구 데이터 • 서비스별 웹로그 • 성능 판단, 이상 판단 기준 Master • 에러 종류 Master • 고객 불만 VOC 비즈니스 활용 • 서비스 성능/오류 Monitoring  (장애사전예방 체계 구축) • 서비스 성능/오류 패턴 분석  (Root Cause Analysis 체계 구축) 데이터 이미지 예시
  31. 31. 활용 방법 예시4 - 다채널 기반 고객 통합 뷰 고객 Segment별 고객-제품/서비스 통합 뷰 Seg.별 고 객-제품 통 합뷰 타겟 Seg. 선택 다수 제품/서비스 고객 개별 고객 상세 정보 분석 가능 단일 제품/서비스 고객
  32. 32. 사례 – Promotion Detail Analysis
  33. 33. 사례 – Product Detail Analysis
  34. 34. 사례 – 타겟고객추출
  35. 35. Top Genres / Artist / Albums Genres Albums Artist 36
  36. 36. Revunue by Area / Product Area Product 37
  37. 37. Collaborative Filter Impact 38
  38. 38. Final Result We can maximize the customers’ profits.. 39
  39. 39. 사례 – 개인화 추천
  40. 40. 사례 – Click Stream Routes 고객별 동선 클릭스트림 분석 예시
  41. 41. 사례 – 개별고객 Behavior 분석
  42. 42. 사례 – 군집 분석 (Clustering) - 고객별 앱 구매 내역을 통해 각 앱들간 구매 패턴 유사성을 계산하여 고객 Segmentation 분석 조건: 구매한 App에 성격에 따라 5개의 Group으로 분류 Grou 빈도 p AAA BBB CCC DDD EEE FFF GGG HHH I.I.I JJJ 1 1446 0.4 0.1 0.2 0.0 0.4 0.0 0.0 0.1 0.3 0.1 2 5353 0.0 0.1 0.1 0.0 0.0 0.0 0.0 0.1 0.0 0.1 3 1058 0.2 0.2 0.4 1.0 0.5 0.1 0.0 0.1 0.1 0.2 4 930 0.1 0.1 0.1 0.0 0.0 0.3 1.0 0.2 0.2 0.1 5 1213 0.1 0.2 0.0 Group 1) AAA, EEE, I.I.I 를 다른 그룹보다 많이 구매한 그룹 0.0Group 2) 전반적으로 구매횟수가 1.0 그룹 0.1 0.0 0.0 0.0 0.1 적은 Group 3, 4, 5) 각각 DDD, GGG, FFF를 구매한 그룹 구매자들을 Grouping한후, 이 특성에 따라 고객의 가족 구성을 추측하거나, Segmentation에 활용하여 추후 marketing등에 활용할 수 있음.
  43. 43. 사례 – 연관 분석 (Association Rule) - 고객별 앱 구매 내역을 통해, 특정 앱을 구매할 확률이 높은 고객 그룹 도출 Rule 조건: minlen=2, supp=0.025, conf=0.1을 만족하면서 BBB 앱을 우항으로 하는 Rule  구매가능성이 높은 그룹 13개 도출  이중 중복되는 Rule의 중복을 정리하면 다음의 3개 Rule 도출 lhs 1 {EEE=1} 2 {DDD=1} 3 {CCC=1} support*) confidence **) lift ***) 0.02837969 0.2309140 2.494607 0.02511886 0.2275152 2.457889 0.03418606 0.1804753 1.949708 *) support: 전체 대상 중 발생비율 = EEE와 BBB를 동시 구매한 고객 = 2.84% (1350명) **) confidence: 조건부 확률 = EEE를 구매한 고객 중 BBB를 구매한 고객비율 = 23.10% ***) lift: 규칙에 의한 구매가능성 향상도 = 전체 고객 중 BBB 구매비율 (9.26%) 대비 그룹내 구매율의 향상비율 = 2.49배 특정 앱을 프로모션 할 때, 효과가 높은 고객 그룹을 선정할 수 있음.
  44. 44. 사례 - 앱스토어 & 모바일/ 클라우드 서비스 BI & OI 통합 운영 - 일일 100TB 이상의 디바이스/ 앱/ 서비스 로그 처리 - 클릭 스트림 분석, 서비스 이상에 따른 비즈니스 임팩트 실시간 관리 BI / OI(서비스 QoS) 통합 관리 OI BI 서비스 오류 SLA 서비스 이상에 따른 손실금액 구매 오류 로그인 오류
  45. 45. 사례 – 결제대행서비스 실시간 결제 성공/실패/시도 건수 결제 실패 내역 가맹점별 결제 현황 서비스별 결제 현황
  46. 46. 사례 – 소셜/검색 분석 검색어 모니터링
  47. 47. 사례 – 업종별 지역별 상권분석 거래량 기준 히트맵 표시
  48. 48. 사례 – 단위 매장별 맵 연계 분석 매장별 반경 500m
  49. 49. 사례 – 고객 주소, 위치, 카드매출처 연계 분석 종로구 강남구
  50. 50. 사례 – 카드이용로그분석 항목별 통계 고객 카드 카드 매출처 계좌 상세 계정 거래 발생 추이
  51. 51. Service Profiling
  52. 52. Service Profiling Customer Visit Trend by Locations 53
  53. 53. Service Profiling Promotion Impact 54
  54. 54. Service Profiling Revisit Analysis index=sum_dev_uniq SUM_TYPE=sum_dev_uniq_1m | table DATE, DEV_UNIQ | sort DATE index=sum_dev_uniq SUM_TYPE=sum_dev_uniq_1w | table DATE, DEV_UNIQ | sort DATE Monthly Weekly Daily index=sum_dev_uniq SUM_TYPE=sum_dev_uniq_1d | table DATE, DEV_UNIQ | sort DATE 55
  55. 55. Transaction Profiling
  56. 56. Transaction Analysis and Filtering 3C:BD:D8:BF:5E:B1 WAS_API=* | eval TIME=strftime(_time, "%Y-%m-%d %H:%M:%S.%3N") | strcat TIME " : " WAS_API COMBO | stats values(COMBO) by WAS_MAC_ADDR Transactions 57
  57. 57. > Total Fraud Detection
  58. 58. 금융 서비스 부문 온라인 금융 관리 솔루션의 주요 공급 업체 1800 개 이상의 금융 기관과 4 백만 이상의 소비자 (from 2011) 포함된 응용 프로그램 : -소비자 및 기업용 인터넷 뱅킹 -전자 결제 -개인용 온라인 재무 관리 -금융 기관 웹사이트 호스팅 및 개발 “Fraud 팀의 목표는 부정 행위 분석을보다 적극적으 로 제공하는 것입니다.” 59
  59. 59. Truth from the Trenches: Geolocation 부정 행위 패턴과 공격자의 위치 인식 15개 은행에서 유사한 부정 행위 패턴 확인 다음 15마일의 범위에 있는지 분석 부정 행위는 공유된 단일 처리 업체에서 발생 Big Data enables Intuit to make better decisions using the data they already have 60
  60. 60. 금융 사기 적발, 내부 정책 위배, 조세 포탈, 재산 증식 위법 적발 사례 14/01/2014 61
  61. 61. 즉각적인 협업기반 데이터 분석 수행 From: shadowserver.org, and shadows-in-the-cloud.net
  62. 62. > SCADA Profiling
  63. 63. Infrautil SCADA • 각 32개의 디젤 발전기로 이루어진 여러 '긴급 발전소 "의 자동 제어 및 모니터링을 가능하게 하기 위해 개발. • 각 지역에 대한 가격 변동을위한 국가 전력 시장을 실시간 모니터릴 • 가격이 지정된 임계 값을 초과 / 아래로 이동 하면 '긴급 발전소는 "그 지역의 그리드에 전력 공급을 중단 / 시작 트리거됩니다. 64
  64. 64. 전력 소비 모니터 • 도쿄 지역의 주요 법인은 2011 년 3 월 11 일 대지진 으로 인한 전력 부족 때문에 소비 전력을 절감해야 합니 다. • 기업은 보유 장치의 전체 소 비 전력을 줄이기 위해 해제 해야 있는지 확인해야 했다 • 전원 각 멀티탭의 소비 섹션 또는 작업 공간의 최저치를 예상 하는 것이 곤란하였다 • 모니터 솔루션은 소비자 수 준에서 실시간 가시성을 제 공하는 것을 목적으로 한다. 65
  65. 65. SYSEnergy - 전력 관리 솔루션 • SYSEnergy는 빌딩 자동화 (BA)와 에너지 사용량의 공 장 자동화 (FA)의 분석을 제 공하고 있습니다. • 에너지 절약의 결정은 신속 하고 효율적으로 할 수 있습 니다. • 사용 경향 분석과 인텔리전 스 검색 상관은 에너지 낭비 의 소스를 식별. • 모니터 서버 룸의 에너지 효 율을 향상시키기 위해 사용. 66
  66. 66. introducin g Nest Labs Confidential
  67. 67. How it all got started Our team has built a thermostat for the iPhone generation from the ground up Nest Labs Confidential
  68. 68. 92 million Nest Labs Confidential
  69. 69. Example Splunk Dashboard server logs Nest Labs Confidential
  70. 70. Example Splunk -> Python algorithm development Nest Labs Confidential
  71. 71. Example Splunk -> Python hardware sensors Nest Labs Confidential
  72. 72. Example Splunk -> D3 embedded software Nest Labs Confidential
  73. 73. Example Splunk Dashboard server logs Nest Labs Confidential
  74. 74. 현대 중공업 사례 • • • • • • • 현대중공업 - 해외 발전소 RMS l 도입 이유 전 세계 발전소 센서 데이터를 수집, 분석, 모니터링하기 위함 l 효과 전 세계 발전소 센서 데이터를 실시간으로 수집, 분석, 모니터링하고 안정적인 운영을 할 수 있게 됨 Page - 79
  75. 75. 포드 자동차 스플렁크 – 포드 자동차 자동차 운행 중 발생한 데이터는 저장 후 분석되고 결과를 대시보드에 시각화된다. 엑셀 페달 위치, 속도 데이터, 운전대 위치, 운전 성향 등이 모두 분석된다. 운전자의 운전 성향이 그대로 드러나기 때문에 수집된 데이터는 보험료 산정을 위해 사용될 수 있다. 우량 운전자는 보험료 할인을 받게 될 것이다. 또 교통 사고 당시 어떤 일이 발생했는지 나타나기 때문에 법 집행 시 핵심적인 데이터가 될 것"이라고 전망 또 "자동차 제조업체들은 믿을 수 있는 데이터를 기반으로 차 디자인을 개조할 수 있을 것이고 도로에서 더 효과적으로 움직이는 무인차량을 개발하는데 도움이 될 것" Page - 80
  76. 76. 기계 데이터를 실시간 분석 From these: [6/17/2010#23:59:39:699] #DEBUG#IFXMSG#onMessage#NA#NA#NA#-#PK#000002c9#PK_eBBS_CHL_CL04##[6/17/2010#23:59:39:699] #O#-#-##scb.util.ServiceProcessInvoker#-#-#54#-#-#-#-#[6/17/2010#23:59:41:648] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000f7d79#PK_eBBS_ONL_CL10##[6/17/2010#23:59:41:648] #I#-#-#-#scb.util.ServiceProcessInvoker##-#-#-#-#-#[6/17/2010#23:59:41:685] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000f7d79#PK_eBBS_ONL_CL10##[6/17/2010#23:59:41:685] #O#-#-##scb.util.ServiceProcessInvoker#-#-#37#-#-#-#-#[6/17/2010#23:59:42:923] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#0000012f#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:42:923] #I#-#-##scb.ebbs.req.com.ServiceProviderProcess#-#-#-#-#-#-#[6/17/2010#23:59:43:084] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#0000012f#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:43:084] #O#-#-##scb.ebbs.req.com.ServiceProviderProcess#-#-#161#-#-#-#-#[6/17/2010#23:59:45:655] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000010a5#PK_eBBS_INT_CL02##[6/17/2010#23:59:45:655] #I#-#-#-#scb.util.ServiceProcessInvoker##-#-#-#-#-#[6/17/2010#23:59:45:692] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000010a5#PK_eBBS_INT_CL02##[6/17/2010#23:59:45:692] #O#-#-#-#scb.util.ServiceProcessInvoker##-#37#-#-#-#-#[6/17/2010#23:59:47:658] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#00000123#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:47:658] #I#-#-#-#scb.util.ServiceProcessInvoker##-#-#-#-#-#[6/17/2010#23:59:47:684] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#00000123#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:47:684] #O#-#-##scb.util.ServiceProcessInvoker#-#-#26#-#-#-#-#[6/17/2010#23:59:48:037] #DEBUG#ENQ#-#NA#NA#NA#-#PK#0000012f#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:48:037] #I#1318196#PKD17TTK1S##RelationshipEnquiry#1#-1#0#-1#eBBS#null#[6/17/2010#23:59:48:058] #DEBUG#ENQ#-#NA#NA#NA#-#PK#0000012f#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:48:058] #O#1318196#PKD17TTK1S##RelationshipEnquiry#-1#-1#21#-1#-#null#[6/17/2010#23:59:51:665] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000f7e66#PK_eBBS_ONL_CL10##[6/17/2010#23:59:51:665] #I#-#-#-#scb.util.ServiceProcessInvoker##-#-#-#-#-#[6/17/2010#23:59:51:665] #DEBUG#IFXMSG#onMessage#NA#NA#NA#-#PK#000002e7#PK_eBBS_CHL_CL04##[6/17/2010#23:59:51:665] #I#-#-##scb.util.ServiceProcessInvoker#-#-#-#-#-#-#[6/17/2010#23:59:51:724] #DEBUG#IFXMSG#onMessage#NA#NA#NA#-#PK#000002e7#PK_eBBS_CHL_CL04##[6/17/2010#23:59:51:723] #O#-#-##scb.util.ServiceProcessInvoker#-#-#58#-#-#-#-#[6/17/2010#23:59:51:733] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#000f7e66#PK_eBBS_ONL_CL10##[6/17/2010#23:59:51:733] #O#-#-##scb.util.ServiceProcessInvoker#-#-#68#-#-#-#-#[6/17/2010#23:59:53:668] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#0000109f#PK_eBBS_INT_CL02##[6/17/2010#23:59:53:668] #I#-#-#-#scb.util.ServiceProcessInvoker#-##-#-#-#-#[6/17/2010#23:59:53:669] #DEBUG#SVS#SVS#NA#NA#NA#-#PK#00000123#PK_eBBS_ENQ_CL01##[6/17/2010#23:59:53:669] #I#-#-#-#scb.util.ServiceProcessInvoker##-#-#-#-#-#- Zhang Yu Senior Director, Application Operations  문제 해결과 관제  인지되지 않은 문제에 대응
  77. 77. > BigData for Finance
  78. 78. 비즈니스 로그/데이터 흐름도 계정계 DB 기타업무 DB 비정형데이터 로그수집-인덱싱-검색-대시보드 고객DB 단위업무 웹로그 Join (비정형 데이터/정보계 DB) 인사/감사DB 예산 WAS 로그 상품DB 자본예산 외화 네트웍로그 경영기획DB 관리회계 시스템로그 공통DB 자산관리 보안로그 거래DB  마케팅 데이터 생성 VOC 계좌/약정DB 비즈니스 상황판 여신심사 암호화 로그 복호화 APIText XecureWeb 감사 Bigdata Engine 신용카드 유의미 데이터 저장 RDB / SAM OLAP 이관 RDB 데이터 가져오기 JDBC 활용 * Increment Data JDBC  Select Data Staging DB EDW DM 계좌정보DB 수신 CRM 거래정보DB 외환 리스크 고객정보DB 카드 종합수익 속보성정보DB 공통정보 * Non-Increment Data 성과관리 기타 큐브 JDBC  Trigger / Lookup 활용 Join (정보계 DB/비정형 데이터) 거래통계  마케팅데이터 생성 Update Data DBMS 고객통계 여신 고객 DW통계 기간별, 조건별 DB Sync 83
  79. 79. 데이터 수집 대상 시스템 비정형 데이터 분석시스템 확대 대상 통합단말 CD/ATM Call Center 확대 대상 1차 수집 대상 범위 Mobile Web WAS Core Banking AP DB 보험 카드 인터넷 CRM … 채널 … e-Banking 시스템 IT 시스템 84 코어뱅킹 & 업무시스템
  80. 80. 빅데이터 기반 데이터 분석 기대효과 e-마케팅 역량강화 Big Data • 기존 방식으로는 저장, 관리, 분석하기 어려울 정도의 큰 • 비대면 거래 전자금융 거래 패턴 분석을 위한 자료 제공 기반 구축 • 마케팅 강화를 통한 수익창출에 기여 규모의 자료 생성 • 로그 수집 대상 시스템의 증가로 데이터가 수 ~ 수십배 e-금융 로그통합 • 각 채널 별 거래로그 통합관리 • 마케팅 지원을 위한 자료 제공 Technical Requirement Business Requirement 증가 Performance • 로그 및 데이터 처리 Processing 복잡도 증가 • 방대한 로그와 데이터로부터 빠르게 원인을 추출해야 합 e-Banking 장애대응 Analytics • 로그 및 데이터 분석 로직 복잡화 • 시스템별, 서비스별 장애대응 및 신속한 조치를 위한 관제시스템 구축 • 동시처리량 증가 • 정확한 분석을 위한 다양한 통계기법 85
  81. 81. > Bigdata for GV
  82. 82. 테러 및 범죄 추적
  83. 83. 해킹 및 자금 세탁
  84. 84. 의약 분석 및 주요 이슈 추적
  85. 85. BigData as Public Service DB : 예산, 회계, 사건 사고, 범죄, 조례, 법규 예산 삭감에 따른 범죄율 및 사고 증감의 상관 관계 출산율과 건강교육과의 상관 관계 화재발생화 질병 발생률 간의 상관 관계 지자체 간의 강수량에 따른 침수 및 홍수 발생 관계 … … … 센서 : 보행자, 수량, 수위, 교통량, 지하수 외부기관 : 소방, 화재, 지도, 날씨, 지질정보, 토양, 농작물/수산 정보 소설 : 웹 크롤링, 트위터, 패이스북, 소셜 사이트 정보 웹 : 서비스 포텅 및 서비스 데이터 지역민들의 최근 관심의 대상인 정책 사안 파악 중앙기관 정책에 따른 지역민들의 반응 및 동향 분석 과거 언론 보도에 따른 지역 이슈들의 상관 관계 및 통계 분석 …. …. …. 정책 DB : 상위 기관 정책, 내부 지역 정책 민원 : 민원 데이터 각종 언론 매체
  86. 86. Successful Ingredient of Data Analysis Machine Data + Collective Intelligent Platform + Analysis Logic Data Science Very Satisfied Customer 91
  87. 87. Conclusion See the world Predict the future True Value for the Customer Collective Intelligence Platform 92

×