Your SlideShare is downloading. ×
0
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
[H3 2012] 로그속 사용자 발자국 들여다보기
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

[H3 2012] 로그속 사용자 발자국 들여다보기

1,629

Published on

H3 2012 발표자료 …

H3 2012 발표자료
로그속 사용자 발자국 들여다보기
-KTH 김남미

0 Comments
13 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,629
On Slideshare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
80
Comments
0
Likes
13
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 로그 속에 있는사용자 발자국 들여다 보기DAISY I 김남미
  • 2. 공간분석 분석을 좋아 합니다. PD(Point Detector)전문분야는 공간 분석(GIS)입니다.
  • 3. 공간분석사례공간분석 사례-홍수범람홍수 범람 예측분석을 통해재해 발생시 싞속히 대피하고 조치하기 위함
  • 4. 공간분석사례 공간분석 사례-홍수범람 <그림 3-14> 서울시 주요하천별 범람예상지도 1.측선생성 2. TIN 생성 3. GRID 생성4. DEM에 의한 침수심 계산 5. 범람지역생성
  • 5. 공간분석사례공간분석 사례-서울시장선거분석 10월 26일 서울시장선거 분석 박원순 시장 VS 나경원 지지율 비교
  • 6. 공간분석사례공간분석 사례-서울시장선거분석 나경원 지지율 지역 용산, 서초,강남, 송파
  • 7. 공간분석사례공간분석 사례-야구관중지도 Korea Baseball Map (2000~2011, 야구 데이터기준)
  • 8. 공간분석사례공간분석 사례-야구관중지도
  • 9. 공간분석사례공간분석 사례-카페,음식점 분석(서울) 서울지역 카페,음식점 Proportion Map
  • 10. 공간분석사례공간분석 사례-카페,음식점 분석(서울) 서울지역 카페,음식점 Density Map
  • 11. 공간분석 사례-카페,음식점 분석(부산) 부산지역 카페,음식점 Proportion Map
  • 12. 공간분석 사례-카페,음식점 분석(부산) 부산지역 카페,음식점 Density Map 부산지역 카페,음식점 Proportion Map
  • 13. 오늘 할 발표 시작 공간분석에 대한 발표는 아닙니다.사용자 로그 분석에 대해 이야기 합니다.
  • 14. 현실의 나까만 콩 들여다 보기이름 : 김남미나이 : 30대성별 : 여 30대 평범한 직장인다니는 회사: KTH대학전공: 지리학과(사회과학대), 문과 출신GIS 개발자로 일해 왔으며, 현재는 데이터지능팀에서 서비스 분석 파트에서 일하고 있음.
  • 15. 난 누구?30대 평범한 직장인인 김남미는 서비스 로그 속에서는 어떤 User 일까요?
  • 16. 난 누구?Twitter서비스 앆에서는 어떤 User 일까요?
  • 17. Twitter 로그 속 나@naami79기본 통계총 Twitter 수 : 895건Follower수/Following수 310여명
  • 18. Twitter 로그 속 나웃긴 사진을 좋아하는 사용자
  • 19. Twitter 로그 속 성향 분석쌍용차 해고자,대한문, 빆소공지영, 대한문조국,4대강,로봇물고기,붕어빵 틀
  • 20. Twitter 로그 속 성향 분석 보수 중도 진보정치 성향 보수 중도 진보Follower 성향 관찰자 전달자 연설자Twitter 성향 민간인 사찰 대상자
  • 21. 데이터 분석가빅 데이터 R, Hive, pig Data Scientist데이터 분석가가 미래에 많이 필요할 것이다.데이터는 많은데 이를 제대로 해석하지못한다면 가치가 떨어 질 것이다. -Gartner Data Analysis통계전문가 Data Analysts 오픈 Source Hadoop
  • 22. 로그 속에 있는 사용자 발자국 들여다 보기로그 속에 있는 사용자 발자국 들여다 보기 Episode#1 로그 속 사용자 발자국 찾기 Episode#2 사용자가 말해주는 서비스 라이프 타임 Episode#3 통계의 짂실 혹은 거짓
  • 23. Episode#1 로그 속 사용자 발자국 찾기Episode #1 로그 속 사용자 발자국 찾기 로그 속 사용자 발자국 찾기 위해 손 분석 얶제까지 할 꺼야~
  • 24. Episode#1 로그 속 사용자 발자국 찾기 DAISY (Data Intelligence System)Data를 수집/정제/분석을 위한 인프라 및 서비스 분석 플랫폼 데이지 꽃말 희망, 평화
  • 25. Episode#1 로그 속 사용자 발자국 찾기 서비스 분석 첫걸음 By DAISY서비스 분석 Process 서비스 서비스 로그 정제/적재 분석 제공 수집
  • 26. Episode#1 로그 속 사용자 발자국 찾기DAISY 플랫폼 기술 스택 Batch CEP 실시간 이벤트 처리 Esper Visualization R/ Chart Mahout Log /정제 수집 Kafka 분석/추천 Collector Cluster 데이터 통합 Sqoop Hive/pig Map Reduce DBMS 적재 HDFS Data Source(서비스 로그, 데이터)
  • 27. Episode#1 로그 속 사용자 발자국 찾기DAISY (Data Intelligence System) 플랫폼 구성 기술 설명 분야 사용기술 설명 Data Agent, Data Collector 구성 데이터 수집 Kafka Cluster 앆정적인 로그 수집을 위한 로그데이터 Queue 유연한 허브 역할 Hive 기반 (SQL-like) 데이터 조회, 분석 데이터 분석/ HIVE, Pig, R Pig script를 이용한 데이터 조회 추천 Mahout R을 통한 데이터 분석 Mahout 을 이용한 데이터 마이닝 및 사용자 추천 분석결과를 RDBMS로 저장 데이터 통합 Sqoop RDBMS의 데이터를 실시갂으로 HDFS 및 HIVE로 이젂할 수 있음 반대의 경우도 가능 Visualization Chart, R 분석 Data를 차트와 그래프 형태로 시각화 분산파일시스템 Hadoop 원본 로그 데이터를 저장하고 분석을 위한 Map reduce기반의 병렬 처리 플랫폼 제공 실시갂 이벤트 처리 Esper Real-Time Event process 처리 (CEP) EPL(Event Processing Language)제공
  • 28. Episode#1 로그 속 사용자 발자국 찾기DAISY 플랫폼 로그 수집 현황 사용자 성향 추천 결과 개선 사항 영향도 분석 분류 서비스 제공 DAISY 플랫폼 로그 수집
  • 29. Episode#1 로그 속 사용자 발자국 찾기 로그 속 사용자 발자국 찾기 위한시스템 적인 관점에서의 데이터 분석을 위한 플랫폼인 DAISY를 살펴 보았습니다.
  • 30. 로그 속 사용자 발자국 분석로그 속 사용자 발자국 분석은서비스 속 사용자 스타일 파악서비스 사용자 스타일 그룹화
  • 31. Episode #2 사용자가 말해주는 서비스 라이프 타임Episode #2 사용자가 말해주는 서비스 라이프 타임 서비스 라이프 시갂 아는 것은 기본이지! 기본이어서 놓치고 있던 사용자 시갂! 실제 서비스 분석 사례를 통한 에피소드 방출
  • 32. Episode #2 사용자가 말해주는 서비스 라이프 타임114 젂국젂화 서비스 소개 생활 정보 형 APP ‚114젂국젂화‛ 생활에 유용한 정보 제공 병원(굿닥제휴) 배달음식 정보(중국집, 치킨) 먹거리 근처 은행 영화관 위치기반으로 검색결과를 제공한다. 사용자 맞춤 테마를 제공하고 싶다!
  • 33. Episode #2 사용자가 말해주는 서비스 라이프 타임114 젂국젂화 서비스 라이프 타임 Peak => 18시 Peak => 12시 사용자 라이프 타임 그룹화 조건 Peak시갂 분류, 평일, 주말, 시즌 구분
  • 34. Episode #2 사용자가 말해주는 서비스 라이프 타임114 젂국젂화 시갂 그룹화시간 쪼개고 그룹화 하여 사용자 맞춤 조건 코드 생성 DAY D F W TIME P1 P2 S1 S2 S3 S4 SEASON SP SU FA WI
  • 35. Episode #2 사용자가 말해주는 서비스 라이프 타임114 젂국젂화 데이터 마이닝 Process HIVE State DBMS BatchJob#1 Table (Condition Keywords State) 114 젂국젂화 Data Mining BatchJob#2 (Condition Keywords State) Process BatchJob#3 Result (Condition Keywords State) File Sqoop HIVE log 분석 결과 DB로 sync Table 114전국전화 수집 로그 조건 코드 별 데이터 마이닝 결과를 114전국전화 서비스에 제공
  • 36. Episode #2 사용자가 말해주는 서비스 라이프 타임114 젂국젂화 라이프 타임 서비스 적용 AS-IS 4개 타임으로 구성된 메뉴 기획자가 그때 그때 ~적용한 메뉴 TO-BE(맞춤메뉴 적용) 11월 적용 예정 시갂그룹 18개 타임 구성 분석결과 기준으로 맞춤테마 제공
  • 37. Episode #2 사용자가 말해주는 서비스 라이프 타임114 젂국젂화 라이프 타임 서비스 적용 사용자 생활 패턴에 맞춰 테마제공 편리하고~ 기획자는 테마를 어떻게 설정할까? 고민을 덜어주고~
  • 38. Episode #2 사용자가 말해주는 서비스 라이프 타임글로벌 사짂 기반 SNS ‚Pudding.to‛ 글로벌 사짂 기반 SNS 라이프타임은?
  • 39. Episode #2 사용자가 말해주는 서비스 라이프 타임푸딩.투 - 인기사짂 인기사진에 선정이 되면 다른 사용자들의 관심이 한꺼번에 ~ 인기사진에 선정이 되면 Like 증가 99% ~ Follower 증가 76%~ 궁금해~? 24%는 왜 Follower증가가 없었을까?
  • 40. Episode #2 사용자가 말해주는 서비스 라이프 타임푸딩.투 – 라이프 타임 그래프 24% Follower 미 증가 구간 새벽 2시~8시
  • 41. Episode #2 사용자가 말해주는 서비스 라이프 타임푸딩.투 – 인기사짂 선정 배치타임 인기사진 선정 푸딩.투 배치서버 시간 사용자 대부분 잠자는 시간
  • 42. Episode #2 사용자가 말해주는 서비스 라이프 타임푸딩.투 – 인기사짂 선정 배치타임 Follower 증가가 없었던 이유는 단순 배치시간, 사용자 시간, 지리적 시간 차이 인기사진 선정 시 배치시간 고려 인기사진 선정 UTC ASIA/Seoul LA New York GMT 00 09 17 20 00 03 12 20 23 03 푸딩.투 배치서버 시간 06 15 23 사용자 대부분 잠자는 시간 02 06 09 18 02 05 09 12 21 05 08 12 15 00 08 11 15 18 03 11 14 18 21 06 14 17 21
  • 43. Episode #2 사용자가 말해주는 서비스 라이프 타임푸딩.투 – 동티모르 에피소드 아직은 가난한 나라 동티모르 사짂 업로드 빆도수 가 높은 까닭은? 우리나라와 같은 타임존 (UTC + 9) 사진 업로드 Device가 모두 앆드로이드 임에 주목! 범인은 LG 옵OOO~!
  • 44. Episode #2 사용자가 말해주는 서비스 라이프 타임서비스 분석을 통해 살펴본에피소드는 여기까지 입니다.
  • 45. Episode #3 통계 속 진실 혹은 거짓Episode #3 통계 속 진실 혹은 거짓 이번 서비스 업데이트 기능은 ‘감’이 확 온다구요~! ‘감’은 그냥 드시고! 사용자 데이터 ‘분석’ 통한 진실을 찾으세요~!
  • 46. Episode #3 통계 속 진실 혹은 거짓 멍~지효 말고~!맞아서, 부딪혀서 ‘멍’이 들었을때 바르는 유유제약 연고 이야기
  • 47. Episode #3 통계 속 진실 혹은 거짓멍에 바르는 연고의 경쟁 제품은? VS 현대 ‘물 파스’ 유유제약 ‘멍 연고’ 정확히 틀렸습니다. ~ 유한양행 ‘앆티푸라민’
  • 48. Episode #3 통계 속 진실 혹은 거짓멍 연고의 실제 경쟁제품? VS 유유제약 ‘멍 연고’ 민갂요법 ‘달걀’, 소고기, 찜질 26억 건 데이터 분석을 통해 알게 된 짂짜 경쟁대상
  • 49. Episode #3 통계 속 진실 혹은 거짓그래서 유유제약은?젂통적 영업방식 대싞어떻게? 빅데이터 분석 결과 활용고객분석, 경쟁 분석, 커뮤니케이션 기획 등 분석결과 활용진짜 사용자를 찾고, 민간요법의 부작용 홍보
  • 50. Episode #3 통계 속 진실 혹은 거짓그래서 유유제약은? 한국모델협회와 공동마케팅
  • 51. Episode #3 통계 속 진실 혹은 거짓응답하라 1997 4화 페어플레이 에피소드 역쉬~ ^^ 축구 볼 때는 통닭 옆집 통닭 먹기 잘못 배달 해온 호돌이 치킨 축구 완전 집중
  • 52. Episode #3 통계 속 진실 혹은 거짓114 젂국젂화 서비스에도 대한민국 축구응원 열기 발견 7월 26일 대한민국 VS 멕시코 7월 14일 8월 5일 대한민국 VS 뉴질랜드 대한민국 VS 영국 7월 20일 대한민국 VS 세네갈 열대야 영향 분석 앆에서 찾은 축구경기와의 114젂국젂화 관계
  • 53. Episode #3 통계 속 진실 혹은 거짓축구 경기가 있었던 날은 ‚치킨‛ 검색어 상승‘치킨’ 검색어 비율 평일 대비 25%이상 증가 (평일 8%) 축구 보실 때 치킨은 ‘114 젂국젂화’ 이용
  • 54. Episode #3 통계 속 진실 혹은 거짓데이터 분석 앆에서 찾은 또 다른 에피소드는 여기까지 입니다.
  • 55. 느낀 점 데이터 분석을 통해서 얻을 수 있는가장 큰 것은 ‘새로운 기회’라고 생각합니다.
  • 56. 마무리서비스 로그를 수집하고 분석 꼭 하세요! 사용자의 만족도가 올라가면 서비스의 가치를 높아질 거에요.
  • 57. 마무리 빅 데이터 분석 젂문가가 없다고서비스 분석 플랫폼이 없다고 망설이시나요?? 개발자 이잖아요~ ! 도젂하세요!
  • 58. 감사합니다.데이터지능팀/ 김남미naami79@kthcorp.com @naami79

×