Recommended
More Related Content
Similar to 리틀 빅 데이터 2020(같이 달리자, 데이터 하니)
Similar to 리틀 빅 데이터 2020(같이 달리자, 데이터 하니) (20)
리틀 빅 데이터 2020(같이 달리자, 데이터 하니)
- 1. 같이 달리자, 데이터 하니 박범진 (wadiz) 1 안녕하십니까, ‘같이 달리자, 데이터 하니 발표’ 를 진행하게 된 박범진 입니다.
- 2. 소속 : wadiz 데이터 플랫폼 팀 업무 : 데이터 추출 / 적재 / 분석 ... 자기소개 2 전 현재 크라우드 펀딩 플랫폼 wadiz의 데이터 플랫폼 팀에 소속되어 있으며, 업무로는 데이터 추출,
- 3. 소속 : wadiz 데이터 플랫폼 팀 업무 : 데이터 추출 / 적재 / 분석 ... 자기소개 3 적재, 분석 등 wadiz의 데이터에 관한 전반적인 업무를 담당하고 있습니다.
- 4. 소속 : wadiz 데이터 플랫폼 팀 업무 : 데이터 추출 / 적재 / 분석 ... 자기소개 4 회사 업무와는 별개로 인프런 / 구름 에듀 등에서 강의도 진행하고 있고...
- 5. 소속 : wadiz 데이터 플랫폼 팀 업무 : 데이터 추출 / 적재 / 분석 ... 자기소개 5 지금처럼 이런 컨퍼런스에서 발표를 하기도 합니다.
- 6. 42.195 km 이름 : 하니 직업 : 육상선수 달려라 하니 6 먼저, 이번 발표 주제인 데이터 하니를 소개하기 전에 ‘달려라 하니’를 소개해 드리겠습니다.
- 7. 42.195 km 이름 : 하니 직업 : 육상선수 달려라 하니 7 ‘달려라 하니’는 많은 분들이 아시다시피 만화영화의 주인공으로 직업은 육상선수 입니다.
- 8. 42.195 km 이름 : 하니 직업 : 육상선수 달려라 하니 8 육상선수로서의 하니의 목표는 정해진 길이, 즉 단거리 선수라면 짧게는 100m에서 마라톤 선수라면
- 9. 42.195 km 이름 : 하니 직업 : 육상선수 달려라 하니 9 42.195 km 라는 정해진 거리를 정해진 루트를 통해서 남들보다 빠르게 도착하는 것입니다.
- 10. 이름 : 데이터 하니 직업 : 데이터 분석가 데이터 데이터 하니 10 이번엔 진짜 주인공인 ‘데이터 하니’를 소개해 드리도록 하겠습니다.
- 11. 이름 : 데이터 하니 직업 : 데이터 분석가 데이터 데이터 하니 11 ‘데이터 하니’의 직업은 데이터 분석가 입니다.
- 12. 이름 : 데이터 하니 직업 : 데이터 분석가 데이터 데이터 하니 12 데이터 분석가의 목표는 데이터를 통해 회사의 성장을 이끌어 내는 것입니다.
- 13. 이름 : 데이터 하니 직업 : 데이터 분석가 데이터 데이터 하니 13 그럼, 데이터를 통해 어떻게 회사의 성장을 이끌수가 있을까요???
- 14. 이름 : 데이터 하니 직업 : 데이터 분석가 데이터 데이터 하니 14 데이터가 쌓여있으면.. 혹은 뭔가 분석을 하게 되면 회사가 알아서 성장을 하는 것일까요???
- 15. 데이터를 통한 기획 데이터를 통한 디자인 데이터를 통한 마케팅 회사의 성장 15 그림을 다시 그려보도록 하겠습니다.
- 16. 데이터를 통한 기획 데이터를 통한 디자인 데이터를 통한 마케팅 회사의 성장 16 저는 데이터 하나 만으로는 회사가 성장하기 힘들다고 생각합니다.
- 17. 데이터를 통한 기획 데이터를 통한 디자인 데이터를 통한 마케팅 회사의 성장 17 단지 데이터를 가지고 있는 것을 넘은 데이터를 통한 분석, 그리고 이를 통한 기획, 디자인, 마케팅 등
- 18. 데이터를 통한 기획 데이터를 통한 디자인 데이터를 통한 마케팅 회사의 성장 18 데이터 하나만이 아닌 다른 영역과 결합할 때 회사가 성장할 수 있다고 믿습니다.
- 19. DSTS 19 아래 그림은 작년(2019년) 리틀 빅데이터에서 주최했던 행사중 하나의 제목입니다.
- 20. DSTS 20 Data Science Is A Team Sports, 이 말처럼 데이터 하니는 달려라 하니와 같은 개인 플레이가 아닌
- 21. DSTS 21 농구, 축구 같은 팀 스포츠를 해야 한다고 생각합니다.
- 22. 너무 다른 우리 22 그러면 이런 데이터를 통한 팀플레이를 잘하기 위해서는 어떤것이 필요할까요???
- 23. 너무 다른 우리 23 왼쪽은 마케터(사업부)의 영역, 오른쪽은 분석가의 영역이라고 하고 대화를 한다고 가정 하겠습니다.
- 24. 너무 다른 우리 24 보시다시피 이렇게 서로의 배경지식에 접점이 없다면 대화하기가 굉장히 힘들것입니다.
- 25. 너무 다른 우리 25 오히려 자연스럽게 불협화음도 발생할 수 있구요.
- 26. 알게 되는 우리 26 그래서 우리는 서로를 알아가야 할 필요가 있습니다.
- 27. 알게 되는 우리 27 마케터는 데이터에 대한 기본 지식을 알아야 할 필요가 있고, 분석가는 반대로 마케팅의 지식을
- 28. 알게 되는 우리 28 알아야 서로가 잘 이야기 할 수 있을 것입니다.
- 29. 알게 되는 우리 29 하지만, 대화만 통한다고 일이 잘 풀릴까요???
- 30. 알게 되는 우리 30 저희에게는 공통적으로 바라보아야 할 데이터가 필요합니다.
- 31. SQL PYTHON EXCEL 구글 스튜디오 TABLEAU REDASH 데이터 가공 31 데이터는 그림의 원석처럼 꼭꼭 숨겨져 있고, 여기저기 쌓여져 있습니다.
- 32. SQL PYTHON EXCEL 구글 스튜디오 TABLEAU REDASH 데이터 가공 32 이 데이터를 우리가 원하는 형태로 보기 위해선 SQL, Python 등으로 데이터를 가공해야할 필요가
- 33. SQL PYTHON EXCEL 구글 스튜디오 TABLEAU REDASH 데이터 가공 33 있고, 그것을 대시보드 등을 통해 잘 표현해야 우리가 생각하던 회사의 현 상태,
- 34. SQL PYTHON EXCEL 구글 스튜디오 TABLEAU REDASH 데이터 가공 34 그리고 앞으로 나아가야 할 미래를 계획할 수 있습니다.
- 35. 데이터 DB 제한 SQL 미숙 테이블 구조 DATA!!! 1 2 3 데이터 추출 35 하지만, 이 과정은 여러가지의 이유로 인하여 쉽게 마케터 분들에게 전달되지 못합니다.
- 36. 데이터 DB 제한 SQL 미숙 테이블 구조 DATA!!! 1 2 3 데이터 추출 36 DB는 개인정보 등의 이슈로 인하여 쉽사리 열어드릴 수가 없고, 열어드린다고 하더라도 SQL을
- 37. 데이터 DB 제한 SQL 미숙 테이블 구조 DATA!!! 1 2 3 데이터 추출 37 배워야 하며, 배운다고 하더라도 거미줄처럼 얽혀 있는 테이블의 구조를 파악해야만 합니다.
- 38. 데이터 DB 제한 SQL 미숙 테이블 구조 DATA!!! 1 2 3 데이터 추출 38 그래서 저는 지난 1년이 넘는 시간동안 많은 시간을 투자해서 제 손으로 데이터를 퍼다 나르는
- 39. 데이터 DB 제한 SQL 미숙 테이블 구조 DATA!!! 1 2 3 데이터 추출 39 일을 하였습니다.
- 40. 데이터 요청이 들어왔어!!! 분석 가 데이터 추출 원본 : 유미의 세포들 업무 우선순위 40 이렇게 데이터를 푸면서 중요시하였던 부분은 빨리 드리는 것이었습니다.
- 41. 데이터 요청이 들어왔어!!! 분석 가 데이터 추출 원본 : 유미의 세포들 업무 우선순위 41 쿼리를 아무리 정확하게 만든다고 하여도 100% 장담하지 못하고, 100% 정확한 정보라고 하더라도
- 42. 데이터 요청이 들어왔어!!! 분석 가 데이터 추출 원본 : 유미의 세포들 업무 우선순위 42 실제로 원하는, 혹은 필요한 정보가 이것이 아닐수도 있기 때문입니다.
- 43. 데이터 요청이 들어왔어!!! 분석 가 데이터 추출 원본 : 유미의 세포들 업무 우선순위 43 그래서 전 대부분의 경우에 데이터 추출을 1순위로 올립니다.
- 44. EZ 44 이렇게 데이터를 드리게 되면, 그분들은 당연히 고맙다고 하십니다.
- 45. EZ 45 이럴 때 저는 웬만해서는 쉽다고 합니다. 다음번엔 좀 어려운 거 내놓으라고, 이런 요청은 절 조금도
- 46. EZ 46 성장시키지 못한다고 말씀드립니다. 왜 이렇게 할까요???
- 47. EZ 47 그 분들은 사람이기 때문입니다. 현재(2020년) 추출은 제가 독점을 하고 있기에 그 분들도
- 48. EZ 48 요청을 하시면서 미안해 하시기 때문입니다.
- 49. - 기존(입사전) 추출 요청량 대비 2 ~ 3 배 이상 증가 - 밀려드는 영입 제의 효과는 굉장했다 49 그래도 이렇게 한 덕분에 효과는 있었습니다. 요청량도 몇 배로 늘어 났습니다.
- 50. - 기존(입사전) 추출 요청량 대비 2 ~ 3 배 이상 증가 - 밀려드는 영입 제의 효과는 굉장했다 50 뭔가 제 일을 제가 만들고 있는 그런 느낌인데… 그건 상관없습니다.
- 51. - 기존(입사전) 추출 요청량 대비 2 ~ 3 배 이상 증가 - 밀려드는 영입 제의 효과는 굉장했다 51 그에 맞춰서 제 속도도 더 빨라졌으니까요.
- 52. - 기존(입사전) 추출 요청량 대비 2 ~ 3 배 이상 증가 - 밀려드는 영입 제의 효과는 굉장했다 52 그리고 회사에서 알아주시는 분들도 많아졌습니다.
- 53. https://m.blog.naver.com/surgeonkang/220569288539 네덜란드 소년 개발실 데이터 분석가 데이터 요청 53 하지만, 힘든것도 사실입니다. 데이터 분석가라는 포지션이 데이터 추출을 하기 위한 포지션이
- 54. https://m.blog.naver.com/surgeonkang/220569288539 네덜란드 소년 개발실 데이터 분석가 데이터 요청 54 아닐뿐더러, 추출의 업무에 치중해서는 회사의 성장을 이끌지는 몰라도 개인의 성장은 이끌기
- 55. https://m.blog.naver.com/surgeonkang/220569288539 네덜란드 소년 개발실 데이터 분석가 데이터 요청 55 힘들기 때문입니다. 또한, 이런 형태는 회사에서도 악영향을 미치게되기 마련입니다.
- 56. https://m.blog.naver.com/surgeonkang/220569288539 네덜란드 소년 개발실 데이터 분석가 데이터 요청 56 앞서 말씀드렸다시피 대부분의 요청을 제가 막고 있기에, 저에게 안좋은 일이 생긴다면
- 57. https://m.blog.naver.com/surgeonkang/220569288539 네덜란드 소년 개발실 데이터 분석가 데이터 요청 57 그 이후는 안봐도 뻔하기 때문입니다.
- 58. https://m.blog.naver.com/surgeonkang/220569288539 네덜란드 소년 개발실 데이터 분석가 데이터 요청 58 많은 분들이 알고 계시는 손가락으로 댐의 구멍을 막아 마을을 구한 네덜란드 소년의 이야기에
- 59. https://m.blog.naver.com/surgeonkang/220569288539 네덜란드 소년 개발실 데이터 분석가 데이터 요청 59 빗대어보자면 데이터 추출이라는 것은 소년의 한 손가락으로도 막을 수 있지만, 이 구멍을 메우지
- 60. https://m.blog.naver.com/surgeonkang/220569288539 네덜란드 소년 개발실 데이터 분석가 데이터 요청 60 않게 되면 팀을 넘어 개발실 전체에 악영향을 미칠수도 있기 때문에 무척 중요한 일이라고 할 수
- 61. https://m.blog.naver.com/surgeonkang/220569288539 네덜란드 소년 개발실 데이터 분석가 데이터 요청 61 있습니다. 따라서, 누구나 할 수 있는 일이지만 아무나 할 수는 없는 일입니다.
- 62. https://m.blog.naver.com/surgeonkang/220569288539 네덜란드 소년 개발실 데이터 분석가 데이터 요청 62 그러면, 데이터 분석가도 살고 추출도 막는 그런 방법은 없을까요???
- 63. 데이터 데이터가 흐르는 조직 63 그래서 그간 마케터와 데이터 사이에 존재하였던 장벽을 치울 필요가 존재하였습니다.
- 64. 데이터 데이터가 흐르는 조직 64 데이터가 필요한 분이 스스로 데이터를 얻을 수 있게 만드는 것이죠
- 65. 데이터 데이터가 흐르는 조직 65 이렇게 하기 위해서는 그간 존재하였던 데이터에 대한 접근권한, SQL 지식, 복잡한 테이블에 대한
- 66. 데이터 데이터가 흐르는 조직 66 문제를 해결할 필요가 존재하였습니다.
- 67. A 정보 B 정보 C 정보 A 요약정보 B 요약정보 C 요약정보 요약 테이블 67 먼저, 데이터를 다 드릴수는 없으니 요약 정보가 담긴 테이블을 제공하였습니다.
- 68. A 정보 B 정보 C 정보 A 요약정보 B 요약정보 C 요약정보 요약 테이블 68 로우 데이터를 제공한다는 것은 보안 이슈가 발생할 수도 있고, 보안 이슈가 없다고 하더라도
- 69. A 정보 B 정보 C 정보 A 요약정보 B 요약정보 C 요약정보 요약 테이블 69 여러개의 테이블을 동시에 바라본다는 것은 SQL 초심자가 보기에 쉬운 일이 아니기 때문입니다.
- 70. A 정보 B 정보 C 정보 A 요약정보 B 요약정보 C 요약정보 요약 테이블 70 따라서, 이런 간단한 테이블을 제공하여 SQL에 익숙하게 만들 필요가 있었습니다.
- 71. 데이터 농도 : 0 데이터 농도 : 0.5 데이터 농도 : 1 물맞댐 71 이는 마치 물고기를 새로운 어항에 풀어줄 때 물맞댐을 하는 것에 비유를 할 수 있습니다.
- 72. 데이터 농도 : 0 데이터 농도 : 0.5 데이터 농도 : 1 물맞댐 72 데이터를 다룬 경험이 없는 분들에게 그대로 제공하였다가는 싫증이 날 수 있기 때문입니다.
- 73. 데이터 농도 : 0 데이터 농도 : 0.5 데이터 농도 : 1 물맞댐 73 그렇기에 조금씩 데이터를 풀어주면서 데이터를 다루는 것이 그렇게 어려운 것이 아니라고 느끼게 만들어야 했습니다.
- 74. 교육 사내 강의 74 그리고 전사 대상으로 SQL 교육을 진행하였습니다. 언택트 시대이니 만큼 youtube로 진행 하였습니다. (물론, 저희 직원들만 볼 수 있습니다.)
- 75. 교육 사내 강의 75 그렇게 제 업무가 하나 추가 되었습니다. 그렇다고 싫지는 않습니다.
- 76. 교육 사내 강의 76 자기소개에 말씀드렸듯이 다른 플랫폼에서도 강의를 하고 있고, 발표도 좋아하기 때문입니다.
- 78. SELECT FROM JOIN WHERE GROUP BY ORDER BY LIMIT 난이도 78 요약된 테이블만을 제공하였기에 서브쿼리나 조인문을 쓸 필요도 없는 수준으로 진행하였습니다.
- 79. 재밋게 79 전체적인 구성은 그림과 같이 있을법한 상황을 가정하여 진행 하였습니다.
- 80. 재밋게 80 상황이 주어져야 이해하기가 쉽고, 개인적으로 세미나나 발표는 재밋게 하고 싶기 때문입니다.
- 81. 피드백 81 교육 이후, 들으신 분들을 대상으로 피드백을 받았습니다.
- 82. 피드백 82 장점이라고 하면, 당연히 무언가를 배운다는 것과 드디어 데이터를 내 손으로 만져볼 수 있다는 점이었습니다.
- 83. 피드백 83 아쉬운 점이라면, 요약된 데이터만을 제공하였기에 볼 수 있는 것이 한정적이었다는 점이었습니다.
- 84. 계획 A 정보 B 정보 C 정보 A 정보 B 정보 C 정보 84 이를 토대로 2차 이후의 교육을 진행하려 합니다. 이번 교육에서는 요약된 정보만을 제공하여
- 85. 계획 A 정보 B 정보 C 정보 A 정보 B 정보 C 정보 85 요청자가 보고 싶은 데이터를 보는 것에 한계가 있었다고 한다면, 이번에는 주요 요청항목의
- 86. 계획 A 정보 B 정보 C 정보 A 정보 B 정보 C 정보 86 정보를 한 테이블에 밀어넣어 그 자유성을 높이려 합니다.
- 87. 펀딩으로 시작하자 A/B Test 87 이렇게 저희는 얼마전부터 시작했습니다. 그러면 이제 우리는 행복해질수 있 까요???
- 88. 펀딩으로 시작하자 A/B Test 88 추출은 줄어들고 분석가는 원하는 일을 할 수 있으며 전사적으로 데이터를 통한 의사결정이 이루어지는 것일까요???
- 89. 펀딩으로 시작하자 A/B Test 89 저는 이것을 AB 테스트에 빗대고 싶습니다.
- 90. 펀딩으로 시작하자 A/B Test 90 왼쪽의 강하늘님이 모델(2021년 현재 만료)로 있는 광고배너와 오른쪽처럼 단순히 글씨만 있는 광고배너가 있다고 하면 당연히 왼쪽이 높겠지만 그렇지 않을수도 있습니다.
- 91. 펀딩으로 시작하자 A/B Test 91 마찬가지로 오히려 잘못된 쿼리를 통하여 잘못된 데이터를 바라볼 수 있으며, 교육 및 쿼리 응대를 위하여 안그래도 부족한 저의 시간이 더욱 부족해질수도 있으며,
- 92. 펀딩으로 시작하자 A/B Test 92 쿼리 추출은 정반대로 늘어날 위험도 있습니다. 그럼에도 진행을 하려 합니다.
- 93. 펀딩으로 시작하자 A/B Test 93 왜냐하면, 현재의 분석가에 의존한 데이터 추출 및 분석은 한계가 명확하기 때문입니다.
- 94. 개인차 94 혹여 이런 경우도 발생할 수 있습니다. 어떤 분은 능력이 골고루 분배되어 쿼리를 쉽게 짜시는 반면 어떤 분은 쉬운 쿼리도 힘들어 하시는 분이 계실수도 있습니다.
- 95. 개인차 95 이런 경우에 어떻게 해야 할까요? 다른 분들 다 할줄 아니까 공부해라고 몰아붙여야 하는 것일까요?
- 96. 개인차 96 그때 가봐야 알겠지만… 지금 생각으로는 돕는게 맞다고 봅니다.
- 97. 목표 97 저희의 목표는 쿼리 추출 양이 줄이는 것이 아닌… SQL 교육을 하는 것도 아닌...
- 98. 목표 98 데이터를 통해서 회사를 성장시키는 것이기 때문입니다.
- 99. 같이 달리자, 데이터 하니 99 그러기 위해서는 저희는 같이 달려야 하니까요.
- 100. 같이 달리자, 데이터 하니 100 이상으로 발표 마치도록 하겠습니다. 지금까지 들어주신 분들 감사드립니다.
- 101. 101 (2021년 현재 모델 계약 만료)