2. 이 슬라이드 작성자인 저는..
• 이름은 박성환이구요
• Vertigo Games, Inc 에 재직 중이며,
• Online FPS “BlackShot”의 개발 및 사업을 담당하고 있습니다
• 데이터 분석에는 엑셀도 쓰고요 R과 파이썬을 쓰는데, 요즘은 R이 더 좋
아요
• 통계는 비전공자이지만 공부 중이며, 머신러닝에 관심이 많고
• 데이터기반 의사결정을 하려고 노력 중입니다
• Email : foucalt@vertigogames.com
• FB : https://www.facebook.com/Glen.S.Park
3. • 이 슬라이드의 목적은 데이터 관련 기술을 말하려고 하는 것이 아닙니다
• 데이터를 비즈니스에 활용하고 싶은데 안되는 이유를 풀어내보기 위함이죠
4. • 모 데이터 분석 강의 캠프에 온 참가자 왈,
“사장님(혹은 임원)에게 제 주장을 데이터로 증명하기 위해서 왔습니다”
• 위 이야기를 통해 알 수 있는 것
1. 데이터를 근거로 해서 주장을 하면 씨알이 먹힐 것이라고 생각을 한다
2. 데이터에 근거한 자신의 제안을 의사 결정자가 채택해주길 바란다
이는 “데이터 기반 의사결정(Data Driven Decision, 이하 DDD)”의 근간
이 되는 의사결정권자와 실무자를 모두 포함한 이들의 욕구입니다.
의사결정권자들도 실무자들이 데이터를 근거로 방향을 잡겠다고 하면
싫어할 사람은 거의 없을 겁니다.
5. DDD 하려고 보니 아래와 같은 질문에 답을 하는 과정을 거쳐야 한다!!
1. 쓸만한 데이터는 무엇인가
2. 그 데이터 어디에 있는가, 어떻게 뽑아낼 건가
3. 데이터를 어떻게 원하는 형태로 가공해야 하는가
4. 데이터를 어떻게 의미 있는 정보로 읽어내야 하는가
5. 읽어낸 정보는 어떻게 의사결정권자에게 전달해야 하는가
6. 전달된 정보가 있으면 의사결정권자는 어떻게 해야 하는가
7. 결정한 내용은 다시 어떻게 적용되어야 하는가
8. 적용된 이후 데이터는 어떻게 변화 했는가 (다시 처음부터 무한루프)
8. 우선 아래 일을 혼자 다 할 수 있을 것 같지 않습니다..?!
• 쓸만한 데이터는 무엇인가
• 그 데이터 어디에 있는가, 어떻게 뽑아낼 건가
• 데이터를 어떻게 원하는 형태로 가공해야 하는가
• 데이터를 어떻게 의미 있는 정보로 읽어내야 하는가
• 읽어낸 정보는 어떻게 의사결정권자에게 전달해야 하는가
• 전달된 정보가 있으면 의사결정권자는 어떻게 해야 하는가
• 결정한 내용은 다시 어떻게 적용되어야 하는가
• 적용된 이후 데이터는 어떻게 변화 했는가 (처음부터 반복)
데이터 처리 영역
데이터 분석 영역
의사 결정 영역
&
실제 반영
&
검증
9. • 쓸만한 데이터는 무엇인가
• 그 데이터 어디에 있는가, 어떻게 뽑아낼 건가
• 데이터를 어떻게 원하는 형태로 가공해야 하는가
데이터 처리 영역
데이터 처리를 하는 쪽의 고민은.. (주로 DBA 베이스 인물에 걸릴 확률이 높음)
- 어떠한 log를 어느 시점에 DB에 남길지는 정해줘야 내가 하던가 말던가 하지!!
- 남긴 log는 어떻게 저장해야 자주 꺼내볼 수 있지?
- 같은 log 이미 남기고 있었어?!! 야 테이블이 왜 이래?
- 용량이 무지막지 크면 어떡하지? (빅데이터가 되면 어쩔?)
- 하둡 / 스파크 돌려야 하는데 장비랑 소프트웨어는 누가 설치해주지?
- 아놔 MSSQL 이네..
- raw 데이터를 준다고 알아볼 수 있나? 가공을 해줘야 하나? 파일 전달방식은?
- DB 권한이랑 보안은 어떻게 하지?
- 분석가라도 있음 다행인데 이걸 받아볼 애가 누구지? 실무 기획자인가?
10. • 데이터를 어떻게 원하는 형태로 가공해야 하는가
• 데이터를 어떻게 의미 있는 정보로 읽어내야 하는가
• 읽어낸 정보는 어떻게 의사결정권자에게 전달해야 하는가
데이터 분석 영역
데이터 분석을 하는 쪽의 고민은..
- 어떠한 log를 남겨야 할지는 알겠는데 개발팀이 말을 안듣네 (안해주네)
- 남긴 log는 어떻게 접근해야 쉽게 가져오지? 내가 SQL 공부하고 말지!!
- 허걱 용량이 무지막지 크다!! (실서비스 장비에서 3GB 파일 카피 했다가 SE한테
혼났다)
- raw 파일을 줬으면 컬럼 명칭이 무슨 의미인지, 어떤 기준으로 적힌 숫자인지 알
려줘야지
- 아놔 통계를 1도 모르는 개발팀이랑 DBA한테 이 데이터를 남기고 캐내려는 이유
를 설명하기 매번 힘들다니까! 말해줘도 몰라 걔네는!
- 데이터 남기고 확인하는 작업보다는 버그 수정이나 신규 컨텐츠가 우선!!
- 기껏 다 분석해서 알려주면 뭐해? 다 씹히는데.. Tq
- 나는 통계 1도 몰라요 (나는 분석가도 아니고, 확률통계는 수능에 안나와서 공부
안했어요)
11. • 전달된 정보가 있으면 의사결정권자는 어떻게 해야 하는가
• 결정한 내용은 다시 어떻게 적용되어야 하는가
• 적용된 이후 데이터는 어떻게 변화 했는가 (처음부터 반복)
의사 결정 영역
&
실제 반영
&
검증
의사 결정하고 실제 반영하는 쪽 고민이랄까 문제랄까..
- 와 이거 진짜야?!! 뻥치네?! (데이터를 줘도 못믿는 분 있음)
- 하나 마나 한 뻔한 말 하고 있네 (그니까 그 뻔한 걸 못하고 있었다 이거지요)
- 지금까지 잘못된 건 알겠는데, 정말 고쳐도 될까? (불안심리 / 매몰비용 효과)
- 데이터 근거로 의견을 받아들여서 실무에 하라고 했는데 안 했네?! 혹은 헛다리?
- 첫 리포트로부터 수정, 반영, 다시 좋아졌는가 검증까지 사이클이 너무 길어서 무
슨 얘기인지 이슈인지 이제 기억도 나지 않아..
- 데이터 엔지니어하고 분석가를 고용할 돈이 없다! 내가 하자 혹은 너가 해 (비전문
가의 삽질이 시작된다)
- 데이터나 통계 관련 지식을 가진 내부인이 없어서 관계자를 채용/활용하기 힘듦
등등
12. 쉽게 발생가능한 문제점을 나열해보면 총체적 난국임
모든 일이 다 발생하고 있을 가능성? 아마 높음
고객을
전혀 분석하지
못했어..
DBA랑 분석가랑 개
발자들이 각자 제멋
대로 할뿐 모든 게
엉망이야.
대체 CEO는
무얼 하고
있는 거야!!
13. 앞에 나열한 모든 문제들에 대해 일일이 답을 달려고 하는 게 아닙니다.
어떤 문제들이 잠재 되어 있는 일인지 알기 위해서 나열한 것입니다.
데이터분석팀이나 관련 인력을 운영하려는 의사결정권자(관리자),
데이터 기반 의사결정 체계를 갖추려는 의사결정권자는
각 구성원들이 어떤 특성의 업무를 해야 하고,
협업 상에 어떤 문제들이 잠재되어 있는가 잘 알고 있어야 할 필요가 있는데
빅데이터가 유행이라 그런지 덜렁 팀만 구성하고 끝내는 경우가 종종 보입니
다
15. 넷플릭스 다큐멘터리 Cooked 를 보다 보면,
현대사회에 들어 요리라는 행위가 재료의 [생산자], 그리고 [유통업자], [요리사] 간의
협업을 통해서만 가능하다는 말이 나옵니다. 사실이예요.
16. 데이터분석 / 데이터 사이언스도 종종 요리에 빗대어 특성을 말하곤 합니다.
• 재료 생산자 & 유통 : 데이터 처리를 하는 엔지니어
• 재료를 갖고 요리 : 데이터에서 지식을 뽑아내는 분석가
이 두 명은 별 상관 없는 포지션이 아니라 상당히 가까워요
요리사는 재료(데이터)를 주문해야 하고,
재료 생산 및 유통업자는 주문에 맞는 재료를 찾아내 채취하여 전달해야 합
니다
(SQL, Spark, Hadoop 등등)
전달된 재료를 살펴보고 다듬어서(R, Python 등으로 EDA, PCA),
최종적으로 하나의 의미가 담긴 요리로 만들어 냅니다 (데이터 모형과 정보)
17. • 그래서 “데이터 처리를 하는 사람”과 “데이터를 분석하는 사람”이
한 몸이 아니라면 이 두 직군의 협업은 굉장히 중요합니다
• 이 두 직군의 협업이 잘 될 수록, 전체 과정에서 발생하는 고민은 상당히
많이 덜어낼 수 있습니다
인건비를 아끼기 위해 한 명이 이걸 다 잘하면 좋겠다구요? 아랫분을 추천합
니다
희망연봉이 세계평화라는 그분..
18. 급 결론입니다 (노트북에 밧데리가..)
고객을 위한 데이터분석, 데이터분석에 의한 의사결정이 빛을 보려면,
• 무엇보다 데이터 기반 의사결정과 그 체계를 만들고자 하는 최고
의사결정권자의 확고한 의지가 존재해야 합니다
• 조직 안에 데이터 분석 및 리포트를 위한 전문가 그룹을 만드세요
• 기본 인력 set은 데이터 처리 전문가, 통계 전문가, 각 한 명
• 아니면 앞의 두 가지를 다 하는 분인데 찾기 힘들고 본인도 너무 힘듭니다
• 위 인력들을 컨트롤 하고 프로덕션에 내용을 전달할, 그리고 의사결정권자
에게 시행까지 이끌어낼 창구 및 카운슬러 역할을 하는 리더 (데이터 사이
언티스트면 좋고)도 필요합니다
• 이 토대 위에서 의사 결정자는 자신의 직권으로 분석 ~ 반영 ~ 분석의
순환고리를 만드세요
19. • 데이터분석 조직을 어떻게 만들지에 대해 구체적인 내용이 나오는 것은
아니지만, 그런 희망/기대가 있는 분에게 관련도서 추천 드립니다
• 한빛미디어“비즈니스를 위한 데이터 과학”
• http://www.aladin.co.kr/shop/wproduct.aspx?ItemId=42489808