통신쟁이 데이터관점 개발이야기

Copyright© 2015 DASAN Network Solutions, Inc.
http://www.dasannetworks.com Copyright© 2015 DASAN Network Solutions, Inc.
데이터관점 개발 이야기
2017/03/08
김준홍

Copyright© 2015 DASAN Network Solutions, Inc.Copyright© 2015 DASAN Network Solutions, Inc.
목 차
 왜 데이터인가?
 데이터 관점 개발 – 우리들 이야기
 데이터 관점 개발 - 남들이야기
 데이터를 다룬다는 것
 부록

왜 데이터인가?

한 때는

바로 얼마 전
출처 - http://m.ohmynews.com/NWS_Web/Mobile/at_pg.aspx?CNTN_CD=A0000140715#cb

지금은
출처 - http://happygyeol.tistory.com/221

1950~
2003
2016

출처 - https://kr.pinterest.com/pin/485544403551947208/
HDD를 보자(1/3)

HDD를 보자(2/3)

그리고, 2016년도 1TB Drive가 대세!!
HDD를 보자(3/3)

Measure Elliott 405 Raspberry Pi Zero
Year 1957 2015
Price £85,000 (1957) $5
Instruction cycle time
10.71-0.918 ms (93-108
9 Hz)
1 ns (1 GHz clock)
Main memory 16 kB drum store
512 MB LPDDR2 SDRA
M
Fast memory
1280 bytes (nickel delay
lines)
32 kB (16 kB I + 16kB D
L1 cache)
Secondary memory
1.2 MB (300,000 word
magnetic film)
8 GB (typical micro SD f
lash card - not included
)
Output bandwidth 25 characters/s
373 MB/s (1080p60 HD
MI)
Weight 3-6 tons 9 g
Size
21 cabinets, each 2m x
77cm x 77cm
65mm x 30mm x 5.4mm
출처 - https://www.spinellis.gr/blog/20151129/
컴퓨터 전체로 보면

출처 - http://www.edaily.co.kr/news/realtime/realtime_NewsRead.asp?newsid=01613766609502416
100 년 20년
근현대 한국에서의 통신의 역사

세상이 변화하고 있다는 사실 자체는
별다를게 없음

변화의 속도와 폭이
점점 커지고 있다

변화
결과물

변화
대응

이 모두를 관통하는
요소들 중, 제일 중심은
바로 DATA!

데이터 관점개발
- 남들 이야기

예전에는

지금은 넘쳐나는 성공 사례들

반면, 우리 회사는…

혹은, 우리 회사는…

앞으로의 회사(들)은

해외의 이름난
성공 사례들을 살펴보자!

부모도 몰랐던 딸의
임신 사실을 알았던
대형마트 ‘타깃’
사례를 좀 보면(1/2)
출처 - http://deulpul.net/4075592

넷플릭스(Netflix)의 미드
‘하우스오브카드’
‘맞춤형 고객분석’ 끝판왕
사례를 좀 보면(2/2)

‘타깃’의 데이터 분석 전문가 앤드루
폴(마케팅 부서)의 2010년도 워싱턴
D.C에서 열린 ‘예측분석 컨퍼런스
(Predictive Analytics World
Conference, PAW)
출처 - http://deulpul.net/4075592
사례를 다시 보면(1/2) – 뒷 이야기

“데이터분석”은 단지 거들 뿐
사례를 다시 보면(2/2) – 뒷 이야기

Nonetheless
(그럼에도 불구하고)

데이터가 중요한 시대
http://www.gamingtechlaw.com/2016/10/best-personal-data-privacy-regulation.html

마윈, 알리바바 회장
“향후 30년간 DT(Data
Technology)의 시대가 온다”
요즘 회자되는 문구

출처 - https://www.washingtonian.com/2012/01/31/killer-app/
다른 사례를 좀 보자
이 친구들이 주는 시사점!!

https://digitalmarketing.temple.edu/romannicholas/2016/01/28/when-i-grow-up-i-want-to-be-a-data-scientist/
http://www.smh.com.au/technology/technology-news/kaggle-data-with-destiny-20120619-20l7g.html
뜨는 직업(?) – Data Scientist / Data Engineer

https://memegenerator.net/instance/65272105
인재들이 DATA를 만질 수
있는 곳으로 모이고 있다
그래서 요즘은

데이터를 다룬다는 것

수 많은 그럴듯한 프로세스/플랫폼/솔루션들
http://www.bluebuzz.kr/archive/201312
http://www.dbguide.net/db.db?cmd=view&boardUid=13746&boardConfigUid=9&boardIdx=62&
boardStep=1

데이터를 다룬다는 것은
 정의/선별
 수집
 저장(ex: 분산저장)
 분석 전처리(ex: ETL)
 분석(ex: 맵리듀스, 통계적, 알고리즘, 딥러닝)
 리포팅(ex:시각화)
 각 항목마다 거대한 내용
 여기선 개별주제는 생략

데이터로 뭘 좀 해보라
or
기존 모니터링/분석 시스템을 개선하라
흔히들
신규/타분야 인력에게,

손대고 싶은 멋진 데이터들이 준비되있고

http://global.rakuten.com/ko/store/reptile-d/item/vn53501/?s-id=borderless_recommend_item_ko
모든 문제를 다루게 해 줄
뛰어난 도구들

쌈박한 방법론, 프로세스
http://www.prescientdigital.com/our-solutions/social-intranet-methodology

세상에는
더러운 데이터들과
지저분한 분석작업만
있을 뿐!!

우리가 바라는 건
http://blogs.teradata.com/international/data-scientist-really-sexy/

현실은
<극한직업> - 스리랑카 보석광산 채취

응??
이런 전개는…

병 주고 약 주는 이야기
http://news.kmib.co.kr/article/view.asp?arcid=0921203272&code=11151100&sid1=al

근거없는
장미빛 전망
무시와 폄하

<영화> - “해운대” 中
어차피 변화는 거스를 수 없고

생존을 위해서는
데이터를 바라보는 안목과
데이터를 다룰줄 아는
스킬이 필요

조직과 개인 모두에 해당
생존 + 번영
http://m.blog.daum.net/midassonkju/8366037

데이터 관점개발
- 우리들 이야기

‘파랑새를 찾아서’의
교훈을 보면,
파랑새가
고전에서 배우는 교훈

우리 집(?)에도

알아보기 위해서는
자신의
안목(眼目)과 스킬(Skill)
타인의 도움은 두 번째

“데이터 거버넌스”
“빅데이터 전략”
“Hadoop Platform”
“R/Python/NoSQL”
“Aparch Spark”
“Nagios/New Reily”
이런 이야기는
안할것이다!!
(도움이 안되니까)
시작전에
“NMS/EMS”

 데이터 관점
 기술적 관점
 얻어지는 가치
뷰 포인트

VOC
Traffic
Machine
Log
SNS
데이터 관점

이외에도,
 內: 전기, 직원, 이메일, 시설, 회계, 기타 등등…
 外: 날씨, 기온, 달력, 인구, 지역
우리가 다룰 수 있는 것만 집중
데이터 관점

실세계에서
어떤 종류의 트래픽들이,
어디에서 어디로 ,
얼마만큼 흐르는지
등의 정보는 아무나 접할 수 없는 고급정보
데이터 관점

최근 네트워크 분야에서 혁신은,
데이터 센터 위주
데이터 관점
실망(Real Internet)에서의 변화

 거시적인 트래픽 양/흐름
 실제의 (Captured)패킷 정보
데이터 관점

현재는 packet mining이 DPI 관점 중심이나,
점차 Traffic Engineering과 더 밀접해지고,
차후 IoT/SDN/NFV에서는 더욱 중요해진다.
데이터 관점

기술적 관점
 쉬운 것 부터
 가지고 있는 것 부터 (데이터 관점 포함)
 작은 것 부터

기술적 관점
Skill Up
담당 개발 업무
업무 전반
보다 편하고, 빠르게

기술적 관점
간단한 분석부터 쌓아나간다
 하와의 지혜(?!)
 다시는 counting을 무시하지 마라
https://syamsudinmachfoedz.wordpress.com/2013/09/18/pertemuan-adam-dan-hawa/

기술적 관점
꼭 답을 낼 필요는 없다
Insight만 얻을 수 있도록 도와주면 된다

기술적 관점
하나의 데이터로만 알 수 있는 것은 제한적이다.
여러 데이터를 같이 묶어서 바라보자
https://www.theselfemployed.com/gig-economy/putting-the-power-of-synergy-to-work/

기술적 관점
새로운 데이터 수집 시에는,
 조금씩 모아라
 단, 잘 정리해서,
 점차 양을 늘리되 타당한 수치근거가 필요
돈(Money)랑 결부되기 때문이다
http://smsway.tistory.com/entry/%EB%B9%84%EA%B3%BC%EC%84%B8%EC%A0%80%EC%B6%95
%EB%B3%B4%ED%97%98-%EB%B9%84%EA%B5%90

기술적 관점
인과관계를 얻는데 집착하지 마라
상관관계를 얻을 수 있으면 (보통) 충분하다
https://arthritisashley.com/2017/01/13/karma-and-illness-thats-a-nope/

기술적 관점
(속담과 달리) 좋은 목수는 연장에 까다롭다.
좋은 도구를 선택하고, 충분히 익숙해져라

기술적 관점
최대한 자동화하라!
그러나, 모든것을 자동화할 생각은 마라
<영화> - ‘아이, 로봇’ 中

기술적 관점
기타
 Script 언어를 꼭 익혀라
 R이 중요한게 아니라, 통계지식이 더 중요하다
 데이터 사이언티스트/엔지니어 등의 유행어가 중요한 건 아님
 Hadoop 등이 필요한 곳은 이미 쓰고있더라
 데이터 분석과 통계분석은 조금 다른 이야기이다
 다른 이들의 도움을 얻어라
 다른 부서, 다른 회사
 그러나, 공짜는 없다
 다 믿지는 마라

가치 관점
조직
개인
Money
비용 경감
수익 창출
???Skill

부록

예측 - 적중률
<영화> - 공자
주역(周易)을 위편삼절(韋編三絶)하신
공자님의 적중률은?

Data
Information
Knowledge
Wisdom
Connectedness
Understanding
understanding
relations
understanding
patterns
understanding
principles
http://www.systems-thinking.org/dikw/dikw.htm
Data, Information, Knowledge, and Widsdom

‘아는 것’(개인의)
기록
컴퓨터 저장
형식 통일
저장소 통제
접근 수단
기계 접근
가공
Comments
DB
API
Automation Visualization
Reporting
Computing
Share
가장 중요한 내용!!
지식(조직의)
A.I.
Cloud
Analytics
Statistics
Prediction

https://clipartfox.com

통신쟁이 데이터관점 개발이야기

Recommended

Recommended

More Related Content

Similar to 통신쟁이 데이터관점 개발이야기

Similar to 통신쟁이 데이터관점 개발이야기 (20)

통신쟁이 데이터관점 개발이야기