Pag 빅데이터-한국에도필요한가

빅데이터 , 한국에도 필요한가 ? ,[object Object],[object Object]

빅데이터 ? 1952.5.21 The first IBM large-scale electronic computer IBM 701

왜 지금 빅데이터 ? 구글 , 페이스북 , 야후 ! 등은 이미 PB 급 데이터 처리 글로벌 회사 ( 특히 금융 ) 들도 PB 급 데이터를 처리 다양한 분야에 응용

국내의 빅데이터 ? SKT, KT, LGU+ 네트워트 다운 없이 ... 꼬박꼬박 과금 국내통신사들은 이미 PB 급 네트워크 트랙픽을 처리 PB 급 데이터 프로세싱 ?

국내의 빅데이터 ? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],기초 통계 , UV, PV, 반응률 , 시청률 계산 수준 소규모의 Hadoop 클러스터를 가지고도 직접적인 성능 , 경제적 이득을 얻을 수 있음

빅데이터의 진정한 가치는 ... ,[object Object],[object Object],[object Object],[object Object],개인화 서비스 국내에서 검색 / 개인화 서비스를 제대로 하고 있는 회사는 ? Association Rule Collaboration Filtering

빅데이터 기술 ,[object Object],[object Object],[object Object],[object Object],상대적으로 저비용으로 빅데이터를 처리할 수 있는 MapReduce 프레임워크와 분산스토리지 에 대한 기술이 구글논문을 통해 알려지고 이를 기반으로 오픈소스 Hadoop 이 만들어지게 되면서 매우 짧은 기간동안에 빅데이터 시장 형성을 위한 기술적인 에코시스템을 갖추게 됨

빅데이터를 할려면 ... ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Data Scientist DevOps Software Engineer

Future ? Real-time Data Visualization Privacy !!!

Melon 곡추천 사례 Import 멜론로그파일 취합 ( 종량 / 프리 / 스트리밍 ) 사용자별 구매 / 플레이 곡 수집 연관규칙생성 정렬 Ranking 기준일생성 Export Lift 값 변경 멜론 연관규칙 마이닝 Process 실례 프로세스 실행 결과 예 ① ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ① ①

예전엔 , 지금도… Usage logs 고가의 상용솔루션 도입 HP/SUN High-End Multi-core Single Machine EMC/SUN 의 SAN 스토리지 시스템 상용 마이닝 솔루션 및 ETL Tool 용량 확장 상대적 어려움 비용이 기하급수적으로 증대 기존 Architecture 의 변경 불가피 Infrastructure SAN Storage FTP Server 서비스 서버 ETL Machine Oracle RDBMS 데이터 요약 / 통계 상용 마이닝 솔루션 데이터 수집 데이터 마이닝 추천 정보 MySQL API Local FS

지금은 ... Usage logs FUSE 상용솔루션에서 hadoop 을 이용한 Cluster Computing 환경으로 단계적으로 업그레이드 System Architecture 의 변경없이 성능 및 용량을 확장할 수 있는 Infrastructure 확보 향후 MySQL 과 NoSQL 의 적용 범위를 넓히는 방향으로 추진 Infrastructure SPADE HDFS FTP Server 서비스 서버 ETL Processor MapReduce Framework 데이터 요약 / 통계 Mining Processor 데이터 수집 데이터 마이닝 추천 정보 MySQL/ NoSQL API Local FS ORACLE SAN SAN

Pag 빅데이터-한국에도필요한가

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Pag 빅데이터-한국에도필요한가

Similar to Pag 빅데이터-한국에도필요한가 (20)

Pag 빅데이터-한국에도필요한가