3. 과거 아날로그 환경에서 생성되던 데이터에 비하면 그 규모가 방대하고,
생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를
포함하는 대규모 데이터를 말한다.
BIG DATA?아날로그 DATA
4. UCC, SNS, 블로그 ,CCTV, 스포츠 등 일상에서 일어나고 있는 모든 일에
대한 데이터 들이 상상이상으로 급증현상이 일어나고 있다.
5. -다양하고 방대한 규모의 데이터는 미래 경쟁력의 우위를 좌우하는 중요한 자원으로
활용될 수 있다는 점에서 주목 받고 있다.
공공기관의 입장에서도 빅데이터의 등장은 시민이 요구하는 서비스를 제공할 수 있는
기회로 작용한다. 이는 ‘사회적 비용 감소와 공공 서비스 품질 향상’을 가능하게 만든다.
6. Economist 가 전 세계 약 600개 기업을 대상으로
빅데이터가 기업에 어떠한 영향을 끼치는 가 ?
Big data가 기존의 비즈니스 모델을
완전히 바꾼다. 10%
기업의 의사결정의 중요한 요소로 작용할 것이다. 46%
기업 내에서 빅데이터를 어떻게 활용하고 있는가 ?
기업 내부에 사용 가능한 데이터는 충분, but 데이터 방치
일부만 활용하고 있다. 53%
25%
부가가치 창출을 위해서는 더 많은 노력이 필요하다!
7. 구글 번역 수억 개의 문서의 패턴을 스스로 분석, 번역하는 시스템 개발.
아마존 고객의 구매 도서 데이터 들을 분석하여 구매 예상 도서 추천 시스템 개발.
yutube 이용자의 선호하는 동영상 채널을 구성할 수 있는 개별 홈페이지를 제공.
축구 선수들의 몸에 센서를 부착시켜
운동량부터 순간속도, 심박수 , 슈팅 동작,방향 등 데이터를 실시간 수집, 분석할 수 있다.
라쿠텐 고객의 정보와 구매내역, 서비스 예약 정보가 통합되어 있다.
라쿠텐은 이를 활용해 그룹 내 전자상거래 사업과 신용결제 서비스, 포털, 여행, 증권 ,프
로스포츠 사업 부문에서 공동 활용한다.
빅데이터를 활용하는 곳은 전세계 여러 분야에서 활용하고 있으며 Hadoop
이라는 오픈소스의 관심도도 같이 높아지고 있는 상황이다.
8. 성능이 좋은 장비?
(Scale up)
많은 수의 장비?
(Scale out)
대량의 정보를 효과적으로 저장하기 위한 분산파일 시스템
(GFS, Google File System)
대용량 데이터의 읽기와 쓰기를 위한 분산 스토리지 시스템
(Bigtable)
구글의 Sawzall 언어의 등장( SQL과 유사 하다. )
9. Open-source software
빅데이터 처리 언어
Yahoo-2006년 개발 (과거)
Apache- 개발 주도 (현재)
1. 구글 기술인 GFS 공개 이후 본격적으로 개발되었지만 ,
구글의 시스템과 대응되는 체계로 구성.
2. 오픈 소스이므로 무료로 이용할 수 있어 개발 비용 감소.
3. 구글 , 페이스북 , 트위터와 같은 빅데이터가 필수인 기업을 시작으로
최근 다 방면으로 확장해 나가고 있다.
더그 커팅- 하둡 개발자
10. - 현실 마이닝: 2008년 미래 유망 기술로 MIT에서 발표한 개념.
- [오디오 마이닝] : 컴퓨터 음성파일에서 단어를 추출하여 색인을 만든 후
할 때 이를 사용하는 프로세스
- [비디오 마이닝] : 매장에 비디오 카메라를 설치해 놓고 방문객들의 행태를 분석
11. 구 분 내 용
데이터 마이닝 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아 내는 것이다
텍스트 마이닝 자연어로 구성된 텍스트 데이터에서 패턴 또는 관계를 추출하여 가치와 의미 있는 정보를
찾아내는 마이닝 기법.
사람이 말하는 언어를 이해할 수 있는 자연어처리 기술에 기반한다.
웹 마이닝 인터넷 상에서 수집된 정보를 데이터 마이닝 방법으로 분석 통합하는 기법
웹 마이닝은 콘텐츠 마이닝(웹 검색 수집, 데이터), 구조 마이닝(웹 사이트구조), 활용 마이닝(사용자
이용 형태) 등으로 세분화 한다.
소셜 분석,
소셜 마이닝
소셜 미디어에 올라오는 글과 사용자를 분석해 소비자의 흐름이나 패턴 등을 분석하고 판매나 홍보
에 적용.
마케팅 분야뿐만 아니라 사회의 흐름과 트렌드 , 여론 번화추이를 읽어내는 소셜 미디어 시대의 새
로운 마이닝 기법이다. (18대 대선, 등)
현실 마이닝 사람들의 행동패턴을 예측하기 위해 사회적 행동과 관련된 정보를 기기(휴대폰, GPS 등)을 통해 얻
고 분석하는 기법.
휴대폰 등 모바일 기기들을 통해 현실에서 발생하는 정보를 기반으로 인간관계와 행동 등을 추론.
