빅데이터의 개념과 활용사례
R을 이용한 워드클라우드 만들기
(5페이지의 링크가 사이트 상에서 에러로 같은 링크로 들어가 지는데
다운로드 해서 들어갈 경우 제대로 된 링크로 연결됩니다.)
발표 영상 : https://youtu.be/HNJ61BlKOqU
프로그래밍 영상 : https://youtu.be/bpzQ3QBOmhw
빅데이터의 개념과 활용사례
R을 이용한 워드클라우드 만들기
(5페이지의 링크가 사이트 상에서 에러로 같은 링크로 들어가 지는데
다운로드 해서 들어갈 경우 제대로 된 링크로 연결됩니다.)
발표 영상 : https://youtu.be/HNJ61BlKOqU
프로그래밍 영상 : https://youtu.be/bpzQ3QBOmhw
2018년 7월 5일에 있었던 한국인터넷거버넌스포럼(KrIGF)에서 발표한 "오픈 데이터와 인공지능" 발표자료입니다.
다음과 같은 내용을 담고 있습니다.
* 오픈데이터의 정의
* 오픈데이터의 중요성
* 인공지능
* 인공지능에서 데이터의 중요성
* 제한된 데이터 환경에서의 문제점
* 인공지능을 위한 오픈데이터의 중요성
* 더 나은 인공지능 시대를 위한 제언
빅데이터 분석/처리에 따른 생활밀착형 서비스의 프라이버시 보호 측면에서의 구조혈 연구 JM code group
빅데이터 분석/처리에 따른 생활밀착형 서비스의 프라이버시 보호 측면에서의 구조혈 연구 (A Study on Structural Holes of Privacy Protection for Life Logging Service as analyzing/processing of Big-Data)
•Author : 강장묵*, 송유진**
•Keyword : Privacy, Personal Information, Structural Hole, Big-Data, Life Logging Service
http://www.jiibc.kr/bbs/board.php?bo_table=collect_paper&wr_id=1430
국내등재지
2018년 7월 5일에 있었던 한국인터넷거버넌스포럼(KrIGF)에서 발표한 "오픈 데이터와 인공지능" 발표자료입니다.
다음과 같은 내용을 담고 있습니다.
* 오픈데이터의 정의
* 오픈데이터의 중요성
* 인공지능
* 인공지능에서 데이터의 중요성
* 제한된 데이터 환경에서의 문제점
* 인공지능을 위한 오픈데이터의 중요성
* 더 나은 인공지능 시대를 위한 제언
빅데이터 분석/처리에 따른 생활밀착형 서비스의 프라이버시 보호 측면에서의 구조혈 연구 JM code group
빅데이터 분석/처리에 따른 생활밀착형 서비스의 프라이버시 보호 측면에서의 구조혈 연구 (A Study on Structural Holes of Privacy Protection for Life Logging Service as analyzing/processing of Big-Data)
•Author : 강장묵*, 송유진**
•Keyword : Privacy, Personal Information, Structural Hole, Big-Data, Life Logging Service
http://www.jiibc.kr/bbs/board.php?bo_table=collect_paper&wr_id=1430
국내등재지
Mitigation of big data regulation deogtae kimDeogtae Kim
한국 정부는 최근 데이터 전문 인력 5만명을 양성한다는 정책을 발표하였다. 그러나, 국내는 각종 규제로 인하여 데이터 접근성이 부족할 뿐만 아니라 실제 현장에는 빅 데이터가 없어서 빅데이터 인력이 양성되어도 제대로 활용 수도 없고 빅데이터 산업이 성장할 발판이 없다.
카카오뱅크나 K뱅크와 같은 국내 인터넷 은행은 빅데이터 부족으로 인하여 기존 은행권 수준에서 신용도를 인정받지 못한 서민들에게 중금리 대출을 해주지 못하고 있다. 이에 반해, 중국 중국 알리바바그룹의 마이뱅트나 미국 캐피탈원은행 등은 방대한 빅데이터를 활용하여 서민과 영세자영업자 등에게 중금리 대출을 해주고 있어서 빅데이터 산업을 성장시키며 기존 금융권에서 혜택을 받지 못한 다수의 서민들에게 커다란 도움을 주고 있다.
빅데이터 분석을 통하여 우리는 미래를 보다 정확히 분석하고 평가하고 예측할 수 있다. 따라서, 빅데이터 산업이 활성화되면 고부가가치 미래 인력과 기업의 성장이 촉진될 뿐만 아니라 사회 전체의 생산성과 효율성이 증가하고 낭비 요인와 위험 요인을 감소시켜 더 안전한 사회가 된다.
데이터 분석은 과거부터 이루어져왔으나 보다 풍부해진 빅데이터를 활용하여 다각도 분석이 가능해진다. 또한, 빅데이터 분석에 딥러닝 등 진보된 분석 방법을 적용하여 기존의 방법으로 찾아내기 어려웠던 복잡한 규칙이나 정보를 정확히 분석해낼 가능성이 높아졌으며, 데이터 분포를 가정할 필요가 없이 대량의 테스트 데이터를 사용하여 분석 모델의 신뢰도를 뒷받침할 수 있다. 뿐만아니라 더 빠르고 저렴해진 컴퓨팅 자원을 사용하여 과거와는 질적 수준이 다른 빅데이터 분석이 가능해졌다..
금융 분야에서 빅데이터를 효과적으로 분석 하면 투자, 마케팅, 위험 관리 등 여러 측면에서 금융사와 고객 및 사회 전체에 이로움을 주며, 위험을 감소시킨다.
기존 금융권에서 대출받지 못하고 고금리 대출에 몰리는 서민들도 빅데이터 분석을 통하여 신용 평가가 가능해지고 중금리 대출로 구제받을 수 있는 길이 열리게 된다.
빅데이터 수집과 활용에 가장 큰 장애 요인 중 하나는 빅데이터 분석에 필요한 개인 정보의 엄격한 규제에 있다.
개인 정보의 위험과 가치는 정보의 종류, 활용 목적, 개인의 특성 등 다양한 요인에 따라 천차만별이며, 100% 완전한 보안이란 본래 불가능한 것이다.
따라서, 개인 정보의 가치와 위험은 획일적으로 평가할 수 없고 각 개인의 관점에서 그 개인 정보의 활용으로부터 얻어지는 이익이 개인 정보의 활용으로 인한 손해보다 커지게 하는 것이 최선이다.
이를 위해서 우리 사회는 데이터의 위험도를 낮추면서, 큰 위험과 작은 위험에 대한 사회적 기준을 제시하고, 개인 정보의 활용에 대한 정보 주체의 선택권을 높여줄 필요가 있다.
이를 위해서 우리도 외국처럼 가명화와 익명화를 활용하여 위험이 큰 개인 정보를 위험이 작은 정보로 바꾸면 개인 정보를 용이하게 이용할 수 있게 해주어야 하며, 개인 데이터에 대한 소유권을 개인에게 돌려 줄 필요가 있다.
또한, 위험이 큰 개인 정보의 활용에 대해서는 정보 주체인 개인의 허락을 필요로 하게 하지만, 위험이 작은 개인 정보에 대해서는 활용 거부에 대한 개인의 명시적 요구가 있지 않는 한 활용을 용이하게 하자는 것이다.
그리고, 이러한 개인 정보를 악용하는 경우 처벌과 단속을 강화함으로써 추가적으로 보호할 수 있다.
풍부한 빅데이터 환경이 되기 위해서는 데이터의 생성, 수집, 교환, 공유를 활성화할 필요가 있으며, 이를 위해서 데이터의 가치와 활용에 대한 사회적 인식 변화가 필요할 뿐만 아니라 개인 정보의 가치와 위험에 대한 정보, 의견을 객관적으로 수집, 평가, 공유하여 개인 정보에 대한 대중의 이해도 향상을 위한 중립적인 기구 및 제도가 필요하다.
Softbox coding - raspberrypi3 b+ 2019 Lecture File 봉조 김
IoT 의 개념에 대해 발전과정, 현재 적용 사례, 미래의 IoT를 사업의 측면이 아니라 사용자 관점에서 분석하고 사용자 관점에서 바라보는 교육을 진행한다. IoT를 구현하는 3대 기반 기술은 센싱기술, 유무선 통신 및 네트워크 통신기술, IoT 서비스 인터페이스 기술이다. 미래 산업을 지배하는 분야는 사물인터넷, 스마트 카, 인공지능 분야일 것이다. 4차 산업혁명을 이끌어 나가는 힘은 소프트웨어에서 나온다.
본 사물인터넷 임베디드 실습과정은 사물인터넷 제품을 개발하는 전체적인 과정을 배우게 된다.사물인터넷 제품의 기획, 설계, 개발, 소프트웨어 구현, 웹 서비스, 모바일 앱 서비스에 이르는 과정을 대표적인 오픈소스 하드웨어인 라즈베리파이와 아두이노를 사용해서 구현하는 방법을 실습하며, 또한 LoRa 통신 실습을 LoRa보드와 게이트웨이등을 사용하여 실습한다.
SoftBox-RaspberryPi-IoT 설계 시스템은 Gateway(Raspberry Pi)와 8종의 센서, 7종의 액츄에이터, 다양한 주변장비로 구성된다. 5종의 설계 /실습과제를 통합 시스템에서 직접 설계 및 실습할 수 있는 환경을 제공하고, 사용자가 설계한 시스템을 인터넷이나 안드로이드 앱을 통해 정보를 확인하고, 직접 제어할 수 있는 교육 시스템이다. IoT 에 대한 개념을 배우고, 창의적인 아이디어를 바로 적용 제작할 수 있는 시스템이다.
[KERIS 이슈리포트] 요약 세미나 (Webinar) 자료
* 원문 링크: http://bit.ly/196LHBs
국내외 빅데이터 및 학습 분석 관련 기고서들과 동향 분석자료를 요약한 이슈리포트. UNESCO Policy Brief와 IMS Global의 백서를 중심으로 학습 분석 기술의 활용가능성과 쟁정들을 분석한 자료.
<주요>
1. 빅데이터 기술 및 산업 동향
2. 학습 분석 기술에 대한 이해
3. 학습 분석 기술 표준화 동향
4. 시사점
1. 웹보메트릭스와 계량정보학
1주차 정보의 속성과 본질에 대한 개괄
1강. 정보의 정의 및 구성요소
2강. 빅데이터란?
영남대학교 문과대학 언론정보학과
교수 박한우
2. 1. 정보의 속성과 본질에 대해 이해한다.
1. 빅데이터란?
2. 급부상하는 빅데이터
3. 각 국가별 빅데이터 연구 현황
4. 빅데이터 활용의 필요성
5. 빅데이터를 활용한 국내사례
6. 빅데이터를 활용한 해외사례
7. 빅데이터의 현안 및 쟁점
3. 1. 빅데이터(big data)란?
빅데이터(big data)
기존 데이터베이스 관리도구로 데이터를 수집, 저장, 관리
분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형
데이터 집합 및 이러한 데이터로부터 가치를 추출하고
결과를 분석하는 기술을 의미
4. 2. 급부상하는 빅데이터
“
4대 기술-빅데이터, 소비자 3D 프린터, 게임화(Gamification),
입는 이용자 인터페이스는 과도한 기대수준의 정상에 위치한다.
“Hype Cycle for Emerging Technologies 2013”, Gartner(2013)
”
3가지 측면의 해석
첫째, 빅데이터가
일상생활과
산업영역을 모두
지배할 것이라는
순진한 전망을
경계해야 함.
둘째, 선진국과
세계를 선도하는
기업들은
빅데이터의 무한한
가능성을 현실로
만들어 경제 성장을
도모하고 있다는 것
셋째, 5-10년 내에
빅데이터 SOC를
구축하지 못한다면
빅데이터와 매개된
다른 분야를 성공적
혁신으로
이끌어내지
못한다는 것.
6. 2. 급부상하는 빅데이터
예측분석학
(Predictive Analytics)
위치지능학
(Location Intelligence)
전망
2년 내에, 클라우드 컴퓨팅(Cloud Computing)과 SNS 활동
유수(Activity Streams) 기술은 그 기능적 혁신이 대부분 완료되고
대중적 확산과 생산의 안정기(Plateau of Productivity)에 도달할 것.
중요한 점
이러한 기술들은 홀로 존재하는 것이 아니라 빅데이터 환경을 통한
상호작용, 나아가 빅데이터 기반 위에서 원활하게 작동하는 것임.
7. 2. 급부상하는 빅데이터
출처: Halevi, G., & Moed, H. F. (2012).
<연도별 빅데이터 관련 논문의 증가>
G. Halevi와 H.,F. Mode가 2012년 9월에 발표한 자료는 흥미로운 결과를 제공함.
그들은 학술DB인 Scopus에서 „빅데이터‟를 검색어로 사용하여 관련분야의
연구동향을 조사하였음. 총 306건의 논문을 분석한 결과 빅데이터 연구는
1970년부터 시작되어 2008년부터 눈에 띄는 급격한 증가를 보임.
8. 2. 급부상하는 빅데이터
출처: Halevi, G., & Moed, H. F. (2012).
<1999-2005년에 발행된 논문들의 의미네트워크>
1999-2005년에 발행된 논문들의 의미네트워크를 살펴보면 „데이터‟가 중앙에 위치하고
„빅‟ „데이터마이닝‟ „XML‟이 핵심어로 출현. 주변에는 „신경망‟ „인공지능‟ „네트워크‟가
중심부에 포함되지 못한 채 외곽에 위치.
9. 2. 급부상하는 빅데이터
출처: Halevi, G., & Moed, H. F. (2012).
<2006-2012년에 발행된 논문들의 의미네트워크>
2006-2012년에 발행된 논문들의 관련 단어들은 대부분이 연결. 특히 „소셜‟ „분석‟
„이용자‟ „클라우드‟가 „데이터‟의 이웃에 출현하여 핵심그룹을 형성한 것이 인상적.
10. 3. 각 국가별 빅데이터 연구 현황
미국, 중국, 독일이 연구를 선도하고 있음.
출처: Rousseau(2012)
11. 4. 빅데이터 활용의 필요성
빅데이터 활용의 필요성
• 빅데이터는 미래 경쟁력의 원천으로 관심이 증가하는 추세
• 빅데이터는 과거, 현재, 미래 분석 및 예측 등에 활용
• 공공데이터 공개(빅데이터)로 인한 민간 사업 활용을 촉진
• 빅데이터를 활용한 과학적 행정 구현이 가능
• 빅데이터를 활용한 수혜자 맞춤형 서비스 제공 가능
12. 5. 빅데이터를 활용한 국내 사례
빅데이터를 이용한 심야버스 노선 구축
지하철 3호선 개통에 따른 버스노선 구축
지도 데이터와 고객의 데이터를 결합해
지도 위에서 고객의 거래 내용을
실시간으로 볼 수 있는 시스템을
개발하여 마케팅에 활용예정
13. 6. 빅데이터를 활용한 해외 사례
미국 소비지출 예측
포드(Ford)
미국
소비자태도지수 설문조사보다 구글 트랜드를
활용한 결과가 더 정확
차량에 설치된 센서로 고객의 운전습관 등의 데이터를 분
석해 소비자 니즈 파악
공공 빅데이터를 이용해 기상상황을 분석 다양한 정보를 제공
해커톤 프로젝트
빅데이터로 발굴한 새로운 기사들
14. 6. 빅데이터를 활용한 해외 사례
공공데이터 개방의 각종 사례
미국
data.gov / 연방정부 차원의
범정부기관의 데이터를 통합
저장 및 제공
영국
data.gov.uk / 내각부 총리실 등
698개 기관을 포함한 6천개의
정부 공공기관의 데이터 세트에
접근할 수 있는 단일 창구 /
OGL(Open Government
Licence)
오스트레일리아
data.australia.gov.au / 정보의
접근 용이성 향상, 중앙 및 지역
공공기관의 데이터 재생산과
활용을 위해 공공정보 제공
뉴질랜드
data.govt.nz / 공공정보의 접근성
확대와 재활용을 통한 경제적
부가가치 창출을 위해 공공 정보
공개 포털로 구축 및 운영
15. 7. 빅데이터의 현안 및 쟁점
가. 빅데이터 격차
최근 IDC(2012)의 보고서에 따르면, 2012년 현재 디지털 데이터의 총 분량은 약 543
엑사바이트로 추정.
그 가운데 단지 23퍼센트만이 유용함. 전제조건은 23퍼센트의 데이터의 내용이
무엇인지 태그되고 분석되어야 함.
잠재적으로 유용한 데이터의 3%만이 태그 정보가 있으며 실제 분석되는 정보는 훨씬
더 적음.
<2012년 활용화되지 못한 빅데이터 격차>
http://www.emc.com/leadership/digital-universe/iview/images/untapped-big-data-gap-lg.jpg
16. 7. 빅데이터의 현안 및 쟁점
나. 정부 공공데이터 뿐 아니라 민간 데이터의 융합 필요성
다. 트리플헬릭스 관점의 연계 필요
라. 빅데이터 저장 및 관리의 일관성, 공유와 보안 대책 필요
마. 빅데이터 운영 및 분석 기술 필요
17. QUIZ.
기존 데이터베이스 관리도구로 데이터를 수집, 저장, 관리 분석할 수
있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한
데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미하는 것은?
빅데이터
18. 정리하기.
빅데이터(big data)는 기존 데이터베이스 관리도구로 데이터를
수집, 저장, 관리 분석할 수 있는 역량을 넘어서는 대량의 정형 또는
비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를
분석하는 기술을 의미한다.
빅데이터는 미래 경쟁력의 원천으로 관심이 증가하는 추세에
있으며, 빅데이터 연구가 활성화 되기 위해서는 정부 공공데이터 뿐
아니라 민간 데이터의 융합 및 트리플헬릭스 관점의 연계 , 빅데이터
저장 및 관리의 일관성, 공유와 보안 대책을 마련하는 등 빅데이터
운영 및 분석 기술이 필요하다.
19. 참고문헌.
• 박한우 - 창조경제 정부 3.0 플랫폼 (http://www.slideshare.net/hanpark/3028145862)
http://hanpark.net
• 임상곤(1995), 정보분석론, 백산출판사.
• Schofield, J. (2013, 8. 19). Garner's 2013 Emerging Technologies
hype cycle focuses on humans and machines.
http://www.zdnet.com/gartners-2013-emerging-technologies-hype-cyclefocuses-on-humans-and-machines-7000019564/
• Garner(2013). Hype Cycle for Emerging Technologies,
http://www.gartner.com/technology/research/hype-cycles/
• IDC(2012), The Digital Universe in 2020: Big Data, Bigger Digital
Shadows, and Biggest Growth in the Far East.
http://www.emc.com/leadership/digital-universe/iview/big-data-2020.htm
• Van Dijk(2012), Network society, SAGE.