KISTI 계산과학공학센터에서 2017년 4월에 발표한 자료입니다. 오픈사이언스와 연구데이터, 빅데이터, 과학데이터, 데이터과학자에 대한 내용을 담고 있습니다.
공학, 의료영상, 자연과학 및 산업분야에서 제기되는 문제를
수리모델링-시뮬레이션-시각화과정을 통하여 예측/분석, 사용자에게 효율적인 프로그램 개발, 산업화에 이르기까지
다단계 연구를 종합적으로 수행하는 센터에서 인사이트를 가져사겼길 바랍니다.
KISTI 계산과학공학센터에서 2017년 4월에 발표한 자료입니다. 오픈사이언스와 연구데이터, 빅데이터, 과학데이터, 데이터과학자에 대한 내용을 담고 있습니다.
공학, 의료영상, 자연과학 및 산업분야에서 제기되는 문제를
수리모델링-시뮬레이션-시각화과정을 통하여 예측/분석, 사용자에게 효율적인 프로그램 개발, 산업화에 이르기까지
다단계 연구를 종합적으로 수행하는 센터에서 인사이트를 가져사겼길 바랍니다.
KAIST 웹 공학 연구실 소개(Web Engineering Lab.)webeng_kaist
Introduction to Web Engineering Lab.
We are working on software engineering issues of building software systems that effectively utilize various Web-based resources, are adaptable to changing needs and conditions in highly dynamic environments, and allow end users to participate in the evolution of the software.
구글 크롬 익스텐션을 이용해서 누구나, 어떠한 사이트라도 쉽고 빠르게 튜토리얼을 제작하고 볼 수 있는 서비스 입니다. 이렇게 제작된 튜토리얼들은 해당 웹사이트 위에 동적으로 삽입되어 사용자에게 비춰지며, 사용자들은 클릭 몇 번으로 웹사이트의 다양한 기능들을 익힐 수 있습니다.
최근 다양한 분야에서의 빅데이터 분석 시스템이 구축되어 활용되고 있으나, 대부분의 대상 데이터들이 텍스트 기반의 데이터를 한정하고 있다. 그러나, 현재 전 산업 분야에서 이미지(비디오) 데이터가 빅데이터의 핵심으로 부상하면서 이를 분석하기 위한 이미지 마이닝 기술에 대한 관심이 고조되고 있다. 이미지 마이닝 기술은 이미지 프로세싱 기술에 대한 연구가 시작된 시점 1960년대 이후인 1970년대부터 연구되기 시작하였다. 이와 관련된 많은 연구들이 의학적인 분야와 국방 분야에서 많이 연구되어 오다, 최근에는 마케팅 분야를 포함한 다양한 분야에서 연구되어 오고 있으며, 일부 산업 분야에서는 상용기술이 개발되어 실제 산업에 적용되고 있다. 이러한 기술들이 최근 빅데이터 기술에 대한 관심이 증가하면서 이미지(비디오) 데이터 분석에 적용하기 위한 연구들이 집중되고 있다. 이에 이에 이미지 마이닝을 위한 기존의 기술들의 연구 동향과 이러한 기술들을 활용하고 있는 산업 분야의 응용에 대한 동향을 조사 분석하고 향후 발전 방향에 대해 살펴보기로 한다.
– Elastic stack과 Data pipeline의 개념
– 데이터의 종류와 형태 / Document 데이터 모델링 (mapping, data type)
– 분산 데이터 저장소 관점에서의 Elasticsearch (index, shard & replica, segment)
https://learningspoons.com/course/detail/elastic-stack/
서울시 빅데이터 캠퍼스 안내 및 데이터 설명
안녕하십니까.
서울시 빅데이터 캠퍼스입니다.
데이터기반 사회혁신 모델을 만들어가고자 하는 서울시 빅데이터 캠퍼스의 지향과 서비스에 대한 안내 드립니다.
더불어, 캠퍼스 입주에 필요한 절차와 입주 후 제공되는 데이터, 인프라 서비스에 대한 상세한 설명을 보실 수 있습니다.
감사합니다.
KAIST 웹 공학 연구실 소개(Web Engineering Lab.)webeng_kaist
Introduction to Web Engineering Lab.
We are working on software engineering issues of building software systems that effectively utilize various Web-based resources, are adaptable to changing needs and conditions in highly dynamic environments, and allow end users to participate in the evolution of the software.
구글 크롬 익스텐션을 이용해서 누구나, 어떠한 사이트라도 쉽고 빠르게 튜토리얼을 제작하고 볼 수 있는 서비스 입니다. 이렇게 제작된 튜토리얼들은 해당 웹사이트 위에 동적으로 삽입되어 사용자에게 비춰지며, 사용자들은 클릭 몇 번으로 웹사이트의 다양한 기능들을 익힐 수 있습니다.
최근 다양한 분야에서의 빅데이터 분석 시스템이 구축되어 활용되고 있으나, 대부분의 대상 데이터들이 텍스트 기반의 데이터를 한정하고 있다. 그러나, 현재 전 산업 분야에서 이미지(비디오) 데이터가 빅데이터의 핵심으로 부상하면서 이를 분석하기 위한 이미지 마이닝 기술에 대한 관심이 고조되고 있다. 이미지 마이닝 기술은 이미지 프로세싱 기술에 대한 연구가 시작된 시점 1960년대 이후인 1970년대부터 연구되기 시작하였다. 이와 관련된 많은 연구들이 의학적인 분야와 국방 분야에서 많이 연구되어 오다, 최근에는 마케팅 분야를 포함한 다양한 분야에서 연구되어 오고 있으며, 일부 산업 분야에서는 상용기술이 개발되어 실제 산업에 적용되고 있다. 이러한 기술들이 최근 빅데이터 기술에 대한 관심이 증가하면서 이미지(비디오) 데이터 분석에 적용하기 위한 연구들이 집중되고 있다. 이에 이에 이미지 마이닝을 위한 기존의 기술들의 연구 동향과 이러한 기술들을 활용하고 있는 산업 분야의 응용에 대한 동향을 조사 분석하고 향후 발전 방향에 대해 살펴보기로 한다.
– Elastic stack과 Data pipeline의 개념
– 데이터의 종류와 형태 / Document 데이터 모델링 (mapping, data type)
– 분산 데이터 저장소 관점에서의 Elasticsearch (index, shard & replica, segment)
https://learningspoons.com/course/detail/elastic-stack/
서울시 빅데이터 캠퍼스 안내 및 데이터 설명
안녕하십니까.
서울시 빅데이터 캠퍼스입니다.
데이터기반 사회혁신 모델을 만들어가고자 하는 서울시 빅데이터 캠퍼스의 지향과 서비스에 대한 안내 드립니다.
더불어, 캠퍼스 입주에 필요한 절차와 입주 후 제공되는 데이터, 인프라 서비스에 대한 상세한 설명을 보실 수 있습니다.
감사합니다.
2. LabMembers
• Professor
– Hyun, Soon Joo
• sjhyun@kaist.ac.kr
• #804, ITC Bldg. (N1)
• Tel. 350-3563 (office)
• Students
– 2 Ph.D. students
– 2 M.S. students
– Office
• #822, ITC Bldg. (N1)
• Tel. 350-7763
• Homepage
– http://idb.kaist.ac.kr
http://idb.kaist.ac.kr/members
3. Traditional
DBMS
ResearchInterest(1/2)
• Sensor Database : Wireless Sensor Networks as
Database
Applications | Habitat monitoring, disaster surveillance, military supports, patient
monitoring, etc.
Sensor
Database
Query/
Result
Storage
(Database)
Query/Result
Sensor Node
(Virtual) Storage
Wireless Sensor Network
Query/
Result
4. ResearchInterest(1/2)
• Sensor Network Query Language (SNQL) and
Processor (SNQP)
[ON EVENT <event-predicate> | <event-name>]
SELECT <select_item_expressions_list>
FROM <list_of_table_references (table or inline view) >
[WHERE <condition>]
[GROUP BY <expression_list>]
[SAMPLE PERIOD <time_unit> FOR <time_unit> |
CASE
[WHEN <condition>
THEN SAMPLE PERIOD <time_unit>]+
ELSE SAMPLE PERIOD <time_unit> FOR <time_unit>
END]
[WITHIN <participation-percentage>]
5. IoT 전력량 관리 모듈을
통한 전력 계측
일상 기기의
스마트 오브젝트화
액츄에이터
설치
객체 별 보드 설치
스마트 홈 커뮤니티
서비스 프레임워크
스마트 홈 커뮤니티
테스트베드 구축
5
N1 테스트베드구축(회의실,휴게실)
웹캠
제습기로봇 청소기
환경 센서
통합 제어 모듈
도어 센서
스마트 TV & XBOX 서비스
환경 센서
통합 제어 모듈
가습기
사용자 인식 카메라
스크린
화분
프로젝터
6. ResearchInterest(1/2)
Illumination sensor Heartrate Blood pressure Altitude SensorAccelerometer
Sleep monitoringBMI
ECG
Step count Used calorie Moving distance
Information
Assistance
(Problem) Huge amount
of sensory data is
constantly transferred!!
Current activity
8. ResearchInterest(2/2)
• Context-aware Computing 연구 가설/모델 설정
데이터 수집(Collection)
데이터 전처리(Preprocessing)
데이터 변환(Transformation)
데이터 분석(Mining)
데이터 해석 및 평가
누구랑
같이
있는가?
나의
현재
기분은?
여기
온
목적은?
현재
나의
행동은?
내가
가고
있는
장소는?
언제
떠나야
하는가?
Social
relationship
mining from
Bluetooth
Activity
recognition from
accelerometer
sensor
Sentiment
analysis from
text
Task recognition
from all features
Next-place
prediction from
GPS
9. ResearchInterest(2/2)
• Social Computing
– On/Offline 다차원 상황정보
수집
• 사용자 정보(예, 관심사, 성격)
• 시간적 의미(예, 주중/주말,
근무/퇴근)
• 장소적 의미(예, 장소 타입,
복잡도, 다양도)
– Data Mining을 통한 잠재적
그룹 발견
• 가족, 친구, 동료, 지인
– Social Matching을 통한
우연발견적 상호작용
(Serendipitous interaction) 기회
추천
[Interaction Opportunity Discovery in Places]
그렇다면, 센서 네트워크를 하나의 가상 데이터베이스로 간주하고,
이 네트워크에 application의 사용자가 작성한 SQL과 비슷한 쿼리를 배포하는 것으로 쿼리의 결과를 수집할 수 있는
이른바 ‘센서 데이터베이스’ 를 생각해 볼 수 있습니다.
이에 대해 센서 네트워크에서 센서 데이터베이스와 관련된 쿼리 프로세싱에 대한 연구가 이뤄지고 있습니다.