모바일 플랫폼 기반
계획 및 학습 인지 모델 프레임워크계획 및 학습 인지 모델 프레임워크
2 0 1 0 . 7 . 2 6 .
박영택
숭실대학교
Agenda
01 Research Goal
02 Scenario
03 Overall System Structure
04 Mobile Task Manager
05 Mobile Activity Aware
06 Mobile ...
Mobile Awareness
Local Ad-hoc
Social Service
Activity Log Learning
Social Datamining
Social Learning
Social Dynamics
Activ...
Research Scopes
상황인지 추론
및 계획 엔진
Ad-hoc 모바일
소셜 서비스
행위인지
기계학습 소셜 서비스기계학습
사용자
행위모니터
모바일
지능프레임워크
Smart
Assistant
4 / 29
Research Goal
모바일 사용자의 cognitive load를 최소화하기 위한
인공지능 기반 프레임워크 및 응용 시스템 구축
5 / 29
연구 내용
Machine
Learning
Reasoning&
Planning
Social
Service
안드로이드기반 지능형 시스템 구조
Context Log 및 Ad-hoc 네트워크
Text Mining 영상 인식
6...
Related Works
7 / 29
Application
주요 지능 Modules
Smart Agent
Annoy
Free
Smart
Calendar
Themis
Smart
Call
Social Agent
Social
Recommender
Social
A...
주요 지능 Modules
Application
Smart Agent
Annoy
Free
Calendar
Themis Call
Social Agent
Social
Recommender
Social
Ad-hoc
Social...
주요 지능 Modules
Smart Agent
Server
User
Model
SA
RDFS IE
PE
CL
RDFS IE.
Planning
Engine
Context
Logger
Model
Learner
Context...
Context Logger
GPS
Accelerometer
Illuminometer
Sensor Abstraction
Location
Mobility
Brightness
Home
Slow
Dark
Context
Offi...
HOME
Family 1
Family 2 Family 3
Learning Personal User Model
COMPANY
Colleague 1
Colleague 2 Colleague 3
12 / 29
Friday
17:00
Rainy
Coffee Shop
Saturday
10:00
Sunny
Central Park
Saturday
20:00
Any Weather
Cinema
Tuesday
17:00
Sunny
Sho...
Activity Prediction Model
Friday
Prediction Ranking
01 Coffee Shop
Learning Activity Prediction Model
Friday
17:00
Rainy
P...
RDFS 추론 엔진 연구 내용Smart Assistance – Calendar with Email
Inbox
Time 2010 JUNE 12 SAT 09:42 AM
From rdfs@gmail.com
Subject 세미...
Smart Assistance – Smart Call
Text Mining
Regular
Expression
Smart Call
GPS
서울시 강남
자동 지역번호
02 123 - 4567~9
123 - 4567
123 ...
Context Aware 시나리오
헛!!
발표 중에 …
17 / 29
RDFS 추론 엔진 연구 내용Smart Assistance – AnnoyFree
Calendar
2010 JULY 06 Tue
08:30 – 09:00
Daily Meeting at Office
AnnoyFree
Act...
Planning 시나리오
무엇을 도와 드릴까요?
Say it!Speak now...Thinking...
I think you said…
사무실 근처에 있는
근사한 이탈리아 식당에
가고 싶다.
Planning 시나리오
R...
Planning 시나리오
I think you said…
사무실 근처에 있는
근사한 이탈리아 식당에
가고 싶다.
강남구 사무실 근처에 있는
근사한 이탈리아 식당을
찾는 중…
사무실 근처에 있는 근사한
이탈리아 식당에 가...
비아디나폴리
강남구 삼성동, 500m Call
Restaurants by location, rating
서울시 강남구 삼성동
154-10 융전빌딩 B1
Speak now...Thinking...
I think you s...
Planning 시나리오
비다디나폴리에 내일 저녁 7시
2명 예약하고 싶다.
잠시만 기다리세요…
비다니나폴리에
내일 저녁 7시 2명 예약가능.
Confirm Reservation
Reservation
Planning 시...
Bird’s Eye View
Context
AI Module Interface
Application Application Application. . .
Bird’s Eye View of Proposed System
Se...
Overall Structure
User Model
Activity Aware
Social
Service
Android Task Manager
Mobile
Mobile Task Manager
Local ad-hoc Ma...
Client-Server Architecture
Intelligent Application
Annoy
Free
Smart
Script
Smart
Reservation
Social
Service
Smart
Magazine...
Integrated System View
지능형 응용 서비스
3rd Party
Smart
Call
Smart
PIM
Smart
Guider
Smart
Reservation
Social
Caster
Social
Recom...
Smart Assistant in Android Environment
Intelligent Applications
Android
Application
Android
Service
AI Engines
Android App...
System Integration
Mobile Artificial Intelligence Framework
.apk Services
RDFS I.E. Planner
Another
Services
AIDL
.jar
App...
Thank you!!Thank you!!
Upcoming SlideShare
Loading in …5
×

Cognitive Planning and Learning for Mobile Platforms

1,867 views
1,773 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,867
On SlideShare
0
From Embeds
0
Number of Embeds
387
Actions
Shares
0
Downloads
51
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Cognitive Planning and Learning for Mobile Platforms

  1. 1. 모바일 플랫폼 기반 계획 및 학습 인지 모델 프레임워크계획 및 학습 인지 모델 프레임워크 2 0 1 0 . 7 . 2 6 . 박영택 숭실대학교
  2. 2. Agenda 01 Research Goal 02 Scenario 03 Overall System Structure 04 Mobile Task Manager 05 Mobile Activity Aware 06 Mobile Context Log 07 Mobile Social Service 08 Android Environment
  3. 3. Mobile Awareness Local Ad-hoc Social Service Activity Log Learning Social Datamining Social Learning Social Dynamics Activity Log Learning Incremental Learning Personal Activity Profile Personalized Reasoning Automated Planning Robust Agent Contextual Service Delegation Personalized Activity Learning 3 / 29
  4. 4. Research Scopes 상황인지 추론 및 계획 엔진 Ad-hoc 모바일 소셜 서비스 행위인지 기계학습 소셜 서비스기계학습 사용자 행위모니터 모바일 지능프레임워크 Smart Assistant 4 / 29
  5. 5. Research Goal 모바일 사용자의 cognitive load를 최소화하기 위한 인공지능 기반 프레임워크 및 응용 시스템 구축 5 / 29
  6. 6. 연구 내용 Machine Learning Reasoning& Planning Social Service 안드로이드기반 지능형 시스템 구조 Context Log 및 Ad-hoc 네트워크 Text Mining 영상 인식 6 / 29
  7. 7. Related Works 7 / 29
  8. 8. Application 주요 지능 Modules Smart Agent Annoy Free Smart Calendar Themis Smart Call Social Agent Social Recommender Social Ad-hoc Social Magazine 지능 Infra Text Miner Context Broker Scene Text Analyzer Social Engine RDFS Inference Engine User Model Context Logger Planning Engine 8 / 29
  9. 9. 주요 지능 Modules Application Smart Agent Annoy Free Calendar Themis Call Social Agent Social Recommender Social Ad-hoc Social Magazine Smart Agent Server User Model 지능 Infra Text Miner Context Broker Scene Text Analyzer Social Engine Inference Engine User Model Context Logger Panning Engine RDFS IE. Planning Engine Context Logger Model Learner Context DB 9 / 29
  10. 10. 주요 지능 Modules Smart Agent Server User Model SA RDFS IE PE CL RDFS IE. Planning Engine Context Logger Model Learner Context DB SA RDFS IE PE CL SA RDFS IE PE CL SA RDFS IE PE CL Social Ad-hoc 10 / 29
  11. 11. Context Logger GPS Accelerometer Illuminometer Sensor Abstraction Location Mobility Brightness Home Slow Dark Context Office Stationary Bright Context School Fast Bright Context … … … Bluetooth Proximity Time Social Object Device Activity POI Family Yes Smartphone Drinking Starbucks Colleagues No Smartphone - - Friends No Computer Watching CGV … … … … … time 1 time 2 time 3 11 / 29
  12. 12. HOME Family 1 Family 2 Family 3 Learning Personal User Model COMPANY Colleague 1 Colleague 2 Colleague 3 12 / 29
  13. 13. Friday 17:00 Rainy Coffee Shop Saturday 10:00 Sunny Central Park Saturday 20:00 Any Weather Cinema Tuesday 17:00 Sunny Shopping Mall Learning Activity Aware Model 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 6:00 7:30 9:00 10:30 12:00 13:30 15:00 16:30 18:00 19:30 21:00 22:30 0:00 0 5 10 15 20 SampleCount(Total) NOT SEE DO EAT OUT SHOP Sunday 60% 70% 80% 90% 100% 15 20 25 SampleCount(Total) NOT SEE Saturday Sunday 18:30 Sunny Restaurant Monday 20:00 Cloudy Home Monday 09:00 Any Weather Meeting Room Sunday 10:00 Cloudy Home Mobile User Model Activity Learning 10:30 12:00 13:30 15:00 16:30 18:00 19:30 21:00 22:30 Time of Day 0% 10% 20% 30% 40% 50% 60% 6:00 7:30 9:00 10:30 12:00 13:30 15:00 16:30 18:00 19:30 21:00 22:30 0:00 Time of Day 0 5 10 15 SampleCount(Total) SEE DO EAT OUT SHOP 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 6:00 7:30 9:00 10:30 12:00 13:30 15:00 16:30 18:00 19:30 21:00 22:30 0:00 Time of Day 0 5 10 15 20 SampleCount(Total) NOT SEE DO EAT OUT SHOP Friday 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 6:00 7:30 9:00 10:30 12:00 13:30 15:00 16:30 18:00 19:30 21:00 22:30 0:00 Time of Day 0 10 20 30 40 50 60 70 80 SampleCount(Total) NOT SEE DO EAT OUT SHOP Mon-Thu 13 / 29
  14. 14. Activity Prediction Model Friday Prediction Ranking 01 Coffee Shop Learning Activity Prediction Model Friday 17:00 Rainy Prediction03 Restaurant 02 Cinema 14 / 29
  15. 15. RDFS 추론 엔진 연구 내용Smart Assistance – Calendar with Email Inbox Time 2010 JUNE 12 SAT 09:42 AM From rdfs@gmail.com Subject 세미나 일정 안녕하세요. 세미나 다음 주 월요일 일 월 화 수 목 금 토 12 13 14 15 16 17 18 19 Calendar 안녕하세요. 모바일인지프레임워크에 대한 세미나가 다음 주 월요일 오후 2시부터 4시까지 601호 회의실에서 있을 예정입니다. 모바일팀원들의 많은 참여 부탁 드립니다. 오후2시부터 4시까지 601호 회의실 모바일팀 13 14 15 16 17 18 19 2010년 6월 14일 (월) 2:00 ~ 4:00 p.m. 601호 회의실 세미나 모바일팀 Text Mining 자연어처리 15 / 29
  16. 16. Smart Assistance – Smart Call Text Mining Regular Expression Smart Call GPS 서울시 강남 자동 지역번호 02 123 - 4567~9 123 - 4567 123 - 4568 123 - 4569 Calling통화중 123 - 4567 123 - 4568 123 - 4569 연결됨 16 / 29
  17. 17. Context Aware 시나리오 헛!! 발표 중에 … 17 / 29
  18. 18. RDFS 추론 엔진 연구 내용Smart Assistance – AnnoyFree Calendar 2010 JULY 06 Tue 08:30 – 09:00 Daily Meeting at Office AnnoyFree Activated 19:00 – 21:00 Dinner with Friends Daily Meeting at Office 10:00 – 17:00 Workshop at COEX 10:00 – 17:00 Workshop at COEX Time 09:55 Location 480m from COEX Time 10:00 Location 150m from COEX Time 10:15 Location COEX Bluetooth 5 Colleagues 18 / 29
  19. 19. Planning 시나리오 무엇을 도와 드릴까요? Say it!Speak now...Thinking... I think you said… 사무실 근처에 있는 근사한 이탈리아 식당에 가고 싶다. Planning 시나리오 Restaurants “근처에 괜찮은 한식당” Movies “오후에 액션 영화 한편” Concerts “요즘 인기 있는 콘서트는” 무엇을 도와 드릴까요?가고 싶다. Tap text to edit That’s right! Go 19 / 29
  20. 20. Planning 시나리오 I think you said… 사무실 근처에 있는 근사한 이탈리아 식당에 가고 싶다. 강남구 사무실 근처에 있는 근사한 이탈리아 식당을 찾는 중… 사무실 근처에 있는 근사한 이탈리아 식당에 가고 싶다. OK! 사무실 근처에 있는 근사한 이탈리아 식당을 다음과 같이 찾았습니다:Restaurants by location, rating 비아디나폴리 강남구 삼성동, 500m Call Restaurants by location, rating 서울시 강남구 삼성동 154-10 융전빌딩 B1 Planning 시나리오 가고 싶다. Tap text to edit That’s right! Go 찾는 중…다음과 같이 찾았습니다: 비아디나폴리 강남구 삼성동, 500m La pizza 강남구 논현동, 450m 비엘차퍼스 강남구 신사동, 820m Call Call Call Restaurants by location, rating 20 / 29
  21. 21. 비아디나폴리 강남구 삼성동, 500m Call Restaurants by location, rating 서울시 강남구 삼성동 154-10 융전빌딩 B1 Speak now...Thinking... I think you said… 비아디나폴리에 내일 저녁 7시 2명 예약하고 싶다. Planning 시나리오 Say it! 2명 예약하고 싶다. Tap text to edit That’s right! Go 21 / 29
  22. 22. Planning 시나리오 비다디나폴리에 내일 저녁 7시 2명 예약하고 싶다. 잠시만 기다리세요… 비다니나폴리에 내일 저녁 7시 2명 예약가능. Confirm Reservation Reservation Planning 시나리오 Confirm Reservation Reservation Details 일시 및 시간 내일 7:00 pm 인원 2명 위치 강남구 삼성동 154-10 융전빌딩 B1 수정 이름 장동건 22 / 29
  23. 23. Bird’s Eye View Context AI Module Interface Application Application Application. . . Bird’s Eye View of Proposed System ServerServer WebWeb Mining SmartPhone Sensor Context Broker Context Generator RDFS Inference Engine ML Interface Text Mining Logger Planner Web Service Interface Sensor WebWeb 23 / 29
  24. 24. Overall Structure User Model Activity Aware Social Service Android Task Manager Mobile Mobile Task Manager Local ad-hoc Machine Learning Activity AwareService ContextLog Mobile RDFS Inference Engine Planner Text Miner Context Server Sensor, Map, Web, PIMS 24 / 29
  25. 25. Client-Server Architecture Intelligent Application Annoy Free Smart Script Smart Reservation Social Service Smart Magazine AI Engine Ranking Learner RDFS Inference Engine Planner Social Engine Web Twitter Facebook Android Mobile Platform Engine Knowledge Representation FOPC TRIPLE Android Application Framework PIMS Data Context Activity Profile Social Profile Context Logger Calendar Contacts Machine Learning Service Activity -Aware Learner Social Learner Activity History 25 / 29
  26. 26. Integrated System View 지능형 응용 서비스 3rd Party Smart Call Smart PIM Smart Guider Smart Reservation Social Caster Social Recommender Social Finder Match Maker 개인화 에이전트 구동 사회화 에이전트 구동 콘텐츠 및 서비스 합성 외부 서비스 연계 사회화 통합 서비스 인터페이스 지능형 서비스 프레임워크 어플리케이션 인공지능 컴포넌트 관리 사회화학습추론 계획 외부 어플리케이션 어댑터 통합 정보 중재 모바일 플랫폼 서비스 구동 Ad-hoc 네트워크 구동 사용자 행위 모니터링 모바일 통합 프레임워크 개방형 모바일 플랫폼 (Android) 단말 하드웨어 26 / 29
  27. 27. Smart Assistant in Android Environment Intelligent Applications Android Application Android Service AI Engines Android Application Framework RDFS Inference Engine LearnerPlanner Social Engine Content Provider Context ProfileRule Legend a Service a Activity a Content Provider 27 / 29
  28. 28. System Integration Mobile Artificial Intelligence Framework .apk Services RDFS I.E. Planner Another Services AIDL .jar Application Mobile Artificial Intelligence Framework Server Interface Context Information Interface RDFS Axiom Context Rule ServerServer User Model Meta Data Learned Activity Model 28 / 29
  29. 29. Thank you!!Thank you!!

×