Your SlideShare is downloading. ×
0
CSPLCSPL 專題討論場次專題討論場次
教育代理人面面觀教育代理人面面觀
具情感運算能力之教育代理人具情感運算能力之教育代理人
林豪鏘.國立臺南大學林豪鏘.國立臺南大學
數位藝術與互動設計實驗室數位藝術與互動設計實驗室
Koong LIN,...
OutlineOutline
 Affective Learning Companion
 Affective Computing
 Avatar 學習系統的常駐介面
 ATS 的伴讀家教 Agent
 文字 + 表情 + 生理訊號
...
共 72 頁
我是鏘鏘我是鏘鏘 林豪鏘林豪鏘
 國立清華大學資訊科學博士 , 1997
 國立臺南大學.數位學習科技系.教授.系主任
 台灣科技藝術教育協會.副理事長
 台灣科技藝術學會.副秘書長
 中華民國數位 容學會.常務理事內...
Affective
Learning Companion
共 72 頁 4
GCCCE 2013
Global Chinese Conference on Computers in Education
第十七屆全球華人電腦教育應用大會
工作坊主題:情感運算與學習同伴工作坊主題:情感運算與學習同伴
 大會時間:
20...
工作坊主題 涵內
 在 Web2.0 時代,情緒智慧 (Emotional Intelligence) 已成為學習
與教育領域愈來愈重要的議題。透過情緒的偵測與判斷,我們更能
掌握學習者的學習與情緒 態。在相關議題中,情感運算狀
(Affec...
Affective
Computing
共 72 頁 7
共 72 頁
情感運算情感運算
Affective ComputingAffective Computing
 定義:
 透過各種感應器
 取得由情緒、情感所引起的表情及生理變化信號
 針對這些訊號進行識別
 理解人的情感
 做出適...
共 72 頁
Picard, MITPicard, MIT
Levels of Machine EmotionsLevels of Machine Emotions
 To recognize emotions
 To express em...
Avatar
學習系統的常駐介面
共 72 頁 10
共 72 頁 11
Conceptual ModelConceptual Model
Affective
Interface
Inputted
Text
Learner
Tutoring
System
Ontology-Based Emotio...
共 72 頁 12
Figure 3: Capture of old agent
(Chinese Translation: Student, please pay attention)
共 72 頁 13
偽春菜偽春菜 in Linuxin Linux
 IT'S NOT WORKING at very first.
 SBBG has to hack it and ask for help
from the author...
共 72 頁 14
AvatarAvatar 回饋回饋
共 72 頁 15
恨恨怒怒
悲悲
驚驚 喜喜
共 72 頁 16
Affective Tutoring System
ATS 的伴讀家教 Agent
共 72 頁 17
共 72 頁
文字情緒辨識|方法論文字情緒辨識|方法論
 Computational Intelligence
 SVM
 LIBSVM
 CRF, KNN, HMM, ANN
 Symbolic AI
 Ontology
 OM...
ATS:ATS: Affective Turoring SystemAffective Turoring System
課程區塊 課程選單
情感代理人玩
偶
情緒文字輸入
框
共 72 頁 19
文字 + 表情
Text + Facial Expression
共 72 頁 20
表情情緒|方法論表情情緒|方法論
Facial ExpressionFacial Expression
 DEASM (Detected Emotion based on
Active Shape Model)
 Active Shape ...
從從 frameframe 取特 點座標擷 徵取特 點座標擷 徵
值值
共 72 頁 22
臉部情緒辨識 表演算法查臉部情緒辨識 表演算法查
23
 Ammar 等人提出的
六個臉部
情緒特 點徵
距離 Di 定義
Di 定義示意圖共 72 頁
D1 D2 D3 D4 D5 D6
Joy = = ↑ ↑ = ↓
Sadness ↓ ↑ = = ↓ =
Anger ↑ ↓ = ↑or↓ = =
Fear ? ↑ = = ↑ =
Disgust = = ↑ ↑ = =
Surprise ↑...
第二代第二代 ATSATS 系統介面系統介面
25
動畫代理
人
數位藝術課程
內容
OMCSNetKai 處理對
話框
語意情緒推論
結果
課程選
擇紐
DEASM 結果狀
態條Demo 共 72 頁
【表情辨識方法二】【表情辨識方法二】 Pattern RecognitionPattern Recognition
面部情緒辨識面部情緒辨識
1) 收集訓練之樣本(開心、生氣、難過、驚訝、害怕
、厭惡)
26
2) 正負樣本分類
3) 訓 分類...
代理人設計代理人設計
 情緒回饋
27
挫折 害怕厭惡 疑惑
開心 生氣 難過 驚訝
共 72 頁
第三代第三代 ATSATS 系統操作介面系統操作介面
28
系統介面配置圖共 72 頁
電子書上的代理人
共 72 頁 29
第四代第四代 ATS +ATS + 電子書電子書
共 72 頁 30
文字 + 表情 + 生理訊號
( 眼波 + 膚電 )
共 72 頁 31
第五代第五代
情感式學習系統-系統介面情感式學習系統-系統介面
共 72 頁 32
實驗設備、環境實驗設備、環境
共 72 頁 33
網路攝影機
Affectiva Q sensor
NeuroSky
MindWave
音訊輸出裝置
情感式學習系統-互動代理人情感式學習系統-互動代理人
(8/9)(8/9)
共 72 頁 34
35
系統設定位置
情緒辨識狀態
臉部辨識區
課程呈現位置
互動代理人
代理人回饋
文字輸入區
共 72 頁
學習者介面學習者介面
36
C. 互動代理人回饋模組
第一列由左而右分別為:喜悅、害怕、厭惡
第二列由左而右分別為:難過、驚訝、憤怒
共 72 頁
簡化的情緒表情符號
Emoticon
共 72 頁 37
共 72 頁 38
教材區 互動區
臉部辨識區
互動對話
顯示區
使用者
文字輸入區
使用者
情緒回饋按鈕
背景音樂選擇
教材播放區
教材內容說明
課程地圖
共 72 頁 39
情緒代理人
記 的微笑錄您
共 72 頁 40
微笑天使微笑天使
共 72 頁 41
可即時回饋玩家自己的臉色可即時回饋玩家自己的臉色
共 72 頁 42
能不影響工作進行能不影響工作進行
共 72 頁 43
微笑學習+遊戲+音樂播放微笑學習+遊戲+音樂播放
共 72 頁 44
擁有情緒的代理人
Agents Who Have Emotions
共 72 頁 45
共 72 頁
Picard, MITPicard, MIT
Levels of Machine EmotionsLevels of Machine Emotions
 To recognize emotions
 To express em...
何謂機器擁有情緒何謂機器擁有情緒
 Rosalind Picard :
一個機器擁有:
 情緒行為
 快速的、主觀的情緒
 由認知 生情緒產
 情緒經驗
 身心相互影響
則可稱之為「擁有情緒」
共 72 頁 47
市面擁有情緒的機器市面擁有情緒的機器
 討論:市面上 些硬體、軟體、應用,哪
能稱之為「擁有情緒的機器」?
 SIRI 算 ? 算 ?嗎 掰噗 嗎
共 72 頁 48
使機器擁有情緒的時機使機器擁有情緒的時機
 多數情況 ( 包含生活、需求等 )
 沒有最佳解的結構
 沒有唯一的正確答案
 允許錯誤的選擇
 不允許長時間運算
 求解的過程成本過高
 使用者高興就好
 如:決定 餐吃什麼、晚 a...
使機器擁有情緒的時機使機器擁有情緒的時機
 討論:在 看過的動畫 通或電影中,你 卡 你
最喜歡 一個「機器擁有情緒的例子」?哪
 討論:在 的生活中,若機器擁有情緒,你
能 助 什麼?幫 你
 人工智慧、瓦力、霹靂五號
 Star T...
Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (1)(1)
 一個 App 中的 agent
A. 擁有自己的情緒。
B. 能導正主人的情緒。
C. 能與其他 agent 交流。
共 72 頁 51
IA...
Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (2)(2)
 A. agent 擁有自己的情緒:
 當手機記憶體、儲存空間飽和時,
agent 向主人表達自己不滿的情緒。
 當手機 GPS 被偵測出「...
Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (3)(3)
 B. 能導正主人的情緒:
 當主人情緒輕微低落時, agent 能開啟 youtube
等網路資源,分享喜 轉移注意,或開悅 啟 Googl...
Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (4)(4)
 C. agent 能與其他 agent 交流:
 主人的朋友,就是 agent 的朋友;
朋友的 agent ,就是 agent 的朋友。
...
概念圖概念圖
共 72 頁 55
系統示意圖系統示意圖
共 72 頁 56
共 72 頁 57
Limbic PerceptionLimbic Perception
 Limbic system 邊 系統緣
 紅色部分為大腦的邊 系統。緣
 邊 系統乃一術語指包含海馬體及杏仁緣
體在 ,支援多種功能例如內 情緒情...
共 72 頁 58
Cortex vs. LimbicCortex vs. Limbic
 大腦有兩個半球,外層是很薄有皺紋的灰色組織
,叫作大腦皮質 (Cerebral cortex)
 Cortex: 腦皮層 , P7
 Cortex...
共 72 頁 59
Cortex
Lmbic
Brainstem
共 72 頁 60
Primary vs Secondary EmotionPrimary vs Secondary Emotion
 There are certain features of stimuli that
we respond...
Emotion SynthesisEmotion Synthesis
Affective Computing
Building Affective ComputingBuilding Affective Computing
共 72 頁 62
「情緒」 、 「動機」、「行為」「情緒」 、 「動機」、「行為」
 「情緒」會影響「動機」、
繼而影響「行為」
 當敵對角色出現時,
 可能會觸發「恐懼」情緒
 並導致角色有心跳加快、
體 下降的行為模擬。溫
共 72 頁 63
情緒模組間之影響情緒模組間之影響
 各種情緒模組之間,
對彼此各有一些正負向影響
 「喜 」的情緒,悅
會讓角色向出現「微笑」的行為。
 「喜 」的情緒,悅
可能抑制「沮喪」的情緒發生的機率。
共 72 頁 64
情緒合成情緒合成
 情緒門檻
 情緒超過門檻 才會觸發值
 情緒飽合
 根據情緒的訊號特性,
必須在其達到飽和時,
就停止情緒量的 加增
 情緒遞減
 我們也會設定情緒的自動遞減機制,
讓該情緒在若無新刺激的情況...
共 72 頁 65
Concern LoopConcern Loop
 系統將設計若干個 “ Concern Loop” ,
 個每 Loop 都會隨時檢查
是否有新的情緒輸入
 可以觸發其學習機制
 當某個 Loop 經過較長時間未接...
共 72 頁 66
多角色情緒社群關係多角色情緒社群關係
(Emotions in Social Relationships)(Emotions in Social Relationships)
 友好 (Friendship)
 彼此之間...
共 72 頁 67
情緒觸發三層次情緒觸發三層次
 迅速反應層次
 這對應到認知科學的 Fast Primary Emotion
 也對應到認知神經科學的大腦 Limbic System
 推理層次
 這對應到認知科學的 Second...
共 72 頁 68
Poker-Playing AgentsPoker-Playing Agents
with Facial Expressionwith Facial Expression
 People prefer: agent w f...
共 72 頁 69
Emotions and MoodsEmotions and Moods
forfor Animated CharactersAnimated Characters
 Bates & Relly, 1994
 Make ...
學習代理人的困境
共 72 頁 70
困境困境
 陪伴 vs. 提高學習動機 vs. 協助學習 ?
 干擾 ?
 互動頻率 ?
 Feedback:
 學生的情緒 ?
 回應的情緒 ?
 代理人的情緒 ?
 如何回應 ?
共 72 頁 71
共 72 頁 72
Upcoming SlideShare
Loading in...5
×

具情感運算能力之教育代理人

883

Published on

CSCL/CSPL 2014 專題討論場次
教育代理人面面|觀 具情感運算能力之教育代理人
Affective Learning Companion
Affective Computing
Avatar 學習系統的常駐介面
ATS的伴讀家教Agent
文字+表情+生理訊號
電子書上的代理人
簡化的情緒表情符號
情緒代理人記錄您的微笑
擁有情緒的代理人
學習代理人的困境

Published in: Education, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
883
On Slideshare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • 系統分為幾個區塊
    課程、課程選單、情感代理人玩偶、情緒輸入框
  • 當擷取到所需要的特徵標定點的以後,我們使用Mohamed Ben Ammar等人提出的六個臉部情緒特徵點距離定義 (Di)
    圖重劃
  • 如各位所看到的,我們以第二語言習得及數位學習相關理論為依據,為了探討語言焦慮產生的各種面向及如何消除焦慮等方法,以開發情感式日語家教系統(ATS-JP),作為本研究之研究工具。實驗對象的日語學習者,透過使用ATS-JP學習平台所產出的系統使用情形、學習歷程及學習成效等數據,都可以透由系統規畫好的各項量表來分析、歸納出一些學習模組及教學模組,也可以回歸到研究範疇的理論驗證上。
  • 本次所開發的情感式日語家教系統為線上網頁版。左側為教材區,右側為系統與學習者的互動區。
    系統測試階段,將搭配眼動儀來觀察學習者關注畫面的熱區,作為系統介面調整之用,也可以作為後續評估學習者學習成效之交叉比對。
  • Transcript of "具情感運算能力之教育代理人"

    1. 1. CSPLCSPL 專題討論場次專題討論場次 教育代理人面面觀教育代理人面面觀 具情感運算能力之教育代理人具情感運算能力之教育代理人 林豪鏘.國立臺南大學林豪鏘.國立臺南大學 數位藝術與互動設計實驗室數位藝術與互動設計實驗室 Koong LIN,Koong LIN, National University of TainanNational University of Tainan
    2. 2. OutlineOutline  Affective Learning Companion  Affective Computing  Avatar 學習系統的常駐介面  ATS 的伴讀家教 Agent  文字 + 表情 + 生理訊號  電子書上的代理人  簡化的情緒表情符號  情緒代理人記 的微笑錄您  擁有情緒的代理人  學習代理人的困境 共 72 頁 2
    3. 3. 共 72 頁 我是鏘鏘我是鏘鏘 林豪鏘林豪鏘  國立清華大學資訊科學博士 , 1997  國立臺南大學.數位學習科技系.教授.系主任  台灣科技藝術教育協會.副理事長  台灣科技藝術學會.副秘書長  中華民國數位 容學會.常務理事內  中華民國視覺藝術協會.理事  中華民國資訊管理學會.理事  ISAC 中華民國大專校院資訊服務協會.理事  資訊安全管理主導稽核員. ISMS (ISO 27001) LA  數位藝術與互動設計實驗室主持人 現代詩人.藝術觀點總編輯  藝術所 ( 美術系 ) .所長.資訊長  網路行銷叢書作者  棒球評論網路作家  網站流行音樂業餘樂評  人工智慧社群網站創站站長 (Since 1995)  台北數位藝術獎評審.網路藝術組召集人  國際新媒體藝術節.策展人  Boom !快速與凝結新媒體的交互作用,關渡美術館.參展藝術家  藝術家博覽會-「藝.極棒」多媒體藝術展.參展藝術家 DDLab 3
    4. 4. Affective Learning Companion 共 72 頁 4
    5. 5. GCCCE 2013 Global Chinese Conference on Computers in Education 第十七屆全球華人電腦教育應用大會 工作坊主題:情感運算與學習同伴工作坊主題:情感運算與學習同伴  大會時間: 2013 年 5 月 27 日(日)至 5 月 31 日(四 )  地點:中國北京  工作坊時間: 2013 年 5 月 28 日 共 72 頁 5
    6. 6. 工作坊主題 涵內  在 Web2.0 時代,情緒智慧 (Emotional Intelligence) 已成為學習 與教育領域愈來愈重要的議題。透過情緒的偵測與判斷,我們更能 掌握學習者的學習與情緒 態。在相關議題中,情感運算狀 (Affective Computing) 經由文字、表情、聲調、生理訊號等線索 ,可以有效識別使用者的情緒。這樣的技術,經常運用在機器人 (Robotics) 的情緒 生與情緒表達上,並可以扮演智慧型數位家產 教 (Intelligent e-Tutor) 與代理人 (Agent) 的角色,透過學習同 伴 (Learning Companion) 的功能,達到情感學習 (Affective Learning) ,協助使用者在學習等方面的改善。常見的實施平台, 是運用人工智慧技術設計的智慧型家教系統 (ITS; Intelligent Tutoring System) ,進而情感式家教系統 (ATS; Affective Tutoring System) 。此外,計算語言學 (Computational Linguistics) 與自然語言處理 (Natural Language Processing) 同時也提供了情感運算裏情緒識別的重要線索。本工作坊相關理念 可參考情感運算鼻祖 Picard 大師對 Affective Learning Companion 的詮釋:  http://affect.media.mit.edu/projectpages/lc 共 72 頁 6
    7. 7. Affective Computing 共 72 頁 7
    8. 8. 共 72 頁 情感運算情感運算 Affective ComputingAffective Computing  定義:  透過各種感應器  取得由情緒、情感所引起的表情及生理變化信號  針對這些訊號進行識別  理解人的情感  做出適當的回應  新興學術 域:領  如何感知情緒  建 適當的立 情緒模型  將情緒適 地以各種方式切 表達  或在網 上路 傳遞  生理 & 心理  感情 & 情緒 INPUT: •表情 •語音 •文字 •生理資訊 •肢體感應器 •聲調 8
    9. 9. 共 72 頁 Picard, MITPicard, MIT Levels of Machine EmotionsLevels of Machine Emotions  To recognize emotions  To express emotions  To have emotions  Emotional Intelligence Affective Computing, Affective Design, Emotion RecognitionAffective Computing, Affective Design, Emotion Recognition 9
    10. 10. Avatar 學習系統的常駐介面 共 72 頁 10
    11. 11. 共 72 頁 11 Conceptual ModelConceptual Model Affective Interface Inputted Text Learner Tutoring System Ontology-Based Emotion Inference Engine Agents Module Semantic Analyzer Digital Arts Database Agent Response
    12. 12. 共 72 頁 12 Figure 3: Capture of old agent (Chinese Translation: Student, please pay attention)
    13. 13. 共 72 頁 13 偽春菜偽春菜 in Linuxin Linux  IT'S NOT WORKING at very first.  SBBG has to hack it and ask for help from the author...  Result: The 偽春菜 runs even SMOOTHER in Linux.  Thanks to Xcomposite & pyGTK+
    14. 14. 共 72 頁 14 AvatarAvatar 回饋回饋
    15. 15. 共 72 頁 15 恨恨怒怒 悲悲 驚驚 喜喜
    16. 16. 共 72 頁 16
    17. 17. Affective Tutoring System ATS 的伴讀家教 Agent 共 72 頁 17
    18. 18. 共 72 頁 文字情緒辨識|方法論文字情緒辨識|方法論  Computational Intelligence  SVM  LIBSVM  CRF, KNN, HMM, ANN  Symbolic AI  Ontology  OMCSnet  最完整  (Logic Inference, LISP-Like)  OCC Model  情緒  HowNet  情緒 + 中文  NLP Understanding  Parser + Semantic Roles (Theta Grid) 18 情緒關鍵字 Emotion Keyword 情緒辭典 Emotion Lexicon
    19. 19. ATS:ATS: Affective Turoring SystemAffective Turoring System 課程區塊 課程選單 情感代理人玩 偶 情緒文字輸入 框 共 72 頁 19
    20. 20. 文字 + 表情 Text + Facial Expression 共 72 頁 20
    21. 21. 表情情緒|方法論表情情緒|方法論 Facial ExpressionFacial Expression  DEASM (Detected Emotion based on Active Shape Model)  Active Shape Model Library (ASMLibrary 5.0) SDK  Ammar (2010) 提出的演算法  由 webcam 取得即時影像資訊後,對 一每 個 frame 作主動形 模型的匹配,再取得狀 演算法所需的特 點座標,最後透過臉部情徵 緒辨識演算法辨識使用者情緒。此部分將作 為系統回饋回饋代理人的參考資料。 共 72 頁 21
    22. 22. 從從 frameframe 取特 點座標擷 徵取特 點座標擷 徵 值值 共 72 頁 22
    23. 23. 臉部情緒辨識 表演算法查臉部情緒辨識 表演算法查 23  Ammar 等人提出的 六個臉部 情緒特 點徵 距離 Di 定義 Di 定義示意圖共 72 頁
    24. 24. D1 D2 D3 D4 D5 D6 Joy = = ↑ ↑ = ↓ Sadness ↓ ↑ = = ↓ = Anger ↑ ↓ = ↑or↓ = = Fear ? ↑ = = ↑ = Disgust = = ↑ ↑ = = Surprise ↑ ↑ = ↑ = = 共 72 頁 24
    25. 25. 第二代第二代 ATSATS 系統介面系統介面 25 動畫代理 人 數位藝術課程 內容 OMCSNetKai 處理對 話框 語意情緒推論 結果 課程選 擇紐 DEASM 結果狀 態條Demo 共 72 頁
    26. 26. 【表情辨識方法二】【表情辨識方法二】 Pattern RecognitionPattern Recognition 面部情緒辨識面部情緒辨識 1) 收集訓練之樣本(開心、生氣、難過、驚訝、害怕 、厭惡) 26 2) 正負樣本分類 3) 訓 分類器練 4) 用訓 好的分類器進 目標檢測利 練 行 訓練情緒:生氣 正樣本 負樣本 共 72 頁
    27. 27. 代理人設計代理人設計  情緒回饋 27 挫折 害怕厭惡 疑惑 開心 生氣 難過 驚訝 共 72 頁
    28. 28. 第三代第三代 ATSATS 系統操作介面系統操作介面 28 系統介面配置圖共 72 頁
    29. 29. 電子書上的代理人 共 72 頁 29
    30. 30. 第四代第四代 ATS +ATS + 電子書電子書 共 72 頁 30
    31. 31. 文字 + 表情 + 生理訊號 ( 眼波 + 膚電 ) 共 72 頁 31
    32. 32. 第五代第五代 情感式學習系統-系統介面情感式學習系統-系統介面 共 72 頁 32
    33. 33. 實驗設備、環境實驗設備、環境 共 72 頁 33 網路攝影機 Affectiva Q sensor NeuroSky MindWave 音訊輸出裝置
    34. 34. 情感式學習系統-互動代理人情感式學習系統-互動代理人 (8/9)(8/9) 共 72 頁 34
    35. 35. 35 系統設定位置 情緒辨識狀態 臉部辨識區 課程呈現位置 互動代理人 代理人回饋 文字輸入區 共 72 頁 學習者介面學習者介面
    36. 36. 36 C. 互動代理人回饋模組 第一列由左而右分別為:喜悅、害怕、厭惡 第二列由左而右分別為:難過、驚訝、憤怒 共 72 頁
    37. 37. 簡化的情緒表情符號 Emoticon 共 72 頁 37
    38. 38. 共 72 頁 38
    39. 39. 教材區 互動區 臉部辨識區 互動對話 顯示區 使用者 文字輸入區 使用者 情緒回饋按鈕 背景音樂選擇 教材播放區 教材內容說明 課程地圖 共 72 頁 39
    40. 40. 情緒代理人 記 的微笑錄您 共 72 頁 40
    41. 41. 微笑天使微笑天使 共 72 頁 41
    42. 42. 可即時回饋玩家自己的臉色可即時回饋玩家自己的臉色 共 72 頁 42
    43. 43. 能不影響工作進行能不影響工作進行 共 72 頁 43
    44. 44. 微笑學習+遊戲+音樂播放微笑學習+遊戲+音樂播放 共 72 頁 44
    45. 45. 擁有情緒的代理人 Agents Who Have Emotions 共 72 頁 45
    46. 46. 共 72 頁 Picard, MITPicard, MIT Levels of Machine EmotionsLevels of Machine Emotions  To recognize emotions  To express emotions  To have emotions  Emotional Intelligence Affective Computing, Affective Design, Emotion RecognitionAffective Computing, Affective Design, Emotion Recognition 46
    47. 47. 何謂機器擁有情緒何謂機器擁有情緒  Rosalind Picard : 一個機器擁有:  情緒行為  快速的、主觀的情緒  由認知 生情緒產  情緒經驗  身心相互影響 則可稱之為「擁有情緒」 共 72 頁 47
    48. 48. 市面擁有情緒的機器市面擁有情緒的機器  討論:市面上 些硬體、軟體、應用,哪 能稱之為「擁有情緒的機器」?  SIRI 算 ? 算 ?嗎 掰噗 嗎 共 72 頁 48
    49. 49. 使機器擁有情緒的時機使機器擁有情緒的時機  多數情況 ( 包含生活、需求等 )  沒有最佳解的結構  沒有唯一的正確答案  允許錯誤的選擇  不允許長時間運算  求解的過程成本過高  使用者高興就好  如:決定 餐吃什麼、晚 app 自動 生的動態產 UI 、 隨者情緒撥放歌曲的音樂撥放器、資源有限的資料探 勘。 共 72 頁 49
    50. 50. 使機器擁有情緒的時機使機器擁有情緒的時機  討論:在 看過的動畫 通或電影中,你 卡 你 最喜歡 一個「機器擁有情緒的例子」?哪  討論:在 的生活中,若機器擁有情緒,你 能 助 什麼?幫 你  人工智慧、瓦力、霹靂五號  Star Trek, Data, Spock  NCIS, 馬蓋先 + 老皮 共 72 頁 50
    51. 51. Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (1)(1)  一個 App 中的 agent A. 擁有自己的情緒。 B. 能導正主人的情緒。 C. 能與其他 agent 交流。 共 72 頁 51 IA; Intelligent Agent
    52. 52. Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (2)(2)  A. agent 擁有自己的情緒:  當手機記憶體、儲存空間飽和時, agent 向主人表達自己不滿的情緒。  當手機 GPS 被偵測出「不常移動」的 況時,狀 agent 向主人要求帶它出去運動。  當手機電量將要用盡時, agent 跟主人 它肚子餓說 了。  當手機連接氣象資訊,發現將要下雨時, agent 告訴主人自己有被淋濕的危險。  agent 從網路中取得具有情緒 涵的文章、資源,內 並分享給主人。 共 72 頁 52
    53. 53. Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (3)(3)  B. 能導正主人的情緒:  當主人情緒輕微低落時, agent 能開啟 youtube 等網路資源,分享喜 轉移注意,或開悅 啟 Google 街景服務,讓主人看看世界美麗的地方。  當主人情緒嚴重負面時, agent 能傾聽主人訴苦。  當主人在訴苦時, agent 能利用心理諮商的方式導正主人。  當主人情緒持續低落時, agent 開始關注主人行為 ,若主人可能出現危險,則 agent 主動向相關單位 提出協助要求。  當主人情緒被成功導正時, agent 紀 導正的方法錄 與結構,以 強增 agent 的情緒導正能力。 共 72 頁 53
    54. 54. Use case –Use case – 讓 的手機擁有情緒你讓 的手機擁有情緒你 (4)(4)  C. agent 能與其他 agent 交流:  主人的朋友,就是 agent 的朋友; 朋友的 agent ,就是 agent 的朋友。  agent 會要求主人帶它與其他 agent 交友。  agent 會向其他 agent 學習屬於機器的情緒邏輯。  若主人情緒低落時, agent 會請朋友來關心主人。  若朋友情緒低落時, agent 會請主人去關心朋友。 共 72 頁 54
    55. 55. 概念圖概念圖 共 72 頁 55
    56. 56. 系統示意圖系統示意圖 共 72 頁 56
    57. 57. 共 72 頁 57 Limbic PerceptionLimbic Perception  Limbic system 邊 系統緣  紅色部分為大腦的邊 系統。緣  邊 系統乃一術語指包含海馬體及杏仁緣 體在 ,支援多種功能例如內 情緒情緒、行為 及長期記憶的大腦結構。這種被描述為 邊 系統的腦部結構與嗅覺結構相近。緣  術語「 limbic 」源自拉丁文 「 limbus 」,意指「邊界」或「邊 」緣 。
    58. 58. 共 72 頁 58 Cortex vs. LimbicCortex vs. Limbic  大腦有兩個半球,外層是很薄有皺紋的灰色組織 ,叫作大腦皮質 (Cerebral cortex)  Cortex: 腦皮層 , P7  Cortex 則是直接處理感官的訊號, 生產 正確的感覺  Limbic 和情緒有關 例如:聞到臭味時會 生厭惡的感覺產  Limbic system 還會跟記憶有關聯  例如聞到花香, 會想起某次旅行, 而且有愉快的感覺
    59. 59. 共 72 頁 59 Cortex Lmbic Brainstem
    60. 60. 共 72 頁 60 Primary vs Secondary EmotionPrimary vs Secondary Emotion  There are certain features of stimuli that we respond to emotionally first, and that activate a corresponding cognitive state secondarily.  Primary emotion  Limbic  Innate  Secondary emotion  Arise later when systematic connections are identified btwn primary emotions & cate. of obj. & situations  Secondary emotions still activate limbic struc  but some cortices are also involved.
    61. 61. Emotion SynthesisEmotion Synthesis Affective Computing Building Affective ComputingBuilding Affective Computing
    62. 62. 共 72 頁 62 「情緒」 、 「動機」、「行為」「情緒」 、 「動機」、「行為」  「情緒」會影響「動機」、 繼而影響「行為」  當敵對角色出現時,  可能會觸發「恐懼」情緒  並導致角色有心跳加快、 體 下降的行為模擬。溫
    63. 63. 共 72 頁 63 情緒模組間之影響情緒模組間之影響  各種情緒模組之間, 對彼此各有一些正負向影響  「喜 」的情緒,悅 會讓角色向出現「微笑」的行為。  「喜 」的情緒,悅 可能抑制「沮喪」的情緒發生的機率。
    64. 64. 共 72 頁 64 情緒合成情緒合成  情緒門檻  情緒超過門檻 才會觸發值  情緒飽合  根據情緒的訊號特性, 必須在其達到飽和時, 就停止情緒量的 加增  情緒遞減  我們也會設定情緒的自動遞減機制, 讓該情緒在若無新刺激的情況下, 情緒量會逐 遞減步
    65. 65. 共 72 頁 65 Concern LoopConcern Loop  系統將設計若干個 “ Concern Loop” ,  個每 Loop 都會隨時檢查 是否有新的情緒輸入  可以觸發其學習機制  當某個 Loop 經過較長時間未接受到輸入時,  會主動驅動一個要求, 請使用者輸入新資訊, 並將入融入既有的資訊, 形成一些記憶案例 Case 的知識庫
    66. 66. 共 72 頁 66 多角色情緒社群關係多角色情緒社群關係 (Emotions in Social Relationships)(Emotions in Social Relationships)  友好 (Friendship)  彼此之間具有共同情緒評價方向  敵對 (Animosity)  彼此之間具有相反情緒評價方向  同理心 (Empathy)  暫時將自己的推理目標 改為對方的推理目標
    67. 67. 共 72 頁 67 情緒觸發三層次情緒觸發三層次  迅速反應層次  這對應到認知科學的 Fast Primary Emotion  也對應到認知神經科學的大腦 Limbic System  推理層次  這對應到認知科學的 Secondary Emotion  也對應到認知神經科學的大腦 Cortex 機制  屬於一種 Cognitive Generated Emotion  通常可透過 Planning 、 Evaluating 、 Reasoning 、 Inferen ce 等動作來完成。  自我監督層次  決定如何更有效率地執行推理層次的任務  並評估是否有效滿意達到的整目標  可實現「情緒智慧」 (Emotion Intelligence)
    68. 68. 共 72 頁 68 Poker-Playing AgentsPoker-Playing Agents with Facial Expressionwith Facial Expression  People prefer: agent w f expr  Koda’s wrok:  illustrate how to syn emo in OCC  10 emo expr for each agent
    69. 69. 共 72 頁 69 Emotions and MoodsEmotions and Moods forfor Animated CharactersAnimated Characters  Bates & Relly, 1994  Make agent believablebelievable  Oz Proj  Syn chars  Not look like real creature  Powerfully influence audience as if real  Disney Animation  Thomas & Johnson  Important: each char has a clear emo state at all times
    70. 70. 學習代理人的困境 共 72 頁 70
    71. 71. 困境困境  陪伴 vs. 提高學習動機 vs. 協助學習 ?  干擾 ?  互動頻率 ?  Feedback:  學生的情緒 ?  回應的情緒 ?  代理人的情緒 ?  如何回應 ? 共 72 頁 71
    72. 72. 共 72 頁 72
    1. A particular slide catching your eye?

      Clipping is a handy way to collect important slides you want to go back to later.

    ×