1. 結合STEAM 6E教學法與
情感運算科技於數位藝術
實作課程之評估分析
林豪鏘 馬毓君 高嘉晨 李孟璇 張世群
台南大學 ::: 數位學習科技學系
台灣第一所百年高校 (123年, 1899~)

2. 大綱
14/01/2020共 45 頁 2
 人類與機器人共存的社會
 情感運算
 情感式家教系統
 對話機器人
 STEAM 6E 教學法
 數位藝術實作課程
 創造力、問題解決、批判性思考

3. 賽博格
(Cyborg)
14/01/2020共 45 頁 3

4. 14/01/2020共 45 頁 4
 食道、排便造口。
 切除喉嚨：自然語音合成/辨識
 這是必然的未來。人類將與機器合而為一
 不只為了輔助，也為了增能。

5. Robot K-456
 白南準 “Robot K-456” 在紐約大街上行走、
唱歌、與人們不期而遇, 1964-2018
14/01/2020共 45 頁 5

6. Sunspring - AI編劇
by Benjamin
14/01/2020共 45 頁 6

7. 人類與機器人的末日共生
—深田晃司《Sayonara》
14/01/2020共 45 頁 7

8. 未來世界：人類與機器人共存的社會
 設計一個懂人類情緒的機器人
14/01/2020共 45 頁 8
婚姻問題

9. 透過AI技術進行適性
個人化學習

10. 情感式學習
通往個人化學習之路
 教育者長久以來都體認到，情緒在學習過程中扮
演至關重要的角色。
 在教室裡，當學生面對反覆而過度的困難時，往
往會發展出根深蒂固的焦慮感加以回應
 在光譜的另一端，有些學生則覺得自己接受的挑
戰不夠，因而喪失興趣、持續感到無聊。這會侵
蝕學生的專注力
 為了克服上述這兩點挑戰，許多教育者往往會
「針對程度在中間的學生進行教學」，於是犧牲
程度最好與最差的學生
14/01/2020共 45 頁 10

11.  現今，我們有一批新的科技，而這些科技也許
能幫助我們促成有助於學習的特定情緒狀態，
同時遠離不利於學習的情緒狀態。
 社交輔助機器人以一種全然不同的方向引領著
個人化教育這項議題
14/01/2020共 45 頁 11

12. 共 45 頁
情感運算
Affective Computing 定義：
 透過各種感應器
 取得由情緒、情感所引起的表情及生理變化信號
 針對這些訊號進行識別
 理解人的情感
 做出適當的回應
 新興學術領域：
 如何感知情緒
 建立適當的情緒模型
 將情緒適切地以各種方式表達
 或在網路上傳遞
 生理 & 心理
 感情 & 情緒
INPUT:
•表情
•語音
•文字
•生理資訊
•肢體感應器
•聲調
14/01/2020 12
情緒線索

13. 共 45 頁
Picard, MIT
Levels of Machine Emotions
 To recognize emotions
 To express emotions
 To have emotions
 Emotional Intelligence
Affective Computing, Affective Design, Emotion Recognition
14/01/2020 13

14. ATS: Affective Tutoring System (文字情緒)
BIT, Behaviour & Information Technology (SSCI)
(SSCI)(SSCI)課程區塊 課程選單
情感代理人玩偶
情緒文字輸入框共 45 頁 14/01/2020 14
AI 情感式學習系統

15. 第二代ATS系統介面 (表情情緒)
ET& S, Journal of Educational Technology & Society (SSCI)
動畫代理人
數位藝術課程內容
OMCSNetKai處理對話框
語意情緒推論結果
課程選擇紐
DEASM 結果狀態條
共 45 頁 15

16. 第五代ATS (文字+表情+生理訊號)
CHB, Computers in Human Behavior (SSCI)
14/01/2020共 45 頁 16
網路攝影機
Affectiva Q sensor
NeuroSky
MindWave
音訊輸出裝置
腦波
膚電

17. App版
14/01/2020共 45 頁 17

18. STEAM 6E 學習鷹架+合作學習
進行數位藝術作品創作
14/01/2020共 45 頁 18

19. STEAM 6E 實驗流程
老師先播放AR運用之影片為開端，引起學生的興趣。
翻轉教學為主，讓學生以自發性態度先上網了解AR擴增實境
原理與技術，並收集相關資料於討論區與同學討論。
老師講解AR擴增實境原理與技術，讓學生更了解與釐清問題。
運用文宣APP來設計AR圖卡並列印輸出
運用手機錄影程式，錄製3分鐘自我介紹
運用HP Reveal將影片與AR圖卡結合
以問題討論方式讓學生對所學有更深度的探討，以能解決更
深入複雜的問題
同儕互評
E1 投入
E2 探索
E3 解釋
E4 建造
E5 豐富
E6 評量
ST
STE
STE
STEA
STEAM
STEAM
14/01/2020共 45 頁 19

20. 14/01/2020共 45 頁 20

21. 14/01/2020共 45 頁 21

22. 14/01/2020共 45 頁 22

23. 14/01/2020共 45 頁 23
衡量：
問題解決能力、
批判性思考能力、
創造力

24. 14/01/2020共 45 頁 24

25. 14/01/2020共 45 頁 25

26. 14/01/2020共 45 頁 26

27. 14/01/2020共 45 頁 27

28. 14/01/2020共 45 頁 28

29. 14/01/2020共 45 頁 29

30. 用到的 AI 技術
深度學習
CNN
LSTM
萊文斯坦距離法
文字情緒辨識 + 自動對話機制
14/01/2020共 45 頁 30

31. 開 發
Development Environment
Clmtrackr
情感辨識機制
14/01/2020共 45 頁 31

32. 開 發
Development Environment
14/01/2020共 45 頁 32

33. 14/01/2020共 45 頁 33

34. 14/01/2020共 45 頁 34

35. • 共產生1572對話句
14/01/2020共 45 頁 35

36. 14/01/2020共 45 頁 36

37. 14/01/2020共 45 頁 37

38. 14/01/2020共 45 頁 38

39. 14/01/2020共 45 頁 39

40. 14/01/2020共 45 頁 40

41. 14/01/2020共 45 頁 41

42. 14/01/2020共 45 頁 42

43. 14/01/2020共 45 頁 43

44. 結語
 在課堂上大家都能運用個人載具進行學習
 而智慧型代理人的多種形式
亦能讓學習者在學習時增加親切感與溫度
 Chatbot在進行中文文本的訓練後
 成為有耐心和愛心的智慧型代理人
 甚至是隨時能夠同理學習者
 學生在創造力、問題解決與批判性思考
 都有很棒的回餽與表現
 可見在情感運算科技結合STEAM 6E教學法鷹架下
 學生能夠在學習中完成創客精神與理念。14/01/2020共 45 頁 44

45. 共 45 頁 14/01/2020 45