本文件探討了認知神經科學與人工智慧的交集，強調兩者之間的相互影響及其在設計深度學習模型中的應用。內容涵蓋了腦部結構、神經元敏感度以及結合觀察法和實驗法的研究方法，並闡述如何以認知科學的理論來提升AI系統的效能。透過神經科學的視角，能更深入理解人類心智，並進而改善人工智慧的發展。

1. 認知神經科學x人工智慧
黃從仁
模型建構與資訊學實驗室
臺灣大學心理學系

2. © Shane Turnbull
人工智慧è認知(神經)科學
認知(神經)科學è⼈人⼯工智慧

3. 幾個息息相關的領域
雖然目標和研究風格迥異
心智 大腦認知神經科學
電腦
類
神
經
網
路
計
算
神
經
科
學
認
知
科
學
人
工
智
慧

4. AIè認知科學
把心智歷程類比成電腦的計算歷程
中央處理器
隨機存取記憶體
硬碟
序列/平行計算
執行控制系統
短期/工作記憶
長期記憶
序列/平行計算

5. 幫助了解哪個腦區儲存/處理哪些資訊
機器學習è認知神經科學 (1/2)

6. Hung et al., 2005, Science
發現能辨識物體的神經元不在乎物體的位置與大小
機器學習è認知神經科學 (2/2)

7. Horikawa et al., 2013, Science
當代讀心術 (1/2)
從腦訊號知道你在看/想/夢什麼

8. https://youtu.be/W6T9tD7rQEA
了解腦訊號的本質幫助設計腦機介面/神經義肢
當代讀心術 (2/2)

9. 人類心智 vs. 人工智慧
兩個領域可以共演化
更了解人類心智運作
更好的人工智慧/機器人

10. © Shane Turnbull
人工智慧è認知(神經)科學
認知(神經)科學è⼈人⼯工智慧

11. 如果您很深度地學習深度學習
通常會有以下很有深度的問題:
如何設計深度學習網路?
如何了解深度學習網路?
我很有深度的回覆是:
從認知(神經)科學找答案！

12. 設計CNN (1/2)
CNN在許多層面上仿製人類物體辨識系統

13. Recognition Tolerance è Data Augmentation
Neural Normalization è Batch Normalization
Synaptic Pruning è Weight Decay
Sparse Coding è Dropout
設計CNN (2/2)
CNN在許多調教技巧也是模仿神經系統

14. CNN只模仿了“是什麼”
還有“在哪裏”的處理系統

15. What-Where系統互通訊息
但Where優先於What的處理
https://youtu.be/IjMVsTFVX10

16. 只模仿What的不足
無法分解問題來各個擊破

17. 需要注意力來決定處理哪裡
Ba et al., 2015, ICLR
否則feature space會太大,要學的mappings太多

18. 注意力有各種形式 (1/2)
Itti & Koch, 2001, NRN
如注意外在的Ｗhat/Where/When與內在的Which/How

19. 所有被注意的對象都會有更強的神經反應
注意力有各種形式 (2/2)
Reynolds & Heeger, 2009, Neuron

20. 數學上無解:
x=紅 è y=紅 (叫意)
x=紅 è y=綠 (叫色)
數學上有解:
x=(紅,叫意)è y=紅
x=(紅,叫色)è y=綠
相同/類似的知覺不一定產生一樣的動作
從知覺到動作
知覺 動作學習/記憶

21. Frankland & Bontempi, 2005; Diekelmann & Born, 2010
學習速度互補的學習系統
主要是解決：系統穩定性vs.學習彈性的兩難

22. Deep Q Network
學習上的困難: X(t)~X(t+1) 但 Y(t)≠Y(t+1)
deeplearning4j.org; Mnih et al., 2015, Nature
也讓快學的完美記憶教慢學的Q-learning

23. 如果您很深度地學習深度學習
通常會有以下很有深度的問題:
如何設計深度學習網路?
如何了解深度學習網路?
我很有深度的回覆是:
從認知(神經)科學找答案！

24. 神經解剖: 腦結構對行為的影響
腦傷或腦切除的研究可幫助了解一個腦區的重要性
Zeiler & Fergus, 2014

25. 神經電生理: 神經元的敏感度 (1/2)
神經電生理可幫助理解到底神經元在處理什麼
Karpathy et al., 2016, ICLR

26. Spike-Triggered Average使用隨機的刺激樣本
https://en.wikipedia.org/wiki/Spike-triggered_average
神經電生理: 神經元的敏感度 (2/2)

27. 認知科學中行為研究法的啟發
把 Machine Learner 當人來研究
觀察法
推論相關
產生假說
效率較高
實驗法
推論因果
驗證假說
效率較低
知覺 動作黑盒子

28. 觀察法的範例 (1/2)
VGG-Face如何判斷誰是同志?
Wang & Kosinski, 2017

29. Wang & Kosinski, 2017
觀察法的範例 (2/2)
可把同志與非同志臉先平均來觀察臉部特徵差異

30. Wang & Kosinski, 2017
觀察法è實驗法的範例
或把所有臉的局部區域遮蔽看預測能力的改變

31. 實驗法的範例: 分類
可隨時根據假說重新分類/排列樣本重做實驗
假說:男同志鼻子較長?
長鼻男 同志?VGG-Face
短鼻男 非同志?VGG-Face
檢驗假說:用卡方檢定兩群臉的預測次數是否有差異

32. 實驗法的範例: 迴歸
為何人/機器可預測一張臉有多受人喜歡?
對人類的Y做假說檢驗是在研究人如何判斷
小X 小Y?VGG-Face
大X 大Y?VGG-Face
對機器的Y做假說檢驗是在研究機器如何判斷
…
…

33. SCUT-FBP顏值資料庫 (1/2)
500位亞洲女性臉孔的評分(1-5)
Xie et al., 2015

34. 改用CNN可達r=0.82±0.03的預測準度
Xie et al., 2015
SCUT-FBP顏值資料庫 (2/2)

35. Sanity Check: 已經知道是對的該對
r=0.33
Rhodes et al., 1998, PBR
假說1: 臉愈對稱愈討喜

36. 假說1的檢驗
實際值與預測值的相關與文獻值接近
r=0.31
r=0.35
0.000
1.000
2.000
3.000
4.000
5.000
0 0.2 0.4 0.6 0.8 1
顏值
左右對稱性
實際值 預測值

37. 但有多「白」不好定義
假說2: 一白遮三醜

38. r=0.38
r=0.57
0.000
1.000
2.000
3.000
4.000
5.000
0 0.2 0.4 0.6 0.8 1
顏值
亮度
實際值 預測值
假說2的檢驗
先看亮度如何影響顏值的判斷

39. r=0.39
r=0.60
0.000
1.000
2.000
3.000
4.000
5.000
0 0.2 0.4 0.6 0.8 1
顏值
顏色飽和度
實際值 預測值
假說2的檢驗
再看飽和度如何影響顏值的判斷

40. © Shane Turnbull
人工智慧è認知(神經)科學
認知(神經)科學è⼈人⼯工智慧

41. 認知神經科學x人工智慧
黃從仁
模型建構與資訊學實驗室
臺灣大學心理學系