台灣人工智慧小聚 https://www.facebook.com/groups/datasci.dinner/ 台灣人工智慧小聚 - Taipei#20190823 https://aiacademy.neticrm.tw/civicrm/event/info?reset=1&id=71 【講者1：白居奇】 台灣人工智慧學校AI工程師，美國聖塔克拉拉大學畢業，主修數學、輔修電腦，曾參加IBM與遠傳合辦的AI大賽獲得佳績，以及完成AI股價預測專案與AI房價預測專案，也有在聲音分析上的相關經驗。 【類神經網路的極限在哪裡?】 世界上大部分的事情都能以一個數學式子去呈現它，不管它是中英翻譯或是語音分析，只要這個數學式子夠複雜就可以做到。而在1989年，Kurt Hornik、Maxwell Stinchombe、還有Halbert White三位教授發表了一個證明，說不管一個數學算式多麼的複雜，我們都可以使用一層的類神經網路來做預測。不過理論歸理論，在現實中因為種種的限制，通常不會有人使用一層的類神經網路來解決問題。今天就讓我們來探討理論和現實的差異，找出類神經網路目前的極限。 【關於台灣人工智慧學校】 台灣人工智慧學校是台灣第一個以培育台灣AI產業人才為己任的機構，不僅積極將學界在人工智慧的知識精華傳遞至業界，也將產業界的問題與想法，回饋給學術界，致力弭補產、學界的知識斷層，成為台灣AI人才與技術交流的平台。至今已為台灣培育 4700 名 AI 人才；預估 2019 年底將培育 6000 名 AI 人才。累積的產業成果，應用範圍橫跨石化、電子、紡織、金融、零售、媒體業及醫療業。並成立台灣第一個 AI 人才平台，幫助企業尋找到合適的人才。官網 https://aiacademy.tw/

1. 類神經網路的極限在哪裡?
白居奇

2. 白居奇
Santa Clara University, Math Major,
Cs Minor
精算師
人工智慧學校工程師
股價分析專案
IBM&遠傳合辦的AI比賽獲得佳作
帶領過房價分析，車牌辨識，水汙染等專
案
chi@aiacademy.tw

3. 萬物皆為函數？

4. Example 1:
寶貝，你記得今天是什麼日子嗎？

6. 不用擔心，交給函數！

7. 今天幾號函數
用決策樹來判斷結果！
寶貝，你記得今天是什麼日子嗎？
記得！不記得！
怎麼可能
記得，你
還在熱戀
期吧！
誠實面對
接受制裁
拖延時間
想起來了!
Safe!!!
想不起來
阿阿阿！
猜！

8. Example 2:
今天晚上想要吃什麼？
隨便，都可以。

10. 女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
Hardmax
??
西式
中式

11. 女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
0%
義大利麵
98%
Pizz
a
98%
漢堡
98%
水餃
<0%
鐵板燒
0%
Hardmax
??
-0.99+0.5+0.5+0.5+0+0
西式
中式

12. 女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
43%
義大利麵
<0%
Pizz
a
43%
漢堡
43%
水餃
<0%
鐵板燒
43%
Hardmax
??
西式
中式
+0.5-0.85+0+0+0.5+0.5

13. 女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
51%
義大利麵
<0%
Pizz
a
<0%
漢堡
26%
水餃
1%
鐵板燒
51%
Hardmax
??
西式
中式
+0.5+0-0.7+0+0.5+0.5

14. 女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
52%
義大利麵
<0%
Pizz
a
<0%
漢堡
<0%
水餃
18%
鐵板燒
52%
Hardmax
??
西式
中式
+0.5+0+0-0.55+0.5+0.5

15. 女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
27%
義大利麵
4%
Pizz
a
7%
漢堡
13%
水餃
12%
鐵板燒
36%
Hardmax
??
西式
中式
+0+0.5+0.5+0.5-0.4+0

16. 女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
21%
義大利麵
12%
Pizz
a
15%
漢堡
20%
水餃
10%
鐵板燒
23%
Hardmax
鐵板燒！
西式
中式
+0+0.5+0.5+0.5+0-0.25

17. 等一下...

18. These are not functions!!!!!!

19. This is a function

20. 一層類神經網路解決世間一切疾苦?!

22. 類神經網路
Neural Network (NN)

23. 何謂類神經網路

24. Math… Math… MATH!!
In 1983, Kurt Hornik, Maxwell Stinchombe, and Halbert White
wrote a proof that claims you can represent any function
using an single layer neural network (given that you have
enough neurons). However…..

26. 為了防止大家看到數學會
頭暈，噁心，想吐
我們看些圖片就好

27. Today's Goal
Approximate This! Approach
Use multiple rectangles to approximate
the function on the left!

28. First Neuron
Creates this!
Second Neuron
Creates this!
Why Two Neurons?

29. Rectangle!

30. Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8

31. Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8

32. Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8

33. Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8

34. Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8

35. Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8

36. Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8

37. Remember Me?

38. If one layer NN is so good,
why does no one use it?

39. Deep > Wide

40. 1
1, 2,
3, 4
1, 2,
3, 4
1
1, 2,
3, 4
1, 2,
3, 4
Input
Layer
Hidden
Layer
Output
Layer
Input
Layer
Hidden
Layer
Output
Layer
Output Possibility:
2, 3, 4, 5, 6, 7, 8
Output Possibility:
1, 2, 3, 4, 6, 8, 9, 12, 16

41. The Deeper The Better?

44. Gradient Vanished
Computing
Resource
DemandingNon Linearity
Needs Enormous
Amount of Data
How Does It Work
Data Not Including
the Entire Domain

45. Gradient Vanished
Computing
Resource
DemandingNon Linearity
Needs Enormous
Amount of Data
How Does It Work
Data Not Including
the Entire Domain

46. How Does It Work?

48. If your model gives a
result like this, then
maybe you need some
explanations….

49. What if an AI
program tells you
that you need
surgery, but
doesn't tell you
why?

50. Explainable AI
(XAI, XNN)

52. Data Not Including
the Entire Domain?

55. Introducing
Adversarial
Learning

56. Generated
Faces
That is not a
face!
Shit… I got
caught...

57. AI solved many problems today,
but can it truly solve everything?

58. Gary Marcus, a professor of
cognitive psychology at NYU and
briefly director of Uber’s AI lab
“a universal solvent, but one
tool among many.”
Only good at pattern
recognition

59. Nah
Geoffrey Hinton, a professor emeritus
at the University of Toronto and the
grandfather of backpropagation.
Bascially God of AI

60. AI已經到極限了嗎？

61. Deep Learning Today
AI Knowledge

63. 想學更多的話
請報名人工智慧學校
技術班/經理人班

64. 謝謝大家！