類神經網路的極限在哪裡?
白居奇
白居奇
Santa Clara University, Math Major,
Cs Minor
精算師
人工智慧學校工程師
股價分析專案
IBM&遠傳合辦的AI比賽獲得佳作
帶領過房價分析,車牌辨識,水汙染等專
案
chi@aiacademy.tw
萬物皆為函數?
Example 1:
寶貝,你記得今天是什麼日子嗎?
不用擔心,交給函數!
今天幾號函數
用決策樹來判斷結果!
寶貝,你記得今天是什麼日子嗎?
記得!不記得!
怎麼可能
記得,你
還在熱戀
期吧!
誠實面對
接受制裁
拖延時間
想起來了!
Safe!!!
想不起來
阿阿阿!
猜!
Example 2:
今天晚上想要吃什麼?
隨便,都可以。
女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
Hardmax
??
西式
中式
女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
0%
義大利麵
98%
Pizz
a
98%
漢堡
98%
水餃
<0%
鐵板燒
0%
Hardmax
??
-0.99+0.5+0.5+0.5+0+0
西式
中式
女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
43%
義大利麵
<0%
Pizz
a
43%
漢堡
43%
水餃
<0%
鐵板燒
43%
Hardmax
??
西式
中式
+0.5-0.85+0+0+0.5+0.5
女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
51%
義大利麵
<0%
Pizz
a
<0%
漢堡
26%
水餃
1%
鐵板燒
51%
Hardmax
??
西式
中式
+0.5+0-0.7+0+0.5+0.5
女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
52%
義大利麵
<0%
Pizz
a
<0%
漢堡
<0%
水餃
18%
鐵板燒
52%
Hardmax
??
西式
中式
+0.5+0+0-0.55+0.5+0.5
女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
27%
義大利麵
4%
Pizz
a
7%
漢堡
13%
水餃
12%
鐵板燒
36%
Hardmax
??
西式
中式
+0+0.5+0.5+0.5-0.4+0
女友想吃什麼函數
牛肉麵 義大利麵
Pizz
a
漢堡 水餃鐵板燒
1 day
ago
2 days
ago
3 days
ago
4 days
ago
5 days
ago
6 days
ago
牛肉麵
21%
義大利麵
12%
Pizz
a
15%
漢堡
20%
水餃
10%
鐵板燒
23%
Hardmax
鐵板燒!
西式
中式
+0+0.5+0.5+0.5+0-0.25
等一下...
These are not functions!!!!!!
This is a function
一層類神經網路解決世間一切疾苦?!
類神經網路
Neural Network (NN)
何謂類神經網路
Math… Math… MATH!!
In 1983, Kurt Hornik, Maxwell Stinchombe, and Halbert White
wrote a proof that claims you can represent any function
using an single layer neural network (given that you have
enough neurons). However…..
為了防止大家看到數學會
頭暈,噁心,想吐
我們看些圖片就好
Today's Goal
Approximate This! Approach
Use multiple rectangles to approximate
the function on the left!
First Neuron
Creates this!
Second Neuron
Creates this!
Why Two Neurons?
Rectangle!
Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8
Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8
Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8
Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8
Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8
Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8
Combining the Little Bumps
w1
b1
w2
b2
w3
b3
w3
b3
w4
b4
w5
b5
w6
b6
w7
b7
w8
b8
Remember Me?
If one layer NN is so good,
why does no one use it?
Deep > Wide
1
1, 2,
3, 4
1, 2,
3, 4
1
1, 2,
3, 4
1, 2,
3, 4
Input
Layer
Hidden
Layer
Output
Layer
Input
Layer
Hidden
Layer
Output
Layer
Output Possibility:
2, 3, 4, 5, 6, 7, 8
Output Possibility:
1, 2, 3, 4, 6, 8, 9, 12, 16
The Deeper The Better?
Gradient Vanished
Computing
Resource
DemandingNon Linearity
Needs Enormous
Amount of Data
How Does It Work
Data Not Including
the Entire Domain
Gradient Vanished
Computing
Resource
DemandingNon Linearity
Needs Enormous
Amount of Data
How Does It Work
Data Not Including
the Entire Domain
How Does It Work?
If your model gives a
result like this, then
maybe you need some
explanations….
What if an AI
program tells you
that you need
surgery, but
doesn't tell you
why?
Explainable AI
(XAI, XNN)
Data Not Including
the Entire Domain?
Introducing
Adversarial
Learning
Generated
Faces
That is not a
face!
Shit… I got
caught...
AI solved many problems today,
but can it truly solve everything?
Gary Marcus, a professor of
cognitive psychology at NYU and
briefly director of Uber’s AI lab
“a universal solvent, but one
tool among many.”
Only good at pattern
recognition
Nah
Geoffrey Hinton, a professor emeritus
at the University of Toronto and the
grandfather of backpropagation.
Bascially God of AI
AI已經到極限了嗎?
Deep Learning Today
AI Knowledge
想學更多的話
請報名人工智慧學校
技術班/經理人班
謝謝大家!

類神經網路的極限在哪裡