KNN的演算法和各種改善方法，最後應用於Kaggle的Bike Sharing Demand project上

1. 15/8/12 NCKU TienYang
kaggle-預測未來腳踏⾞車租借數量

2. supervised learning
unsupervised learning

3. supervised learning unsupervised learning

4. classification v.s clustering
• Data is not labeled
• Group pointed that are “close” to each other
• Unsupervised learning
• Labeled data points
• Want a “rule” that assigns labels to new points
• Supervised learning

5. supervised learning v.s unsupervised learning
classification v.s clustering

6. supervised learning v.s unsupervised learning
classification v.s clustering

7. 此演算法在2007年IEEE統計排名前⼗十名資料採
礦演算法之⼀一，以⽬目前來說是廣泛使⽤用、︑､⾮非
常有效⽽而且是易於掌握的演算法。︒｡

8. 此演算法在2007年IEEE統計排名前⼗十名資料採
礦演算法之⼀一，以⽬目前來說是廣泛使⽤用、︑､⾮非
常有效⽽而且是易於掌握的演算法。︒｡

14. ⾝身⾼高 體重 label
A 180 90 ⼤大隻
B 175 85 ⼤大隻
C 160 45 ⼩小⽀支
D 165 50 ⼩小⽀支
A
⾝身⾼高
體重
B
C
D
⼤大隻
⼩小⽀支
資料

15. 現在加⼊入了⼀一個
⾝身⾼高190 體重100 他會
是哪⼀一類？
A
⾝身⾼高
體重
B
C
D
⼤大隻
⼩小⽀支
E
⾝身⾼高 體重 label
A 180 90 ⼤大隻
B 175 85 ⼤大隻
C 160 45 ⼩小⽀支
D 165 50 ⼩小⽀支

16. A
⾝身⾼高
體重
B
C
D
⼤大隻
⼩小⽀支
⽤用膝蓋想都知道 是屬於⼤大隻 !
E
E

18. 1. 先找k個最近鄰居
2. 鄰居決定分類

19. Euclidean distance
⾝身⾼高 體重 label
A 180 90 ⼤大隻
B 175 85 ⼤大隻
C 160 45 ⼩小⽀支
D 165 50 ⼩小⽀支
E ⾝身⾼高190 體重100
AE 和 的距離
( 190 - 180 )2 + ( 100 -90 )2
200

20. Euclidean distance

21. 誰最近呢？
⾝身⾼高 體重 label
A 180 90 ⼤大隻
B 175 85 ⼤大隻
C 160 45 ⼩小⽀支
D 165 50 ⼩小⽀支
E 和⼤大夥的距離
200
450
3925
3125
E A和 最近，所以A是⼤大隻
那E也是⼤大隻

24. Brute Force
N samples in D dimensions
N = 4 D = 2
⾝身⾼高 體重 label
A 180 90 ⼤大隻
B 175 85 ⼤大隻
C 160 45 ⼩小⽀支
D 165 50 ⼩小⽀支
找出所有距離 N*D
找出最近的點 N
時間複雜度
O [ DN2 ]

26. K-D Tree
⾝身⾼高 體重 label
A 180 90 ⼤大隻
B 175 85 ⼤大隻
C 160 45 ⼩小⽀支
D 165 50 ⼩小⽀支
165
180
175160
190

27. K-D Tree
⾝身⾼高 體重 label
A 180 90 ⼤大隻
B 175 85 ⼤大隻
C 160 45 ⼩小⽀支
D 165 50 ⼩小⽀支
165,50
180,90
175,85
160,45
190,100
⽐比⾝身⾼高
⽐比體重
時間複雜度
O [ DN logN ]

29. Where KD trees partition data along
Cartesian axes, ball trees partition data
in a series of nesting hyper-spheres.

32. A房⼦子：200坪,⽤用10年,10元的畫
B房⼦子：50坪,⽤用10年,10萬元的畫
C房⼦子：199坪,⽤用10年,9萬元的畫

33. A房⼦子：200坪,⽤用10年,10元的畫
B房⼦子：50坪,⽤用10年,100000元的畫
C房⼦子：199坪,⽤用10年,90000元的畫
C房⼦子離B房⼦子⽐比較近，所以B,C的房價⼀一樣

34. A房⼦子：200坪,⽤用10年,10元的畫
B房⼦子：50坪,⽤用10年,10萬元的畫
C房⼦子：199坪,⽤用10年,9萬元的畫
C房⼦子離B房⼦子⽐比較近，所以B,C的房價⼀一樣
聽你在放屁，A,C的房價要差不多才對，因為坪數差不多
Euclidean distance 的缺點，不同維度會等同看待

35. 可以解決不同維度會等同看待的問題

36. Mahalanobis distance
旋轉座標軸

37. ？
我覺得雖然？
有四票，但是他離藍⾊色真的太近了
這樣很不公平

39. weights:距離的反⽐比
？1
10
10
10
10
score: 1/1
score: (1/10)*4 =2/5
？

41. You must predict the total count of bikes
rented during each hour

42. datetime hourly date + timestamp
season
1 = spring, 2 = summer, 3 = fall, 4 =
winter
weather
1: Clear, Few clouds, Partly cloudy,
Partly cloudy
2: Mist + Cloudy, Mist + Broken
temp temperature in Celsius
humidity relative humidity
windspeed wind speed
holiday
whether the day is considered a
holiday
workingday
whether the day is neither a
weekend nor holiday

43. 資料分析
資料探勘＆機器學習地表最強

44. https://github.com/wy36101299/knn-Bike-Sharing-Demand

45. scikit-learn
http://scikit-learn.org/stable/modules/neighbors.html
[Machine Learning] kNN分類演算法« Big O(1)
http://enginebai.logdown.com/posts/241676/knn
pandas: powerful Python data analysis toolkit
http://pandas.pydata.org/pandas-docs/stable/