Machine Learning Final Project. • Predicted the fare amount (inclusive of tolls) for a taxi ride in New York City given the pickup and dropoff locations. • Finished data cleaning and data reduction before data analysis. • Employed different machine learning models to predict the outcome, including XGBoost, AdaBoost and, lastly, compared them.

1. 機器學習導論
紐約計程車車資預估
組員：04170120 吳友翔
04170145 賴雲柔
04170212 王思惟
04170215 顏灝
04170231 蘇舫萱

2. 目錄
C O N T E N T
01 資料清理
02 資料預測
03 心得

3. 01 資料清理

4. 資料清理
不符原則資料
刪除
時間切割
計算兩地距離Missing data
刪除
• 年
• 月
• 日
• 星期
• 時
• 分
• 秒

5. Missing data處理
零的資料去除
NaN去除

6. 不符原則資料刪除
乘客數錯誤經緯度錯誤價格為負
紐約的經緯度(40°40′N 73°56′W) 大於0位，小於10位

7. 時間切割
切割後
原本型態
將時間做切割
多建立星期變數

8. 使用 Haversine formula 半正矢公式，計算出乘客上乘坐計程車之公里。
距離計算

9. 資料觀察
以一位乘客為居多
載客人數
乘車價格多落在50美元以下
乘車價格

10. 資料觀察 – 乘車價格
價格漲幅並不明顯一人搭乘時乘，價錢高的較多
年分與平均價格乘客人數

11. 左圖為上車
由兩圖比較可以發現，下車地點更為廣布，
而上車地點以紐約市區為中心擴散。
右圖為下車
資料觀察 – 上下車熱點圖

12. 相關性
距離小於80公里時，
兩變數有線性關係存在
價格與距離相關性最高

13. Domain Knowhow
• 起跳費用為2.5美元
• 每0.2哩0.5美元
• 慢速或暫停時間，每分鐘0.5美元
每趟車加收附加費：
• 0.5美元的MTA State Surcharge及0.3美元的Improvement
Surcharge。
• 夜間8點到隔天清晨6點加收0.5美元
• 平日(不含假日)下午4點到8點加收1美元，
• 若是途經隧道或橋樑，過路費(toll)由乘客負擔。
• 付小費，一般行情是給20%
• 司機可以拒收超過20美元的現金
• Manhattan to Newark Airport加收17.5美元
• https://www.taxifarefinder.com/info.php?city=NY

14. 02 資料預測

15. 方法二
XGboost
方法一
回歸分析
資料預測

16. 回歸分析

17. 刪除key、秒數資料欄位
將出現零及空值的資料刪除
增加變數欄位
選取2013~2015年的資料使用
Regression-資料前處理

18. Regression-變數選擇
01
原有欄位變數
• pickup_longitude：上車經度
• pickup_latitude：上車緯度
• dropoff_longitude：下車經度
• dropoff_latitude：下車緯度
• passenger_count：乘客數量
02
時間變數
• Year：年
(2009年~2015年6月)
• Month：月
• Date：日
• Day_of_Week：星期
• Hour：小時
• Minute：分
03
特殊時間變數
• Hour_8to6：
是否為晚上8點到早上6點
• holiday：
是否為周休與國定假日
• work_4to8：
是否為平日下午4點到8點
• Y_1315
判斷是否是2013~2015年
04
距離
• distance_km：最短距離

19. Regression-結果呈現

20. XGboost分析

21. 兩者準確度差距很大，
故以下都以XGboost做模型做訓練
BEFORE
AFTER

22. 變數選擇為『距離(公里)』、『小時』、『年』、『乘客數』
max_depth : 樹的最大深度。
eta : shrinkage參數，用於更新葉子節點權重時，乘以該係數，避
免步長過大。參數值越大，越可能無法收斂。
silent : 設置為1，則無運行訊息輸出。
objective : 分類問題的方式。
eval_metric : 可以傳多個平均指標。
learning rate : 學習率。
使用XGboost

23. 第一次上傳kaggle分數：4.52379
上傳kaggle
分數變差，代表樹的最大深度再下
去，並不會使模型有更好的表現。

24. Training set：20000筆 -> 1000000 筆
上傳kaggle –調整筆數
分數從原本4.52變成3.85，因為訓練
的樣本數變多，所以分數提高了！

25. 03 心得

26. 1. XGboost的準確率約為0.95，
2. 上傳kaggle後的最佳分數也才3.85
3. 推測的原因為overfitting之現象

27. 我們認為預測不理想原因就是變數的使用的
不理想以及資料量
1. 年份的資料，由於記憶體關係我們只使
用了一部分而不是全部，但是test的資料
有其他年份的，這就會造出錯誤
2. 用最短直線距離來當作變數

28. 謝謝大家