Data Structures and Algorithms Final Project • Analyzed and predicted whether customers will churn based on KKBox's dataset. • Finished data cleaning and data reduction before data analysis. • Employed different machine learning models to predict the outcome, including XGBoost, Random Forest, and, lastly, compared them.

1. 資料結構與演算法
期末專案
黃郁清 賴雲柔 張永霖 賴宇安 劉子瑄 唐耕 林敬傑
04151317 04170145 03152138 04121256 04170241 06811019 02155134

2. Outline
 比賽介紹
 程式碼解析
 結果討論
 比賽成績
 延伸與檢討

3. 1. 比賽介紹

4. WSDM
KKBox's Churn Prediction Challenge
The criteria of "churn" is no new valid service subscription
within 30 days after the current membership expires
會員到期後，30日之內是否續訂 ?

5. 2. 程式碼解析

6. Import library

7. Dataset
◈ train_v2.csv
◈ sample_submission_v2.csv
◈ member_v3.csv
◈ transaction_v2.csv
◈ user_logs_v2.csv

8. Explore data set
◈ overview of the data sets

9. Explore data set
◈ overview of the data sets

10. Merge data set
◈ 合併 members, transactions, user_log

11. Data feature

12. Data analysis

13. Observe missing values

14. Unique value

15. 3. 結果討論

16. Individual feature
visualizations

17. Target variable – is_churn
churn
renewal
The vast majority of users didn’t churn

18. actual_amount_paid
◈ print(train['actual_amount_paid'].describe())
◈ count 970960.000000
◈ mean -20.645493
◈ std 94.903421
◈ min -127.000000
◈ 25% -107.000000
◈ 50% -76.000000
◈ 75% 99.000000
◈ max 127.000000
◈ Name: actual_amount_paid, dtype: float64

19. ◈ fig,ax = plt.subplots(1,2,figsize=(16,8))
◈ ax1,ax2=ax.flatten()
◈ sns.set_style('ticks')
◈ sns.distplot(train['actual_amount_paid'].fillna(train['actual
_amount_paid'].mode()[0]),bins=100,color='r',ax=ax1)
◈ plt.title('Distribution of actual amount paid')
◈ plt.show()
actual_amount_paid

20. actual_amount_paid

21. actual_amount_paid

22. Gender
◈ print(pd.crosstab(train['is_churn'],train['gender'
]))
gender
is_churn
female male
0 (renewal) 23227 860403
1 (churn) 2765 84565

23. registration_init_time

24. registration_init_time

25. Day
Year
Month
10號 9月
2015年
registration_init_time

26. 兩兩屬性相關性分析
◈ cor = train.corr()
◈ plt.figure(figsize=(16,12))
◈ sns.heatmap(cor,cmap='Set1',annot=False)
◈ plt.xticks(rotation=45);plt.show()

27. Is_churn

28. Simple logistic regression
◈ 傳統迴歸分析:連續變數
◈ 實際上:資料不一定是連續變數(無相關性)，稱為間斷變數
(discrete variable)
◈ 變數很多，但結果只有兩種情況，「是」或是「否」
◈ 這次比賽需要分析:「是否續訂」
X 傳統的線性迴歸
○ 邏輯性迴歸 (logistic regression)

29. Simple logistic regression
◈ 傳統迴歸係數（regression coefficient）為
「當自變數增加一個單位，依變數則會增加多少單位」
◈ Logistic regression的迴歸係數為
「當自變數增加一個單位，依變數1相對依變數0的機率會增加
幾倍」
也就是說「自變項增加一個單位，依變數有發生不續訂狀況相對
於發生續訂狀況的比值」

30. Simple logistic regression
◈ 在迴歸分析中如果只考慮一個自變數，稱為簡單迴歸 (Simple
Regression)
◈ 這邊使用簡單邏輯性回歸，也是只考慮一個自變數 (gender、
bd、city、registration等等)變動對於依變數is_churn 的影響。

31. city bd
city bd gender
gender

33. 4. 比賽成績

34. 大約 490th

35. 5.檢討與討論

36. ◈ 變數僅使用bd、gender，應使用更多元的變數
◈ 在尋找可用變數時，應採用不同種分析方法，加強
所使用變數的代表性
◈ 採用邏輯性迴歸分析的缺點
1. 無法處理大量多類的變數
2. 不能處理多種結果的問題
檢討與討論

37. Thanks!