Download as PDF, PPTX
![資料整理
• 進行欄位值轉換，採用 dummy variable (啞變量/虛擬變量)
• 針對無順序、且多分類值的欄位
• 例如: 血型 (A, B, O, AB) 分別轉換成代碼 [1,2,3,4]後，因為有從小到大的順序關係，
因此不適合這樣轉換
• 轉換範例 (會增加n-1個欄位)
13](https://image.slidesharecdn.com/220220606-220609071251-3327ab95/85/2_-_-_20220606-pdf-13-320.jpg)
![標準化
• StandardScaler
• 以常態分佈方式進行
• 欄位值的平均值為0
• 欄位值方差(變異數)為1
• 適用於有些欄位的方差過大
• MinMaxScaler
• 欄位值的最小值為0
• 欄位值的最大值為1
• 欄位值會縮放到到[0,1]之間
14](https://image.slidesharecdn.com/220220606-220609071251-3327ab95/85/2_-_-_20220606-pdf-14-320.jpg)
![標準化
• MaxAbsScaler
• MaxAbsScaler 與 MinMaxScaler 類似
• 所有欄位值都會除以該欄位值的絕對值後的最大值
• 欄位值會縮放到到[-1,1]之間
• RobustScaler
• 有效的縮放帶有outlier的欄位值
• 若欄位值含有異常值也會在縮放中會捨去
15](https://image.slidesharecdn.com/220220606-220609071251-3327ab95/85/2_-_-_20220606-pdf-15-320.jpg)
Uploaded byFEG
2_學院碩士班_分群模型_20220606.pdf
本文介绍了分群分析的基本概念及其应用场景，包括客户分群和市场区隔，并讨论了数据整理和标准化的重要性。文档还提到k-means和PCA降维技术在分群分析中的应用，以及通过分群结果来支持推荐系统的开发。最后，提供了针对慢性肾脏病数据集的实作练习，帮助理解分群分析在医疗诊断中的应用。
2_學院碩士班_分群模型_20220606.pdf
- 1.
- 2. About me • Education •NCU (MIS)、NCCU (CS) • Work Experience • Telecom big data Innovation • AI projects • Retail marketing technology • User Group • TW Spark User Group • TW Hadoop User Group • Taiwan Data Engineer Association Director • Research • Big Data/ ML/ AIOT/ AI Columnist 2
- 3.
- 4. Code • Download code •https://github.com/orozcohsu/ntunhs_2022_01.git • Folder • 20220606_mis_master/demo.ipynb 4
- 5.
- 6. 機器學習五個領域 6 參考:【機器學習】 - 初識機器學習(aifreeblog.herokuapp.com)
- 7. 分群分析 7 參考: 三大類機器學習：監督式、強化式、非監督式 –工程師。日常 (wordpress.com)
- 8. 分群分析 • 為一種非監督式學習，用來進行分群分析 • 事前不須要對數據進行標記 •應用情境 • 文件分群: 結合文字探勘技術，利用斷詞後的文字做為特徵值，如分群後 的結果以人工的方式判斷某一群比較像政治類新聞，並且給予該群名稱 • 市場區隔: 透過產品的特徵值進行分群，分群的結果可比較產品間的差異 • 客戶分群: 透過客戶行為擷取出特徵值，分群後的結果將客戶進行區隔， 針對不同群的客戶執行特別的行銷方案 • 生物分群: 界、門、綱、目、科、屬、種 8
- 9.
- 10.
- 11. 資料整理 • 第一步 • 辨識哪些是自變數(簡稱 X) • 辨識哪個是應變數 (簡稱y) • 第二步 • 查看資料型態 (類別型? 數值型?) • 查看資料是否有遺缺值 (該如何處理遺缺值 ?) • 類別型用最大出現值替補 ? • 數值型用中位數替補 ? • 還是用演算法替補 (例如: KNN-Imputation) 11 參考: ML02: 初探遺失值(missing value)處理 | Medium
- 12. 資料整理 • 第三步 • 敘述型統計(最大值、最小值、平均值等等) • 搭配視覺化觀察資料分佈 • 第四部 • 對於數據範圍敏感的演算法，進行欄位值的縮放 (scale) • StandardScaler (平均值和標準差) • MinMaxScaler(最小最大值標準化) • MaxAbsScaler（絕對值最大標準化） • RobustScaler (增強式標準化) 12
- 13. 資料整理 • 進行欄位值轉換，採用 dummyvariable (啞變量/虛擬變量) • 針對無順序、且多分類值的欄位 • 例如: 血型 (A, B, O, AB) 分別轉換成代碼 [1,2,3,4]後，因為有從小到大的順序關係， 因此不適合這樣轉換 • 轉換範例 (會增加n-1個欄位) 13
- 14. 標準化 • StandardScaler • 以常態分佈方式進行 •欄位值的平均值為0 • 欄位值方差(變異數)為1 • 適用於有些欄位的方差過大 • MinMaxScaler • 欄位值的最小值為0 • 欄位值的最大值為1 • 欄位值會縮放到到[0,1]之間 14
- 15. 標準化 • MaxAbsScaler • MaxAbsScaler與 MinMaxScaler 類似 • 所有欄位值都會除以該欄位值的絕對值後的最大值 • 欄位值會縮放到到[-1,1]之間 • RobustScaler • 有效的縮放帶有outlier的欄位值 • 若欄位值含有異常值也會在縮放中會捨去 15
- 16. K-means • 為非監督式學習一種 • 不需要準備數據標記 16 參考:https://zhuanlan.zhihu.com/p/97510390
- 17. K-means • 資料演算過程 • https://www.youtube.com/watch?v=hzGnnx0k6es17 群數: K 質心:Centroids 1. 先預設K個質心 2. 陸續讀取資料，並計算資料與各質心的距離後， 調整質心位置 3. 直到所有讀取所有資料後，距離不再大幅度變化為止
- 18. PCA 降維 18 • 需計算的欄位太多，增加bias之外，也降低了分群效果 •降維技術就是減少計算欄位，透過欄位之間存在的線性關係 • 如: 客戶年齡、收入、消費三個欄位，收入高消費才高 • 欄位間若存在非線性關係，可用另外一個演算法 t-SNE 參考: 資料降維與視覺化：t-SNE 理論與應用 | Mr. Opengate (mropengate.blogspot.com)
- 19.
- 20. 推薦系統 • 常見推薦系統的應用 • 影片推薦(Netflix) • 音樂推薦 (Spotify) • 電商推薦 (Amazon, 淘寶) • 文章推薦 (Yahoo新聞網) • 社交媒體 (FB) • 廣告推薦 (Google) • 遊戲推薦 (Steam) 20
- 21.
- 22. 實作練習 • 為慢性腎臟病資料集 • 透過一系列檢查，如:X光、 腎臟超音波、腎臟切片等 為協助疾病的診斷 22 demo.ipynb 參考: 慢性腎臟病：定義、原因、症狀、診斷、治療 - Hello 醫師 (helloyishi.com.tw)
- 23. 作業 • 針對課堂的 CKD資料集，完成分群後，進行各群的分析，並提 出該群的描述 • 建議仿造P.20的樣貌展示 • 文字描述 • 視覺化描述 23