Recommended
More Related Content
Similar to 扶搖職上
扶搖職上
- 1. AI / Big Data資料分析師 DB103梅花組 1
- 2. 專題⽬標 資料搜集（ ＥＴＬ ） 專題架構 成品發表 功能及技術說明 成員介紹 產業新聞（分群演算） 描述搜尋（文字探勘） 薪資預測（數值演算） 職缺氣象（ 視覺化 ） 相由⼼⽣（影像辨識） ⾯試捕⼿（ IOT、巨量資料串流 ） 報告流程 報告流程
- 3. LET’S GO
- 8. 作品⽰範
- 10. 曾⼠哲 ⾼珮菁 譚國懌 吳智軒 江振瑋 P M ＤＢＭＡ 資料分析師 演算法⼯程師 資料⼯程師 負責 項⽬ 專題架構 薪資預測 LineBot 資料處理與管理 產業新聞 描述搜尋 職缺氣象 相由⼼⽣ ⾯試捕⼿ 數據串流 使⽤ 技術 • 專案管理(PM) • 資料探勘(DM) • 機器學習(ML) • 前端網⾴設計 (Flask、Line) • 資料爬蟲 • 資料清潔(ETL) • 資料庫設計(DB) • 分群演算 (K-Means) • 資料爬蟲 • 資料清潔(ETL) • 文字探勘 (單純⾙式) • 資料爬蟲 • 圖形辨識 • 深度學習(遷移 學習VGG16 & ResNet50) • 視覺化 (Tableau) • 巨量資料架構 (Hadoop、 Spark Stream、 Kafka） • 深度學習 (OpenPose、 PyTorch） 成 員 介 紹 成員介紹
- 11. 功能及技術說明
- 14. Extract 資料收集 資料搜集 爬取筆數 去除重複 ⼈⼒銀⾏ 職缺資訊 104 204,356 約30萬1111 162,609 518 28,732 公司資訊 104 30,960 約6萬1111 25,052 518 9,232 產業新聞 IEK (物聯網、資通訊) 62,075 約5.5萬
- 15. Extract 資料收集 資料搜集 步驟1：觀察網站結構 ◦ https://www.104.com.tw/jobs/search/?ro=1&j obcat=2005000000&order=11&asc=0&page= 1&mode=s ◦ 變數： 全職⼯作、每⾴顯⽰筆數、⾴數、職務類別 ◦ 職缺總筆數 問題： ◦ ⾴數、筆數限制。 ◦ 無法判別最後⼀⾴。 ◦ 職缺條件列表與內容，每個職缺不同。
- 16. 步驟2：制定crawler步驟及⽅法 ◦ 將職務類別的資訊，存入MySQL ◦ 依職務類別爬取職缺URL及公司URL，存入MySQL ◦ 將職缺的資訊爬取下來，存成json檔 ◦ 將公司的資訊爬取下來，存成json檔 Extract 資料收集 資料搜集 1111 104
- 17. Extract 資料收集 資料搜集 • 步驟3：改進抓取時間 – 多執⾏緒threading 公司資訊 單執⾏緒 職缺資訊 多執⾏緒 2.5萬筆 = 2.2hr 16萬筆 = 2.3hr 效率提升85%
- 19. Transform資料清理 資料搜集 job 職缺資料 job_tool 職缺所需⼯具 job_skill 職缺所需技能 job_department 職缺科系要求 job_status 職缺接受⾝分 company 公司資料 ER Model
- 20. Transform資料清理 資料搜集 • 產業類別(以104為主) • 職務類別(以104為主) • 接受⾝分 • 應徵⼈數 • ⼯作地區 統⼀類別(⾃訂字典) 產業類別 職務類別
- 21. Transform資料清理 資料搜集 • 管理責任 • 出差外派 • 上班時段 • 學歷要求 文字轉類別 原始資料 類別 “不需負擔管理責任”、”管理⼈數未定” Yes、No “無需出差外派”、”需出差”、”需外派” Yes、No “⽇班/晚班，08:00~17:30，需輪班” ⽇班、晚班、⼤夜班、輪班 “⾼中以下、⾼中、專科、⼤學” 最低：國中；最⾼：⼤學
- 22. Transform資料清理 資料搜集 • ⼯作待遇 • ⼯作經驗 • 管理⼈數 • 需求⼈數 文字轉數值 ⽉薪 44,120~46,580元 è 3年以上⼯作經驗 è 10⼈以內 è 1~2⼈ è
- 24. 功能資料流 產業新聞
- 25. Jieba 中文斷詞與關鍵字萃取 產業新聞 原新聞 (未斷詞) 原新聞 (有斷詞) 每⼀篇新 聞20個關 鍵字 jieba.analyse.extract_tags：基於TF-IDF 算法的關鍵詞抽取功能 文本訊息精煉度 語料庫 詞向量 原新聞(有斷詞) (10465, 81808) 每篇新聞20個關鍵字 (10465, 20750)
- 27. TF/IDF並實作分群 產業新聞 • ⽬標：將新聞分為4群，⽅便LineChatbot使⽤ 語料庫 詞向量 TF/IDF 詞矩陣 Kmeans score 原新聞(有斷詞) (10465, 81808) 81808 無法執⾏ max_features = 30 0.1015 每篇新聞 20個關鍵字 (10465, 20750) 20750 0.0048 max_features = 30 0.0729 使⽤Spark分析 -0.05
- 40. 步驟七 比較並選擇模型 描述搜尋 模型 六⼤類別 分類準確率 (第⼀層) 第⼀⼤類中 職業類別(中) 分類準確率 第⼆⼤類 職業類別(中) 分類準確率 第三⼤類 職業類別(中) 分類準確率 第四⼤類 職業類別(中) 分類準確率 第五⼤類 職業類別(中) 分類準確率 第六⼤類 職業類別(中) 分類準確率 單純 ⾙⽒ 分類 模型 僅⼯作 內容 79.64% 87.67% 92.33% 84.50% 84.44% 77.17% 71.46% 完整 資訊 84.01% 90.76% 95.63% 90.91% 89.71% 80.42% 80.18% KNN 分類 模型 僅⼯作 內容 77.42% 67.76% 84.67% 73.56% 73.89% 60.17% 56.58% 完整 資訊 81.93% 79.87% 88.28% 73.48% 83.43% 74.59% 70.98% 模型 準確率 單純⾙⽒分類模型 67.82% KNN分類模型 65% ⽅案⼀：使⽤⼀個模型來分所有職業類別(中) ⽅案⼆：分兩層模型，第⼀層分出職業類別(⼤) 之後再⽤第⼆層分職業類別(中)
- 42. 資料分析與建模流程 薪資預測 1. 了解並清理原始資料 2. 設計並產⽣衍⽣變數 3. 考量模型需求，產⽣虛擬變數（Dummy Variable） 4. 製作訓練、測試資料集數 5. 建立模型、檢視模型成效
- 43. 資料分析與建模流程 薪資預測 1. 觀察資料 2. 檢查nan、null 3. 處理極端值 4. 合併稀疏類別 了 解 並 清 理 原 始 資 料
- 44. 資料分析與建模流程 薪資預測 了 解 並 清 理 原 始 資 料 無薪⽔（Y）樣本刪除 無公司資料樣本刪除 1. 觀察資料 2. 檢查nan、null 3. 處理極端值 4. 合併稀疏類別
- 45. 資料分析與建模流程 薪資預測 了 解 並 清 理 原 始 資 料 1. 觀察資料 2. 檢查nan、null 3. 處理極端值 4. 合併稀疏類別
- 46. 資料分析與建模流程 薪資預測 了 解 並 清 理 原 始 資 料 1. 觀察資料 2. 檢查nan、null 3. 處理極端值 4. 合併稀疏類別
- 52. 提升預測準確度：分層模型 薪資預測 模型 ⺠⽣服務 傳產製造 資訊科技 ⼯商服務 文教傳播 原始 做法 R2 0.22 MAPE 12.8 調整 做法 R2 0.12 0.19 0.34 0.23 0.46 MAPE 11 12 12.6 11.8 10.2 Y = Salary_min
- 53. 提升預測準確度：分層模型 薪資預測 模型 ⺠⽣服務 傳產製造 資訊科技 ⼯商服務 文教傳播 原始 做法 R2 0.22 MAPE 12.8 調整 做法 R2 0.12 0.19 0.34 0.23 0.46 MAPE 11 12 12.6 11.8 10.2 Y = Salary_min
- 55. 使⽤Tableau之原因 職缺氣象 • 數據兼容性強，適⽤於多種數據文件與資料庫 • 操作簡單的拖放式介⾯，易上⼿ • 擁有多樣化的數據圖表
- 61. 功能資料流 相由⼼⽣
- 64. 資料前處理 相由⼼⽣ • 訓練集影像分類 :共6000張圖片，每類2000張 • Image resize : 照片⼤⼩都不⼀樣 , 統⼀尺⼨為 224 * 224 • Train size : 80% • Test size : 20% • Final_batch = 50
- 65. 深度學習 相由⼼⽣ 卷積神經網路(Convolutional neural network, CNN) 捲積運算 Convolution Convolution Pooling Fully Connected 萃取特徵 Pooling
- 66. 照片太少？怎麼進⾏深度學習 相由⼼⽣ Transfer Learning 1. What is Transfer Learning? • 把預訓練模型(即已訓練好的模型)參數遷移⾄ 新的模型。 2. Why Transfer Learning? • 節省時間 • 適⽤於⼩數據集 • 訓練硬體成本低
- 67. •13個卷積層 ( Convolutional Layer ) •5個池化層( Pooling Layer ) •3個全連接層（Fully connected Layer） 使⽤VGG16模型結構訓練 照片分類模型 67
- 69. 模型選擇 相由⼼⽣ Model size Train time 準確率 VGG16 650MB 3分鐘 0.82 ResNet-50 28.3MB 10分鐘 0.85 VGG16 ResNet50
- 74. 概念形式 ⾯試捕⼿ 啟動
- 75. 資料串流 ⾯試捕⼿ 照片
- 76. 資料串流 ⾯試捕⼿ 照片
- 77. 資料串流 ⾯試捕⼿ 體態 情緒
- 79. 資料串流 ⾯試捕⼿ 結果體態情緒
- 80. 輸出結果 ⾯試捕⼿ 輸出結果
- 81. 未來展望
- 82. Onemorething… 1. ⽬前的資料為該季之資訊，未來要將爬蟲、ETL、資料庫同步 進⾏更新，讓所有功能的資料保持在最新狀態。 2. 持續追蹤使⽤者的功能偏好，增加、編輯本聊天機器⼈所擁有 之功能，如職缺地圖等。 3. 個⼈的職業選擇，公司的⼈⼒資源管理，是⼀體兩⾯，雙向溝 通的過程。故本作品模組，可成為「⼈⼒資源資訊系統」 （HRIS）在徵才上的功能原型，⽬標在運⾏後，有效降低招 募成本。
- 83. Thank you for listening!