林峰正/智慧型工程管考系統 : 資料分析經驗談

1,051 views

Published on

林峰正服務於逢甲大學地理資訊系統研究中心研究副教授,研究主題包含雲端運算、時空資料視覺化分析、商業智慧、排程理論,目前執行科技部、水保局、水利署、國家太空中心雲端相關研發及系統建置計畫,另外,協助翻譯雲端巨量資料分析相關兩本重要書籍,包含 HBase 技術手冊第一版、 Hadoop 技術手冊第四版 (即將出版)。

Published in: Data & Analytics

林峰正/智慧型工程管考系統 : 資料分析經驗談

  1. 1. GIS Research Center, Feng Chia University,Taiwan 林峰正 研究副教授 francis@gis.tw Power by https://www.facebook.com/GIS.FCU 智慧型工程管考系統 : 資料分析經驗談
  2. 2. GIS Research Center, Feng Chia University,Taiwan 關於我 • 林峰正服務於逢甲大學地理資訊系統研 究中心研究副教授,研究主題包含雲端 運算、時空資料視覺化分析、商業智慧、 排程理論,目前執行科技部、水保局、 水利署、國家太空中心雲端相關研發及 系統建置計畫,另外,協助翻譯雲端巨 量資料分析相關兩本重要書籍,包含 HBase 技術手冊第一版、 Hadoop 技術 手冊第四版 (即將出版)。
  3. 3. GIS Research Center, Feng Chia University,Taiwan 關於我
  4. 4. GIS Research Center, Feng Chia University,Taiwan 近期演講 • 臺中市政府研考會專家學者專題演講-大數據時代的生活新思維, 預計2015年11月16日。 • 臺中市政府公務人力訓練中心-巨量資料分析研習班(3hr), 預計2015年8月18日。 • 水利署業務講習演講-「巨量資料(大數據)發展應用」, 2015年6月24日。 • 台中市政府資訊中心資訊講座及教育訓練-「初級數據分析師」(3/3)- 資料的進階應用與 視覺化 (3hr), 2015年4月10日。 • 台中市政府資訊中心資訊講座及教育訓練-「初級數據分析師」(2/3)- Hadoop 生態系統 介紹 (3hr), 2015年4月10日。 • 台中市政府資訊中心資訊講座及教育訓練-「初級數據分析師」(1/3)- 資料學基本概念與 案例介紹 (3hr), 2015年4月8日。 • 逢甲大學智慧聯網科技社群-Big Data 的發展現況 & 專案分享, 2015年3月20日。 • 逢甲大學資訊工程系演講-資訊應用能力與雲端程式開發經驗談, 2014年11月25日。
  5. 5. GIS Research Center, Feng Chia University,Taiwan 工商服務
  6. 6. GIS Research Center, Feng Chia University,Taiwan Game or real project/system ? Winner needs to control construction project's cumulative progress from start to finish Game by Microsoft - Age of Empires II YES We are playing real game. Real Construction Project Management System 2. Find good partners 1. construction projects need to be done on time How to win?
  7. 7. GIS Research Center, Feng Chia University,Taiwan • Soil and Water Conservation Bureau takes care about construction projects : – design and execute the conservation engineering of watershed. – design and execute the tasks of hillsides conservation, green engineering, safe drainage and regional soil and water conservation. Improving Response Measure for Sediment Disaster in Watershed
  8. 8. GIS Research Center, Feng Chia University,Taiwan Question from big data in existed system? • Not big, but about 32,000 historical data. • How to know the reasonable curve forecast in each project? • How to find good partners to finish construction projects on time?
  9. 9. GIS Research Center, Feng Chia University,Taiwan Question from big data in existed system? • How to know the reasonable curve forecast in each project? • How to find good partners to finish construction projects on time?
  10. 10. GIS Research Center, Feng Chia University,Taiwan 依計畫-進度預警 「工程進度預警」模型-視覺化展示(1/4) 大數據推估的準確率 時間軸顯示各月份 的進度 • 顯示各分局轄區範圍 • 透過顏色顯示當月進度是超 前(綠)、符合(藍)或落後(紅) 適用時機: • 平時業務需求 • 工程進度檢討會議 例如:可於5/10的進度檢討會議 推估出5月份「流域綜合治理計畫」各分局的進度 • 顯示前一個月份的實際進度 • 顯示當月份的大數據推估進 度 舉例: 台北分局於「流域綜合治理計畫」 4月份進度差異為-5% 5月份時,推估為-8% (持續落後中) 推估的可信度有80%的準確率
  11. 11. GIS Research Center, Feng Chia University,Taiwan 「工程進度預警」模型-視覺化展示(2/4) 依計畫-各分局計畫進度預報 除了顯示當月份的推估進度, 也可提供水保局及各分局掌握該計畫整年度的進度趨勢 顯示大數據推估各分局 整年度的計畫進度預報 此畫面 為示意圖
  12. 12. GIS Research Center, Feng Chia University,Taiwan 12 「工程進度預警」模型-視覺化展示(3/4) 依工程-進度預警 顯示大數據推估 進度落後、超前或符合的件數 (黃線)顯示工程預定進度 透過顏色,顯示大數據推估的結果 進度落後(紅)、超前(綠)或符合(藍) (藍線)顯示工程實際進度 (紅虛線)顯示大數據推估 的進度 顯示大數據推估「當月份」 的進度差異及準確率 顯示影響進度落後 的可能原因 5月份 若察覺計劃進度嚴重落後, 即可查看哪些工程影響進度落後
  13. 13. GIS Research Center, Feng Chia University,Taiwan 13 「工程進度預警」模型-視覺化展示(4/4) 進度報表 將大數據推估出的進度,以報表呈現,用於進度檢討會議 於進度檢討會議報表 增加當月份的推估進度與進度差異 提供匯出 年底前,計畫內進度差異達到 -20%的工程清單
  14. 14. GIS Research Center, Feng Chia University,Taiwan Apply back propagation neural network to build model Input new data into the trained model Find the forecasted S and P Check definition table Classify four categories How to build prediction model? How to predict the progress of new coming engineering case? How to classify Engineering Case? How to analyze every project’s S-curve characteristics? Apply cubic polynomial function , Curve Fitting to find the parameters A Q The process of predication Write R code to run S Curve Fitting Find the parameters of a and b Find S and P Agricultural Road improvement and maintenance Waterfront project Non-waterfront project Dredging project Write R code to run Neural net module Train model Compute the parameters of a, b S-curve can be obtained New Input: Budget, duration, type, location, rainfall
  15. 15. GIS Research Center, Feng Chia University,Taiwan The introduction of S-curve • The S-curve is a graphical representation of a construction project’s cumulative progress from start to finish and commonly used as a tool for project progress control, but the traditional forecasting method by calculating the cumulative progress at each time point from a schedule is time-consuming and it would be beneficial for project progress management if the forecast can be assisted by faster methods. Project’s cumulative progress Time
  16. 16. GIS Research Center, Feng Chia University,Taiwan S Curve formula x is the time of contract、 y is the cumulative progress a,b are parameters x=0, y=0; x=1, y=1
  17. 17. GIS Research Center, Feng Chia University,Taiwan Raw data normalization Curve Fitting by R Find parameters of a, b Forecast New Project Different S-curve obtained by different projects New Input of X (Future time) The Y value is calculated by S-curve Obtain S-curve
  18. 18. GIS Research Center, Feng Chia University,Taiwan Input X: 0.0, 0.1, 0.2, 0.3, 0.4, 0.5 Input Y: 0.0, 0.1, 0.2, 0.4, 0.5, 0.6 Model: Nonlinear regression model model: y ~ I(a * x^3 + b * x^2 + (1 – a – b) * x) data: parent.frame() a b -0.9116 0.8963 residual sum-of-squares: 0.003034 Number of iterations to convergence: 1 Achieved convergence tolerance: 9.16e-08 New input of X : 0.6, 0.7, 0.8, 0.9, 1.0 Forecast Cumulative progress : 0.73, 0.84, 0.92, 0.98, 1.00 Cumulative monthly actual progress Forecast Cumulative progress Forecast Cumulative Progress Monthly Before the end of Selected Project
  19. 19. GIS Research Center, Feng Chia University,Taiwan Apply the neural network in R Import Data Forecast P and S values Model Training completed New Project’s Condition Compute a, b Observe the difference between the actual curve prediction curve Budget, duration, type, location, rainfall Budget, duration, type, location, rainfall
  20. 20. GIS Research Center, Feng Chia University,Taiwan # --------- actual curve ------------- --- P = 0.5957 S = 1.0000 A = computeA(P,S) B = computeB(P,S) curve(SCurve, 0, 1) Observe the difference between the actual curve prediction curve # -------- prediction curve --------- -- PNN = 0.3812277520 SNN = 1.0433264985 A = computeA(PNN,SNN) B = computeB(PNN,SNN) curve(SCurve, 0, 1, add=T, col=2) Prediction curve Actual curve
  21. 21. GIS Research Center, Feng Chia University,Taiwan The number of hidden layers RMSE for P RMSE for S hidden=1 0.1753558174 0.5418783552 hidden=3 0.1757130704 0.5303154711 hidden=5 0.1755577719 0.5280936548 Training
  22. 22. GIS Research Center, Feng Chia University,Taiwan Question from big data in existed system? • How to know the reasonable curve forecast in each project? • How to find good partners to finish construction projects on time?
  23. 23. GIS Research Center, Feng Chia University,Taiwan Data of Sampling and Testing project checkDataList<-read.csv(“L:0305/DT-EngQuality_Check.csv”) gradeDataList<-read.csv("L:0305/DT-EngQuality_Grade.csv") install.packages("rpart") library(rpart) check.tree=rpart(result~constructor+inspector, data= checkDataList) grade.tree=rpart(result~constructor+inspector, data= gradeDataList) Data of Supervising project Project’s quality correlation analysis 1. What combination (Constructor + Inspector) is good from historical data? 2. For reference to find good partners. Constructor Inspector
  24. 24. GIS Research Center, Feng Chia University,Taiwan Each trained data by decision tree Import Data Result: Pass/Failed Ranking: A/B/C Trained model New combination Verify the accuracy of model by testing data Data of Sampling and Testing project Data of Supervising project Sampling and Testing project Supervise project Constructor Inspector
  25. 25. GIS Research Center, Feng Chia University,Taiwan 25 90~103年 抽驗結果資料 90~103年 督導結果資料 決策樹運算 (R語言實作) 大數據分析運算模組 水保局 當某天要進行督導或抽驗作業,需要有一份督導或抽驗 對象清單 使用情境 得到一份 水保局歷年來 所有施工廠商與監造廠商 所有組合的推估成績 建立完成 訓練資料 工程管考系統 整合 工程督導小組 挑選督導明細功能 工程抽驗作業 挑選抽驗工程功能 可依計畫別 工程位置 工程條件(如:進度) 進行篩選 104年度 流域治理綜合計畫 實際工程進度30%以上 施工與監造廠商組合後,督導成績會是丙等 挑選出C級的施工廠商 挑選出C級的監造廠商 呼叫資料 提供回應 管考提供 大數據提供 一份綜整 管考系統與大數據分析結果 的抽驗或督導對象清單 廠商歷年 抽驗分數 廠商歷年 督導分數 廠商執行的工程是 否有落後情形 廠商執行的工程是 否有變更情形 廠商承接大於500萬 金額的工程經驗 綜合 評比 監造及 施工廠商等級 模型1:推估監造和施工廠商共同配合的抽驗或督導結果 模型2:透過歷史資料,建立廠商等級 作業流程
  26. 26. GIS Research Center, Feng Chia University,Taiwan 模型1. 推估監造和施工廠商共同配合的抽驗 或督導結果-使用資料 • 資料時間: 民國90年~103年 • 抽驗: 6,007件 • 督導:4,980件 工程編號 施工廠商 監造廠商 時間 結果 督導或是抽驗 督導結果: 甲/乙/丙 甲: >85 乙: 75~85 丙: <75 抽驗結果: 合格/不合格 合格: >=60 不合格: <60 資料轉換 歷年督導及抽驗成績 依水保局現行規定
  27. 27. GIS Research Center, Feng Chia University,Taiwan 模型1. 推估監造和施工廠商共同配合的 抽驗或督導結果 –分析方法 監造廠商 施工廠商 施工廠商 廠商名稱: 監造A 廠商名稱: 監造B 結果 合格:1/2, 不合格1/2 結果 合格: 1/3, 不合格: 2/3 結果 合格:0, 不合格1 廠商名稱: 施工A 廠商名稱: 施工B 廠商名稱: 施工A 建立分類與回歸樹 歷年抽驗及督導的資料 • 每個決策事件都可能引出多個事件,導致不同的 結果 • 本計畫透過「分類與回歸樹」推估出,不同監造 與施工廠商組合所影響的合格或不合格的結果 完成訓練模型
  28. 28. GIS Research Center, Feng Chia University,Taiwan 分析結果-準確度評估 透過「分類與迴歸樹(CART)」推估監造和施工廠商共同配合的抽驗或督導結果的準 確率,經過評估,有關 • 抽驗資料準確度可達99%以上 • 督導資料準確度可達96%以上
  29. 29. GIS Research Center, Feng Chia University,Taiwan 29 29 直接評分項目 直接評分項目選定理由 權重設定 間接評分項目 金額規模 1. 依行政院農業委員會水土保持局 治山防災工作參考手冊,有關工 程核定作業以工程經費是否為 500萬以上作為函報本局召開工 程審議會議為門檻,故本項目依 其門檻作為憑分依據。 2. 依分析廠商評比之原始資料統計, 500萬以上工程占15.85%、500 萬以下則占84.15%。 500 萬 以 上 (+2) 、 500 萬 以 下 (+1) 工程效益、工程保固金、工程目的、 工期、工作項目、核定底價、發包方 式、停工原因、計畫別、子計畫別、 變更後金額、工程內容、工程管理費 等500多項欄位資訊。 抽驗情形 廠商是否確實執行自我檢核作業,攸 關工程品質執行情形,其102年(含)以 前分數係採甲、乙、丙、丁四種等級 評定,102年後則採合格、不合格來評 定廠商於工程執行情形。 合格(+1)、不合格(+0)、甲等 (+2)、乙等(+1)、丙等(+0)、 丁等(+0) 督導情形 廠商是否確實執行自我檢核作業,攸 關工程品質執行情形,係透過不同評 分項目並依甲、乙、丙、丁四種等級 評定廠商之工程執行情形。 甲 等 (+2) 、 乙 等 (+1) 、 丙 等 (+0)、丁等(+0) 進度落後 廠商有效掌握工程執行進度,可能因 其營建專管經驗較為豐富,能確保工 程如值如期完竣。 超前或符合(+1)、落後(+0) 變更設計情形 發包後進行變更設計作業,其對進度 執行易產生停滯情形,故減少不必要 變更設計始能有效掌握工程執行進度。 有變更(+0)、無變更(+1) 建立廠商評比- 評估指標
  30. 30. GIS Research Center, Feng Chia University,Taiwan 依指標建立權重表 30 評分項目 情境1 的指標權重 情境2 的指標權重 情境3 的指標權重 情境4 的指標權重 抽驗分數(1/0)→合格/不合格 0.15 X 0.30 X 督導分數(2/1/0)→甲/乙/丙 0.20 0.30 X X 落後 (1/0)→沒落後/落後 0.30 0.30 0.30 0.45 變更 (3/2/1)→追加/不變/減少 0.05 0.10 0.10 0.10 金額規模500萬(2/1)→大於/沒大於 0.30 0.30 0.30 0.45 總計 1.00 1.00 1.00 1.00 具備評分項目數 5 4 4 3 評分項目 權重 得分 加權後 抽驗分數: 合格 0.15 1 0.15 督導分數: 乙等 0.20 1 0.2 進度落後情況: 落後 0.30 0 0 有關變更設計: 預算無追加過 0.05 2 0.1 辦理的工程經費: 485萬 0.30 1 0.3 總計 1.00 5 0.75 評分項目 權重 得分 加權後 督導分數:甲等 0.30 2 0.6 進度落後情況: 沒落後 0.30 1 0.3 有關變更設計: 經費曾追加 0.10 3 0.3 辦理的工程經費: 658萬 0.30 2 0.6 總計 1.00 8 1.8 於情境1時,假設廠商曾執行過一件工程, 並具備所有評分條件,廠商的評分如下: 於情境2時,假設廠商曾執行過一件工程,但無抽驗條 件,故不納入抽驗項目,評分如下: 考量四種情境
  31. 31. GIS Research Center, Feng Chia University,Taiwan 建立廠商評比-成果 A評等廠商 B評等廠商 C評等廠商 數量 比例 數量 比例 數量 比例 監造廠商 119 15.95% 545 73.06% 82 10.99% 施工廠商 438 8.18% 4087 76.31% 831 15.52% 廠商評分等級劃分依據 將各廠商評分完後,本計畫係依平均值與標準差將廠 商評等為A、B、C級 • A 評等廠商 : 分數> 平均值 +1個標準差 • B 評等廠商 : 分數介於平均值 +1及-1 個標準差 • C 評等廠商 : 分數< 平均值 - 1個標準差 廠商評分等級結果
  32. 32. GIS Research Center, Feng Chia University,Taiwan 廠商評比結果-介面展示 顯示透過大數據所分析出來的廠商等第清單 資料更新頻率: 每半年可依據資料庫 最新資料重新計算 可依A,B,C類別 查詢廠商清單
  33. 33. GIS Research Center, Feng Chia University,Taiwan Thanks for your attention Your kindly advice will be greatly appreciated

×