Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Talk to data science in 10 minutes

1,529 views

Published on

給NPO的十分鐘資料科學速講

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Talk to data science in 10 minutes

  1. 1. 十分鐘談 資料科學的第一步 謝宗震 (johnson@dsp.im) DSP 智庫驅動 資料科學家 政治大學資科系 兼任助理教授 行政院青年諮詢委員會 委員
  2. 2. 1 + 1 = 2 ? + = ? 資料的 極限
  3. 3. 1 + 1 = 2 ? 數據化的記錄總會喪失部分訊息 一個問題是否能透過資料解決 和資料蒐集與記錄的方式有關 資料的 極限
  4. 4. 淺談資料格式與資料清理 主要內容取自 http://blog.muyueh.com/open-data-portal-problem/
  5. 5. 機器 可讀 假若把資料包在網頁、doc、docx 檔、pdf 檔或著以圖檔釋出時, 使用者要重複使用的話,就需要人一個字一個字 key-in,無法被機器閱讀。 給人看 ≠ 給機器看 https://blog.muyueh.com/open-data-portal-problem/
  6. 6. 機器 可讀 文件、報表、資料 http://csr.taipower.com.tw/images/pdf/2015_tw.pdf
  7. 7. 機器 可讀 文件、報表、資料 http://www.taipower.com.tw/UpFile/ClauseFile/104年統計年報.pdf
  8. 8. 機器 可讀 文件、報表、資料 http://www.taipower.com.tw/UpFile/ClauseFile/104年統計年報.pdf
  9. 9. 機器 可讀 文件、報表、資料 http://www.taipower.com.tw/content/announcement/ann01-5.aspx • 文件 內的 報表 要獨立抽取出來 • 報表 轉成 資料 要合併跨頁、移除額外的標頭、小計、階層、註釋
  10. 10. 機器 可讀 同一筆資料,有不同的儲存結構,儘管機器可讀,卻會有不一樣的意義。 統一資料結構 Excel 版本 JSON 版本
  11. 11. 機器 可讀 當沒有標記檔案編碼時,會讓機器不知道該如何解讀 檔案編碼沒有標記
  12. 12. 機器 可讀 • 台電公司、台灣電力公司、臺灣電力公司、台灣電力股份有限公司 • 民國105年、105年、105、2016 同一個東西有不同記錄方式 http://www.hsssfn.com/archives/40855
  13. 13. 機器 可讀 寬資料與長資料 https://stackoverflow.com/
  14. 14. 資料的 品質 資料品質的控管成敗與否,將影響之後 的資料分析、報表、決策指標。
  15. 15. 資料的 品質 資訊系統 (表單設計) 必填 vs. 非必填
  16. 16. 資料的 品質 資料品質的控管, 可用資料儀表板規劃品管規則。 http://wush.ghost.io/data-team-hello-world/
  17. 17. 建立 資料儀表板 的意義 • 確認資料已經可以正確的被取出,並視覺化呈現 • 讓組織中的不同團隊共享資料,提升全體素養 • 減少資料科學團隊產生報表的需求,減少內耗 • 建立信任感,初步展現資料科學團隊的價值

×