(淡江建築 2016.10.9) 第一天： 都市資料的樣貌 如何看待資料 資訊開放與資料開放 如何獲取都市資料 獲取都市資料 討論目前遇到的問題 我的資料夠嗎？為什麼不夠？ （請學生提出有遇到的問題，或是假說） 人人可做的資料工程 何謂資料工程？ 資料工程之前要做什麼？ 實作練習 人人可做的資料工程 資料工程的工具串接 實作練習 第二天： 5. 簡易資料視覺化 >資料視覺化＝資料分析？ >實作練習 從資料到分析 進階資料分析 應用實例

1. 淡江建築 2016 10.9 10.16

2. https://www.youtube.com/watch?v=_Nua3Cjdik0

4. • DSP智庫驅動 應⽤用顧問
• 北市 公參參會 OpenData 召集⼈人
• 企業應⽤用顧問
• 中華科技⼤大學 業界講師
Tim Hong
E-mail: timhong@dsp.im 洪培仁
https://tw.linkedin.com/in/hongtim
Geek、 Maker、Seeker
• 恩創數位
• 上擎科技
• 華碩⼯工設
App 3+years、Data RD
2 Startup、1 NPO、2 Apps 1st
2016 Intel® pre-IoT Roadshow London
2015 Emirates Travel Hackathon SF
2015 AT&T Mobile App Hackathon - Bay Area (IoT)
2015 HackingEDU
2015 Integrate 2015 Hackathon
2014 三創 社會物聯學 Hackathon
2013 CfT Open data day Hackathon
2013 G0V 第二次 Hackathon

9. DATA / URBAN DATA
建築與都市的黏著劑：開放資料

10. WHAT IS DATA?

11. WHAT IS DATA?

12. WHAT IS DATA?

13. WHAT IS DATA?

14. 常⾒見見的樣⼦子

15. 表格

16. 資料交換語⾔言

17. http://upload.lsforum.net/users/public/q41674nba2k13%208-07p190.jpg

18. ⼈人會不斷的產⽣生連續、不連續的資料影響我們的城市

19. Geneva

20. http://youtu.be/ZSt9tm3RoUU

21. https://www.youtube.com/watch?v=dOlLm5V0HFo

22. https://www.youtube.com/watch?v=tLqPEzpAR_4

24. Words or Fact
?

25. DATA / URBAN DATA

27. ⼈人>⼈人>城....world

28. 從資料的⾓角度看城市構⾯面
⼈人>⼈人>城>....world

29. 透過城市的真實資料所勾勒勒出的圖型
Through the actual city data mapping urban graphic Population
⾥里里lining
數量量amount
顏⾊色分區
⼈人>⼈人>城>⼈人....world

30. 透過城市的真實資料所勾勒勒出的圖型
Through the actual city data mapping urban graphic Population
⾥里里lining
數量量amount
顏⾊色分區

31. 透過城市的真實資料所勾勒勒出的圖型
Through the actual city data mapping urban graphic
Medical
(main hospital)
hospital

32. 透過城市的真實資料所勾勒勒出的圖型
Through the actual city data mapping urban graphic
Education
(kindergarten ~ University)

33. 透過城市的真實資料所勾勒勒出的圖型
Through the actual city data mapping urban graphic
Security
(Police, fire stations, monitors, accident)

34. 在現實的基礎上闡述故事

35. 故事的核⼼心

37. 怎樣？

38. 你的問題是什什麼？
為什什麼？

40. ？

41. 都對

42. 為什什麼？

43. 為什什麼？
為什什麼？
為什什麼？
為
什什
麼
？為
什什
麼
？
為
什什
麼
？

44. Gotta Catch em All~~~

45. 現實
交通 安全 ⽣生活 教育 醫療
捷運 ⾼高鐵 公⾞車車 單⾞車車
警察 消防 犯罪 災害
警察 消防 犯罪 災害
各級學校、托育、在職育成
各級醫療、院、所

47. HOW

48. 以分析結果回答問題
建立模型、分析資料
蒐集資料、整理理資料
定義問題、規劃藍藍圖
資料科學

49. 以分析結果回答問題
建立模型、分析資料
蒐集資料、整理理資料
定義問題、規劃藍藍圖
資料科學

51. 以分析結果回答問題
建立模型、分析資料
蒐集資料、整理理資料
定義問題、規劃藍藍圖
資料科學

52. DATA ENGINEERING
Extract, transform, load(ETL)
萃取、轉換、加載 (ETL)

53. DATA ENGINEERING
Extract, transform, load(ETL)
萃取、轉換、加載 (ETL)
80%

55. DATA ENGINEERING
Extract, transform, load(ETL)
萃取、轉換、加載 (ETL)
80%

57. • http://data.gov.tw/
Gotta Catch em All~~~

60. DATA ENGINEERING
Extract, transform, load(ETL)
萃取、轉換、加載 (ETL)
80%

62. 當資料超過20,000筆請使⽤用相關⼯工具

63. 練習⼀一塊⼩小蛋糕
（亂射箭）

64. THERE IS NO EASY WAY
• 機器可讀資料
• 資料標準化
• 增減欄欄位
PNG、CSV、XML、PDF、XLS
1051005、105/10/5、10510
“ ”、NA、null
1051005
年年、⽉月、⽇日

65. 乾淨的資料

66. 房屋價格 vs ⼈人⼝口比例例
時價登陸資料＋⼈人⼝口關係

69. DATA ENGINEERING
Extract, transform, load(ETL)
萃取、轉換、加載 (ETL)
80%

70. DATA ENGINEERING
Extract, transform, load(ETL)
萃取、轉換、加載 (ETL)
80%

72. 區域收入
vs
教育

73. Why
Why
Why
Why
Why
What
What
What
What
Where
How
What
Answer

75. 遇到了了什什麼問題？

76. DATA ENGINEERING
Extract, transform, load(ETL)
萃取、轉換、加載 (ETL)

78. 資料格式
XML
CSV
JSON
可延伸標記式語⾔言
（英語：Extensible Markup Language，簡稱：XML）
逗號分隔值（Comma-SeparatedValues，CSV，有時也稱為字符分隔值，
其⽂文件以純⽂文本，形式存儲表格數據（數字和⽂文本）。
JSON（JavaScript Object Notation）是⼀一種輕量量級的資料交換語⾔言
以⽂文字為基礎，且易易於讓⼈人閱讀。

79. 應⽤用程式介⾯面（英語：Application Programming Interface，簡稱：API）
⼜又稱為應⽤用編程介⾯面，就是軟體系統不同組成部分銜接的約定。
管他的就叫API
下次遇到有資料的⼈人，就問他：
A:你資料 API 接哪裡的?
B:⾃自⼰己家伺服器的
A:⽤用 Json嗎？還是啥？
B OS: （這傢伙懂喔...別唬爛好了了）
(這樣聽起來來就會比較厲害⼀一些)

80. XML
CSV
可延伸標記式語⾔言
（英語：Extensible Markup Language，簡稱：XML）
逗號分隔值（Comma-SeparatedValues，CSV，有時也稱為字符分隔值，
其⽂文件以純⽂文本，形式存儲表格數據（數字和⽂文本）。

82. SHOWTO OTHERS
你就是要給他們看的⼈人
這就是你

85. 資料視覺化

86. 資料視覺化的⼯工具
資料分析的好夥伴
• 視覺化地圖 https://carto.com/
• ⽂文字雲 https://timdream.org/wordcloud/

87. 遇到了了什什麼問題？

88. 經緯度、座標

89. 地址轉經緯度
⼤大⼤大所開發的
https://goo.gl/tsk4i
Geocode by AwesomeTable
（https://goo.gl/7NzfZX）

92. （https://goo.gl/7NzfZX）

93. 1 2
3

94. https://carto.com/

96. ⼩小進階
下⼀一類型資料

97. JSON
JSON（JavaScript Object Notation）是⼀一種輕量量級的資料交換語⾔言
以⽂文字為基礎，且易易於讓⼈人閱讀。

99. 其實沒那麼噁⼼心
巢狀狀階層概念念

100. 使⽤用google試算表
解析json資料
Paul Gambill https://goo.gl/zb6OQP
Code https://goo.gl/TaWGNN

103. API 欄欄位1 2

107. 換你們了了

108. 中⽂文斷詞
（⽂文字雲）
https://timdream.org/wordcloud/
http://ckipsvr.iis.sinica.edu.tw/
中⽂文斷詞系統

109. https://timdream.org/wordcloud/

111. 1691 他們 531 父親
1108 他的 528 凱特
963 爵士 521 斯特
853 瓊恩 493 凱特琳
844 我們 480 史塔克
795 自己 473 的人
787 奈德 460 丹妮
780 大人 456 艾莉亞
739 什麽 452 蘭尼
670 國王 450 蘭尼斯
642 提利 443 蘭尼斯特
613 利昂 431 告訴
610 提利昂 425 不是
603 布蘭 424 珊莎
588 一個 414 起來
568 她的 413 羅柏
567 知道 405 勞勃
543 沒有 399 已經
537 尼斯 373 孩子
532 莉亞 366 我的

112. 2971 他們 899 戰鬥
2811 一個 860 已經
2646 他的 822 在他
2560 阿納金 815 到了
1954 我們 814 然後
1834 了一 813 飛船
1809 盧克 803 的一
1706 歐比旺 797 們的
1597 這個 778 開始
1514 絕地武士 777 是一
1505 什麼 728 不是
1503 沒有 694 看到
1400 自己 685 一下
1372 機器 654 在這
1276 器人 636 大的
1275 機器人 629 她的
1022 知道 618 可能
998 起來 604 的人
984 現在 596 奎剛
909 帕德梅 595 著他

113. 1691 他們 531 父親
1108 他的 528 凱特
963 爵士 521 斯特
853 瓊恩 493 凱特琳
844 我們 480 史塔克
795 自己 473 的人
787 奈德 460 丹妮
780 大人 456 艾莉亞
739 什麽 452 蘭尼
670 國王 450 蘭尼斯
642 提利 443 蘭尼斯特
613 利昂 431 告訴
610 提利昂 425 不是
603 布蘭 424 珊莎
588 一個 414 起來
568 她的 413 羅柏
567 知道 405 勞勃
543 沒有 399 已經
537 尼斯 373 孩子
532 莉亞 366 我的
2971 他們 899 戰鬥
2811 一個 860 已經
2646 他的 822 在他
2560 阿納金 815 到了
1954 我們 814 然後
1834 了一 813 飛船
1809 盧克 803 的一
1706 歐比旺 797 們的
1597 這個 778 開始
1514 絕地武士 777 是一
1505 什麼 728 不是
1503 沒有 694 看到
1400 自己 685 一下
1372 機器 654 在這
1276 器人 636 大的
1275 機器人 629 她的
1022 知道 618 可能
998 起來 604 的人
984 現在 596 奎剛
909 帕德梅 595 著他
很多主⾓角
階級制度
主⾓角幾位
有科技
302 石宇 43 列車長
200 秀安 41 乘客
156 車廂 41 廁所
135 尚華 40 號車廂
110 喪屍 39 的電
91 列車 38 一個
90 白天 38 自己
83 常務 37 信號
82 盛京 36 他們
80 金常務 36 過去
69 什麼 34 怎麼
69 英國 34 時候
61 火車 33 微信號
61 珍熙 33 露宿
56 釜山 32 OS
55 看著 32 媽媽
51 看到 32 我們
49 乘務 32 露宿者
47 過來 31 到了
44 電話 30 乘務長

114. 關鍵字眼：『殺』
第⼀一批⽂文件：662 （六之⼀一）
第⼆二批⽂文件：745 （全六集）
第三⼈人稱、第⼀一⼈人稱
vs
姓名、代名詞、名詞

116. 減少已知字眼

119. 換你們了了

120. Team Work

121. 進階資料分析
• SQL 資料存取 0~百萬集資料
• Python

122. https://goo.gl/T5CDw7

123. https://goo.gl/T5CDw7

124. https://goo.gl/T5CDw7

125. https://goo.gl/T5CDw7

126. https://goo.gl/T5CDw7

127. https://goo.gl/T5CDw7

128. ⼀一個練功打怪的機會，我們從全國最⼤大的電⼦子商務網站「中華⺠民國政府電⼦子採購網」，
取得 20萬筆、價值⼀一兆元的決標標案資料，公開徵求好⼿手來來⼀一探究竟。
http://bit.ly/2016scdc

129. Statistics are like bikinis.
What they reveal is suggestive,
but what they conceal is vital.
-Aaron Levenstein, Business Professor at Baruch Colleg
統計就像比基尼
露出來來的引⼈人遐想
沒露出來來的才是重點

130. 資料⼯工程就像⾺馬賽克
看不⾒見見的地⽅方造就
…
無限想像

131. 遇到了了什什麼問題？