More Related Content
Similar to House-III (11)
House-III
- 11. ETL
Extract, Transform, Load
– 「準備好後續功能開發與分析所需的資料」
「一個待售物件附近的設施與區位條件為何?附近有哪些實價
登錄案例?」
– 三套資料: 待售物件、設施與區位條件、實價登錄案例
– 兩個距離: 待售物件和設施與區位條件、待售資料與實價登錄案件
每套資料都要有座標,才能計算距離
取得資料、清理資料、座標轉換
使用工具:python(pandas等套件),QGIS
- 14. ETL-設施資料
地址清理
– 中文數字門牌地址
– 一筆資料內有多筆門牌,彼此用分隔字串或符號隔開
• 分隔層級不一(ex:35號及36號,135至140之2號,276巷3號 278巷1號)
– 行政區改制問題
• EX:桃園縣中壢市 桃園市中壢區(2010-12-25)
彰化縣員林鎮彰化縣員林市(2015-08-08)
門牌地址轉換
內政部門牌地址批次轉換系統
Google map geocoding api (server-side geocoding)
• 經緯度缺失筆數:以學校資料檔為例(1346632筆)
- 19. 關聯資料庫
編碼 房屋物件 … …
編碼 周邊距離 … ….
編碼 周邊設施 …. ….
數個相互關
聯的資料表
House
Traffic
Traffic(join)
紀錄
欄
位
- 37. 房屋內部資料
依變數:
總價(元)
自變數:
1. 鄉鎮市區
2. 土地區段位置/建物區段門牌
3. 土地移轉總面積(平方公尺)
4. 交易年月
5. 移轉層次
6. 總樓層數
7. 建物型態
8. 主要用途
9. 主要建材
10. 建築完成年月
11. 建物移轉總面積(平方公尺)
12. 建物現況格局-房
13. 建物現況格局-廳
14. 建物現況格局-衛
15. 建物現況格局-隔間
16. 車位移轉總面積(平方公尺)
17. 車位總價(元)
資料來源:
103.7~104.7內政部實價登錄大台北地區房屋價格
- 39. 外部經濟因子…
103.07-104.07期間
租金指數(%)、五大行庫平均房貸利率(%)、M1b貨幣供給額(億元)、M2貨幣供給額(億元)、
消費者物價指數(%)….等共89個曾出現的文獻中與房價相關的經濟因子。
1. 設有戶籍宅數(宅)
2. 戶量(人/戶)
3. 普通家戶數
4. 人口數(人)
5. 出生(人)
6. 死亡(人)
7. 遷入(人)
8. 遷出(人)
9. 建物存量總數(宅)
10.房屋稅籍住宅類數量(宅)
11.房屋稅籍住宅類平均屋齡(年)
12.房屋稅籍住宅類平均面積(坪)
13.建物開工件數(件)
14.建物開工總宅數(宅)
15.建物開工總樓地板面積(坪)
16.建物竣工件數(件)
17.建物竣工總宅數(宅)
18.建物竣工總樓地板面積(坪)
19.建物展期開工件數(件)
20.建物展期開工總宅數(宅)
21.建物展期開工總樓地板面積(坪)
22.建造執照總宅數(宅)
23.建造執照總樓地板面積(坪)
24.使用執照總宅數(宅)
25.使用執照總樓地板面積(坪)
26.住宅存量(宅數)
27.買賣契約價格平均單價(不分建
物類別)
28.買賣契約價格平均總價(不分建
物類別)
29.買賣契約價格平均單價(公寓)
30.買賣契約價格平均單價(套房)
31.買賣契約價格平均總價(套房)
32.買賣契約價格平均單價(透天厝)
33.買賣契約價格平均總價(透天厝)
34.買賣契約價格平均單價(電梯大
廈)
35.買賣契約價格平均總價(電梯大
廈)
36.買賣契約價格平均單價(樓中樓)
37.買賣契約價格平均總價(樓中樓)
38.所有權第一次登記件數(件數)
39.所有權第一次登記面積(平方公
尺)
40.買賣移轉件數(件數)
41.買賣移轉面積(平方公尺)
42.拍賣移轉件數(件數)
43.拍賣移轉面積(平方公尺)
44.繼承移轉件數(件數)
45.繼承移轉面積(平方公尺)
46.贈與移轉件數(件數)
47.贈與移轉面積(平方公尺)
48.其他移轉件數(件數)
49.其他移轉面積(平方公尺)
50.法院拍定成屋總件數
51.房地拍定總金額
52.住宅買賣移轉筆數(筆)
53.平均買賣屋齡(年)
54.平均買賣面積(坪)
55.買賣契稅免稅件數(件)
56.買賣契稅應稅件數(件)
57.買賣契稅應納稅額(萬元)
58.土地增值稅一般用地查定件數免
稅件數(件)
59.土地增值稅一般用地查定件數應
稅件數(件)
60.土地增值稅一般用地應納稅額
(萬元)
61.土地增值稅自用住宅用地查定件
數(件)
62.土地增值稅自用住宅用地應納稅
額(萬元)
63.上季末建築貸款餘額(百萬元)
64.本季末建築貸款餘額(百萬元)
65.本季建築貸款動用金額(百萬元)
66.本季核貸建築貸款核准金額(百
萬元)
67.本季核貸建築貸款筆數(筆)
68.本季核貸建築貸款平均每筆金額
(百萬元)
69.上季末購置住宅貸款餘額(百萬
元)
70.本季末購置住宅貸款餘額(百萬
元)
71.本季核貸購置住宅核准金額(百
萬元)
72.本季核貸購置住宅貸款筆數(筆)
73.本季核貸購置住宅貸款平均每筆
金額(百萬元)
74.本季末購置住宅貸款平均利率
(%)
75.本季新增購置住宅貸款平均利率
(%)
76.本季新增購置住宅貸款平均貸款
成數
77.本季新增購置住宅貸款平均貸款
期數
78.上季末住宅建築貸款餘額(百萬
元)
79.本季末住宅建築貸款餘額(百萬
元)
80.本季住宅建築貸款動用金額(百
萬元)
81.本季核貸住宅建築貸款核准金額
(百萬元)
82.本季核貸住宅建築貸款筆數(筆)
83.本季核貸住宅建築貸款平均每筆
金額(百萬元)
Editor's Notes
- 七間房仲網站:信義房仲網、好房網、永慶房仲網、住商不動產、太平洋房屋、有巢氏房屋、591售屋網
無效資料:無經緯度(703筆)、房廳衛數均為0(1247筆)、物件經緯度不處於新北市地理界線內(50筆)
重複資料:刪除「經度、緯度、起始樓層、總樓高、售價、房數、廳數、衛數」均相同的重複資料,共(23794筆)
資料檢查:起始樓高大於總樓高,主建物大於總坪數
統一缺失值表現方式
統一住房類型字串 (ex: 電梯大樓->大樓,大廈->華廈,透天->透天厝,無->””)
檢查樓高、坪數
- 主要對四類設施、區位條件資料進行爬取整理
教育:幼教國小國中高中大學
購物:便利商店、超市、量販店、菜市場
交通:公車站、捷運站、
鄰避設施
資料來源
政府統計
政府公開資料
廠商公開頁面
工作
抓取整理資料
地址清理
門牌地址定位(geocoding)
- 各位廠商、老師、學弟學妹大家好,
接下來就由我來介紹網頁的部分
- 先來講我們的設計理念,主要是以下幾點
首先 我們希望提供使用者簡單的操作環境,盡量不要出現過多的支線,導致使用者迷失在網頁裡
再來 我們會利用地圖呈現使地理位置更清楚
並加以揣摩使用者的需求後提供其需要的資訊
最後將數值資料圖表化,使資料更具有溝通力
- 再來介紹網頁環境與技術
先來介紹環境的部分,我們的環境 主要是 資料庫 與 網頁伺服器
這裡,我們的資料庫是使用MySQL,這個部分前面仁雄同學已經為我們說明過爲何使用它。
接著介紹我們的網頁伺服器APACHE,APACHE它是一個開放原始碼的網頁伺服器,
並且具有 跨平台 與 安全性 等特性而被廣泛的使用,是目前市佔率最高的網頁伺服器軟體。
接著來介紹技術的部分,在技術上是使用HTML、CSS、PHP以及jQuert等技術,
[HTML、CSS、jQuert 皆為開發網頁的基本技術,這邊就不多做解說]
這邊呢簡單介紹一下php,PHP 它的語法類似 C 語言,因此並不難學,也相當容易撰寫。然後在網頁中我們主要用來處理資料庫的連結以及表單資料傳遞。
- 接著是輔助套件的部分,我們的網頁主要是使用了這三樣套件,
分別是 Bootstrap、Highcharts、Google Maps APIs
- 首先來介紹 Bootstrap ,
Bootstrap 是個簡潔,直覺的前端框架,讓網頁開發更快速、簡單。
我們網頁架構有使用 Bootstrap 的響應式網頁設計,簡單來說就是使用電腦、平板、手機去瀏覽網站,介面上都能去符合螢幕的大小
然後 Bootstrap也可以用來做簡易的外觀呈現,像是右圖中的 按鈕列 也是利用 Bootstrap 所提供的 CSS 呈現出來的效果。
- 再來介紹的是 highcharts ,它是一個基於JQuery的圖表元件,
提供了非常多實用的圖型,像是長條圖、圓餅圖、折線圖等等,
非常適合用來繪製一般統計圖表
- 最後介紹的是 Google Maps API,
它是設計給網頁開發者所使使用的開發工具,
讓開發者可以使用這個 API 將 Google 地圖安插在自己的網頁中,
並將資料呈現於地圖上。
我的報告到這邊結束,接下來請馥顯來為我們介紹房價估算的部分