CKAN 應用介紹 - 以台江計畫為例

1,315 views

Published on

Published in: Technology
  • Be the first to comment

CKAN 應用介紹 - 以台江計畫為例

  1. 1. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 CKAN OPENDATA TAIJIANG 台江計畫 - CKAN 工作坊 CKAN應用介紹─ 以台江計畫資料為例 報告者:葉耀鮮 yawshan@gmail.com
  2. 2. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 大綱 • 帳號管理 • 組織管理 • 資料管理 – 台江詮釋資料 • 資料搜尋 • 系統限制 2
  3. 3. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 帳號管理 3
  4. 4. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 CKAN身份權限 • 一般使用者 – 搜尋或下載公開發佈之資料 • 具帳號使用者 – 搜尋或下載公開發布之資料 – 新增或編輯資料 – 可加入特定組織,搜尋或下載組織內部資料 • 各子計畫預設帳號 – 子計畫一:testtj1/passtj1 – 子計畫二:testtj2/passtf2 – 子計畫三:testtj3/passtj3 4
  5. 5. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 註冊帳號 5 登入帳號時所輸入之名稱,請以純小寫英文 字母組成,符號字元僅接受 “_ “與 “-“。 設定字元長度大於4以上之密碼。
  6. 6. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 帳號編輯 6
  7. 7. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 組織管理 7
  8. 8. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 組織機制 • 「組織」 機制為便於不同單位控管各自單位內資料之隱 私性,其特點主要如下: 權限: 管理組織內成員、管理與編輯組織內部資料 組織內 管理者 組織內 編輯者 組織內 一般成員 權限: 管理與編輯組織內部資料 權限: 瀏覽組織內非對外公開性資料 8 需具有帳號才能被設為組織內部成員
  9. 9. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 組織資料瀏覽權限 組織 A 組織 B 非組織成員 成 員 成 員 9
  10. 10. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 建立組織 10 顯示目前所有組織 組織頁籤內點選新增組織 各子計畫若有成立組織需求請洽子計畫四人員
  11. 11. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 組織管理-組織資訊 11 於組織頁籤內, 選擇欲編輯組織, 再點選Manage, 可編輯組織資訊。 可新增欄位 描述額外資訊 編輯頁籤內
  12. 12. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 組織管理-組織資料集 12 資料集頁籤內 可點選欲變更 之資料集,批 次刪除或修改 公開性
  13. 13. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 組織管理-組織成員 13 點選新增成員 編輯或刪除既有成員 輸入帳號名稱或信箱 選擇成員於組織內權限
  14. 14. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 資料管理 台江計畫詮釋資料規劃 新增資料集 資料集瀏覽 編輯資料集 刪除資料集 14
  15. 15. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 CKAN內資料組成 • CKAN內資料組成 – 資料集(dataset):為發布之基本單元,其帶有描述資料集本身之 「詮釋資料」並可包含多筆「資料」 – 資料(data, resource):實際資源之檔案或連結,可供瀏覽下載 – 詮釋/後設資料(metadata):描述資料集之資訊,系統預設填寫 介面 15 資料集內所包含之資料 應具有高度同質性
  16. 16. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 台江計畫詮釋資料規劃 • 詮釋資料架構 – 核心項目為各類資料均需填寫項目 – 屬空間類型資料須填寫空間資料共同項目 – 依據不同資料類型填寫對應項目 16 台江計畫 詮釋資料 核心項目 空間資料 共同項目 空間資料 資料類型 參考文獻項目 掃描檔案項目 NO Yes
  17. 17. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 台江計畫詮釋資料規劃-2 • 核心項目 17 時間資訊 時間解析度:日,月,年,十年,百年 時間:以西元表示 聯絡資訊 作者:可為人名或單位名稱,同 義於資料生產者 關鍵字資訊 主題關鍵字:系統預設最多五個 資料原始之識別碼 說明資料集之內容、目的 資料集引用或參考之來源,可以自由文字描述, 或給予相關參考連結
  18. 18. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 台江計畫詮釋資料規劃-3 • 空間資料共同項目 18 空間範圍:此項目為因應CKAN空間搜尋機制,須以GeoJSON 格式表示,以下分別為Polygon與Point之GeoJSON格式 { "type":"Polygon", "coordinates":[[[2.05827, 49.8625],[2.05827, 55.7447], [-6.41736, 55.7447], [-6.41736, 49.8625], [2.05827, 49.8625]]] } { "type": "Point", "coordinates": [-3.145,53.078] } 空間範圍.XY:以經緯度表示資料空間四至範圍 坐標參考系統:以EPSG代碼表示資料採用之參考系統 (WGS84 : EPSG 4326 TWD97:EPSG 3826 TWD67:EPSG 3828) 空間解析度:填寫解析度數值,以公尺為單位 比例尺:若圖資具固定比例尺,填寫其分母之整數值 資料處理歷程:建議以處理步驟為導向,說明資料所經之處 理過程。
  19. 19. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 台江計畫詮釋資料規劃-4 • 不同格式類型之詮釋資料項目 • 保留之CKAN原始欄位 – 組織:設定資料所屬組織 – 公開性:設定資料是否公開 – 標籤:可自行補充輸入「關鍵字」欄位以外的資訊 19 原件尺寸:填寫原件尺寸大小,單位為公分。如60x72 掃描解析度:填寫掃描解析度數值,單位為DPI。如300
  20. 20. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 新增資料集 20 點選新增資料集 • CKAN新增資料集三步驟 建立資料集 新增資料 描述額外資訊 填寫資料集之 基本描述內容 (含CKAN預設項目) 上傳資料集所包含 之檔案或連結 填寫額外詮釋資料
  21. 21. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 新增資料集-建立資料集 21 1. *號者為必填項目 2. 本表單具有驗證 機制,若填寫內容 格式不符或有缺漏 者,於按下下一步 前將提示於頁面上 方,使用者可依提 示內容進行修正 1 2
  22. 22. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 新增資料集-建立資料集-2 • 資料集標題與路徑識別碼設定 • 設定資料集所屬組織及公開性 • 標籤補充設定 22 標題下之URL為資料集路徑識別碼, 系統預設以標題內文字作為識別碼 但若為中文標題需額外設定。 「組織」欄位供使用者指定該資料集所屬之組織。 「可見性」欄位可設定屬於特定組織內之資料集是否公開 若資料集不屬於特定組織則僅能設為公開 「標籤」欄位可用於補充標記資料特性
  23. 23. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 新增資料集-建立資料集-3 • 空間範圍填寫 23 連結至Geojson.io網站
  24. 24. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 新增資料集-建立資料集-4 • Geojson.io 操作說明 24 數 化 工 具 ,, 可 編 輯 點 線 面所新增之圖徵,各圖 徵可點選編輯或刪除 Point範例 Polygon範例 僅需複製geometry (虛線框標示處)內之 內容貼於空間範圍欄 位內
  25. 25. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 新增資料集-新增資料 • 可接受預覽之格式 – 文字類:txt, text, html, htm, xml, csv, xls, json, geojson…etc. – 影像類:png, jpg, jpeg, gif – 空間類:wms, geojson – PDF檔 25 選擇檔案上傳或指定資源之連結 輸入檔案之格式,為辨識檔案預覽之依據 可新增另一筆資料或進入下一步驟 資料摘要,若資料為csv, xls等結構化資 料,建議寫出各欄位名稱。
  26. 26. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 新增資料集-新增資料-2 • 新增空間類資料之方式 – GeoJSON:可直接上傳檔案或給定發布之GeoJSON連結 • http://140.109.161.86:10001/geoserver/ECAI/ows?service=WF S&version=1.0.0&request=GetFeature&typeName=ECAI:sl_a mi&maxFeatures=50&outputFormat=json – WMS:須指定WMS服務之getCapabilities連結 • http://140.116.47.15:8080/geoserver/rs/wms?request=GetCap abilities&version=1.3.0 • 並非讀取GetMap參數 • 版本參數需正確 26
  27. 27. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 新增資料-指定群組 • 新增資料完畢後,本計畫案額外規劃各資料集需指定至相 符主題之群組中 • 本計劃案參考ISO詮釋資料標準,共納入19類主題群組 • 單一資料集可對應至多類群組 27 切換至群組頁籤 選則適合群組將 資料集加入該群 組中
  28. 28. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 主題群組說明 名稱 說明 農業相關類(farming) 與動物飼養和/或植物種植有關之主題,例如農耕、灌溉、水栽法、 農園、畜牧、病蟲害和家畜 生物生態類(Biota) 與自然環境中植物群和/或動物群有關之主題,例如野生動物、植 被、生物科學、生態學、荒漠、海洋生活、溼地、棲息地 土地邊界類(boundaries) 與土地權利描述有關之主題,例如行政邊界界線 氣候氣象類 climatologyMeteorology Atmosphere 與大氣的處理過程與現象有關之主題,例如雲、天氣、氣候、大 氣條件、氣候改變、降雨量 經濟活動類economy 與經濟活動和狀態有關的主題,例如生產、勞動、稅收、貿易、 工業、觀光和生態旅遊、林業、漁業、商業或補狩業、 探測和資源開發,如礦物、石油或天然氣 高程資訊類elevation 高於或低於海平面的高程資訊,例如高度、海洋探測、數值高程 模型、坡度 環境活動類Environment 與環境資源、保護和保存有關的主題,例如環境汙染、資源浪費、 環境衝擊評估、環境監控風險、天然保育區、景觀 地球科學相關類 geoscientificInformation 與地球科學有關之主題,例如地球物理學的地物特徵、地質學、 礦產資源、組合科學、地球岩盤的組成起源、地震危機、火山活 動、山崩、重力資訊、土壤、永久凍土、水文地質學、侵蝕
  29. 29. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 主題群組說明-2 名稱 說明 健康衛生類health 與健康、健康服務、人文生態學與環境安全有關之主題,例如疾病與 身體不適、影響健康的因素、保健法、藥物濫用、身心健康、健康服 務 地表覆蓋資訊類 imageryBaseMapsEart hCover 與底圖有關之主題,例如地表、地形圖、影像、未分類的影像、文字 註記 軍事情報類 intelligenceMilitary 與軍事基地、結構、活動有關之主題,例如兵營、訓練場、軍事運輸、 情報搜集 水文資訊類 inlandWaters 與內陸地區的水特徵物、排水系統和其特性有關之主題,例如河流與 冰河、鹽水湖、水資源利用計畫、水壩、水流、水災、水質、水道圖 位置資訊類 Location 與位置資訊和服務有關之主題,例如地址、控制網、控制點、郵遞區 號及服務 海洋資訊類 Oceans 與鹽水水體的特徵物和其特性(包含內陸地區)有關之主題,例如潮 汐、受潮汐影響的浪潮、海岸資訊、暗礁 土地使用與規劃類 planningCadastre 與土地未來之使用資訊有關之主題,例如土地使用圖、都市計畫圖、 地籍調查、土地所有權
  30. 30. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 主題群組說明-3 名稱 說明 社會文化類 Society 與社會文化特性有關之主題,例如社會福利、人類學、考古學、教 育、傳統信仰、禮俗習慣、人口統計資料、娛樂活動、社會影響的 評價、犯罪、司法審判、人口普查情報 交通資訊類 Transportation 與運輸有關之主題,例如道路、機場/航線、運輸路線、隧道、航海 圖、飛機或船之位置、航圖、鐵路 公共設施類 utilitiesCommunication 與能源、廢棄物系統和公共通訊服務有關之主題,例如水利發電、 地熱發電、太陽能與核能、水質淨化與供給、污水收集處理、電力 和天然氣供給、數據交換、長途電信、無線電、通信網路 待擴充 待擴充
  31. 31. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 資料集瀏覽 32 資料集之詮釋資料 資料集所包含之資料 與該資料集相關之資訊 資料集空間 範圍預覽圖 編輯資料集
  32. 32. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 資料集瀏覽-資料預覽 • 點選各資料集內之各資料之「探索」可對資料進行預覽 33 點選「探索」鈕顯示為「更 多資訊」者表示CKAN無法 支援該資料格式之預覽 點選「探索」鈕顯示為「預 覽」者表示CKAN可支援該 資料類型預覽
  33. 33. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 資料集瀏覽-資料預覽-2 • 影像類 – jpeg, png, gif 34
  34. 34. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 資料集瀏覽-資料預覽-3 • 文字類 – html, txt, xml 35 html xml txt
  35. 35. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 資料集瀏覽-資料預覽-4 • CSV與XLS格式 36 CKAN之csv與xls預覽採 用Dataproxy套件開發, 可將資料以資料表格呈現, 並可製作簡易統計圖與資 料空間展示
  36. 36. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 資料集瀏覽-資料預覽-5 • CSV與XLS格式-統計圖表 37 可設定統計圖類型 及圖表雙軸之欄位
  37. 37. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 資料集瀏覽-資料預覽-6 • CSV與XLS格式-空間展示 38 設定X,Y坐標代表欄 位或具GeoJSON空 間格式之欄位
  38. 38. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 資料集瀏覽-資料預覽-7 • 空間資料類 – Geojson, wms 39 Geojson: CKAN之GeoJSON預覽為透過 Leaflet平台將資料展示於圖面上, 並可查詢屬性 WMS: CKAN之WMS預覽為採 用Oenlayer模組,並一 次載入該服務內所有圖層
  39. 39. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 資料集瀏覽-資料預覽-8 • PDF檔 40
  40. 40. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 編輯資料集 41 在各資料集瀏覽頁面點選Manage 鈕可進入資料集編輯介面 編輯資料集 詮釋資料 「資料」頁籤可新增資料 集之資料或刪除既有資料 回瀏覽資料集頁面
  41. 41. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 刪除資料集 • 一般使用者執行之刪除資料集功能並非永久刪除資料 • 僅隱藏資料集之顯示 • 若誤刪亦可救回 • 若欲永久刪除資料請通知系統管理員p p 42 在各資料集瀏覽頁面點選Manage 鈕進入資料集編輯介面 點選頁面最下方處之刪除鈕
  42. 42. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 刪除資料集-誤刪救回 43 於「瀏覽個人資料」功能內可察看 個人所發布之資料集,若資料集為 刪除者,則出現「刪除」標籤 被刪除之資料集「狀態」欄位顯示 為「刪除」,若要重新啟動資料可 選擇「Active」
  43. 43. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 搜尋資料 44
  44. 44. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 關鍵字搜尋 標題列之搜尋框與資料集頁籤內之搜 尋框皆可輸入關鍵字進行全文檢索
  45. 45. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 空間搜尋 46 1. 點選Filter by location地圖 介面之畫筆開啟空間搜尋功能 2. 選取欲搜尋之空間範圍並執行搜尋 3. 回傳符合空間範圍條件之搜尋成果 4. 可再進一步以關鍵字過濾
  46. 46. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 搜尋資料過濾 47 CKAN內建以「組織」、「群組」、 「標籤」、「格式」與「授權」 欄位可進行搜尋資料過濾 過濾出格式為csv之資料
  47. 47. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 組織內非公開資料搜尋 • 若資料集屬於特定組織且為非公開狀態,則無法於一般資 料集頁籤中搜尋該筆資料,需於該組織內進行搜尋 48 1. 於「組織」頁籤內點選所欲搜尋之組織 2. 若為該組織之成員可看到內部非公開資 料,搜尋方式與一般資料集相同。(目 前組織內無法支援空間搜尋) 1 2
  48. 48. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 CKAN API • CKAN提供完備API介面可對系統進行多樣操作 – 修改/刪除資料集 – (批次)匯入資料集 – 查詢資料集 – 查詢平台內組織、 群組情況 – 取得資料實際內容 (結構性資料,ex: csv, xls格式) 49 CKAN API 介紹 http://docs.ckan.org/en/c kan-2.2/api.html 每個使用者帳號皆有一組個人的API Key, 供使用者執行較高權限之API操作時認證用。
  49. 49. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 CKAN API - 2 • 範例─以API取得資料之內容 50 1. csv, xls格式資料預覽畫面會出現資料API連結 2. 點擊後顯示該筆資料相關API之說明 本範例顯示查詢資料內前五筆資料、以關鍵字查詢、及透過SQL語法查詢之方式 1 2 3
  50. 50. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 CKAN API - 3 51
  51. 51. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 系統限制 52
  52. 52. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 系統限制 • 檔案上傳大小限定 • 預覽問題 – PDF , GeoJSON檔預覽檔案大小限制 – Tif 檔無法預覽 • 中文問題 – 新增資料集與新增資料之檔名與路徑 – 下載檔案 53
  53. 53. © 2013-2014 台江內海地區的人文社會經濟發展與環境變遷 Q&A yawshan@gmail.com 54

×