Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

オープンデータ・プラットフォーム KYOTO OPEN DATA

745 views

Published on

2017/07/06
「オープンデータ・プラットフォームと公民連携シンポジウム」でのセッション

Published in: Government & Nonprofit
  • Be the first to comment

オープンデータ・プラットフォーム KYOTO OPEN DATA

  1. 1. 2017/07/06 1 P オープンデータ・プラットフォーム KYOTO OPEN DATA 2017年7月6日 ANNAI 株式会社
  2. 2. 2017/07/06 2 P アジェンダ データプラットフォームのトレンドと現状の問題点 KYOTO OPEN DATAのソリューション  DKANとは?  自治体に向けて  開発者に向けて  市民に向けて 今後の課題
  3. 3. 2017/07/06 3 P データポータルとは  総務省や経産省の旗振りのもと、自治体が保有する様々なデータを「オープンデータ」として広く公開し、 利用を促進する動きが強まっています  「官民データ活用推進基本法」に基づき「官民データ活用推進基本計画」が閣議決定されました。  オープンデータの公開は、一般ユーザー向けのWebプレビュー機能と、エンジニア向けのAPI提供の両方 を備えたオープンデータポータルサイトとして公開することが求められます
  4. 4. 2017/07/06 4 P • 情報が探しやすいデザインであること • 情報が探しやすい検索のインターフェースを持つこと • ファイルの中身も検索できることが大切! • ファイルに公開/非公開の権限設定ができること • データのプレビュー機能が充実していること • データがAPI化されていること。 > APIであれば、最新のデータを入手できる > 手動ではなく、プログラムにより自動でデータを入手できる • データの販売機能やソーシャル機能など拡張が自由にできること データプラットフォームに求められること
  5. 5. 2017/07/06 5 P これらの機能をパッケージした 『データ・ポータル』の オープンソース・ソリューション が 普及してきています
  6. 6. 2017/07/06 6 P http://ckan.org/ckan • オープンソースのデータカタログエンジン • 世界中でデータポータルが普及するきっかけとなった • すぐに使い出せる簡易性がすばらしい
  7. 7. 2017/07/06 7 P しかし「ckan」には強い制約が。。  ckanはデザインの自由度が低く、 Extentionを開発しなければデザイン変 更ができません。  ニュースなどの簡単な情報発信するこ ともカスタマイズが必要です  ckanの独自カスタマイズはマイナーな フレームワークのため技術的難易度が 高く、セキュリティ面の脆弱性リスク 増大につながります  ckanはCMS機能を持たないため、多く の既存オープンデータポータルサイト は、DrupalやWordPress等の外部CMS をckanと並行稼働していますが、運用 とメンテナンスにコストがかかります ckan データカタログ WordPress Drupal CMS メンテナンスコストが倍かかる
  8. 8. 2017/07/06 8 P 既存ソリューションの限界  各自治体が「5つ星」オープンデータ化を目指していますが、すべてのデータには適用できません  ごく一部の「加工処理しやすい形のデータ」だけでもLOD化できれば先進的という状況  「データを共通フォーマットに合わせる」取り組みは、まだまだ緒についたばかり http://www.nikkeibp.co.jp/atcl/tk/PPP/news/012500154/
  9. 9. 2017/07/06 9 P SPARQL エンドポイントの必要性  LODデータを公開するには、SPARQL(スパークル)エンドポイントを用意する必要があります  しかしckanの場合、そのための「データ変換」作業と、別途サーバを立ててのSPARQLエンドポイント構 築が必要で、手間とコストがかかります  CKAN + Sparqlのパターンでは、データカタログとSparql Endpointにはデータの関連性がありません。  別のシステムに別のデータが搭載されています。 データ変換が 必要 SPARQL エンドポイント
  10. 10. 2017/07/06 10 P DKAN データプラットフォーム・ソリューション • Drupalのディストリビューションで、CKANとの機能互換性をもっている。 • CKANの課題を解決し、データポータルとして使いやすい機能を備える。
  11. 11. 2017/07/06 11 P DKAN の事例
  12. 12. 2017/07/06 12 P 国連データポータル http://www3.unog.ch/web/hlcm/inventory/ http://www3.unog.ch/web/hlcm/inventory/
  13. 13. 2017/07/06 13 P https://www.climatesmartplanning.org/ 世界銀行・気象情報データポータル
  14. 14. 2017/07/06 14 P http://www.healthdata.gov/ アメリカ保険福祉省
  15. 15. 2017/07/06 15 P http://www3.unog.ch/web/hlcm/inventory/ http://data.gov.ru/ ロシア政府データポータル
  16. 16. 2017/07/06 16 P http://www.dati.gov.it/ イタリア政府データポータル
  17. 17. 2017/07/06 17 P http://www.data.gov.ua/ ウクライナ政府データポータル
  18. 18. 2017/07/06 18 P http://www3.unog.ch/web/hlcm/inventory/ http://data.g0v.tw/ 台湾政府データポータル
  19. 19. 2017/07/06 19 P http://data.gov.sa/ サウジアラビア政府データポータル
  20. 20. 2017/07/06 20 P http://opendata.by/ ベラルーシ政府データポータル
  21. 21. 2017/07/06 21 P http://abrepr.org/en プエルトリコ政府データポータル
  22. 22. 2017/07/06 22 P http://www.datoselsalvador.org/ エルサルバドル共和国政府データポータル
  23. 23. 2017/07/06 23 P http://opendata.cambridgeshireinsight.org.uk/ イギリス・ケンブリッジシャー州データポータル
  24. 24. 2017/07/06 24 P http://www.offenedaten-koeln.de/ ドイツ・ケルン市データポータル
  25. 25. 2017/07/06 25 P http://www.data.mosreg.ru/ ロシア・モスクワデータポータル
  26. 26. 2017/07/06 26 P http://data.mfcr.cz/ チェコ共和国財務省
  27. 27. 2017/07/06 27 P https://it.pami.org.ar/ アルゼンチン統合医療プログラム
  28. 28. 2017/07/06 28 P http://www.eboladata.org/ エボラデータポータル(Ebora Open data jam)
  29. 29. 2017/07/06 29 P http://opcm.uclab.jp/ 名古屋大学COI
  30. 30. 2017/07/06 30 P http://www3.unog.ch/web/hlcm/inventory/ http://data.code4ikoma.org/ CODE for IKOMA
  31. 31. 2017/07/06 31 P http://udct-data.aigid.jp/ アーバンデータチャレンジ
  32. 32. 2017/07/06 32 P http://www3.unog.ch/web/hlcm/inventory/ https://data.city.kyoto.lg.jp/ KYOTO OPEN DATA
  33. 33. 2017/07/06 33 P KYOTO OPEN DATA DKANをもとに拡張したシステム
  34. 34. 2017/07/06 34 P データプラットフォーム 3 つのユーザー  行政職員  アプリケーション開発者  市民
  35. 35. 2017/07/06 35 P 行政職員向け
  36. 36. 2017/07/06 36 P KYOTO OPEN DATAの特長 ① CMS機能を備えており、ポータルサイトとしての使いやすさを大幅に高められる ② PDF/Excelのファイルを、加工の手間をかけずにそのまま「LOD=五つ星のオープンデータ」として公開 できる dkanは、世界中で高いシェアを持つオープンソースCMS “Drupal 8” をベースに、オープンデータ関連業務に便利な機 能を組み込んだパッケージ=ディストリビューションです。
  37. 37. 2017/07/06 37 P CMS機能  基盤となるDrupalは、日本政府CIOポータル、ホワイトハウスやNASAでも利用されている、世界的にポ ピュラーなCMSです  PHPベースで、柔軟なデザインカスタマイズが可能なので、オリジナリティのあるサイトデザインを用意 し、一般ユーザーへのユーザビリティを高められます。 https://appel.nasa.gov/https://www.whitehouse.gov/
  38. 38. 2017/07/06 38 P オープンデータの品質は「5段階評価」  オープンデータ化にあたり、データの利用しやすさ等による5段階の評価があります  各自治体では、最高ランク「5つ星」の形式《 LOD (Linked Open Data) 》での公開が望ましいとされて います(★の数が多いほど、低コストで多くのアプリ=活用事例が作れる)  Excel→CSV→RDF→LODとステップアップするには 所定のフォーマットへの変換等 準備が必要です http://5stardata.info/en/ 「1つ星」 PDF 「2つ星」 Excel 「3つ星」 CSV 「4つ星」 RDF / JSON 「5つ星」 LOD
  39. 39. 2017/07/06 39 P 《問題》いわゆる「ネ申Excel」問題  しかし、自治体の各部局が保有するデータの形式は、《紙データをスキャンしたPDF》や《見栄え優先で CSV化しにくいExcel》がほとんどで、CSV/RDFへの変換は困難です  各部局にデータの修正やフォーマット統一を依頼することは、大変な負荷となります http://5stardata.info/en/ 高い壁 https://twitter.com/h_okumura/status/793305155932295168 × × ×
  40. 40. 2017/07/06 40 P KYOTO OPEN DATAによるLOD化の考え方  KYOTO OPEN DATAでは、従来の「1行1レコードとして利用できないとオープンデータとして使えな い」という前提を覆し、「ファイル単位で情報を発見できること」をオープンデータ化のゴールとして再 設定しました  これにより、Excel->CSV->RDFに変換するプロセスを省略し、既存ファイルをそのままLOD形式で公開 できます 登録 公開 https://data.city.kyoto.lg.jp/
  41. 41. 2017/07/06 41 P 1ページ=1つのLODデータ  考え方のベースは「1ページ=1つのLODデータ」というとらえ方です(LOD 4つ星の条件 参照解決(コ ンテンツネゴシエーション)を実現しています)  例えばKYOTO OPEN DATAサイトをブラウザで開くとRDFaとしてのWebページ(HTML)が閲覧できます が、同じURLでRDF/JSONなどの形式でもデータを出力・提供しています https://data.city.kyoto.lg.jp/node/14558 https://data.city.kyoto.lg.jp/node/14558.rdf https://data.city.kyoto.lg.jp/node/14558.json
  42. 42. 2017/07/06 42 P SPARQLエンドポイント  KYOTO OPEN DATAページに紐づけたファイルへのリンクは、そのまま(別途加工の手間をかけずに) SPARQLエンドポイントに自動で送り込むことが可能です。規定されたフォーマットでオープンデータを 提供することが容易にできるのです RDFはデータとデータを繋ぐための形式 RDF形式のデータ
  43. 43. 2017/07/06 43 P ckan互換API  もちろん、API利用にも対応。DKANのAPIはckan互換なので、既存のソリューションを再利用すること も問題ありません。
  44. 44. 2017/07/06 44 P 日本の自治体に即した複数カテゴリの切り口
  45. 45. 2017/07/06 45 P メタデータだけでなく、ファイル内検索も可能 • DKANは、ApacheSolrと連携させることで、全文検索が可能 • メタデータの検索に加え、ファイルの中身もすべて検索することができる PDFやエクセルなどのファイル内コンテンツの中身も検索できる • Drupalのモジュールと連携させることで、管理画面からSolrの設定ができる • ユーザーの検索を補助する、オートコンプリート機能も搭載
  46. 46. 2017/07/06 46 P データの一括登録補助機能 データポータルのデータセット及びリソースの一括登録を行う機能です。 リソース一括登録用のExcelテンプレートに、DKAN及びリソースに関する情報(メタデータ等も含む)を入 力し、CSVで出力します。 一括登録するリソースファイルを まとめてフォルダに入れておく ①ローカル環境でExcel テンプレートで登録用 データを準備 一括登録対象 リソースファイル リソース一括登録用CSV(Excelテンプレートで作成してCSV出力) ②DKANで CSVファイル を読み込み ③ファイル登録 リソース作成 組織 データセット リソース 実ファイル … 情報統計担当 人口統計 人口統計2015 toukei2015.csv … 情報統計担当 人口統計 人口統計2014 toukei2014.csv … ローカル サーバー
  47. 47. 2017/07/06 47 P API化のためにIPA共通語彙基盤による変換機能搭載 共通語彙基盤に合致させたAPIを作れるようにするため、表形式データのヘッダ部分をローマ字 に自動変換するためのテーブルを、ポータルサイト上に準備しています。ローマ字の変換を担 当課に任せるのは難しい範囲になると想定されるため、変換表をメンテナンスの担当課で整備 し、自動で変換を行えるようにします。 住所 緯度 経度 address lat lon ・・ ・ 日本語 語彙 住所 address 緯度 lat ・・・ ・・・ 登録時、変換表を元にヘッダを日本語から自動変換します 共通語彙基盤対応表(Web上) データ(リソース) データ(リソース)
  48. 48. 2017/07/06 48 P Excel to CSV – データ変換支援機能  セル結合やマクロ処理等がなく、CSV加工がしやすい形状のExcelファイルについては、CSV化作業を効率化する ツールを備えています  タイトル行の日本語を、経産省・IPAが規定する「共通語彙基盤」の英数字表記に自動置換する機能を使えば、 APIなどでのデータ利用が可能になります。 住所 緯度 経度 … address lat lng … 日本語 語彙 住所 address 緯度 lat 経度 lng 自動変換 データ(リソース) データ(リソース) CSV 共通語彙基盤対応表(Web上)
  49. 49. 2017/07/06 49 P CSV/Excel to RDF 変換サービス  統計データなどデータそのものをRDF化しやすいものに関しては別途変換を掛けて登録しています  SPARQLエンドポイントで取り出しやすいデータに加工が可能です
  50. 50. 2017/07/06 50 P 自治体Webサイトとのファイルアップロード同期 【オプション】  既存の自治体公式Webサイトにファイルをアップロードしている場合、公式Webサイト側のCMSをカスタ マイズして、KYOTO OPEN DATAと公開データを同期することが可能です  KYOTO OPEN DATAが持つAPIに対してメタデータとファイルを送信すれば、普段通り自治体Webサイト を運用するだけで、自動的にオープンデータカタログが構築できます。 公式Webサイト CMS API経由 ファイル同期 組織 データセット リソース 実ファイル … 情報統計担当 人口統計 人口統計2015 toukei2015.csv … 情報統計担当 人口統計 人口統計2014 toukei2014.csv … ファイルアップロード・登録
  51. 51. 2017/07/06 51 P コミュニティ機能 【オプション】  「五つ星」のオープンデータ提供を実現したら、次はそれを「活用」してもらう段階です  Drupalのフォーラム機能を使って市民、自治体、開発者の意見交換  ホワイトハウス請願サイト的な仕組みで市民からNeedsを吸い上げることも https://petitions.whitehouse.gov/
  52. 52. 2017/07/06 52 P ckan -> KYOTO OPEN DATA マイグレーション【オプション】  既存のckanからKYOTO OPEN DATA への載せ替えも可能  200の組織、6000データリソースを移 行してdkan化を実施しました  【実績】アーバンデータチャレンジ http://udct-data.aigid.jp/ ※現在は、国からG空間情報センターを運営を委託されてい るAIGIDがサポートしています。こちらもフロントのDrupal はANNAIが担当しています。
  53. 53. 2017/07/06 53 P KYOTO OPEN DATA vs ckan 機能比較表 技術項目 KYOTO OPEN DATA ckan ユーザーの権限情報を自由に追加 ◯ メタデータ項目の新規登録・追加・編集・削除 ◯ データセットの公開期間設定 ◯ リソースの多彩なプレビュー ◎ ◯ リソースを共通語彙基盤に基づく語彙に自動変換 ◯ 共通語彙基盤の語彙の変更時にリソースを一括更新 ◯ 大量データの一括登録・編集・削除に対応 ◯ 1つのリソースを複数のデータセットに紐づけることができる ◯ 編集者による掲載申請と、管理者による承認 ◯ 管理者による掲載申請の一括承認 ◯ データリソースファイルのファイル内検索 ◯ 英語メニュー対応 ◯ ◯ ダウンロード数・利用者数などの統計情報 ◯ △ 機能拡張性(ECなどの他機能) ◯ トップページなどのデザインを自由に変更 ◯ レスポンシブ・デザイン ◯ CKAN API互換 ◯ ◯ RDFファイルをSPARQLエンドポイントから提供 △ △ 上記の機能が入ったサイトを1つのサイトで管理・運用 ◯
  54. 54. 2017/07/06 54 P アプリケーション開発者に向けて
  55. 55. 充実したプレビュー機能① ●テーブル表示 • ファイルをアップロードすれば、あとは最適にプレビュー化される
  56. 56. 充実したプレビュー機能② ●MAP表示 • ファイル内に緯度/経度のデータが含まれていれば、このようにMAP化される
  57. 57. ●ExcelやOpenXMLの他、SHP, Arcgis, KML、GeoJSONなど 様々なプレビュー機能を搭載 充実したプレビュー機能③
  58. 58. 2017/07/06 58 P ファイル内検索  Webサイトからのデータの検索は、DKANに組み込まれたファイル内検索機能を利用し、 PDFやExcelのファイル内検索にも対応しています DKANの機能
  59. 59. 2017/07/06 59 P • データをダウンロードすると、ある時点でのデータしか取得できないが、APIで取得する ことで常に最新のデータを取得することができる • 手動ではなく、プログラムを通じて自動でデータを取得することができる イラスト出典:http://www.mashery.com/api-management/evolution API 化するメリット
  60. 60. 2017/07/06 60 P API機能① • DKANは、標準でCKAN互換のAPIを持っています • APIの追加やカスタマイズも非常に簡単。必要フィールドのみのデータ取得も可能。
  61. 61. 2017/07/06 61 P • APIのクエリ例が表示されるためわかりやすい API機能②
  62. 62. 2017/07/06 62 P 市民・ユーザー向け機能
  63. 63. 2017/07/06 63 P 市民・ユーザー向け 機能 アプリ紹介ページ お問い合わせフォーム DKANのCMS機能を利用した市民向けページ
  64. 64. 2017/07/06 64 P 今後の課題
  65. 65. 2017/07/06 65 P 行政職員向け いかに部局にデータを出してもらいやすくす るか 仕組みと意識 メリット訴求 クローズドなデータ共有環境として API利用を前提としたCSVのデータストア化 自治体間共通フォーマットの協議
  66. 66. 2017/07/06 66 P 開発者向け 欲しいデータを行政へフィードバックするコミュニ ティ フォーラム機能 Code for Xのようなリアルコミュニティ ビジネスに使ってもらいやすいデータ提供 DBPediaなどSPARQL Endpoint間のデータ連携と数 珠つなぎ検索はまだまだこれからの機能
  67. 67. 2017/07/06 67 P 市民向け 市民が感じている課題を集約する 開発者が燃えるポイントはそこ いかに課題を見つけるか 情報開示請求を必要とせず、データが自分で探して ダウンロードできることを周知 欲しいデータのフィードバック
  68. 68. 2017/07/06 68 P ありがとうございました! 既存データを加工する手間を最小限に抑えながら、広く市民に利用されるオープンデータ提供を実現。 KYOTO OPEN DATAを利用したオープンデータ化業務の推進、KYOTO OPEN DATAの導入支援・構築に ついては以下の連絡先まで、お気軽にご相談くださいませ。 ANNAI株式会社(アンナイ) E-MAIL support@annai.co.jp URL http://annai.co.jp TEL 050-3754-7111 KYOTO:京都市下京区中堂寺南町134 KRP内 ASTEM8F OSAKA:大阪市北区鶴野町4-A-202 TOKYO:東京都台東区台東1-9-4 松浦ビル5F
  69. 69. 2017/07/06 69 P ASP提供  これらの特徴を備えたKYOTO OPEN DATAを、ANNAIはクラウドサービス(ASP)としても提供しています  国内でホストされるMicrosoft Azure、Amazon Web Service (AWS) 、GCP (Google)上にシステムを構築。 月額の利用料という形で費用をご負担いただくため、初期費用を抑えることができ、サーバメンテナンス などの負荷からも解放されます

×