2023/02/04 LT会にて発表を行ったスライド

1. オープンデータ開発
TIS株式会社 宮岡時生

2. 目次
 自己紹介
 開発しているOSS紹介
オープンデータパッケージマネージャ dim
 オープンデータを使った開発
東京都の避難所位置を可視化

3. 自己紹介
 名前：宮岡 時生
 所属組織：TIS株式会社
 出身：神奈川県藤沢市
 専攻：情報科学専攻
 趣味：ゲーム、カラオケ

4. 用語を３つ紹介！
 OSS
 Open Source software の略
 インターネット上でソースコードが公開
 誰でも自由に使用・改変・再配布が出来る
(総務省 情報通信白書より)
 オープンデータ
 営利目的・非営利目的を問わず二次利用可能なルールが適用されたもの
 機械判読に適したもの
 無償で利用できるもの
(デジタル庁 オープンデータ基本指針より)
 データ連携基盤
 都市間で容易にデータの連携・接続を可能にする基盤
(デジタル庁 データ連携基盤の整備についてより)

5. オープンデータを使う
１．欲しいデータを検索
２．欲しいデータを見つけたらブラウザからダウンロード
３．データを確認
(不備や欲しいデータではなかった場合は１に戻る)
４．オープンデータを加工
(文字コード変換・フォーマット変換)
５．データを保存
(プロジェクトのディレクトリ・データベース)

6. 問題点
 どこから取得してきたデータかわからなくなる
 データにどのような加工をしたかわからなくなる
 複数人の開発の場合、同じ手順をしないといけない

7. オープンデータパッケージマネージャ
dim

8.  以下の情報を保存・共有できる
 データ取得元URL
 データの最終更新日
 データのバージョン
 必要な後処理(文字変換などの加工を行う場合)
 データの hash 値
諸元を体系化して共有

9. CLIでデータを準備
 dim install xxxxx でデータをダウンロード
 オプションをつけることで以下の後処理が可能
 文字コード変換
 .xlsx to .csv 変換
 Zip解凍
 自作スクリプト実行
 他の開発者は１コマンドで一発ダウンロード
 package.json に保存・共有されているデータを一括ダウンロード

10. 東京都の避難所位置を可視化
 可視化した様子
 構成イメージ

11. オープンデータを使った開発
 利用した技術
FIWARE (データ連携基盤)
Orion (ブローカー機能)
WireCloud (可視化ツール)
Deno
Typesctipt
Docker
dim
Git, GitHub

12. 構成イメージ

13. dim を使ってデータを取得
 以下のオープンデータカタログサイトから欲しいデータを検索
https://search.ckan.jp/
 dim を使ってインストール
 データの加工処理をTypescriptで記述
 データ内の必要な項目のみを抜き出す
データ取得先
URLを指定
データ名前を登録
文字コード変換
フォーマット変換

14. 避難所データを可視化
 docker 上で以下のコンテナを立ち上げる
 Orion
 WireCloud
 WireCloud の設定を行う

15. 可視化する
 Orion にデータを投入！

16. まとめ
 データを取得してくるのは面倒
 オープンデータは形式や内容がバラバラ
 複数人で開発を行う場合はそれぞれがこの作業を行う必要がある
 オープンデータがバラバラに公開されている
 よくある組み合わせをあらかじめ用意する

17. 少しでも興味を持って頂いた方は・・・
dim の記事 開発の記事
OSSとして開発を行っているので
開発に参加して頂ける方は大歓迎です！
← dim のGitHubページへのQRコード