Code4Lib JAPAN Conference 2021 ライトニングトーク2日目発表スライド

1. saveMLAK covid19-survey の
時系列データ作成の試み
Code4Lib JAPAN カンファレンス2021 LT(2日目)
2021年9月12日
saveMLAK covid19-libdata チーム
常川真央
1

2. saveMLAKとは / COVID19-surveyとは
• saveMLAK
• 博物館・美術館（M）、図書館
（L）、文書館（A）、公民館（K）
（M＋L＋A＋K＝MLAK）の被災・
救援情報サイト
• 東日本大震災を機に発足
• COIVD19-survey
• 新型コロナウィルス(COVID-19)の感
染拡大による図書館の休館・対策
状況の調査プロジェクト
• 株式会社カーリルによる独自調査
を引き継ぐ形で発足
2

3. これまでの調査
3
• 2020年4月15日から2021年8月21日までの1年4か月弱、
21回の調査を実施（次回は2021年9月17～19日）
https://savemlak.jp/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:closing-libraries_newly-confirmed-
cases_covid19(2020-04_2021-07).png

4. 調査結果データ活用への課題
• 時系列的な変化をみるためのデータ加工にひと
手間かかる
• 調査結果が複数のファイルに分かれている
• 調査回ごとに凡例が異なっている（新たな調査項目の追加や
開館状況の記録の粒度など）
• テーブルデータであるがゆえの不都合（一つのセルに複数の
値を入れているなど）
• ⇒これまでの調査結果を集約したデータセット
を作れないか？
4

5. 構想：いつでもWikiから全自動でデータセットを作
成・更新したい
5
変換プログラム
オリジナルソース
Wikiサイト
取得
集約
データセット作成スクリプト
出力
全調査分を統合した
データセット
(JSONL形式)
構造化データへ
の変換

6. MediaWiki APIによるファイルの機械的アクセス
• 事前に作成した調査データリストをsaveMLAK Wikiに
アップロード
• https://savemlak.jp/wiki/%E3%83%95%E3%82%A1%E3%8
2%A4%E3%83%AB:saveMLAK_covid19-survey_index.txt
• MediaWiki のAPIを利用してsaveMLAKのWikiにアップロー
ドされているファイルの最新版とメタデータを取得
• 参考： https://www.mediawiki.org/wiki/API:Imageinfo/ja
6

7. Google Collaboratoryによるデータ変換
7
• ブラウザ上でデータ分析のプログラムを実行できる
Google Collaboratory を利用
• 変換後のデータ構造をPythonの dataclasses で定義

8. データの概観（整形後）
8

9. 現状と展望
• 現状スクリプト
• https://colab.research.google.com/drive/1wgi3XiHe8F_mxz
Vh62K2BdYUONeyrkRB?usp=sharing
• 最新7回分程度の調査結果データの変換に成功(12000
件ほど）
• 初期のデータ構造への対応に取り組み中
• 試行版データ
• https://drive.google.com/file/d/1mXzAy_b_-vP7uH-GZrCn-
SeLDULzdNqi/view?usp=sharing
• JSON Lines 形式（下位行区切りでJSONデータを格納）
で保存 9

10. 今後
• 全調査回の変換ができるようにスクリプトを完
成させる
• より使いやすいデータ構造の検討
• Kibana などデータ可視化ツールに読み込ませて
活用したい
10

11. 最後に……
• saveMLAKでは、saveMLAKの活動費用（サーバ
代など）に充てるために寄付を募っています。
• 皆様の調査＆寄付のご協力をお願いします！
• saveMLAK:saveMLAKへの寄付
• https://savemlak.jp/wiki/saveMLAK:saveMLAK%E3%81%B8%E3%81
%AE%E5%AF%84%E4%BB%98
11