日本計算機統計学会 第36回大会(愛媛県松山市, 2022年5月21日(土)〜22日(日))で発表。 22日(日)10:50-11:10 http://jscs.jp/conf/taikai36/%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%a0/

1. インターネット等から
データを自動収集する
ソフトウェアに
必要な補助機能とその実装
2022-05-22(sun) 下野寿之
日本計算機統計学会 第36回大会 (愛媛県県民文化会館)
1

2. Nomenclature :
• e.g. = “例” (ラテン語の exempli gratia )
• etc. = ”など” (ラテン語の et cetera )
• i.e. = “つまり” (ラテン語の id est )
• crontab = 毎分実行されるcronデーモンに
設定情報を設定するためのコマンド
• DL = ダウンロード
• STDOUT = 標準出力
• STDERR = 標準エラー出力
• URI = Uniform Resource Identifier
• URL = Uniform Resource Locator
2

3. 前提: データを自動収集する(1)
1. 手作業を頻繁に介さず、自動的に収集したい。
2. データ源としては (例) :
• インターネット上のオープンデータ
• 厚労省オープンデータなどの新型コロナ関連情報 etc.
• 各種のクラウドサービスで更新しつつ提供されるデータ
• Googleドライブ, Amazon Web Service, etc.
3. 収拾したデータの保管の仕組み (例) :
• Gitのレポジトリに保管し、GitHubと同期する。
• ディレクトリに、日時の値で名前を付与して、格納する。
3

4. 前提: データを自動収集する(2)
下記の状況 を仮定 — 十分に一般的！ :
1. URLなどで指定されたデータを、DLして、
必要に応じ加工するプログラムがある。
2. 実行時に、STDOUT等に、次の情報を出力。
• HTTPステータスコード (200, 404など)
• DLしたファイルのサイズ
• その他不具合の情報 etc.
3. crontabで定期的に起動。
4

5. 参考: crontab とは? (cron)
• Unix系OSにおいて、コマンドの定期実行の管理を
行うための、コマンドである。
• 分 時 日 月 曜日を表す5個の数(範囲と周期を表す文字
列の場合もある)の後に実行するコマンドが並ぶ。
• crontab –e で編集。先頭の#でコメントアウト。
5

6. ⽇本全国と各都道府県の 毎⽇の新規感染者数
ＪＸ通信社 提供のデータを加⼯（2020年1⽉15⽇〜翌年2⽉7⽇; 横軸の数は⽉を表す）
6
この図の、元のデータを集める際に、本発表のコマンドが使える例 ☝

7. データ自動収集で起こる問題 :
想定困難な不具合が発生する :
• 次回の収集時まで、バグが分からない。
• 通信エラーも時々発生。データの形式が変更されることもある。
• 受信したデータがどんどん増大する。(複雑化も起こる。)
◎ 以下の共通する機能が欲しくなる :
1. 不具合発生の記録に日時情報を加えたい。
2. どんどん膨らむデータのサイズを監視したい。
3. 増えるディレクトリの中を手際よく把握したい。etc…
→ 上記の機能で、既存の仕組みで簡単なものが無さそう。
7

8. 今回提供し紹介する機能 :
• シェルプログラミング用である
• UNIX系コマンドである。
• 再利用性と汎用性を高くした
• 毎回必要に応じ作り直す必要を減らした(バグが減る)。
8
timeput
入力の各行に、日時を先頭に追加。
timestamp
ログファイルの最後に、
日時情報が無ければ、追加。
dirdim
指定ディレクトリが持つ
ファイルの個数を算出。
dufolder
指定ディレクトリが、
ディスク上占有するバイト数を算出。
Gitレポジトリであれば、算出結果を
Gitのメッセージにして空コミット可能。
filedays
指定ディレクトリ内の全ファイルを
日時情報に従い日単位で集計する。
(分単位や、月や年単位に変更は可能)

9. 今回提供し紹介する機能 (2) :
• できるだけ使い易くなるように工夫した
• 思い出し易さ、間違いのしにくさ etc.
• コマンド名は10文字以内, 基本的に単語2個の連結
• 便利な機能は引数を付けても15文字程度以内。
• オプションを多数持つ
• --help で端末からすぐにヘルプマニュアルを読める。
• オプション( -j や –r など)により、機能が豊富である。
• オプションはパラメータを伴う場合がある。
• 例: timeput –c ’faint red bold’
9

10. 参考: インストール方法
• 各機能は、各コマンドとして提供される。
• 実行可能な各1個ファイル単体で本質的に構成。
• Perl言語で書かれている(50年後に使えることも考えた)。
• CPANモジュールとしてインストール可能。
• モジュール名は、それぞれ、
App::dirdim App::dufolder App::filedays
App::timeput App::timestamp
• cpanm App::コマンド名 でインストール。
• アンインストールしたい場合: cpanm -U App..
10

11. 各コマンドの動作
11

12. filedays
12

13. 13

14. timeput
14

15. 15

16. timestamp
16

17. 17

18. dufolder
18

19. 19

20. 20

21. dirdim
21

22. 22

23. まとめ :
1. 今回の話は、数理統計やモデリングを必要と
する研究者を補助的に支援するための、非常
に有用と考えられるツールの提供の話である。
2. データを自動的に収集する際に、既存の仕組
みでは平易に実現しにくかった機能を、実装
し、即座に提供可能とした。
3. 10文字以内のコマンドで、15文字以内のコマ
ンド文で、日時情報の記録やデータファイル
の量の確認を容易にした。
23

24. 参考文献 :
• [1] Perl Hackers Hub 第69回 表形式データを操るUNIXシェル型Perl製コマンド群 ―ビッ
グデータ時代の汎用的なデータ整備と分析のために, 下野寿之, 技術評論社 WEB+DB
PRESS Vol.124（2021年8月23日発売）, https://gihyo.jp/dev/serial/01/perl-hackers-
hub/006901
• [2] 私の研究開発ツール（第100回）Table::Hack 表形式データの前分析ソフトウェア,
下野寿之, 映像情報メディア学会誌/72 巻 (2018) 7 号, https://doi.org/10.3169/itej.72.551
• [3] A Hacking Toolset for Big Tabular Files, Toshiyuki Shimono, in Proceedings of 2016 IEEE
International Conference on Big Data, pp.2902-2910.
• [4] A Quarter Century of UNIX, Peter H. Salus, Addison-Wesley Publishing Company, 1994.
• [5] Data Science at the Command Line: Facing the Future with Time-Tested Tools, Jeroen
Janssens, O'REILLY, 2014.
• [6] moreutils, https://joeyh.name/code/moreutils/, https://github.com/stigtsp/moreutils,
https://packages.debian.org/unstable/utils/moreutils, Joey Hess, 2006 ~ .
24

25. 予備スライド
25

26. cpanmを使うために
cpanm を使うと、cpanと異なり、
• CPANモジュールのアンインストールが楽である。
which cpan でcpanが導入済みであることを確認。
which cpanm でcpanmが無い場合 :
• cpan App::cpanminus を実行してcpanmをインストール。
• cpanmで権限問題が発生した場合、その警告メッセー
ジの中間にあるような下記のコマンドを実行。
1. cpanm --local-lib=~/perl5 local::lib
2. eval $(perl -I ~/perl5/lib/perl5/ -Mlocal::lib)
3. 上記は ~/{.bashrc,.zshrc} に追記すること。
4. cronで使うには別の設定ファイルに書き込む?
26

27. 参考: マニュアル(使い方)の参照法
• --help ですぐに分かる(現状は日本語のみ)。
• 例 : dirdim --help ..
• man dirdim または perldoc dirdim のような形も可能。
• 現状では見てすぐ分かるマニュアルでは無い。
• 試しにいろいろ使ってみることを要求している。
• 試しに簡単に使って、大きな不具合は起きにくい。
• その水準のマニュアルは、やや一般的であろう。
• 例 : R言語のマニュアル
27

28. 参考: 未達事項
• 英語のマニュアルは、用意していない。
• $LANG の値が ja_JP.UTF-8 か否かで、分けたい。
• 各コマンドの分かり安い解説書はまだ無い。
• コマンドの tabs などを上手に使うことを要求。
• ExtUtils::MakeMaker に依存しないインストー
ラーを自作することをしてみたい。
• timeput に-Tのオプションを付加することで、
ISO8601形式に対応するようにしたい。
28

29. 参考: 各コマンドの作成方針
• 10文字以内とした。手入力が楽な様に。
• 意味のある英単語2個の組合せとした。
• N個の組合せだと、想起時にN! 通りの中で迷う。
• N=2⇒ 2通り 試せば良い。; N=3 ⇒ 6通りもある。
• 当然使われていないコマンド名と採用した。
• STDERRへの出力は着色イタリック太字とした。
29

30. 30