YAPC::Asia 2014 の前夜祭で発表した資料です。

1. perlで挑む
ごみ収集カレンダー
YAPC::Asia 2014 前夜祭

2. 自己紹介
•@syachi
•札幌から来ました
•サーバサイドよりなWeb系の人
•perlは昔つかっていました
•号泣県議コンバーター作りました

6. 号泣県議コンバーター
を支える技術

7. Mojolicious::Lite
と
Text::MeCab

8. 以上

9. 旬は短い

10. 本題

11. ごみ収集日カレンダー
iCal版
作りました

12. http://gomical.net

14. gomical.net とは
•元はHokkaido.pm casual のお題
「札幌市のごみカレンダーのPDFから
データを抽出する」が始まり
•やっていくうちに
札幌市のゴミ収集日をiCalで提供
するところまで来た。

15. 元となるデータ
•札幌市で公開しているデータは...
•日本語版カレンダー(PDF)
•音声読み上げ用カレンダー(HTML)
•これらを元になんとかparseして
扱いやすいデータにする

17. これが全部で
＼46パターン／

18. 既に挑んでいる人がいた
•他のイベントでチャレンジをしていた
•PDFを元に人力でデータにしたらし
い。

19. ちなみに
pdftotextで変換すると…

21. たしかに手作業の方が早いかも

22. ちょっとまって

23. PDFがダメなら
音声読上げ用データ
があるじゃない

24. 平成26年8月の収集日です。燃や
せるごみは、毎週火曜日と金曜日
です。びん・缶・ペットボトルは
毎週月曜日、容器包装プラスチッ
クは毎週木曜日です。雑がみは6
日、20日の水曜日です。燃やせな
いごみは13日の水曜日です。枝・
葉・草は27日の水曜日です。

25. とりあえず「。」で分ける
平成26年8月の収集日です。
燃やせるごみは、毎週火曜日と金曜日です。
びん・缶・ペットボトルは毎週月曜日、容器
包装プラスチックは毎週木曜日です。
雑がみは6日、20日の水曜日です。
燃やせないごみは13日の水曜日です。
枝・葉・草は27日の水曜日です。

26. 日付がわかるものは抽出する
平成26年8月の収集日です
燃やせるごみは、毎週火曜日と金曜日です
びん・缶・ペットボトルは毎週月曜日、容器
包装プラスチックは毎週木曜日です
雑がみは6日、20日の水曜日です
燃やせないごみは13日の水曜日です
枝・葉・草は27日の水曜日です

27. 残りは曜日だけ
平成26年8月の収集日です
燃やせるごみは、毎週火曜日と金曜日です
びん・缶・ペットボトルは毎週月曜日、容器
包装プラスチックは毎週木曜日です
雑がみは6日、20日の水曜日です
燃やせないごみは13日の水曜日です
枝・葉・草は27日の水曜日です

28. 曜日から日付を取得する
# 2014年8月の火曜日を取得する
use Date::Manip;
my @d = ParseRecur("every Tuesday in August 2014");
# $VAR1 = [
# '2014080500:00:00',
# '2014081200:00:00',
# '2014081900:00:00',
# '2014082600:00:00'
# ];

29. 記述の揺れ
枝・葉・草はA日のX曜日です
枝・葉・草はA日、B日のX曜日です
枝・葉・草はA日の収集です
「収集です」？？
こういうゆれが結構ある

30. もしかして
元データは
手作業で作ってる？

31. 全部のパターンを
正規表現で作る！

32. すべてのデータの吸い上げ
•WWW::Mechanize を使って
すべてのデータをクロール
•アタックにならないように注意

33. データをお好みの形式で出力
•csv
•json
•iCal
•SQL
•その他

34. あとはデータを公開するだけ
•最初はgithubにiCalで出力したものを
置いてみた
•googleカレンダーで取り込んだら何
故か文字化け...

35. 解決
•どうやらContent-Typeを
text/calendar; charset=utf-8
にしないとダメっぽい
•そうだherokuにしよう
•ついでにドメインとるか
•http://gomical.net

36. デモ

37. 札幌以外の地域のカレンダーの
プルリクお待ちしてます:-)

38. 次回のデータ更新は９月

39. スクリプトがうまく動くか
お楽しみに！

40. おわり