YAPC::Asia 2014 前夜祭　hrhm.infoのお話

1. YAPC::Asia 2014 前夜祭

3. スタッフの方へお願い

4. 不適切な発言があったら
ピー音入れて下さい

5. あたし
ID:hondallica（ホンダリカ）※Lは2つです
職業：HeavyMetal Programmer
年齢：100,03x歳
血液型：X
出身：北海道
好きな言葉：親に嫌われたら一人前だ
URL: http://sukuna.net/
https://github.com/hondallica
Hachioji.pmに出没します。

6. 本日のセットリスト
・ヘヴィメタルとは
・サービス(hrhm.info)のご紹介
・データの集め方
・副産物

7. 問

8. お客様の中にハードロック・ヘヴィメタルが
好きな方はいらっしゃいますか？

10. ヘヴィメタルとは

18. ヘヴィメタルとは
・社会にちょっとなじめない人たちが
・重低音をかき鳴らしながら
・ファンタジーの世界に迷い込んだり
・世の中間違ってると叫んでいる
・聴いている人があんまりいない
・かわいい音楽
DEATH!!

19. 本題

20. Hard Rock & Heavy Metal
Web Service
http://hrhm.info

21. YouTubeの動画探すの楽な
俺得サービス

22. DEMO

23. 構成
・VPS: Digital Ocean ( 安い・SSD速い）
・Web Server: Nginx (使ってみたかった
・App Server: Starman (これしか知らなかった
・WAF: Mojolicious::Lite (覚えやすかった
・WebAPI: node.js( 使ってみたかった
・SQLite: ファイルポン置きでリリースできる

24. 構成
・自分の既存の知識で扱える構成にする
▶ インフラ構築の勉強も兼ねているので
スモールスタート
・とにかく公開することを優先
・個人サービスだし困ったら後で見直せばいい

25. データの集め方

26. 必要なもの
・PC
→データ収集専用機があるとよい(常時稼働)
・DB
→お好みで
・ちょっとしたプログラミング能力
→HTTP投げてDBに突っ込む程度で大丈夫
・狂気
→根こそぎデータ集めるぞという気持ち

27. ひたすらデータを集める

28. ひたすら
Scraping、WebAPI

29. 主な情報源
・HR/HMニュースサイト
・Last.fm
・SoundCloud
・MusicBrainz
・Bandcamp
・Myspace
・Facebook
・Twitter

30. 押さえておくべき
2サイト

31. Last.fm
・インターネットラジオ + SNS
・ユーザーが聴いている曲情報が共有される

32. Last.fm
・恐ろしくAPIが充実している

33. Last.fm
・CPANモジュールあります
・Net::LastFM
・WebService::LastFM
・etc...

34. MusicBrainz
・音楽のWikipedia
・メタデータが豊富

35. MusicBrainz
・特にMusic Brainz ID(MBID)が重要
アーティスト、アルバム、楽曲などにユニークなID
が振られている。
4bd02db1-3592-4d15-9aa5-23c9591e49ce
Last.fmやその他音楽系WebAPIでは、リクエスト
パラメータにMBIDを使える事が多い。
サービス間連携に超重要！

36. MusicBrainz
・CPANモジュールあります
・WebService::MusicBrainz

37. MusicBrainz
さらに

38. MusicBrainz
・このサービスのVMがダウンロードできます
http://musicbrainz.org/doc/MusicBrainz_Server/Setup
・コマンドでマスターサーバとDB同期できる
・ローカル環境でAPI叩き放題
・DB(PostgreSQL)に直接アクセスも可
・チラ見した限りだと80万以上のアーティスト が登
録されていた

39. 集めたデータ

40. Band
・Band Name
・Country
・Genre（Thrash, Death, Power...）
・Status(活動中,休止中,解散...)
・収集中ですがライヴ履歴も
100K〜 records

41. Artist
・Name
・Country
・Age
・Gender
・Part(ヴォーカル,ギター,ドラム...)
・History(今まで所属していたバンド)
500K〜 records

42. Discography
・Name
・Type(シングル,アルバム,ビデオ...)
・Release Date
240K〜 records

43. Track
・Title
・Length
・Lyric（ごく一部）
1.7M〜 records

44. Similar Band
・Band
・Similar Band
・Score（関連性を独自集計）
▶ 複数のWebAPIのスコア
▶ 同じアーティストが所属していた
▶ 一緒にライヴをやった回数
▶ 独断と偏見
4.2M〜 records

45. 同名バンド

46. 読めないバンド
↑文字化けではありませんバンド名です

47. 頻出ワード
Death Black Dead Blood War
Life Night Time World Hell
Dark Die Darkness Fire End
Last Love Evil God Metal
みなさんもよく使うと思います

48. 似ている・関連バンド(demo)
http://hrhm.info/similar

49. DB
・最初はとにかく集める
・サイトによって取れる情報が異なる
▶ いきなりきれいに構造化はできない
・HTML、JSON、XMLを生データのままDBに
格納しておく
・最低限サービス公開に使う情報を構造化
例：バンド名、アルバム名、曲名、国、
ジャンル、アーティスト名

50. データ収集中に生まれた
副産物

51. メタル系の人は

52. ヘビメタって言われるのを
嫌います

53. 曲に合わせて頭振るのを
ヘッドバンギングと
言いますが

54. ヘッドバンキングって
書いてるのをよく見ます。
何銀行だよ！？

55. 副産物(1)
Chrome拡張作りました。
https://github.com/hondallica/userscript-heavymetal

56. 副産物(1)
最高にクールだろ？

57. 副産物(2)
さきほどご紹介したLast.fmのCPANモジュール
Net::LastFM
api_keyいちいち入力したくないので、引数を省略
したら$ENVから読みたい。

58. 副産物(2)
依存モジュールが重そうだった。

59. 副産物(2)
完成してませんが、Net::LastFM::Liteを作ってみ
ました。(GET系APIなら動くはず)
https://github.com/hondallica/p5-Net-LastFM-Lite

60. 副産物(2)
ほぼモジュール差し替えですが

61. 副産物(2)
けっこう速くなった。
Benchmark: timing 400 iterations of lfm, lfml...
lfm: 305 wallclock secs ( 1.34 usr + 0.17 sys = 1.51 CPU) @ 264.90/s (n=400)
lfml: 296 wallclock secs ( 0.66 usr + 0.13 sys = 0.79 CPU) @ 506.33/s
(n=400)
Rate lfm lfml
lfm 265/s -- -48%
lfml 506/s 91% --

62. 副産物(3)
・bandcampというアーティスト直販サービス
・インディーズバンド多め

63. 副産物(3)
・APIはありますがCPANモジュールなかった

64. 副産物(3)
WebService::Bandcampリリースしました。

65. 残念なことに

66. APIキーの配布が停止中
このモジュールは
APIドキュメントからリンクされてる
サンプルリクエストのキーを使って作った。

67. 自分専用として始めた
サービスですが

68. 現在95カ国からご利用頂いております
アフリカ・中東・グリーンランド、北朝鮮に
メタラーのお友達がいたら宣伝をお願いします

69. まとめ
・自分の好きな事を形に
・データ持ってるとできることが広がる
・しょぼくても公開する事が大事
▶ この場で話す機会がいただけた！

70. The End