ニコニコデータ研究会で使用したスライドです。

1. myrmecoleon

2.  2012年12月末のコミック
マーケット83で頒布
 500
 ニコニコ動画の基本的な
データを整理して記述し，
ニコニコ動画の現状を考
察・活用する上の材料と
することが目的。2009年8
月よりシリーズを刊行開
始。

3. 2009年8月 ニコニコ動画統計データチートシート
12月 ニコニコ動画統計データハンドブック 暫定版
2010年8月 ニコニコ動画統計データハンドブック（夏）
12月 ニコニコ動画統計データハンドブック（冬）
2011年2月 ニコニコ動画統計データハンドブック2011
ニコニコ動画統計データハンドブック ニコつく出張版
8月 ニコニコ動画タグデータハンドブック
12月 ニコニコ動画統計データハンドブック2012
2012年8月 コミケ・pixiv・ニコニコ動画
12月 ニコニコ動画統計データハンドブック2013

4.  動画データの解説
 投稿数・削除動画・動画のサイズ・長さ・ビットレート
 再生数・コメント数・マイリスト登録数
 うｐ主データの解説
 うｐ主の数・全体のユーザー数
 性別や年齢の分布・所在地・ジニ係数（偏りの分析）
 タグデータの解説
 カテゴリタグすべて
 実況プレイ動画・MikuMikuDance・UTAU・音MAD
 タグの順位なども

5. 1. PHPでクローラを書いてニコニコ動画の非公
開API等からデータ収集 ←ここを解説
2. MS AccessのDBに入れて管理
3. MS Access・Excel・Rなどを使ってデータ集計，
グラフなどを作成。
4. Adobe InDesignでレイアウトして原稿作成。

6.  動画
 動画ID・投稿日時・サイズ・長さ・再生数・コメン
ト数・マイリスト登録数・投稿者のユーザーID
 タグ
 タグのついている動画ID
 投稿者
 ユーザーID・プレミアム会員登録・性別・生年月
日・所在地など
 ほか

7.  動画数約850万。
 連番では約2000万。
 これだけの動画のメタデータをできるだけ短期
間で収集しないといけない。
 現状のスナップショットを把握するため
 今回は10日間の幅を目標とした

8.  サムネAPI
 http://ext.nicovideo.jp/api/
getthumbinfo/smxxx
 動画について必要なすべての
情報が得られる。
 1動画につき1アクセス必要。
 ex.現在850万動画…1秒1アク
セスでおよそ100日必要。
 動画IDが分からないと使え
ない。
 連番で2000万を超える。
 10日間ですべての動画を
叩くのは非常に困難。

9.  複数の方法を組み合わせて効率的な収集の方法
を考えるべき
 収集したい動画メタデータを
 固定したもの（変わらないもの）
 変動するもの（変わるもの）
 に分けて別個に収集する

10.  固定メタデータ……投稿時から変化しないもの
 動画ID
 投稿日時
 再生時間，動画のファイルサイズ
 投稿者のユーザーID
 変動メタデータ……変化する可能性のあるもの
 視聴の可否
 再生数・コメント数・マイリスト登録数
 タグ

11.  投稿時から変わらないので収集時期はいつでもか
まわない
 →事前の1ヶ月までにサムネAPIで動画IDを探索して収集
しておく。
 過去の蓄積…前年分までのデータは収集済み。
 →前回からの差分だけ収集すればいい。
 →実際にはもっとこまめに収集している。
 直前3ヶ月分・100万件ほどをチェックすればいい。
 1日あたりの投稿は数千～1万件程度
 1回/秒でも日数×3時間程度クローラをかければ収集でき
る。

12.  動画の後ろの番号は連番
 同一の番号はない（ことになってる）。
 前の2文字はsm・nm・soの3種類。
 過去にはいろいろあったが新規投稿はこれだけ。
 番号ごとにsm→nm→soの順にサムネAPIを
チェックして使用を確認。
 あわせて各固定メタデータも収集。

13.  11月上旬
 10月分まで投稿の動画IDを探索
 収集に要する時間はそれまでの調査状況による
 11月中旬
 11月分の動画IDを探索。あわせて生存確認（後述）
で判明した調査漏れなどを確認。
 11月下旬～12月1日
 11月末までに投稿された動画の動画IDをすべて確認。

14.  固定メタデータと違って更新する必要がある
 動画IDが判明していても850万回サムネAPIを叩くの
は困難
 ほかの方法を組み合わせる
 タグ検索結果（RSS）
 公開投稿動画（RSS)
 抜けてるものはサムネAPIで補完。

15.  ニコニコ動画ではタグ検索の結果をRSSで取得
可能。
 numbers=1のオプションを付ければ再生数等も
 動画の8割はおもなタグのいずれかがつく
 カテゴリタグすべての動画の収集に1週間程度。
 1週間で大半の動画がチェックできる。

16.  一部のユーザーのみ投稿動画リストを公開
 同じくRSSで取得可能。
 公開してるうｐ主は約14%
 動画数としては3割ほど
 ダブりがないので短時間で効率よく収集できる

17.  今回の調査とは別に，おもな動画が視聴可能か
をTwitter-bot用に毎日チェックしている
 @nico_deleted ……削除動画チェック
 @niconicomillion ……再生数チェック
 対象はある時点で3万再生以上の動画
 18万件ほど
 今回はこれのデータも利用した

18.  公開マイリスト
 同じくRSSで取得できる。
 大量に集めると動画の重複が非常に多い
 投稿者マイリストのみなど選別すれば効率的になる
 しかしマイリストを変えるうｐ主も
 毎回選別し直さないといけないのでめんどくさい。
 ランキング
 同じくRSSで取得できる。
 特定の日時の再生数等が得られるので後からチェックし
やすい利点も。
 しかし全て合わせても数千件で，量が少ない。
 @nico_deletedのデータもあり，あまり意味がないので
使っていない。

19.  タグ・投稿動画・サムネAPI
（+@nico_deleted）を併用
 これにより効率的に生存確認と再生数等の変動メタ
データを収集
 さらにもう一点の工夫
 生存確認と再生数等の収集の2段階でチェック

20.  11月上旬
 1回目のタグ・投稿動画チェック
 →生存確認できなかった動画をサムネAPIで確認
 →削除動画は確認，それ以外の動画IDを再チェック用にリストアップ。
 11月中旬
 非表示動画（視聴可に変わる可能性のある動画）を再チェック。
 11月下旬
 2回目のタグ・投稿動画チェック
 並行して1回目のときに漏れてた動画IDもサムネAPIでチェック。
 もちろん最終の動画ID探索時のデータも利用。
 →上記でデータの取れなかった動画をサムネAPIでチェック。
 12月上旬
 データ全体を確認しつつ最後の漏れをチェック。
 以上により，今回は全動画約850万の変動メタデータを
11月25日～12月5日の10日間で収集できた

21.  固定と変動にデータを分けて収集すると効率的
 固定メタデータ
 サムネAPIで事前に収集しておく
 直前分は投稿量と頻度を計算して適宜収集
 変動メタデータ
 タグ検索RSS・投稿動画RSS・サムネAPIを併用して
収集
 生存確認とデータ収集の2段階に分ける
 スケジュールを立てて収集すると便利

22.  「ゲーム」タグで収集漏れが発生していた
 2008年7月と2010年7月
 動画数の非常に多いタグは時間がかかるため漏れが起こ
りやすい。
 これの回避のため，現状では「ゲーム -実況プレイ動画 -
投稿者コメント -プレイ動画 -ゆっくり実況プレイ …」の
ようにマイナスタグを組み合わせて動画数を減らした検
索クエリを投げている。
 しかしそれでも漏れが発生した。
 タグ検索の仕様で前後から収集してるため，ちょ
うど間になった時期のデータが漏れたと思われる。
 漏れが出ないようにクローリングの仕組みを改善する。
 より短期間で「ゲーム」タグの検索結果を収集で
きる仕組みの検討も必要

23.  過去に収集した動画IDに誤りがあった例などを12
月上旬になって確認。
 これがなければもう少し変動メタデータ収集期間を短縮
できた。
 誤り例は削除動画の削除理由のチェック時に判明。
 今後はもっとこまめに削除動画の調査が必要か。
 そもそも自分の手法は過去からの蓄積が必要。
 誰でもできる手法ではない。
 NII・ドワンゴで進めているニコニコ動画データの公開に
期待
 自分でもできることとして，自分の収集したデー
タの限定提供をすることにした

24.  このあとのライトニングトーク登壇の方にはも
れなく今回収集した動画データを提供します！
 是非是非ご参加ください。