ニコニコ動画コメント等データ仕様

4,597 views

Published on

ニコニコ学会β 第2回データ研究会での発表資料です。
NIIで公開されているニコニコ動画コメント等データの説明をしました。

■ ニコニコデータセット@情報学研究データリポジトリ
http://www.nii.ac.jp/cscenter/idr/nico/nico.html

■ ニコニコ学会β 第2回データ研究会
http://atnd.org/event/nicogakkaidata2

■ ニコニコ学会β 第2回データ研究会 まとめ
http://togetter.com/li/540609

  • Be the first to comment

ニコニコ動画コメント等データ仕様

  1. 1. ニコニコ動画コメント等 データ仕様 濱崎雅弘@さんそうけん
  2. 2. データ入手方法(1/2) • 情報学研究データリポジトリより入手可能 – http://www.nii.ac.jp/cscenter/idr/nico/nico-apply.html • 必要な手続き: • 連絡先や氏名,所属を入力 – なんとHNも可! • 送信ボタンを押せば, 本人専用のDL用URLが届く – なんと即日ダウンロード可! • とにかく簡単!!
  3. 3. データ入手方法(2/2) • 下記の1926個×2の圧縮ファイルをwget等でDL • video/NNNN.dat.gz – 動画メタデータ • 1926個のgzファイル • 展開時:11.9GB – 1行に1動画のメタデータがJSONで格納 • thread/NNNN.tar.gz – コメントのダンプデータ • 1926個のtar.gzファイル • 圧縮時:48.8GB,展開時:300GB – 1ファイルに1動画のコメントがJSONで格納 % wget -r リストファイルのURL
  4. 4. 動画メタデータの例 {"video_id":"sm1001","thread_id":1173132609,"title":"u674eu535au58ebu3000u30ddu30f3u30c1u30e3u30c3u30afu30c7u30a3u30b9u 30b3","description":"u304bu306eu56fdu3067u3001u3053u306eu4ebau306eu624du80fdu3060u3051u306fu8a8du3081u305fu3044 u3002u3053u306eu52d5u753bu306fu30011001u756au76eeu306bu6295u7a3fu3055u308cu305fu3089u3057u3044u3067u3059u3 002u5de1u793cu8005u306eu7686u3055u3093u3001u3044u3089u3063u3057u3083u3044u307eu305bu3001u305du3057u3066u 3001u304au6c17u3092u3064u3051u3066u3002","thumbnail_url":"http://tn-skr2.smilevideo.jp/smile?i=1001","upload_time":"2007-03- 06T07:10:10+09:00","length":384,"movie_type":"flv","size_high":15860960,"size_low":15622973,"view_counter":10246,"comment_counter":337,"my list_counter":101,"last_res_body":"u307bu3093u3068u3060uff57u898bu8fd4u3057u305fu3089u305fu3057u304bu306bu7027u3060 uff57 u6850u6751u840cu7d75 u3053u3044u3064u5927u597du304duff57uff57uff57 u30e4u30f3u30b0u30deu30f3uff57uff57uff57 u9078u66f2...","tags":[{"tag":"k- pop"},{"tag":"u2192sm1014"},{"tag":"u30ddu30f3u30c1u30e3u30c3u30af","lock":1},{"tag":"u674eu535au58eb","lock":1},{"tag":"u771fu30 6eu97d3u6d41u30b9u30bfu30fc"},{"tag":"u97d3u56fd"}]} {"video_id":"sm1014","thread_id":1173132608,"title":"u30b8u30e3u30c3u30adu30fcu30b9u30c8uff12","description":"uff80uff82uff8fuff7 7uff7euff9duff69uff70uff77uff6cuff78","thumbnail_url":"http://tn-skr3.smilevideo.jp/smile?i=1014","upload_time":"2007-03- 06T07:10:09+09:00","length":187,"movie_type":"flv","size_high":8855727,"size_low":8717747,"view_counter":2613,"comment_counter":117,"mylist _counter":34,"last_res_body":"www uff80uff9euff99uff7cuff91uff57 u3093uff1f u3053u308cu306fuff57uff57 u610fu5916u3068u3044u3044u811au3057u3068u308b uff57uff57uff57uff57uff57 u6f06u3055u3093u304bu3089 u8a31u53efu306au3057u3067u3088...","tags":[{"tag":"uff13u6708uff16u65e5u6295u7a3fu52d5u753b"},{"tag":"sm1018u2192"},{"tag": "u2190sm1001"},{"tag":"u30abu30aau30b9"},{"tag":"u30b9u30c82"},{"tag":"u305du306eu4ed6"},{"tag":"u4e0au7d1au8005u5411u3051 "},{"tag":"u5b9fu5199u7248"},{"tag":"u8b0eu306eu4e2du6bd2u6027"},{"tag":"u91d1u6751u8cb4u535a"}]} {"video_id":"sm1018","thread_id":1173132706,"title":"VIPPERu3067u3059uff08Do Your Bestuff09","description":"VIPPERu306bu3088u308bu66ffu3048u6b4cu5439u304du66ffu3048u3067u3059u30024u4f5cu76eeu3002u 4ed6u306eu5439u304du66ffu3048u306bu306fvipperu5439u304du66ffu3048u30bfu30b0u304bu3089u3069u3046u305e<br />VIPPERu3067u3059u5168u54e1veru3067u304du307eu3057u305fu2192sm2266593u3000u4ecau307eu3067u7530u4e2du7f8eu5 948u5b50uff01","thumbnail_url":"http://tn-skr3.smilevideo.jp/smile?i=1018","upload_time":"2007-03- 06T07:11:46+09:00","length":255,"movie_type":"flv","size_high":12118210,"size_low":11679391,"view_counter":232522,"comment_counter":16127, "mylist_counter":3764,"last_res_body":"u3075u3058u3087u3057wwwww wwwwwwwwwwwww u30bfu30d0u30b9u30b3u3067u3064u3076u3059u3063u3066u3044u306eu3061u304bu3051u3059u304ewwww u3057u306bu305du3046wwwwwwwwwwwwwwwwwwwwww ...","tags":[{"tag":"vip"},{"tag":"vipperu5439u304du66ffu3048","lock":1},{"tag" :"u3048u306au308au81eau6f14u4e59"},{"tag":"u304au308cu3089u306eu3046u305f"},{"tag":"u30c6u30cbu30dfu30e5"},{"tag":"u6b4 cu3063u3066u307fu305f"}]}
  5. 5. 動画メタデータの例 キー 値 値の型 値の例 video_id 動画ID String "sm9" thread_id スレッドID Number 1173108780 title 動画タイトル String "新・豪血寺一族 -煩悩解放 - レッツゴー!陰陽師" description 動画説明文 String "レッツゴー!陰陽師(フルコーラスバージョン)" thumbnail_url サムネイル画像のURL String "http://tn-skr2.smilevideo.jp/smile?i=9" upload_time 投稿日時 (ISO 8601 形式) String "2007-03-06T00:33:00+09:00" length 動画再生長 (秒数) Number 319 movie_type 動画フォーマット String ("flv", "swf", "mp4") size_high 高画質動画のファイルサイズ (byte) Number 21138631 size_low 低画質動画のファイルサイズ (byte) Number 17436492 view_counter 動画の再生数 Number 10133072 comment_counter コメント数 Number 4056043 mylist_counter マイリスト登録数 Number 130221 last_res_body 最近のコメントのサマリ String "遺影!!! 遺影☆ 遺影! 遺影☆ 列豪!! 陰陽師☆ (゚∀゚)o彡°どーま ん!せーまん!(゚∀゚)o..." tags 後述のタグ情報 JSON の配列 Array [ { "tag": "陰陽師", "lock": 1 }, { "tag": "ゲーム", "category": 1, "lock": 1 }, ... ]
  6. 6. コメントデータの例 {"date":1351463396,"no":1,"vpos":13452,"comment":"u3073u3058u3093u3055u3093uff01","command":"184"} {"date":1351467321,"no":2,"vpos":12824,"comment":"u3053u308cu306fu306au304bu306au304b","command":"184"} {"date":1351474174,"no":3,"vpos":14096,"comment":"u53efu6190u3060u2026u2026","command":"184"} {"date":1351481200,"no":4,"vpos":13044,"comment":"u521du3081u3066u3068u306fu601du3048u306au3044uff01u51c4u3044uff01","c ommand":"184"} {"date":1351499209,"no":5,"vpos":1513,"comment":"BGMu5c0fu3055u3044uff57","command":"docomo 184"} {"date":1351499299,"no":6,"vpos":7550,"comment":"u81eau7acbuff57uff57","command":"docomo 184"} {"date":1351509682,"no":7,"vpos":7176,"comment":"uff57uff57uff57uff57uff57","command":"184"} {"date":1351515228,"no":8,"vpos":13924,"comment":"u3059u3054u3044u2026uff01uff01uff01","command":"184"} {"date":1351520807,"no":9,"vpos":8824,"comment":"u3053u307eu304bu3044u306au3041","command":"184"} {"date":1351520831,"no":10,"vpos":11140,"comment":"u304au304au304au304au304au304au304au304auff01","command":"184"} {"date":1351520844,"no":11,"vpos":12456,"comment":"u3044u3044uff01u3044u3044uff01","command":"184"} {"date":1351520859,"no":12,"vpos":13948,"comment":"u3075u308fu3075u308fu306au30b9u30abu30fcu30c8u304cu53efu611bu3044u 306d","command":"184"} {"date":1351520879,"no":13,"vpos":15944,"comment":"uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18 uff18","command":"184"} {"date":1351521354,"no":14,"vpos":7420,"comment":"u304au304au304au304a","command":"184"} {"date":1351521358,"no":15,"vpos":7956,"comment":"u3044u3044u306duff5e","command":"184"} {"date":1351521417,"no":16,"vpos":13760,"comment":"uff18uff18uff18uff18uff18uff18uff18uff18uff18","command":"184"} {"date":1351521442,"no":17,"vpos":16196,"comment":"u304au3064","command":"184"} {"date":1351590666,"no":18,"vpos":11312,"comment":"u304au304a","command":"184"} {"date":1351590679,"no":19,"vpos":12612,"comment":"u7f8eu3057u3044","command":"184"} {"date":1351647241,"no":20,"vpos":12276,"comment":"u3058u3087u304au304auff57","command":"184 small"} {"date":1351647309,"no":21,"vpos":13308,"comment":"u3084u3041u30b4u30fcu30b8u30e3u30b9","command":"184 small"} {"date":1351647352,"no":22,"vpos":15532,"comment":"u307eu3063u3066u308bu305cu3043","command":"184 small"} {"date":1351650484,"no":23,"vpos":8292,"comment":"u3082u3063u3068u8584u3044u5e03u3067u30d5u30eau30ebu4f5cu308bu3068u 3044u3044","command":"184"} {"date":1351650499,"no":24,"vpos":9372,"comment":"u30ecu30fcu30b9u4f7fu3046u3068u3044u3044u3088","command":"184"} {"date":1351650509,"no":25,"vpos":10780,"comment":"u304au304auff57","command":"184"} {"date":1351650514,"no":26,"vpos":11300,"comment":"u304bu308fu3044u3044","command":"184"}
  7. 7. コメントデータの例 キー 値 値の型 値の例 date コメント投稿日時 (UNIX 秒) Number 1341994948 no コメント番号 Number 4056008 vpos コメント書き込み再生位 置 (1/100秒) Number 21631 comment コメント本文 String "ぷよぷよするな!" command コマンド String "184 shita blue"
  8. 8. コメントデータをいじってみる 拍手(8888)を 頑張りたいけど・・ どれくらいの長さに したらいいんだろう・・
  9. 9. こんな感じでした 1 10 100 1000 10000 100000 1 10 100 1000 10000 頻度 長さ 「8」が一番多い (ちゃんと拍手しようよ!) 次のピークは13回 最長は1024回 75回で突然増えて、以降激減 (誰か理由を教えて)
  10. 10. 動画メタデータをいじってみる ボカロとかアイマスとか 東方とか言ってるけど・・ ニコ動のアイドルは 例のあれだよね・・・?
  11. 11. こんな感じでした 総再生回数 動画数

×