Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ニコニコ動画コメント等データ仕様

5,634 views

Published on

ニコニコ学会β 第2回データ研究会での発表資料です。
NIIで公開されているニコニコ動画コメント等データの説明をしました。

■ ニコニコデータセット@情報学研究データリポジトリ
http://www.nii.ac.jp/cscenter/idr/nico/nico.html

■ ニコニコ学会β 第2回データ研究会
http://atnd.org/event/nicogakkaidata2

■ ニコニコ学会β 第2回データ研究会 まとめ
http://togetter.com/li/540609

  • Dating for everyone is here: ❶❶❶ http://bit.ly/2ZDZFYj ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Sex in your area is here: ❶❶❶ http://bit.ly/2ZDZFYj ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

ニコニコ動画コメント等データ仕様

  1. 1. ニコニコ動画コメント等 データ仕様 濱崎雅弘@さんそうけん
  2. 2. データ入手方法(1/2) • 情報学研究データリポジトリより入手可能 – http://www.nii.ac.jp/cscenter/idr/nico/nico-apply.html • 必要な手続き: • 連絡先や氏名,所属を入力 – なんとHNも可! • 送信ボタンを押せば, 本人専用のDL用URLが届く – なんと即日ダウンロード可! • とにかく簡単!!
  3. 3. データ入手方法(2/2) • 下記の1926個×2の圧縮ファイルをwget等でDL • video/NNNN.dat.gz – 動画メタデータ • 1926個のgzファイル • 展開時:11.9GB – 1行に1動画のメタデータがJSONで格納 • thread/NNNN.tar.gz – コメントのダンプデータ • 1926個のtar.gzファイル • 圧縮時:48.8GB,展開時:300GB – 1ファイルに1動画のコメントがJSONで格納 % wget -r リストファイルのURL
  4. 4. 動画メタデータの例 {"video_id":"sm1001","thread_id":1173132609,"title":"u674eu535au58ebu3000u30ddu30f3u30c1u30e3u30c3u30afu30c7u30a3u30b9u 30b3","description":"u304bu306eu56fdu3067u3001u3053u306eu4ebau306eu624du80fdu3060u3051u306fu8a8du3081u305fu3044 u3002u3053u306eu52d5u753bu306fu30011001u756au76eeu306bu6295u7a3fu3055u308cu305fu3089u3057u3044u3067u3059u3 002u5de1u793cu8005u306eu7686u3055u3093u3001u3044u3089u3063u3057u3083u3044u307eu305bu3001u305du3057u3066u 3001u304au6c17u3092u3064u3051u3066u3002","thumbnail_url":"http://tn-skr2.smilevideo.jp/smile?i=1001","upload_time":"2007-03- 06T07:10:10+09:00","length":384,"movie_type":"flv","size_high":15860960,"size_low":15622973,"view_counter":10246,"comment_counter":337,"my list_counter":101,"last_res_body":"u307bu3093u3068u3060uff57u898bu8fd4u3057u305fu3089u305fu3057u304bu306bu7027u3060 uff57 u6850u6751u840cu7d75 u3053u3044u3064u5927u597du304duff57uff57uff57 u30e4u30f3u30b0u30deu30f3uff57uff57uff57 u9078u66f2...","tags":[{"tag":"k- pop"},{"tag":"u2192sm1014"},{"tag":"u30ddu30f3u30c1u30e3u30c3u30af","lock":1},{"tag":"u674eu535au58eb","lock":1},{"tag":"u771fu30 6eu97d3u6d41u30b9u30bfu30fc"},{"tag":"u97d3u56fd"}]} {"video_id":"sm1014","thread_id":1173132608,"title":"u30b8u30e3u30c3u30adu30fcu30b9u30c8uff12","description":"uff80uff82uff8fuff7 7uff7euff9duff69uff70uff77uff6cuff78","thumbnail_url":"http://tn-skr3.smilevideo.jp/smile?i=1014","upload_time":"2007-03- 06T07:10:09+09:00","length":187,"movie_type":"flv","size_high":8855727,"size_low":8717747,"view_counter":2613,"comment_counter":117,"mylist _counter":34,"last_res_body":"www uff80uff9euff99uff7cuff91uff57 u3093uff1f u3053u308cu306fuff57uff57 u610fu5916u3068u3044u3044u811au3057u3068u308b uff57uff57uff57uff57uff57 u6f06u3055u3093u304bu3089 u8a31u53efu306au3057u3067u3088...","tags":[{"tag":"uff13u6708uff16u65e5u6295u7a3fu52d5u753b"},{"tag":"sm1018u2192"},{"tag": "u2190sm1001"},{"tag":"u30abu30aau30b9"},{"tag":"u30b9u30c82"},{"tag":"u305du306eu4ed6"},{"tag":"u4e0au7d1au8005u5411u3051 "},{"tag":"u5b9fu5199u7248"},{"tag":"u8b0eu306eu4e2du6bd2u6027"},{"tag":"u91d1u6751u8cb4u535a"}]} {"video_id":"sm1018","thread_id":1173132706,"title":"VIPPERu3067u3059uff08Do Your Bestuff09","description":"VIPPERu306bu3088u308bu66ffu3048u6b4cu5439u304du66ffu3048u3067u3059u30024u4f5cu76eeu3002u 4ed6u306eu5439u304du66ffu3048u306bu306fvipperu5439u304du66ffu3048u30bfu30b0u304bu3089u3069u3046u305e<br />VIPPERu3067u3059u5168u54e1veru3067u304du307eu3057u305fu2192sm2266593u3000u4ecau307eu3067u7530u4e2du7f8eu5 948u5b50uff01","thumbnail_url":"http://tn-skr3.smilevideo.jp/smile?i=1018","upload_time":"2007-03- 06T07:11:46+09:00","length":255,"movie_type":"flv","size_high":12118210,"size_low":11679391,"view_counter":232522,"comment_counter":16127, "mylist_counter":3764,"last_res_body":"u3075u3058u3087u3057wwwww wwwwwwwwwwwww u30bfu30d0u30b9u30b3u3067u3064u3076u3059u3063u3066u3044u306eu3061u304bu3051u3059u304ewwww u3057u306bu305du3046wwwwwwwwwwwwwwwwwwwwww ...","tags":[{"tag":"vip"},{"tag":"vipperu5439u304du66ffu3048","lock":1},{"tag" :"u3048u306au308au81eau6f14u4e59"},{"tag":"u304au308cu3089u306eu3046u305f"},{"tag":"u30c6u30cbu30dfu30e5"},{"tag":"u6b4 cu3063u3066u307fu305f"}]}
  5. 5. 動画メタデータの例 キー 値 値の型 値の例 video_id 動画ID String "sm9" thread_id スレッドID Number 1173108780 title 動画タイトル String "新・豪血寺一族 -煩悩解放 - レッツゴー!陰陽師" description 動画説明文 String "レッツゴー!陰陽師(フルコーラスバージョン)" thumbnail_url サムネイル画像のURL String "http://tn-skr2.smilevideo.jp/smile?i=9" upload_time 投稿日時 (ISO 8601 形式) String "2007-03-06T00:33:00+09:00" length 動画再生長 (秒数) Number 319 movie_type 動画フォーマット String ("flv", "swf", "mp4") size_high 高画質動画のファイルサイズ (byte) Number 21138631 size_low 低画質動画のファイルサイズ (byte) Number 17436492 view_counter 動画の再生数 Number 10133072 comment_counter コメント数 Number 4056043 mylist_counter マイリスト登録数 Number 130221 last_res_body 最近のコメントのサマリ String "遺影!!! 遺影☆ 遺影! 遺影☆ 列豪!! 陰陽師☆ (゚∀゚)o彡°どーま ん!せーまん!(゚∀゚)o..." tags 後述のタグ情報 JSON の配列 Array [ { "tag": "陰陽師", "lock": 1 }, { "tag": "ゲーム", "category": 1, "lock": 1 }, ... ]
  6. 6. コメントデータの例 {"date":1351463396,"no":1,"vpos":13452,"comment":"u3073u3058u3093u3055u3093uff01","command":"184"} {"date":1351467321,"no":2,"vpos":12824,"comment":"u3053u308cu306fu306au304bu306au304b","command":"184"} {"date":1351474174,"no":3,"vpos":14096,"comment":"u53efu6190u3060u2026u2026","command":"184"} {"date":1351481200,"no":4,"vpos":13044,"comment":"u521du3081u3066u3068u306fu601du3048u306au3044uff01u51c4u3044uff01","c ommand":"184"} {"date":1351499209,"no":5,"vpos":1513,"comment":"BGMu5c0fu3055u3044uff57","command":"docomo 184"} {"date":1351499299,"no":6,"vpos":7550,"comment":"u81eau7acbuff57uff57","command":"docomo 184"} {"date":1351509682,"no":7,"vpos":7176,"comment":"uff57uff57uff57uff57uff57","command":"184"} {"date":1351515228,"no":8,"vpos":13924,"comment":"u3059u3054u3044u2026uff01uff01uff01","command":"184"} {"date":1351520807,"no":9,"vpos":8824,"comment":"u3053u307eu304bu3044u306au3041","command":"184"} {"date":1351520831,"no":10,"vpos":11140,"comment":"u304au304au304au304au304au304au304au304auff01","command":"184"} {"date":1351520844,"no":11,"vpos":12456,"comment":"u3044u3044uff01u3044u3044uff01","command":"184"} {"date":1351520859,"no":12,"vpos":13948,"comment":"u3075u308fu3075u308fu306au30b9u30abu30fcu30c8u304cu53efu611bu3044u 306d","command":"184"} {"date":1351520879,"no":13,"vpos":15944,"comment":"uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18uff18 uff18","command":"184"} {"date":1351521354,"no":14,"vpos":7420,"comment":"u304au304au304au304a","command":"184"} {"date":1351521358,"no":15,"vpos":7956,"comment":"u3044u3044u306duff5e","command":"184"} {"date":1351521417,"no":16,"vpos":13760,"comment":"uff18uff18uff18uff18uff18uff18uff18uff18uff18","command":"184"} {"date":1351521442,"no":17,"vpos":16196,"comment":"u304au3064","command":"184"} {"date":1351590666,"no":18,"vpos":11312,"comment":"u304au304a","command":"184"} {"date":1351590679,"no":19,"vpos":12612,"comment":"u7f8eu3057u3044","command":"184"} {"date":1351647241,"no":20,"vpos":12276,"comment":"u3058u3087u304au304auff57","command":"184 small"} {"date":1351647309,"no":21,"vpos":13308,"comment":"u3084u3041u30b4u30fcu30b8u30e3u30b9","command":"184 small"} {"date":1351647352,"no":22,"vpos":15532,"comment":"u307eu3063u3066u308bu305cu3043","command":"184 small"} {"date":1351650484,"no":23,"vpos":8292,"comment":"u3082u3063u3068u8584u3044u5e03u3067u30d5u30eau30ebu4f5cu308bu3068u 3044u3044","command":"184"} {"date":1351650499,"no":24,"vpos":9372,"comment":"u30ecu30fcu30b9u4f7fu3046u3068u3044u3044u3088","command":"184"} {"date":1351650509,"no":25,"vpos":10780,"comment":"u304au304auff57","command":"184"} {"date":1351650514,"no":26,"vpos":11300,"comment":"u304bu308fu3044u3044","command":"184"}
  7. 7. コメントデータの例 キー 値 値の型 値の例 date コメント投稿日時 (UNIX 秒) Number 1341994948 no コメント番号 Number 4056008 vpos コメント書き込み再生位 置 (1/100秒) Number 21631 comment コメント本文 String "ぷよぷよするな!" command コマンド String "184 shita blue"
  8. 8. コメントデータをいじってみる 拍手(8888)を 頑張りたいけど・・ どれくらいの長さに したらいいんだろう・・
  9. 9. こんな感じでした 1 10 100 1000 10000 100000 1 10 100 1000 10000 頻度 長さ 「8」が一番多い (ちゃんと拍手しようよ!) 次のピークは13回 最長は1024回 75回で突然増えて、以降激減 (誰か理由を教えて)
  10. 10. 動画メタデータをいじってみる ボカロとかアイマスとか 東方とか言ってるけど・・ ニコ動のアイドルは 例のあれだよね・・・?
  11. 11. こんな感じでした 総再生回数 動画数

×