Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス

Kosetsu Tsukuda
Kosetsu TsukudaSenior Researcher - National Institute of Advanced Industrial Science and Technology (AIST)
1
インタラクション2018 (2018. 3. 6)
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス
産業技術総合研究所 佃 洸摂 石田 啓介 後藤 真孝
スマホでアクセス
歌詞トピック 2
各アーティストには固有の歌詞トピックの傾向が存在
アーティストA
恋愛
青春
自然
アーティストB
友情
青春
夢
歌詞トピックに基づくアプリケーション例 3
検索
推薦
「恋愛」についてよく
歌うアーティストを
探したい
アーティストA アーティストC アーティストF
恋愛 恋愛 恋愛
アーティストBが好き
友情
アーティストD アーティストG アーティストH
友情 友情 友情
4
様々な歌詞やアーティストに出会える新しい歌詞探索サービス
 歌詞のトピックを可視化
 アーティストごとの歌詞の傾向に基づく歌詞探索
Lyric Jumper
歌詞のトピックを決める難しさ 5
膨大な歌詞データに
どんなトピックが存在するか
不明
各歌詞が
どのトピックに所属するか
不明
「恋愛」と
「青春」と・・?
15万歌詞 「ラブソング」?
「夢と未来」?
PROLOGUE / 緒方 智美
立ち止まる時 また ふと振り返る
今も せつない 姿 探しているよ
間違いなく二人 季節を歩いてた
それぞれが夢みてた 想いも一緒に
…
歌詞トピック推定モデルによる問題解決 6
歌詞データ
(15万曲)
大規模な歌詞データを与えるだけでトピックを自動的に推定
確率モデルによる
歌詞トピック解析
歌詞 トピック
松田聖子/
あなたに逢いたくて
4
松田聖子/
赤いスイートピー
11
井上陽水/少年時代 16
「恋愛」 永遠の愛・一途な恋・ラブソング
大人の恋愛(女性編)・大人の恋愛(男性編)
Latent Dirichlet Allocation (LDA) 7
LDA:歌詞トピックを扱う研究[*]におけるデファクトスタンダード
 Sharma+, “Mining sentiments from songs using latent Dirichlet allocation”, IDA’11
 Johnson-Roverson+, “Temporal and regional variation in rap lyrics”, NIPSW’13
 Sasaki+, “LyricsRader: A lyrics retrieval system based on latent topics of lyrics”, ISMIR’14
 Ren+, “What makes a music track popular in online social networks?”, WWW’16
𝛼𝛼 𝜽𝜽 𝒛𝒛 𝑣𝑣 𝜑𝜑
𝛽𝛽
トピ
ック
楽曲
単語
…夢 明
日
未
来
トピック2
 楽曲ごとにトピック分布𝜽𝜽を持つ
 単語ごとにトピック𝒛𝒛を生成
 トピックの単語分布に応じて単語𝑣𝑣を生成
1 2 3 20
…
トピック
[*]
提案モデル 8
𝛼𝛼 𝜽𝜽 𝒛𝒛 𝑣𝑣 𝜑𝜑
𝛽𝛽
トピ
ック
楽曲
単語
アーテ
ィスト
𝑠𝑠
𝜆𝜆
𝜌𝜌𝜓𝜓𝛾𝛾
 アーティスト・楽曲・単語という3階層の構造を考慮
 アーティストごとにトピックの分布𝜽𝜽を持つ
 楽曲ごとに1つのトピック𝒛𝒛を持つ
松田聖子
歌詞トピックが𝑘𝑘である確率
モデルの定量的評価 9
トピック数
1100
1200
1300
1400
0 10 20 30 40 50
LDA
提案モデル
良
悪
Perplexity
 歌詞配信業者から提供された歌詞データ
 登録歌詞数の上位1,000アーティストの93,716件の歌詞
歌詞のトピック推定のデファクトスタンダードであるLDAよりも
提案モデルが高精度であることを示した
Lyric Jumper 10
2017/2/21 公開(https://lyric-jumper.petitlyrics.com)
Lyric Jumper 11
 2016/12/31時点で10曲以上の楽曲を持つアーティストが対象
 3,722アーティストの147,990件の歌詞を使用
データ
 トピック数:20
 少なすぎると飽きやすいが多すぎると似たトピックが出現
 トピック名を単語分布と代表アーティストから人手で決定
トピック
PC版 スマホ版
ログ分析
データセット 13
 Lyric Jumperへのアクセスログ収集期間: 2017/2/21~9/30
 ユニークユーザ数
- スマートフォン:86,922
- PC:6,040
35
30
25
20
15
10
5
0
万PV
2月 3月 4月 5月 6月 7月 8月 9月
スマートフォン PC
各機能の使用回数 14
機能 PC スマホ
アーティストランキング 5,574aaaa 41,169aaa
アーティスト推薦 4,206aaaa 10,557aaa
楽曲ランキング 12,375aaaa 24,717aaa
フレーズ推薦 12,333aaaa 456,429aaa
 楽曲探索機能の方が使用頻度は高い傾向
 アーティスト数3,722に対して楽曲数147,990と多く
アーティスト発見後に様々なインタラクションを経て
楽曲を探しているためと考えられる
(回)
アーティストの探索
楽曲の探索
各機能の使用回数 15
(回)
機能 PC スマホ
アーティストランキング 5,574aaaa 41,169aaa
アーティスト推薦 4,206aaaa 10,557aaa
楽曲ランキング 12,375aaaa 24,717aaa
フレーズ推薦 12,333aaaa 456,429aaa
 フレーズ推薦機能の使用回数はスマホがPCを大きく上回る
各機能の使用回数 16
スマホ用インタフェース
PC用インタフェース
各機能の使用回数 17
 フレーズ推薦機能の使用回数はスマホがPCを大きく上回る
 スマホではフレーズがひとつずつ推薦されることで
フレーズに対するユーザの興味をより強く喚起でき
ユーザが思わず次々とボタンを押した結果ではないか
(回)
機能 PC スマホ
アーティストランキング 5,574aaaa 41,169aaa
アーティスト推薦 4,206aaaa 10,557aaa
楽曲ランキング 12,375aaaa 24,717aaa
フレーズ推薦 12,333aaaa 456,429aaa
トピック別クリック頻度 18
0 1000 2000 3000 4000 5000
永遠の愛
一途な恋
ラブソング
大人の恋愛(女性編)
大人の恋愛(男性編)
コトバ遊び
イケイケ
みんなでうたおう
戦うヒーロー
夢と未来
青春
人生
自分探し
混沌(カオス)
センチメンタル
ノスタルジー
硬派
光と影
自由気まま
浮世離れ
スマホ用インタフェース
トピック別クリック頻度 19
0 1000 2000 3000 4000 5000
永遠の愛
一途な恋
ラブソング
大人の恋愛(女性編)
大人の恋愛(男性編)
コトバ遊び
イケイケ
みんなでうたおう
戦うヒーロー
夢と未来
青春
人生
自分探し
混沌(カオス)
センチメンタル
ノスタルジー
硬派
光と影
自由気まま
浮世離れ
 トピックの表示順位と
クリックの頻度順位の相関
- 全体:0.46
- 恋愛トピック以外:-0.025
 ユーザはある程度自分の興味
に従ってトピックを選択
「大人の恋愛」トピックでは
「男性編」よりも「女性編」
の方が高頻度で選択
0.46
-0.025
恋愛
トピック
トピック別クリック頻度 20
0 1000 2000 3000 4000 5000
永遠の愛
一途な恋
ラブソング
大人の恋愛(女性編)
大人の恋愛(男性編)
コトバ遊び
イケイケ
みんなでうたおう
戦うヒーロー
夢と未来
青春
人生
自分探し
混沌(カオス)
センチメンタル
ノスタルジー
硬派
光と影
自由気まま
浮世離れ
 トピックの表示順位と
クリックの頻度順位の相関
- 全体:0.46
- 恋愛トピック以外:-0.025
 ユーザはある程度自分の興味
に従ってトピックを選択
「大人の恋愛」トピックでは
「男性編」よりも「女性編」
の方が高頻度で選択
大人の恋愛 (女性編)
大人の恋愛 (男性編)
行動遷移 21
トピックを起点とした歌詞探索は新規性が高いだけでなく
ユーザにも積極的に利用されていることが示された
アーティスト起点
34.8%
トピック起点
65.2%
フレーズ選択
20.5%
Twitter分析
データセット 23
 2017/2/21~10/10に投稿されたツイートが対象
「”lyric jumper” OR “リリックジャンパー”」をクエリに使用
 分析対象として収集されたツイートは429件
アーティストのトピックに関するツイート 24
 98件のツイートは特定のアーティストのトピックに言及
 推定されたトピックの傾向に納得感を表すツイートが多数
全体の傾向
ツイート例
「ラブソング」トピックの割合が高いと思っていたが
「自分探し」のトピックの割合が高く意外な発見ができた
ポジティブ・ネガティブなツイート 25
 95件
「面白い」「楽しい」「便利」といった反応が多数
「自分がどのようなタイプの歌詞が好きなのかが分かった」
のように自分でも明確に認識していなかった歌詞の好みを把握
ポジティブ
 10件
「曲に割り当てられたトピックが妥当でない」
 ユーザがトピックを容易に訂正可能なインタフェースを提供
ネガティブ
まとめ|本研究の貢献・今後の課題 26
2WebサービスLyric Jumperの公開
3,722アーティストの約15万件の歌詞に提案モデルを適用
1歌詞トピック推定モデルを提案し定量評価
各アーティストがトピック分布を持ち歌詞ごとにひとつのトピックを割り当て
3Lyric Jumperのアクセスログ・ツイート分析
9万人以上のユーザの操作ログを用いてユーザの探索行動に与える影響を分析
今後の
課題
 モデルの言語非依存性を活かし洋楽版Lyric Jumperを公開
 音響特徴量やタグと組み合わせたより柔軟なシステム提案
1 of 26

Recommended

卒業論文のプレゼン by
卒業論文のプレゼン卒業論文のプレゼン
卒業論文のプレゼンsoichirooo
3.7K views8 slides
【論文紹介】ProtoMF: Prototype-based Matrix Factorization for Effective and Explain... by
【論文紹介】ProtoMF: Prototype-based Matrix Factorization for Effective and Explain...【論文紹介】ProtoMF: Prototype-based Matrix Factorization for Effective and Explain...
【論文紹介】ProtoMF: Prototype-based Matrix Factorization for Effective and Explain...Kosetsu Tsukuda
332 views19 slides
音楽聴取者の行動分析で理解する人と音楽とのインタラクション by
音楽聴取者の行動分析で理解する人と音楽とのインタラクション音楽聴取者の行動分析で理解する人と音楽とのインタラクション
音楽聴取者の行動分析で理解する人と音楽とのインタラクションKosetsu Tsukuda
139 views99 slides
Explainable Recommendation for Repeat Consumption (RecSys 2020) by
Explainable Recommendation for Repeat Consumption (RecSys 2020)Explainable Recommendation for Repeat Consumption (RecSys 2020)
Explainable Recommendation for Repeat Consumption (RecSys 2020)Kosetsu Tsukuda
141 views1 slide
繰り返し消費されるコンテンツを対象とした推薦理由の提示(IFAT142・登壇発表) by
繰り返し消費されるコンテンツを対象とした推薦理由の提示(IFAT142・登壇発表)繰り返し消費されるコンテンツを対象とした推薦理由の提示(IFAT142・登壇発表)
繰り返し消費されるコンテンツを対象とした推薦理由の提示(IFAT142・登壇発表)Kosetsu Tsukuda
179 views24 slides
Kiite Cafe: 同じ楽曲を同じ瞬間に楽しんで「好き」が伝わる音楽発掘カフェ(SIGMUS132・登壇発表) by
Kiite Cafe: 同じ楽曲を同じ瞬間に楽しんで「好き」が伝わる音楽発掘カフェ(SIGMUS132・登壇発表)Kiite Cafe: 同じ楽曲を同じ瞬間に楽しんで「好き」が伝わる音楽発掘カフェ(SIGMUS132・登壇発表)
Kiite Cafe: 同じ楽曲を同じ瞬間に楽しんで「好き」が伝わる音楽発掘カフェ(SIGMUS132・登壇発表)Kosetsu Tsukuda
593 views36 slides

More Related Content

More from Kosetsu Tsukuda

Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima... by
Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima...Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima...
Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima...Kosetsu Tsukuda
249 views15 slides
The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演) by
The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演)The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演)
The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演)Kosetsu Tsukuda
484 views76 slides
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco... by
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...Kosetsu Tsukuda
1.2K views17 slides
ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表) by
ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)
ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)Kosetsu Tsukuda
523 views52 slides
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco... by
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...Kosetsu Tsukuda
692 views1 slide
ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会) by
ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会)ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会)
ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会)Kosetsu Tsukuda
401 views52 slides

More from Kosetsu Tsukuda(17)

Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima... by Kosetsu Tsukuda
Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima...Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima...
Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima...
Kosetsu Tsukuda249 views
The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演) by Kosetsu Tsukuda
The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演)The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演)
The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演)
Kosetsu Tsukuda484 views
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco... by Kosetsu Tsukuda
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
Kosetsu Tsukuda1.2K views
ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表) by Kosetsu Tsukuda
ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)
ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)
Kosetsu Tsukuda523 views
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco... by Kosetsu Tsukuda
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
Kosetsu Tsukuda692 views
ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会) by Kosetsu Tsukuda
ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会)ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会)
ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会)
Kosetsu Tsukuda401 views
ABCPRec: Adaptively Bridging Consumer and Producer Roles for User-Generated C... by Kosetsu Tsukuda
ABCPRec: Adaptively Bridging Consumer and Producer Roles for User-Generated C...ABCPRec: Adaptively Bridging Consumer and Producer Roles for User-Generated C...
ABCPRec: Adaptively Bridging Consumer and Producer Roles for User-Generated C...
Kosetsu Tsukuda377 views
Lyric Jumper: A Lyrics-Based Music Exploratory Web Service by Modeling Lyrics... by Kosetsu Tsukuda
Lyric Jumper: A Lyrics-Based Music Exploratory Web Service by Modeling Lyrics...Lyric Jumper: A Lyrics-Based Music Exploratory Web Service by Modeling Lyrics...
Lyric Jumper: A Lyrics-Based Music Exploratory Web Service by Modeling Lyrics...
Kosetsu Tsukuda157 views
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An... by Kosetsu Tsukuda
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...
Kosetsu Tsukuda75 views
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An... by Kosetsu Tsukuda
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...
Kosetsu Tsukuda98 views
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービス by Kosetsu Tsukuda
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービスLyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービス
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービス
Kosetsu Tsukuda1.8K views
Taste or Addiction?: Using Play Logs to Infer Song Selection Motivation by Kosetsu Tsukuda
Taste or Addiction?: Using Play Logs to Infer Song Selection MotivationTaste or Addiction?: Using Play Logs to Infer Song Selection Motivation
Taste or Addiction?: Using Play Logs to Infer Song Selection Motivation
Kosetsu Tsukuda577 views
SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム by Kosetsu Tsukuda
SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステムSmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム
SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム
Kosetsu Tsukuda636 views
Why Did You Cover That Song?: Modeling N-th Order Derivative Creation with Co... by Kosetsu Tsukuda
Why Did You Cover That Song?: Modeling N-th Order Derivative Creation with Co...Why Did You Cover That Song?: Modeling N-th Order Derivative Creation with Co...
Why Did You Cover That Song?: Modeling N-th Order Derivative Creation with Co...
Kosetsu Tsukuda388 views
コンテンツの人気度を考慮したN次創作活動のモデル化 by Kosetsu Tsukuda
コンテンツの人気度を考慮したN次創作活動のモデル化コンテンツの人気度を考慮したN次創作活動のモデル化
コンテンツの人気度を考慮したN次創作活動のモデル化
Kosetsu Tsukuda1.7K views
コンテンツの人気度を考慮したN次創作活動のモデル化(ポスター) by Kosetsu Tsukuda
コンテンツの人気度を考慮したN次創作活動のモデル化(ポスター)コンテンツの人気度を考慮したN次創作活動のモデル化(ポスター)
コンテンツの人気度を考慮したN次創作活動のモデル化(ポスター)
Kosetsu Tsukuda445 views
WSDM勉強会発表資料(2016/3/19) by Kosetsu Tsukuda
WSDM勉強会発表資料(2016/3/19)WSDM勉強会発表資料(2016/3/19)
WSDM勉強会発表資料(2016/3/19)
Kosetsu Tsukuda1.2K views

Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス