20191220歌詞の可視化クイズ(鹿児島.mk#5)
•
0 likes•494 views
2019年12月20日鹿児島.mk#5LTのためのLT練習会で発表したものです。 2019年12月18日アプリ開発サークルで発表したものの改良版です。
Recommended
More Related Content
Featured
Featured (20)
20191220歌詞の可視化クイズ(鹿児島.mk#5)
- 2. 自己紹介 セリナ(23) ＠serina_ponpi 鹿児島大学工学部情報生体システム工学科 学部３年 福岡工業大学短期大学部情報メディア学科 CG映像サウンドコース 卒業後2年次編入 趣味：スマホゲーム（PUBG/音ゲー） 踊ってみた観賞 アイドル(嵐/Perfume/ZOC/すとぷり) 先週研究室配属が決定 画像に関する人工知能技術を研究予定 2
- 3. 今回の背景 「自然言語処理」講義を受講中 - N-gram,形態素解析,構造解析,意味解析,チャットボット作成 形態素解析の課題を調べていたら面白そうなQiitaの記事を発見！ 「米津玄師の歌詞をWordCloudで可視化してみた。」 https://qiita.com/Senple/items/1ad08b1a7ac9560bef62 アーティストごとに歌詞を可視化してクイズにしよう！ 3
- 5. 歌詞の収集（スクレイピング） スクレイピング Webサイトから自分が必要とする情報を抽出すること。 特に近年では、機械学習などで大量のデータを取得する必要があり、 プログラムを使って自動化することが多くなっている。 Beautiful Soup HTMLファイルやXMLファイルからデータを抽出するためのPythonライブラリ 5
- 6. 歌詞の収集（スクレイピング） 6 def main(): with open(‘Yonedu_kashi.txt', 'a') as f: # アーティストページ(米津玄師)のアドレス url = 'https://www.uta-net.com/artist/6636/' # 曲ページの先頭アドレス base_url = 'https://www.uta-net.com' # ページの取得 html = load(url) # 曲ごとのurlを格納 musics_url = [] # 歌詞を格納 kashis = '' アーティストページのURLを指定
- 7. """ 曲のurlを取得 """ # td要素の取り出し for td in pickup_tag(html, 'td'): # a要素の取り出し for a in pickup_tag(td, 'a'): # href属性にsongを含むか if 'song' in a.get('href'): # urlを配列に追加 musics_url.append(base_url + a.get('href')) 7 歌詞の収集（スクレイピング） 各曲のURLを取得し 配列に追加
- 8. """ 歌詞の取得 """ for i, page in enumerate(musics_url): print('{}曲目:{}'.format(i + 1, page)) html = load(page) for div in pickup_tag(html, 'div'): # id検索がうまく行えなかった為、一度strにキャスト div = str(div) # 歌詞が格納されているdiv要素か if r'itemprop="text"' in div: # 不要なデータを取り除く kashi = parse(div) print(kashi, end = '¥n¥n') # 歌詞を１つにまとめる kashis += kashi + '¥n' 8 歌詞の収集（スクレイピング） 歌詞を配列に追加
- 10. 歌詞を単語にわける（形態素解析） 形態素解析 文章を意味のある単語ごとに切り分ける。 ・英語→スペースでわければいい My / name / is / Serina. ・日本語→形態素解析エンジンMeCabを使用 私 / の / 名前 / は / せりな / です。 10
- 11. import MeCab #スクレイピングした歌詞のデータを取得 bindata = open("Nogizaka_kashi.txt", 'rb').read() kashi = bindata.decode('cp932') # 曲ごとに区切る lines = kashi.split('¥n') mecab = MeCab.Tagger('-Ochasen') mecab.parse('') output = [] #意味をなさないような単語を除外する。 stoplist=['「', '」', 'じゅう', 'そこら', 'れる', 'くい','ん','よう','の','てる','なっ','こと','いる','ない', 'そう','する', 'まま', 'よう', 'なる', 'こと', 'もう', 'いい', 'ある', 'ゆく', 'れる','それ'] 11 歌詞を単語にわける（形態素解析） 特徴にならなそうな 単語を除外 先ほどの テキストファイルを読み込む
- 12. for i in range(0,len(lines)): node = mecab.parseToNode(lines[i]) # 品詞に分解して、助詞や接続詞などは除外している。 while node: word_type = node.feature.split(",")[0] if word_type in ["名詞","形容詞","副詞","動詞"]: if not node.surface in stoplist and not node.surface.isdigit(): output.append(node.surface.upper()) node = node.next print(output) 12 歌詞を単語にわける（形態素解析） 品詞に分解 For文で曲数分回す
- 15. from wordcloud import WordCloud #形態素解析された単語のリストをWordCloud用に処理している。 text = ' '.join(output) #日本語はWindowsのフォントのパスを貼り付ける fpath = "C:/Windows/Fonts/YuGothM.ttc" wordcloud = WordCloud(background_color="white", font_path = fpath, width=800,height=600).generate(text) #WordCloudの画像は同じディレクトリ内に保存されます。 wordcloud.to_file("./wordcloud_Fanmon.png") 15 可視化（WordCloud） WordCloudライブラリで 画像化
- 18. 18
- 20. 20 嵐 ゆず Perfume 西野カナ Funky Monkey Babys Mt.Children
- 21. 嵐（ソロ曲含む343曲） 21
- 22. Perfume（107曲） 22
- 23. さいごに 形態素解析わりと簡単にできるし可視化すると面白い！ リアル世界に投影など演出にしても面白そう！ 人間の表現×技術でわくわくすることしたい！ もっと詳しく聞きたい方、 「このアーティスト/曲やってほしい！」等ぜひ声かけてください！ 23