発言小町クロニクル
•Download as PPTX, PDF•
5 likes•2,477 views
#jubatus_hackathonで作った、発言小町のトピック(記事)内容の解析
Recommended
More Related Content
Viewers also liked
発言小町クロニクル
- 1. 発言小町 クロニクル
- 4. やったこと • トピック内容を幾つかに分類する o 概要をつかむ • 分類ごとに時系列でトレンドがあるか調べる o 予想の裏付け • 突然の流行(外れ値)があるか調べる o 小町ウォッチングができればいいなぁ
- 5. 自動分類
- 6. 自動分類 0 スカート, パンツ, 知人, 若い, 安く, 美味しい, 抵抗, なるべく, 思う, チェック, 1 漫画, 作品, 好き, 読ん, 読み, 教え, 下さい, さん, 先生, 雑誌, 2 主人, 子供, 夫婦, 結婚, 生活, 実家, こと, 主婦, 仕事, なり, 3 仕事, 会社, 時間, こと, よう, 上司, パート, 子供, なり, いる, 4 母乳, ミルク, 授乳, 赤ちゃん, 体重, 育て, ヶ月, 増え, 飲ま, 生後, 5 Ａ子, さん, メール, 友人, 飲み, 疎遠, イベント, 結婚式, 愚痴, まし, 6 体重, キロ, ダイエット, kg, 痩せ, 身長, cm, 太っ, 運動, 食べ, 7 実家, 両親, 義理, 同居, 帰省, 結婚, 長男, 子供, 夫婦, 家族, 8 料理, 食べ, 野菜, 作っ, 上手, 美味しい, 作る, 毎日, 作り, 教え, 9 さん, ママ, 女性, 店員, まし, てる, 仕事, 美容, って, こと, 10 友人, 彼女, 結婚, たり, こと, 自分, 女性, って, 子供, 男性, 11 000, 保険, 貯金, 小遣い, 食費, 15, 家計, 25, 20, 10, 12 センチ, サイズ, 23, 12, 距離, 部分, 試し, 大きい, 身長, みたい, 13 ドラマ, 作品, さん, 映画, 好き, 海外, 教え, 以来, 久しぶり, テレビ, 14 息子, ママ, 先生, 幼稚園, 子供, 男の子, 友達, たり, 遊び, さん, 15 義母, 義父, 義妹, 義兄, 義姉, 同居, 子供, 実家, たち, 主人, 16 教え, ください, 食べ, お願い, よろしく, もの, 下さい, など, たい, たら, 17 弁当, ランチ, 食べ, 持参, 外食, 午前, 作っ, 作り, 朝食, お昼, 18 祖母, 祖父, 亡くなっ, 同居, 介護, 叔母, 義父, ありがとう, 土地, 相続, 19 日本, 英語, 海外, アメリカ, 帰国, 日本語, 現地, 旅行, 日本人, 留学,
- 7. 生々しい。。。 • 家庭生活(2)、パートジョブ(3)、ダイエット(6)、親戚づ きあい(15)、介護(18) o 家庭まわりの話が多いんだなぁ • 同じ数字が出てくるクラスタでも、お金(11)とその他 (12)に分かれる o お金は大事 • 異色の留学クラスタ(19)
- 8. 簡易webUI
- 9. 手法について 1. テキストを分かち書き 2. Tf-idfフィルタリング 3. K-meansクラスタリング 4. セントロイドの上位10次元を文字に戻して可視化 • Jubaclusteringを用いていたが、クラスタが大きく偏っ てしまう問題が起きてしまった o おそらく原点周りのクラスタになってしまっている o 特徴次元が文字数(数千次元)でかなり大きいためと思われる • 出現頻度で足切りして、多少は改善する o Sklearnのminibatchkmeansのほうが今回は解釈しやすい結果になった • オンライン学習でないため、初期値をある程度適切に選べることが聞いて いるのかと予想する
- 10. トレンド
- 11. トレンドを観よう
- 13. 仕事, 会社, 時間, こと, よう, 上司, パート, 子供, なり, いる 春に悩みがち？
- 14. 友人, 彼女, 結婚, たり, こと, 自分, 女性, って, 子供, 男性 12月と、夏ころにピークが来る
- 15. 手法 1. 全トピックをクラスタに割り当てる 2. 28日間の全トピックが、どのクラスタに何個あるかの ヒストグラムを作る 1. 28日間にしているのは曜日による偏りをなくすため 3. 足して1になるように正規化
- 16. 外れ値発見
- 19. まとめ • 季節トレンドの分析はまじめにやると面白そう o 今回の話は、きちんと検証しないで思い込みで書いてある部分もあるので、 ちゃんと検証してみるといいと思う o 違う年の同じ月を足しあわせてみるといいと思う • 小町の生々しさがわかったので、もっとこれを活かした 解析をしたい。 o 賛同を得やすいワードとか、否定されやすいワードとか。陰口で盛り上がるみ たいなツラミを検証してみたい