slackの会話ネットワークの分析、及びチャネル内活性化指標の提案

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Team name : FromDeer
Member: takutori, 猛者, EssenGing, ミュウツー

FromDeer
takutori(ケロマツ)=リーダー
EssenGing=データサイエンティスト
猛者 s.t. 元機械学習ガチ勢
ミュウツー=マーケター
来年から京都大学情報学研究科で機械学習の研究
機械学習の理論研究に興味あり
二郎系ラ...

Overview
データ構造の理解
ユーザー関係の可視化
channelごとのtopic 分類
channelの活性化の予測
ネットワーク解析(中心性分析)
自然言語処理(感情分析)
Light-GBM

分析の目的
たくさん会話していて、普段発言しにくい人
も積極的に会話に参加できる状態であること
これから自分が発言する内容は、
チャネル内を活性化させるものなのか？
KPI作成
機械学習による予測

分析の目的
たくさん会話していて、普段発言しにくい人
も積極的に会話に参加できる状態であること
これから自分が発言する内容は、
チャネル内を活性化させるものなのか？
KPI作成
機械学習による予測
発話数発言確率の情報量

user1 user2 user3 user4
…
…
userの発言分布情報量を計算
{1: −log P user1 ,
2: −log P user2 ,
3: −log P user3 ,
… }
P user … userの発言確率...

発言iに対するchannelの活発化を示す指標
෍
𝒖𝒔𝒆𝒓∈𝑨𝒊
𝒕𝒂𝒍𝒌𝑪𝑵𝑻 𝒖𝒔𝒆𝒓 × −𝐥𝐨𝐠(𝑷 𝒖𝒔𝒆𝒓 )
𝑡𝑎𝑙𝑘𝐶𝑁𝑇 𝑢𝑠𝑒𝑟 …発言iから一日後までにuserが発言した回数
𝐴𝑖…発言iから一日後までに発言したuser...

Class1: 4062 Class2: 1691 Class3: 136

Activity上位30%の発言を集めてTOPIC分類をしてみた
データ分析系の単語が多い。
チームや、コミュニティといっ
た協調性を意識した単語もある。

• ネットワークの中心性(次数、近接、媒介、pagerank)
• 感情分析(happy,sad,disgust,angry,fear,surprice)
• ワード数
• Time_zone(朝、昼、夜)
• 曜日
• 発話者の発言確率の情報...

• ネットワークの中心性(次数、近接、媒介、pagerank)
• 感情分析(happy,sad,disgust,angry,fear,surprice)
• ワード数
• Time_zone(朝、昼、夜)
• 曜日
• 発話者の情報量
• 過...

グラフの今回の定義
user talk_id 時刻
User1 2019-08-10
18時
User1 2019-08-10
9時
User2 2019-08-10
19時
User3 2019-08-10
21時
User4 2019-08...

02-1-雑談
次
数
中
心
性
近
接
中
心
性
ペ
ー
ジ
ラ
ン
ク
媒
介
中
心
性
発言量1位

02-2-雑談-技術-分析
次
数
中
心
性
近
接
中
心
性
ペ
ー
ジ
ラ
ン
ク
媒
介
中
心
性
発言量2位

07-1-企画-slack分析
次
数
中
心
性
近
接
中
心
性
ペ
ー
ジ
ラ
ン
ク
媒
介
中
心
性
発言量3位

• ネットワークの中心性(次数、近接、媒介、pagerank)
• 感情分析(happy,sad,disgust,angry,fear,surprice)
• ワード数
• Time_zone(朝、昼、夜)
• 曜日
• 発話者の情報量
• 過...

Qiita…スター300の記事もあった

https://github.com/sugiyamath/sentiment_ja

文章をanalyzer.analyzeに入れるだけで六つの感情の強弱を数値で出してくれる。
正規化されているわけではない
六つをそのまま特徴量に

分析の目的これから自分が発言する内容は、
チャネル内を活性化させるものなのか？
෍
𝒖𝒔𝒆𝒓∈𝑨𝒊
𝒕𝒂𝒍𝒌𝑪𝑵𝑻 𝒖𝒔𝒆𝒓 × −𝐥𝐨𝐠(𝑷 𝒖𝒔𝒆𝒓 )
• ネットワークの中心性
• 感情分析
• ワード数
• Time_zone
• 曜...

目的変数と相関が高い特徴量がない。。。
線形モデルじゃきつそう
Kernel-SVMを試すも、予測精度67%ほどしか出ず。。。
流行りのlight-GBMを使ってみることに
モデルをどうするか？

Light-GBMによるクラス分類
pythonのlightgbmというライブラリを使用

Light-GBMによるクラス分類 parameter
多クラス分類
木にある分岐の個数
勾配ブースティングのイテレーション回数
大きくすることで、データと分岐
が一対一対応することを防ぎ、結
果として、過学習を抑制する。
最適な値は,0,5,...

Light-GBMによるクラス分類
損失関数
特徴量重要度
Accuracy 0.7461799

Class1: 4062 Class2: 1691 Class3: 136
この閾値適当すぎでは？

Activity
Talk_id
Activityの増加の可視化
この辺がよさそう
二値分類にした
Class2
Class1

評価指標精度
Accuracy 0.831069
Precision 0.831
Recall 0.831
F1 0.831
特徴量重要度が低い
betweenとmention_userは消した

今後の課題
lightGBMのパラメータチューニング
Channelでの階層化
閾値の決め方
テキストの内容を特徴量に
Bot型アプリケーション

slackの会話ネットワークの分析、及びチャネル内活性化指標の提案

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1063677 views
Storytelling For The Web: Integrate... by Chiara Aliotta 982505 views
Artificial Intelligence, Data and C... by OECD Directorate ... 924689 views
How to Leverage AI to Boost Employe... by SocialHRCamp 392956 views
2024 State of Marketing Report – by... by Marius Sescu 222263 views
Everything You Need To Know About C... by Expeed Software 237949 views

View on Slideshare

1 of 31 Ad

View on Slideshare

1 of 31 Ad