SlideShare a Scribd company logo
Team name : FromDeer
Member: takutori, 猛者, EssenGing, ミュウツー
FromDeer
takutori(ケロマツ)=リーダー
EssenGing=データサイエンティスト
猛者 s.t. 元機械学習ガチ勢
ミュウツー=マーケター
来年から京都大学情報学研究科で機械学習の研究
機械学習の理論研究に興味あり
二郎系ラーメン好き(小説もたまに読む)
トレーダー
童顔無口巨乳がタイプ
チャームポイントは上唇小帯
来年から滋賀大学データサイエンス研究科
(なお、合格はまだしていない模様)
ピンチケヲタクになりたい
ラ・サール学園中学校高等学校蹴った
ラグビーガチ勢
数学はちょっぴり苦手(なお数学修士進学へ)
𝒍𝒊𝒎 𝒏→∞
∃!
𝝏
𝛁
𝒂. 𝒆
Overview
データ構造の理解
ユーザー関係の可視化
channelごとのtopic 分類
channelの活性化の予測
ネットワーク解析(中心性分析)
自然言語処理(感情分析)
Light-GBM
分析の目的
たくさん会話していて、普段発言しにくい人
も積極的に会話に参加できる状態であること
これから自分が発言する内容は、
チャネル内を活性化させるものなのか?
KPI作成
機械学習による予測
分析の目的
たくさん会話していて、普段発言しにくい人
も積極的に会話に参加できる状態であること
これから自分が発言する内容は、
チャネル内を活性化させるものなのか?
KPI作成
機械学習による予測
発話数 発言確率の情報量
user1 user2 user3 user4
…
…
userの発言分布 情報量を計算
{1: −log P user1 ,
2: −log P user2 ,
3: −log P user3 ,
… }
P user … userの発言確率
発言確率が低いuserの発言に対
して、ポイントを高くするため
channelの活性化の定義
発言iに対するchannelの活発化を示す指標
෍
𝒖𝒔𝒆𝒓∈𝑨𝒊
𝒕𝒂𝒍𝒌𝑪𝑵𝑻 𝒖𝒔𝒆𝒓 × −𝐥𝐨𝐠(𝑷 𝒖𝒔𝒆𝒓 )
𝑡𝑎𝑙𝑘𝐶𝑁𝑇 𝑢𝑠𝑒𝑟 …発言iから一日後までにuserが発言した回数
𝐴𝑖…発言iから一日後までに発言したuserの集合
𝑛…userの人数
𝑃(𝑢𝑠𝑒𝑟)…userが発言する確率
= −𝐥𝐨𝐠 𝚷 𝒖𝒔𝒆𝒓∈𝑨 𝒊
𝑷 𝒖𝒔𝒆𝒓 𝒕𝒂𝒍𝒌𝑪𝑵𝑻 𝒖𝒔𝒆𝒓
尤度になってる
Class1: 4062 Class2: 1691 Class3: 136
Activity上位30%の発言を集めてTOPIC分類をしてみた
データ分析系の単語が多い。
チームや、コミュニティといっ
た協調性を意識した単語もある。
• ネットワークの中心性(次数、近接、媒介、pagerank)
• 感情分析(happy,sad,disgust,angry,fear,surprice)
• ワード数
• Time_zone(朝、昼、夜)
• 曜日
• 発話者の発言確率の情報量
• 過去の発言における自分の発言の割合
特徴量
Light-GBMによるチャネル活性化予測
• ネットワークの中心性(次数、近接、媒介、pagerank)
• 感情分析(happy,sad,disgust,angry,fear,surprice)
• ワード数
• Time_zone(朝、昼、夜)
• 曜日
• 発話者の情報量
• 過去の発言における自分の発言の割合
特徴量
Light-GBMによるチャネル活性化予測
どのようなネットワーク??
グラフの今回の定義
user talk_id 時刻
User1 2019-08-10
18時
User1 2019-08-10
9時
User2 2019-08-10
19時
User3 2019-08-10
21時
User4 2019-08-11
10時
user1 2019-08-11
20時 User1
user1の最後の発
言から一日以内
あるchannelのtalk履歴
user1->{user2 : 0.4, user3 : 0.5}
user2->{user3 : 0.3, user4 : 0.8}
user3->{user4 : 0.6, user1 : 0.4}
枝と重みの辞書
User2
User3
User4
0.8
0.4
0.5
0.3
0.6
0.4
重み𝑤 1,2 …user1の発言に対して、一日以内にuser2が発言した割合
02-1-雑談
次
数
中
心
性
近
接
中
心
性
ペ
ー
ジ
ラ
ン
ク
媒
介
中
心
性
発言量1位
02-2-雑談-技術-分析
次
数
中
心
性
近
接
中
心
性
ペ
ー
ジ
ラ
ン
ク
媒
介
中
心
性
発言量2位
07-1-企画-slack分析
次
数
中
心
性
近
接
中
心
性
ペ
ー
ジ
ラ
ン
ク
媒
介
中
心
性
発言量3位
• ネットワークの中心性(次数、近接、媒介、pagerank)
• 感情分析(happy,sad,disgust,angry,fear,surprice)
• ワード数
• Time_zone(朝、昼、夜)
• 曜日
• 発話者の情報量
• 過去の発言における自分の発言の割合
特徴量
Light-GBMによるチャネル活性化予測
実装はどうした??
Qiita…スター300の記事もあった
https://github.com/sugiyamath/sentiment_ja
文章をanalyzer.analyzeに入れるだけで六つの感情の強弱を数値で出してくれる。
正規化されているわけではない
六つをそのまま特徴量に
分析の目的 これから自分が発言する内容は、
チャネル内を活性化させるものなのか?
෍
𝒖𝒔𝒆𝒓∈𝑨𝒊
𝒕𝒂𝒍𝒌𝑪𝑵𝑻 𝒖𝒔𝒆𝒓 × −𝐥𝐨𝐠(𝑷 𝒖𝒔𝒆𝒓 )
• ネットワークの中心性
• 感情分析
• ワード数
• Time_zone
• 曜日
• 発話者の情報量
• 過去の発言における自分の発言の割合
活性化の指標
特徴量設計
データ
特徴量
指標設計
機械学習(分類)
離散化
目的変数
目的変数と相関が高い特徴量がない。。。
線形モデルじゃきつそう
Kernel-SVMを試すも、予測精度67%ほどしか出ず。。。
流行りのlight-GBMを使ってみることに
モデルをどうするか?
Light-GBMによるクラス分類
pythonのlightgbmというライブラリを使用
Light-GBMによるクラス分類 parameter
多クラス分類
木にある分岐の個数
勾配ブースティングのイテレーション回数
大きくすることで、データと分岐
が一対一対応することを防ぎ、結
果として、過学習を抑制する。
最適な値は,0,5,15,300あたり
Light-GBMによるクラス分類
損失関数
特徴量重要度
Accuracy 0.7461799
Class1: 4062 Class2: 1691 Class3: 136
この閾値適当すぎでは?
Activity
Talk_id
Activityの増加の可視化
この辺がよさそう
二値分類にした
Class2
Class1
評価指標 精度
Accuracy 0.831069
Precision 0.831
Recall 0.831
F1 0.831
特徴量重要度が低い
betweenとmention_userは消した
今後の課題
lightGBMのパラメータチューニング
Channelでの階層化
閾値の決め方
テキストの内容を特徴量に
Bot型アプリケーション
slackの会話ネットワークの分析、及びチャネル内活性化指標の提案

More Related Content

Featured

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
Marius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
Expeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
Pixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
ThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
marketingartwork
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
Skeleton Technologies
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
SpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Lily Ray
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
Rajiv Jayarajah, MAppComm, ACC
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
Christy Abraham Joy
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
Vit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
MindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
RachelPearson36
 

Featured (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

slackの会話ネットワークの分析、及びチャネル内活性化指標の提案