[轉貼] 社群大數據 - 輿情觀測及分析應用

社群大數據 : 輿情觀測及分析應用
楊立偉教授 / 台灣大學工商管理系暨商學研究所
意藍資訊董事總經理
2015 Spring
Copyright © eLand Information. Proprietary and Confidential. All rights reserved.
社群口碑資料庫
1

Copyright © Proprietary and Confidential. All rights reserved.
研究領域為資料庫及語意分析技術、知識管理、數位行銷
講者介紹楊立偉博士
現任台大工管系暨商研所兼任助理教授2006~
台科大資管系兼任助理教授2008~
資訊及通信國家標準技術委員
意藍資訊董事總經理（創辦人）1999~
國內規模最大的網路情報與社群口碑自動分析平台
龍捲風科技董事總經理
國內企業搜尋引擎市佔率最高；國際檢索競賽第一名
經歷智威湯遜數位行銷首席顧問、尚藍互動行銷共同創辦人
2009年獲選100 MVP最有價值經理人，擁有超過20項語意分析專利
2012年榮獲國家雲端創新獎、數位時代「創業之星」首獎
2

團隊介紹 – 意藍資訊
國內最強的搜尋 / 語意分析技術團隊
15年研發經驗，60多項國內外專利，兩岸三地超過上千家客戶
擅長巨量、多樣之非結構化資料整合分析
國內搜尋引擎及知識管理廠商票選冠軍，市占率最高
NTCIR 國際資訊檢索評估會議第一名
榮獲國家雲端創新獎及創業之星首獎
3

1分鐘產生
的資料量
Facebook
每日產生
500TB 的資料
Youtube
每日產生
11 年的影片
4

哈佛 : 資料科學家是21世紀最迷人的工作
"Data Scientist : The sexist job of the 21st century"
5

Big Data 的應用方式
運用資料與演算，達成智慧決策
需要快速、大量、各式資料的處理分析能力
Data
• Structured
• Unstructured
• Historic
Information &
Insights
• Modeling 模型
• Deduction 演繹
• Inference 推理
• Prediction 預測
Decisions &
Actions
• Results 結果
• Options 選項
• Prevention 預防
• Suggestion 建議
"turning data into action"
6

國內最大的雲端網路輿情觀測中心
上百台雲端主機，涵蓋台灣九成以上社群流量
每日60億字，自2011年起累積的社群大數據
多項Social media分析技術專利與獲獎
監測分析涵蓋千大品牌、50多個產業
眾多知名媒體及研究機構引用
OpView 輿情觀測平台及社群口碑資料庫
7

創新應用範例
消費預測
疾病預測
民意預測
8

Social Listening : bottom-up, data-driven approach
社群輿情研究方法
社群聆聽新方法傳統調查
原理
非干擾式的內容觀察法
大數據下觀察母體
設計問卷後抽樣調查
存在抽樣及干擾誤差
準確性高高
時效性高低
資料量龐大 1068份樣本
觀點形成意見可深入分析量化成選項
執行難易自動化工具，易執行多道作業程序
周變小時快100倍
千到千萬份大1萬倍
9

運用社群聆聽了解民意
民眾當兵最關心的事反對核四的原因
青年畢業最擔心的事勞工議題關鍵字上班族抱怨的原因
10

案例 : 用大數據計算網路溫度
11
11

可應用的產業
金融 Banking
通信與媒體 Telecom & media
建築 Construction
製造 Manufacturing
生技醫療 Life sciences
and healthcare
專業服務 Professional services
政府 Public sector
零售 Retail
運輸 Transportation
航空 Airlines
汽車 Automotive
高科技 High-tech
能源 Energy
製藥 Pharmacy
公共事業 utilities
12

Copyright © OpView & eLand Information. Proprietary and Confidential. All rights reserved.
Social Big Data
社群大數據分析方法介紹
使用《OpView社群口碑資料庫》內容觀察和自動語意技術
自2011年起，有效討論量超過 6 億則，逐篇即時處理
涵蓋台灣流量 9 成以上的社群、討論區、部落格、BBS、粉絲團等
超過上萬個網站頻道，及數百萬帳號公開留言
13
13

關聯計算
企業搜尋引擎與語意分析平台
Tornado Search / ENLP Platform
關聯圖（知識地圖）
曾雅妮
LPGA
高球
妮妮
球后
詞彙擷取
風暴圖分類導覽
結果呈現
斷詞 / 新詞地址人名/組織名電話帳號自訂詞庫
查詢輔助
智慧提示自動摘要情緒分析口碑評價相關文件形似相關
分類引擎語意解析內容分析
非結構資料
整合檢索龍捲風知識檢索平台
14
14

自動標記重要字詞及人事物
15

1 中央社社會新聞阿帕契風波勞乃成認錯恐面臨刑責 0.85
2 聯合新聞網最新報導阿帕契風波勞乃成認錯恐面臨刑責 0.85
3 中央社社會新聞阿帕契案桃檢不排除傳外傭到案說明 0.80
4 中時電子報焦點要聞勞乃成涉洩密最重判十五年 0.78
5 中時電子報產業情報勞乃成涉洩密最重判十五年 0.78
6 蘋果日報要聞總覽勞妻：玩阿帕契很多次了 0.77
檢方表示，勞乃成涉案程度重大，涉及要塞堡壘地帶法、國家機密
保護法、陸海空軍刑法及刑法中的洩密罪，考量他的身分背景及涉
案手法，裁定50萬元交保。
內容最相近的文章
機器自動摘要結果
16

案例：刑事警察局資訊中心
累積整理多年之刑案資訊，含多種來源與多種資料格式
進行資料整備、匯入、分析，導入知識工程之成熟技術
準確率可達 95% 以上
17

產生主題、詞彙庫、網路圖，協助防治偵查
18

19
行銷廣告
簡訊
通話品質
行動上網
客戶服務
連線速度
客戶服務
行銷廣告
帳務費率
帳務費率
客戶服務
行動上網
連線速度
加值
簡訊
ADSL
4G
機器自動
標記分類
內容情緒判別
19

文字探勘案例： 1999 市民熱線
新進案件採自動化分類，降低所需之人力，並提升加值
找出需求議題、熱點趨勢、分布區域描繪、協辦單位分析等
20
transcript
Tagged data
Semantic analysis
Dept. prediction
語意
分析
Keyword extraction
processingapplication
Topic detection
dispatching
improvement
環保局
環保局
國發會計畫

Copyright © eLand Information Co., Ltd. Proprietary and Confidential.
9
8 7
6
5
4
3
2
1
10
若關鍵詞符合下列規則，則主辦單位會被分類至「建築管理工程處」，驗證之分類正確率如附表：
1.有違建
2.無違建，但有防火巷
3.無違建，無防火巷，但有室內裝修
4.無違建，無防火巷，無室內裝修，但有樓梯間
5.無違建，無防火巷，無室內裝修，無樓梯間，但有管委會
6.無違建，無防火巷，無室內裝修，無樓梯間，無管委會，但有建築工地
7.無違建，無防火巷，無室內裝修，無樓梯間，無管委會
，無建築工地，但有外牆
，無建築工地，無外牆，但至少有2次工地
，無建築工地，無外牆，但至少有2次工地與招牌
10.無違建，無防火巷，無室內裝修，無樓梯間
，無管委會，無建築工地，無外牆
，至少有2次工地與招牌，有建管處
，並且無都發局
自動分案 - 建築管理工程處為例 2731件
資料集分類正確率
train 95.89%
test 96.23%
21

10
自動分案 - 環保局為例 2796件
22
若關鍵詞符合下列規則，則主辦單位會被分類至「環保局」，驗證之分類正確率如附表：
1.有環境與都發局，公園至少有2次，且無警察局
2.無環境但有無牌，且無警察局
3.無環境，無無牌，但有垃圾車
4.無環境，無無牌，無垃圾車，但有環境髒亂
5.無環境，無無牌，無垃圾車，無環境髒亂，但有清潔隊
6.無環境，無無牌，無垃圾車，無環境髒亂，
無清潔隊，噪音至少有2次，且無警察局
7.無環境，無無牌，無垃圾車，無環境髒亂，
無清潔隊，噪音少於2次，但有亂丟垃圾
8.無環境，無無牌，無垃圾車，無環境髒亂，無清潔隊
，噪音少於2次，無亂丟垃圾，有清潔人員，且有公園
，噪音少於2次，無亂丟垃圾，無清潔人員，且有汙染
，噪音少於2次，無亂丟垃圾，無清潔人員，無汙染，垃圾桶至少有2次
資料集分類正確率
train 97.59%
test 97.60%
9
8
7
6
5
4
3
2
1

分群探索議題結果 : 衛生局為例
23
議題案件量
食品安全衛生問題 457
菸害防制問題 130
公立醫院問題 83
共同
關鍵詞
共同出
現群數
獨特
關鍵詞
衛生局 3衛生
健檢 2食品
網路 2食材
山區 3廚房
醫院 3攤販
食品安全衛生問題菸害防治問題
共同
關鍵詞
共同出
現群數
獨特
關鍵詞
吸菸 2 抽菸
山區 3 菸害
衛生局 3 公園
住戶 3 運動中心
學生 3 標誌
共同
關鍵詞
共同出
現群數
獨特
關鍵詞
醫院 3 病房
醫生 2 警察
醫師 2 急診室
病患 3 輪椅
就診 2 車輛
公立醫院問題
• 排序在「共同關鍵詞」及「獨特關鍵詞」的越上方代表關鍵詞在該群中越重要
依內容及主旨
關鍵詞分群

議題地圖 – 流浪動物
多分布於河濱、近山區
中山區、松山區顯著無流浪動物通報
24
取1月份資料
單位：動物保護處
議題：流浪動物

議題地圖 – 廢氣排放
相較集中分布於市區：如大安、信義、松山區
多屬油煙空污及汽機車廢氣
25
取1~3月份資料
單位：環保局
議題：廢氣排放

運用語意技術分析網路口碑
從內容對使用者及商品進行側寫
26
性別? 婚姻狀況? 子女狀況?
價值觀?
Life Stage?
Life Style?

近年來的技術突破
27
演算法及模型、
計算複雜度及規模、巨量資料

OpView Insight 系統平台
檢視統計分析管理
文章列表
追蹤
來源分布
頻道
排行
維度分析
趨勢
競爭風暴圖
關鍵字風暴圖
社群活躍度
正負情緒比
情緒分析
日報通知
維度
設定
成員
成員
主題下載
關鍵領袖
傳播趨勢
OpView Insight v3.4進階版，共四大服務模組，21大功能項目
28

OpView 輿情觀測平台畫面範例
29
29

Copyright © Proprietary and Confidential. All rights reserved. 30
連勝文柯文哲
30日情緒線圖及正負情緒比 ~11/28

網站頻道及意見領袖 15日分析
31

案例 : 年度流行話題商品排行榜
名次年度十大話題商品
1 清玉茶飲
2 雷神巧克力
3 超商霜淇淋
4 嘉義福義軒
5 薯條三兄弟
6 Krispy Kream甜甜圈
7 屏東心之和蛋糕
8 南門市場快車肉乾
9 Laduree馬卡龍
10 樂天小熊餅
爆紅最快商品竄升度
蜂巢冰淇淋 3.40
屏東心之和蛋糕 3.39
雷神巧克力 2.89
台中嘉味軒太陽餅 1.62
清玉茶飲 1.23
資料期間為 2013/4~2014/3
以討論聲量做排名，以變異係數表示竄升度
全部是由社群發動
進而影響傳統媒體
32

0
2000
4000
6000
8000
10000
12000
14000
201304 201305 201306 201307 201308 201309 201310 201311 201312 201401 201402 201403
屏東蛋糕
雷神巧克力
小熊餅
超商霜淇淋
案例 : 年度流行話題商品排行榜
社群帶動性強，效果較傳統媒體持久
兩者交互作用，產生爆炸成長
33

熱門餐飲年度代表 – 日式拉麵來台
排名餐廳名稱熱門度好感度綜合得分
1 一風堂 ★★★★★ 1.7 693
2 花月嵐 ★★★★☆ 1.6 357
3 麵屋武藏 ★★★★☆ 1.4 270
4 山頭火 ★★★★☆ 1.4 243
5 豚王拉麵 ★★★★ 1.5 162
6 屯京 ★★★★ 1.4 157
7 樂麵屋 ★★★☆ 1.4 126
8 三田製麵所 ★★★☆ 1.7 122
9 博多拉麵 ★★★ 1.8 111
10 壽賀喜屋 ★★★ 3.3 108
11 麵屋輝 ★★★☆ 1.4 107
12 梅光軒 ★★★☆ 1.2 99
涵蓋本地連鎖及日本來台拉麵店超過70家；好感度為P/N值，與聲量加權後為綜合得分
34

日式拉麵來台 – 對先進者的威脅
風暴圖分析 : 一同提及比較的競爭者
35

日式拉麵來台 – 分析市場位置
2%
7%
12%
-8.0% -4.0% 0.0% 4.0% 8.0%
一風堂花月嵐
麵屋武藏
山頭火
麵屋輝
豚王拉麵
樂麵屋屯京拉麵
梅光軒
博多拉麵
湯頭偏重
麵偏軟麵偏勁
36

熱門餐飲年度代表 – 王品集團
熱門度好感度綜合得分
1 西堤牛排 ★★★★★ 1.5 2449
2 陶板屋 ★★★★☆ 1.9 2003
3 原燒 ★★★★☆ 1.2 1241
4 王品牛排 ★★★ 1.4 820
5 石二鍋 ★★★ 1.6 750
旗下五大品牌各品牌滿意度
37

北部 1.4
西堤牛排 1.3
陶板屋 1.6
原燒 1.3
王品牛排 1.3
石二鍋 1.6
桃竹苗 1.6
西堤牛排 1.6
陶板屋 2.0
原燒 1.5
王品牛排 1.6
石二鍋 2.0
南部 1.5
西堤牛排 1.4
陶板屋 2.2
原燒 1.3
王品牛排 1.3
石二鍋 1.8
中部 1.4
西堤牛排 1.3
陶板屋 1.6
原燒 1.2
王品牛排 1.5
石二鍋 1.6
東部 1.4
西堤牛排 1.4
陶板屋 1.7
原燒 1.1
王品牛排 1.2
石二鍋 1.7
!
好感度
分區分析
38

案例 : 年度熱門營養保健品
名次下半年升降
1 雞精（含滴雞精） ▲3
2 人蔘 ▲1
3 益生菌 ▼1
4 靈芝及樟芝 ▼3
5 葉黃素 -
6 韭菜籽或南瓜籽 ▲1
7 薑黃 ▼1
8 大豆異黃酮 ▲1
9 葡萄糖胺 ▲1
10 冬蟲夏草 new
11 蜆精或蜆錠 ▼3
12 五味子 new
名次上半年
1 靈芝及樟芝
2 益生菌
3 人蔘
4 雞精（含滴雞精）
5 葉黃素
6 薑黃
7 韭菜籽或南瓜籽
8 蜆精或蜆錠
9 大豆異黃酮
10 葡萄糖胺
11 啤酒酵母 X
12 四物飲 X
資料期間為 2013/4~2014/3，依成份討論聲量做排名，涵蓋超過30種熱門成份
39

熱門營養保健品年度代表 – 滴雞精
討論雞精時，每百篇有56篇提及滴雞精，成長快速
滴雞精前四個品牌佔51%，其它或未提及品牌佔49%
懷孕、助孕、坐月子及寶寶營養補充相關
田原香 27%
老協珍 15%
原淬 7%金牌大師 1%
其它或未提
49%
0%
10%
20%
30%
40%
50%
營養口味價格方便熱量
滴雞精
一般雞精
40

熱門營養保健品 – 功效分析
以薑黃為例，傳統媒體與網友自發討論大不同
薑黃功效
保健、抗氧化
減肥及改善代謝
預防心血管疾病/降血脂
抗癌
護肝-預防性
幫助消化
解酒
護肝-治療性
抗菌
預防失智
養顏美容
止痛消炎
熱度排名
1
2
3
4
5
6
7
8
9
10
11
12
熱度排名
1
3
6
5
2
10
16
9
11
4
12
7
網
友
自
發
討
論
傳
統
媒
體
宣
傳
!
!
41

0
1,000
2,000
3,000
4,000
5,000
5月1日 6月1日 7月1日 8月1日 9月1日 10月1日 11月1日 12月1日
案例 : 代言名人外遇醜聞，影響品牌
形象背離越大，民眾反彈越大
42
彎彎，持續20日
總量 x12倍
好感 1.8→0.6
柯震東，持續45日
總量 x18倍
好感 1.3→0.5
九把刀，持續18日
總量 x7.5倍
好感 0.8→0.6
僅正評率略降
阿基師，持續20日
總量 x51倍
好感 1.6→0.4
房
祖
名
王
世
堅
13,000
12,000
:

「阿基師事件」社群傳播路徑圖
43

「阿基師事件」對消費品牌的影響
44
前五大討論區好評度變化
1 mobile01 1.0→0.4 ▼0.6
2 伊莉討論區 2.3→0.3 ▼2.0
3 巴哈姆特 2.0→0.4 ▼1.6
4 PTT 1.1→0.6 ▼0.5
5 Babyhome 3.0→0.5 ▼2.5
媽媽們的破滅
相關代言商品受影響
提及程度
整體品牌
好評度變化
福容大飯店 54% 2.3→1.1 ▼1.2
桂格 / 得意的一天 7% 無變化
福樂 / 一番鮮 6% 無變化
牛頭牌 11% 1.7→1.3 ▼0.4
型男大主廚 73% 1.7→0.7 ▼1.0
五月花 12% 1.5→1.2 ▼0.3
7-Eleven 年菜 38% 1.9→1.5 ▼0.4
百略醫學 17% 無變化
義廚寶 52% 2.9→1.2 ▼1.7

負評輿情內容探索 – 關鍵字風暴圖
比較不同期間之關鍵字變化
45

法規與政府機關
認證標準
經濟發展
政治操作
資訊平台
資源分配
產品安全評價
食品鏈管控
產業別
價格
台灣食品形象
危機處理
廠商賠償
行為改變
心理/生理反應
4-5
3-4
2-3
1-2
0-1
-1-0
-2--1
案例 : 劣油事件衝擊政策、產業、消費
社群聲量
標準分數
高峰期次高峰期延燒期
46

劣油事件衝擊產業 – 影響品牌地圖
47
強冠
味全
大統
奇美
犁記
盛香珍
統一
牛頭牌
美食達人
頂新
李鵠餅店
五花馬
黑橋牌
憶霖
維力
玉珍齋
乖乖
吳記
陸仕
劉媽媽
摩斯
美芝城
八方雲集
呷七碗
老克明
龍鳳
康師傅
億元
聯華
興霖
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
品
牌
平
均
聲
量
排
名
討論天數
排名

劣油事件衝擊消費行為 – 影響類型
網友提及行為變化，最多為伸張消費主權，次為醫療保健
謹慎消費、替代性行為較過去食安事件相比有所提升
討論中提及無影響類型字眼的占比亦有7%
48
無影響7%
謹慎消費1%
替代性行為12%
醫療保健
28%
申張消費主權
52%
影響重大

食安事件創造的商機
哪些在網路上最為熱烈討論 ? (領先指標)
49
天然有機
(39%)
手工料理
(13%)
料理器具
(7%)
食譜料理書
(6%)
歐洲 (11%)
澳洲 (7%)
美國 (5)
日本 (5%)
在地 (4%)
未指名 (67%)
進口認證食品
13%
養身健康
11%
DIY料理
76%
養生料理
(62%)
運動排毒
(20%)
保健食品
(18%)

結語 : 運用社群大數據新方法
用聆聽與觀測踏出第一步
各種量化與質化指標
探索輿情、了解民意
輿情觀測
社群危機風險管理
產業趨勢消費者研究
產品開發行銷管理
匯流
分析
預警
管理
50

應用 : 社群空中預警
建立多重預警指標
5/27 5/30 6/2 6/5 6/8 6/11 6/14 6/17 6/20 6/23
總聲量
負面情緒
正面情緒
重新上架
討論高峰
食安事件
品牌聲量 5 . 9 x 1 2 . 6 x
負評率 7 0 . 1 % 3 2 . 0 % ▼
P / N 比 0 . 3 7 0 . 9 4 ▲
5151

危機預警 : 以越南反華事件為例
越南和台商之社群聲量
及均值線圖5/8 中越海上對峙
爭端擴大，美日發表談話
5/11 越南國內發起
大規模反中活動
5/13 活動失序波及
台商，情況危急
突破均線
52

自 5月8日起一周內
P/N 值由 1.04 跌至 0.43
越南和台商之社群聲量
■ 負評線 ■ 正評線
正負反轉
53

Big Data Economics
挑戰 : 整合碎裂、角色分工、及規模經濟
54
Data
Producer
Data
Processor
Data
Consumer
Data
Aggregator
Technology
Enabler
Data
Operator
Domain
Expert
Source : W.Yang, 2014

Thank you
更多資訊請搜尋《OpView社群口碑資料庫》
http://www.opview.com.tw
社群口碑資料庫
55

模型理論完整，規模最大，市佔率最高，成功案例眾多
新一代民意調查與市場研究的利器
附錄 : OpView 的特色
高準確率容易執行
高覆蓋率高時效性
大數據
自動語意技術
內容分析
中文語意分析
第一名
上萬個網站頻道
涵蓋九成流量
重要資訊
1小時內更新
多種分析功能
雲端服務
56
56

研究機構
商業發展研究院
工業技術研究院
國家實驗研究院
中山科學研究院
政府部門
國家發展委員會
國家安全局
警政署刑事局
國家檔案管理局
金融產業
中國信託
永豐銀行
三商美邦人壽
消費產業
統一企業
全家便利商店
搜尋語意分析及網路觀測客戶近千家
57
電信產業
中華電信
遠傳電信
亞太電信
台灣大哥大
內容媒體
聯合線上
春水堂
城邦媒體
科技產業
台灣積體電路公司
旺宏電子
其它
台塑集團
精誠資訊
近期知名代表實績

監測服務 ─ 監測平台
58
聲量趨勢頻道分佈正負評排行榜
正負情緒比競爭風暴圖
系統化呈現最即時的網路口碑情報
維度比較

分析服務 ─ 消費者研究
消費者聲量趨勢分析消費者聲量組成分析消費動機分析
意見領袖分析消費族群側寫消費話題分析
此為分析報告示意範例，詳細內容將依客戶需求再作調整
針對特定市場調查或行銷研究主題進行網路口碑的調查與分析
59

[轉貼] 社群大數據 - 輿情觀測及分析應用

More Related Content

What's hot

More from Rouyun Pan

[轉貼] 社群大數據 - 輿情觀測及分析應用