Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
未來客服就是作好預測
2017.6.6
李佳勳
1
2
書摘
這是什麼顏色 ?
3
再看一次,他們是什麼顏色 ?
4
哪一個比較長?
5
6
主題 未來客服就是作好預測
簡介說明
─ 當工業4.0在全世界掘起,巨量資料、AI、智能機器人等議題也正影
響服務業,客服管理階層逐漸發現數據分析能為管理決策帶來種種
好處,也體會到只要我們對資訊的理解程度比不上資訊成長速度時,
就會面臨危...
Nate Silver
─ 席佛是美國當代知名的統計與預測鬼才。從小就對數字與思考展現興趣與天
分,六歲便開始預測棒球賽事。他進入芝加哥大學主修經濟學,並在大三前
往倫敦政經學院研修一年。大學畢業後,進入安侯建業事務所(KPMG)擔
任顧問。在...
章節重點
重點 章節 參考資料
判斷預測
的問題
金融危機的預
測失誤、成功
預測則有棒球
跟政治領域
1. 慘烈的預測失誤
2. 你比電視名嘴還聰明嗎?
3. 我在乎的只有輸贏
大到不能倒
(電影)
大賣空(電影)
動態系統是預
測的大挑戰,...
9
❶
房裡的大象
─ 房市泡沫,連小狗名字都可以申請房貸,無
償債能力可以擁多房
─ 槓桿、槓桿、槓桿,銀行的貪得無厭
─ 恐懼是新的貪婪,刺激方案無效,評等機構
面對的是被評等還是收費客戶
他們不想讓音樂停下來
─ 太好,屋主和投資人認為價...
10
慘烈的預測失誤
【大賣空】The Big Short
─ 傳人避險基金Scion Capital「麥克貝瑞」本業是醫生,
性格不擅社交終日關在辦公室中大放金屬音樂,因逐一
檢視幾萬筆資料後將基金押注在要求銀行賣給他的CDS(
信用違約交換...
11
❷
「刺蝟」與「狐狸」
─ 「刺蝟」A型人格的人,相信有「偉大的想法
Big Ideas」──相信這世界上有像物理定律
一樣的指導法則,社會上幾乎所有的互動都
以之為基礎。想一想馬克斯和階級鬥爭,或
是佛洛依德與潛意識。或葛拉威爾(Mal...
1212
狐狸的預測好很多 刺蝟的預測比較弱
1. 跨學科:從不同的學科採納意見,
不管意見來自什麼樣的政治立場。
2. 適應力強:如果不確定原來的方
法有用,就會找出新方法──或
好幾個方法同時進行。
3. 自我批判:有時願意(雖然很少
樂意...
13
你比電視名嘴還聰明嗎?
庫克政治報告
量化
─ 民意調查
─ 選區人口
─ 過去選舉投票
─ 全國黨派傾向
─ 現任總統支持率
─ ………..
─ ………..
質化
─ 訪談技巧,一開始自在友善,突然尖銳問題,主要去感
受風格與方法。
─...
14
❸
「五大工具」&「五大工具之外」
「五大工具」
─ 高長打率
─ 高打擊率
─ 跑壘速度
─ 傳球臂力
─ 守備範圍
「五大工具之外」球探預測球員的心理工具箱:
─ 『準備程度和工作倫理』:棒球賽制的比賽場數比
其他運動都多。
─ 『集...
15
❹
「雨是綠的不是藍的」
─ 預測能力有很大進步的氣象預報,過去25年內氣象
預報的準確率已提高了350%!
─ 為何大家仍覺得氣象預報不準?這是因為美國商業
氣象頻道,為了顧客服務的經濟動機,有時會在資
料的呈現上做些操弄。預測者公佈的...
16
❺
「救命大數據」到「 零傷亡」
─ 大數據與災難之間的關係,就在分成四個階段
4R,首先是減災,再來是整備,應變及復原
─ 要減災,要把目前的氣候、地質等資訊收集起
來,在研究出某些模式,根據這些模式就可以
知道海嘯會淹到哪裡,或者是說...
17
資料出處 : 公視救命大數據影片
18
資料出處 : 公視救命大數據影片
19
資料出處 : 公視救命大數據影片
20
資料出處 : 公視救命大數據影片
21
❺
─ 如果將來還有不只在日本,在別的國家,有沒有
機會能夠透過大數據,能夠來提供更多的防治的
一些對策 ? 救命大數據裡面,包括很多的科技人
員,透過了各種不同的方式,把當時大地震發生
的很多的數據,做了一些動態的整理,然後分析
出很多...
22
❺
─ Twitter 貢獻了在地震後發生的一周內,發送出的
一億八千萬條推文
─ 本田汽車公司透過汽車導航系統資訊,提供一百
四十萬輛車在地震當天的移動情形
─ 日本氣象協會再提供了大量關於地震海嘯的數據
─ 導航系統的數據顯示,許多駕...
23
❻
「貝式定理」
─ 『貝式定理的特性之一,就是隨著時間的推移,我們看到更多的證據,
那我們的信念彼此間--還有跟真理間--應該要達成一致。』
─ 邏輯推理如下例,這位太太必須問自己:老公外遇的機率有多少?條件
是你發現老公出現了無故晚歸...
24
❻
「貝式定理」
先驗機率與三個已知+一個未知
先驗機率
丈夫外遇出軌的可能
性初始估計
x 4%
新事件發生:發現老公無故晚歸不回家
以他出軌為條件,出
現無故晚歸行為的機
率
y 50%
以他沒有出軌為條件,
出現無故晚歸行為的
機率...
這是什麼顏色 ?
25
26
再看一次,他們是什麼顏色 ?
27
球王不靠踢球 ?
28
但..…..
我沒踢
過球
號稱「卡洛
斯凱撒」
(Carlos
Kaiser)
29
預設立場或過度自信, 是非常可怕的事
預測不在追求是與非, 而是估算機率. 有精確的機率, 才能做出有利的決策.
預測時不能忽略誤差, 並要勇於承認有不確定性. 不然你會過度解釋, 變成不精準的預測.
做預測時, 最怕一看見有相關就解釋成...
30
AI
認知科學
31
類神經網路
突觸學習/權重
監督式學習
GPU
龐大有標資料集
語意處理
深層學習
32
實例
33
「暢銷書密碼」一書
文字探勘
斷字、認詞、詞性標記、依存句法分析
機器分類
KNN、SVM
驗證
十折交叉驗證
留一驗證
Source :暢銷書密碼
34
暢銷書密碼模型
Source :暢銷書密碼
客戶抱怨模型
Example
35
工具
Example
36
37
Thank you
38
Upcoming SlideShare
Loading in …5
×

未來客服就是作好預測 20170606 - 精準預測讀書分享

459 views

Published on

精準預測讀書分享

Published in: Data & Analytics
  • Be the first to comment

未來客服就是作好預測 20170606 - 精準預測讀書分享

  1. 1. 未來客服就是作好預測 2017.6.6 李佳勳 1
  2. 2. 2 書摘
  3. 3. 這是什麼顏色 ? 3
  4. 4. 再看一次,他們是什麼顏色 ? 4
  5. 5. 哪一個比較長? 5
  6. 6. 6 主題 未來客服就是作好預測 簡介說明 ─ 當工業4.0在全世界掘起,巨量資料、AI、智能機器人等議題也正影 響服務業,客服管理階層逐漸發現數據分析能為管理決策帶來種種 好處,也體會到只要我們對資訊的理解程度比不上資訊成長速度時, 就會面臨危險。 ─ 本次讀書會分享將透過巨量資料預測的數據分析概念來幫助我們探 索客戶或客訴行為模式,從而建立客戶行為模型並以根本原因分析 (Root Cause Analysis)發展解決方案後,達到維繫客戶與降低客戶 服務的營運成本的目的。 參考書目 精準預測 The Signal and the Noise 作者 : Nate Silver 發行所 : 三采文化
  7. 7. Nate Silver ─ 席佛是美國當代知名的統計與預測鬼才。從小就對數字與思考展現興趣與天 分,六歲便開始預測棒球賽事。他進入芝加哥大學主修經濟學,並在大三前 往倫敦政經學院研修一年。大學畢業後,進入安侯建業事務所(KPMG)擔 任顧問。在安侯建業雖然他有一份穩定高薪的工作,可是卻不是他真正想要 的。 ─ 席佛利用工作之餘,偷偷研發出一套創新的棒球賽事預測系統PECOTA,因 為準確率不賴,Baseball Prospectus於2003年向他收購。席佛也將他統計 與預測的天賦應用在玩德州撲克撈錢,後來玩到無心正業,乾脆辭職當起賭 徒,直到那些遊走在法律邊緣的德州撲克網路被美國國會新立的法搞到關門 大吉為止。 ─ 他在2008年美國總統大選之前成立了「五三八」網站( FiveThirtyEight.com,五三八是美國總統大選的選舉人票總數),發表他的 選情預測,獲得廣泛注意。他在「五三八」網站公布預測,成功預測歐巴馬 勝選,而且是在50州的個別選舉結果中,49州預測正確,35名參議員選舉更 完全命中。2009年《時代雜誌》(Time)並將他列入「世界最有影響力的百 大名人」。「五三八」網站在2010年由《紐約時報》經營至今年中轉至 ESPN。2012年的總統大選,他再度成功預測歐巴馬勝選,並且50州全部命 中。 7 Source : 精準預測 The Signal and the Noise
  8. 8. 章節重點 重點 章節 參考資料 判斷預測 的問題 金融危機的預 測失誤、成功 預測則有棒球 跟政治領域 1. 慘烈的預測失誤 2. 你比電視名嘴還聰明嗎? 3. 我在乎的只有輸贏 大到不能倒 (電影) 大賣空(電影) 動態系統是預 測的大挑戰, 天災氣候、地 震跟傳冉病 4. 多年來你一直告訴我們雨是綠的 5. 拚命找訊號 6. 要怎麼淹死在一公尺深的水裡 7. 模型的角色 救命大數據 (公視影片) 探討與運 用貝式定 理的解決 之道 靠貝式定理致 富的運動賭徒 如何知識變成 知識 8. 錯誤越來、越來越少 9. 對機器大發脾氣 10. 撲克泡沫 雪球(書) 多變量分析 (書) 統計學(書) 全球暖化、恐 怖主義跟金融 泡沫 11. 要是你贏不了他們 12. 有著健康懷疑態度的氣氛 13. 你不知道的東西可能會傷害你結 論 8 Source : 精準預測 The Signal and the Noise
  9. 9. 9 ❶ 房裡的大象 ─ 房市泡沫,連小狗名字都可以申請房貸,無 償債能力可以擁多房 ─ 槓桿、槓桿、槓桿,銀行的貪得無厭 ─ 恐懼是新的貪婪,刺激方案無效,評等機構 面對的是被評等還是收費客戶 他們不想讓音樂停下來 ─ 太好,屋主和投資人認為價格上漲就表示房 屋的價值會持續的攀升 ─ 太新,評等機構不懂信用違約選擇權 Credit Default Option. ─ 太有信心,經濟學家、決策者相信金融體系 可以像以前一樣V字形復甦。 Source : 精準預測 The Signal and the Noise
  10. 10. 10 慘烈的預測失誤 【大賣空】The Big Short ─ 傳人避險基金Scion Capital「麥克貝瑞」本業是醫生, 性格不擅社交終日關在辦公室中大放金屬音樂,因逐一 檢視幾萬筆資料後將基金押注在要求銀行賣給他的CDS( 信用違約交換Credit Defalt Swap) ,面對各家銀行的嘲 笑與驚人的保費,向投資人解釋為何基金的資金部分為 何不停地在虧損,不但不被理解,最後還要控告他,麥 克貝瑞所操盤的傳人基金因金融風暴獲利超過400%。 ─ 賈德佛奈特在投資業界找了道德感強烈的馬克鮑恩來攤 平風險。當馬克開始去進行房市田野調查,發現房貸審 查輕易過關,且讓不固定收入者擁有四五棟房子,購房 出租者也不按時繳房貸,接著是CDO「擔保債務憑證」 Collateralized Debt Obligation 是房貸市場的延伸性商品 ,被比喻為燉海鮮。 ─ 無意間撿到麥克貝瑞計畫書的兩位投資界新手,一直想 拿到ISDA,於是拜託退休銀行家的班來幫他們。這幾組 人馬在金融風暴事件中獲重利。 分辨在人 資訊多雜訊多 關鍵指標 相關非因果 假設 – 驗證 懂得自己的偏見 樣本之外 Source : 精準預測 The Signal and the Noise
  11. 11. 11 ❷ 「刺蝟」與「狐狸」 ─ 「刺蝟」A型人格的人,相信有「偉大的想法 Big Ideas」──相信這世界上有像物理定律 一樣的指導法則,社會上幾乎所有的互動都 以之為基礎。想一想馬克斯和階級鬥爭,或 是佛洛依德與潛意識。或葛拉威爾(Malcolm Gladwell)與引爆點(tipping point)。 ─ 「狐狸」是雜亂無章的生物,相信許許多多 的小想法,對問題會用各式各樣的手段來處 理。他們比較能包容細微差別、不確定性、 複雜局面和異議。 Source : 精準預測 The Signal and the Noise
  12. 12. 1212 狐狸的預測好很多 刺蝟的預測比較弱 1. 跨學科:從不同的學科採納意見, 不管意見來自什麼樣的政治立場。 2. 適應力強:如果不確定原來的方 法有用,就會找出新方法──或 好幾個方法同時進行。 3. 自我批判:有時願意(雖然很少 樂意)承認自己的預測有錯,並 承擔責任。 4. 能包容複雜狀況:認為宇宙是複 雜的,也許複雜到許多基本的問 題解決不了或本來就無法預測。 5. 小心謹慎:用機率的術語表達他 們的預測,意見有所保留。 6. 以實徵為主:比較依賴觀察而非 理論 1. 專科:大半的事業都用在解決一兩 個大問題之上。對「外人」的意見 持懷疑態度。 2. 堅定不移:堅持用同一個「包含一 切」的方法──新的資料會用來改良 原有的模型。 3. 毫不退讓:出錯就怪運氣不好或特 殊狀況。 4. 尋找秩序:一旦從雜訊中找出訊號, 就希望發現這個世界是在依照相對 單純的從屬關係。 5. 自信:對他們的預測很少閃爍其辭, 也不願改變自己的預測。 6. 以意識型態為主:期盼許多日常問 題的解決之道都展現了某些偉大的 理論或鬥爭。 「刺蝟」與「狐狸」 Source : 精準預測 The Signal and the Noise
  13. 13. 13 你比電視名嘴還聰明嗎? 庫克政治報告 量化 ─ 民意調查 ─ 選區人口 ─ 過去選舉投票 ─ 全國黨派傾向 ─ 現任總統支持率 ─ ……….. ─ ……….. 質化 ─ 訪談技巧,一開始自在友善,突然尖銳問題,主要去感 受風格與方法。 ─ 有能力判斷評估不被媚力所惑 ─ 尋找危險訊號,,例 : 幾歲了? Broken leg案例(有些東西 太過醒目,不去解釋就太愚蠢 原則一:用機率思考 原則二:今天的預測就是你餘 生的第一個預測 原則三:尋求共識 小心萬靈丹式的預測 評估質化的資料 尋找危險訊號(斷了腿) 要客觀不容易 Source : 精準預測 The Signal and the Noise
  14. 14. 14 ❸ 「五大工具」&「五大工具之外」 「五大工具」 ─ 高長打率 ─ 高打擊率 ─ 跑壘速度 ─ 傳球臂力 ─ 守備範圍 「五大工具之外」球探預測球員的心理工具箱: ─ 『準備程度和工作倫理』:棒球賽制的比賽場數比 其他運動都多。 ─ 『集中與專注』:比賽中的表現。 ─ 『競爭力與自信』:自我懷疑、對成功的渴望等等 心理狀態。 ─ 『壓力管理與謙遜態度』:如何處理自己的表現和 外界的評論。 ─ 『適應力與學習力』:腦袋如何。 Source : 精準預測 The Signal and the Noise
  15. 15. 15 ❹ 「雨是綠的不是藍的」 ─ 預測能力有很大進步的氣象預報,過去25年內氣象 預報的準確率已提高了350%! ─ 為何大家仍覺得氣象預報不準?這是因為美國商業 氣象頻道,為了顧客服務的經濟動機,有時會在資 料的呈現上做些操弄。預測者公佈的預測值太過於 強調要「精準」而非「正確」,比如預報某地區降 雨的機率是60%,但以統計機率來說可能是50% – 70%的範圍,給個看似糢糊的範圍有失「專業」的 身份的包袱也讓預測者事後不願承認預測犯錯的事 實。 ─ 動態很挑戰,混沌原理的蝴蝶效應,我們可能無法 正確測量初始值,例如氣象觀測站有限,所以無法 精確得知目前每平方公分大氣的數據,即使我們有 正確的大氣知識也無法預測颱風會怎麼跑。 ─ 預報最重要的檢驗標準 – 校準 (calibration) Source : 精準預測 The Signal and the Noise
  16. 16. 16 ❺ 「救命大數據」到「 零傷亡」 ─ 大數據與災難之間的關係,就在分成四個階段 4R,首先是減災,再來是整備,應變及復原 ─ 要減災,要把目前的氣候、地質等資訊收集起 來,在研究出某些模式,根據這些模式就可以 知道海嘯會淹到哪裡,或者是說淹水會淹哪裡 ,或者說那邊比較容易會發生地震,這可以幫 助我們去做應變,這是減災的部分.再來要整 備的時候,可能用line通報開始準備一個防災的 隊伍等.在真正應變時,在搜救時,搜救人員 所在的位置跟被救的人所在位置,被救的人在 哪裡,都要這些數據,才知道怎麼去救,用什 麼工具去救人,房屋的狀況怎麼樣都要去了解 ,最後當復原的時候也用了很多大數據,譬如 有什麼救災的物品捐款,都是用數據搭構起來 的.這也是大數據的一環。 ─ 對災難來講很重要的事怎麼樣知道這個災難的 原因,然後努力地在事後,想辦法找出各種可 能的方式來協助。 資料出處 : 公視救命大數據影片
  17. 17. 17 資料出處 : 公視救命大數據影片
  18. 18. 18 資料出處 : 公視救命大數據影片
  19. 19. 19 資料出處 : 公視救命大數據影片
  20. 20. 20 資料出處 : 公視救命大數據影片
  21. 21. 21 ❺ ─ 如果將來還有不只在日本,在別的國家,有沒有 機會能夠透過大數據,能夠來提供更多的防治的 一些對策 ? 救命大數據裡面,包括很多的科技人 員,透過了各種不同的方式,把當時大地震發生 的很多的數據,做了一些動態的整理,然後分析 出很多的模式,最後告訴我們說,其實在數據裡 面看到很多人性無私的那一面,但是這些無私的 一面,其實反而在災難中造成很大傷亡。 ─ V字型的移動叫撿人行為, 為什麼有這麼多人湧 向危險的海岸?今村教授指出,大數據中一種特 定類型的移動,他檢視了地震後車輛開往海岸邊 的數據,許多人中途停下來再開往內陸,呈現一 個V字型,這稱為撿人行為,民眾回家去接摯愛 的家人,他們擔心家人的安危,這實際上是救援 任務 ─ 約三分之一的人, 地震發生後十五分鐘內開始 移動,他相信若他們不是去附近的疏散點,而是 逃到高地,許多人應該可以獲救。 資料出處 : 公視救命大數據影片
  22. 22. 22 ❺ ─ Twitter 貢獻了在地震後發生的一周內,發送出的 一億八千萬條推文 ─ 本田汽車公司透過汽車導航系統資訊,提供一百 四十萬輛車在地震當天的移動情形 ─ 日本氣象協會再提供了大量關於地震海嘯的數據 ─ 導航系統的數據顯示,許多駕駛人當時經歷了嚴 重的堵車現象,狀況找到交通全面癱瘓車輛無法 動彈 ─ 救援隊可以利用大數據來救援,就可以知道有多 少人被受困在不同的地點,可以改變一些事實! ─ 共同使用大數據,了解救援行動要如何快速展開 ,災難發生時各機構互相公開加速救援,即時掌 握整體災難狀況! 資料出處 : 公視救命大數據影片
  23. 23. 23 ❻ 「貝式定理」 ─ 『貝式定理的特性之一,就是隨著時間的推移,我們看到更多的證據, 那我們的信念彼此間--還有跟真理間--應該要達成一致。』 ─ 邏輯推理如下例,這位太太必須問自己:老公外遇的機率有多少?條件 是你發現老公出現了無故晚歸的事實;這時候貝氏定理就能給出答案, 前提是這位太太必須知道(或願意評估)三個數字: ─ 首先,以老公無故晚歸不回家的行為作為假設為真──也就是說,老公確 實有出軌的行為──的條件,評估這樣的機率是多少。假設在老公外遇出 軌的條件下,無故晚歸的機率有多少?我們給定是百分之五十。 ─ 第二,以老公出現無故晚歸的行為作為假設為偽的條件。如果他沒有不 忠,那無故晚歸不回家的行為有沒有什麼合理的解釋(在電影情節中,老 公是去參加舞蹈課程)?當然,也許澴有其他的各種理由/事件是有可能發 生的。這位太太也許不會滿意這些解釋,我們給定這些事件發生的機率 是百分之五。 ─ 第三,也是最重要的,這位太太需要貝氏學派所說的『先驗機率』:這 位太太在老公出現了無故晚歸的跡象之前,認為老公可能出軌的機率有 多高?當然,既然已經懷疑老公有可能外遇,這點就很難完全客觀了。 理想上,應該在開始檢視證據之前就要建立先驗機率了;但有時候仍有 可能從經驗上來評估像這樣的數字。例如,假設在本國,研究發現在特 定的任何一年,大約有百分之四已婚的夫婦會對另一半不忠,那我們就 可以給定先驗機率為百分之四。 ─ 如果我們估計過這些數值,那麼就可以運用貝氏定理來建立『後驗機率 』,這才是我們追尋的答案:根據老公出現了無故晚歸的事實,老公外 遇出軌的機率有多高?計算結果仿Nate Silver在書中的例證,以下圖說 明: Source : 精準預測 The Signal and the Noise
  24. 24. 24 ❻ 「貝式定理」 先驗機率與三個已知+一個未知 先驗機率 丈夫外遇出軌的可能 性初始估計 x 4% 新事件發生:發現老公無故晚歸不回家 以他出軌為條件,出 現無故晚歸行為的機 率 y 50% 以他沒有出軌為條件, 出現無故晚歸行為的 機率 z 5% 後驗機率 已知丈夫無故晚歸, 修正後他確實出軌的 機率 xy xy+z(1-x) 29% Source : 精準預測 The Signal and the Noise
  25. 25. 這是什麼顏色 ? 25
  26. 26. 26
  27. 27. 再看一次,他們是什麼顏色 ? 27
  28. 28. 球王不靠踢球 ? 28 但..….. 我沒踢 過球 號稱「卡洛 斯凱撒」 (Carlos Kaiser)
  29. 29. 29 預設立場或過度自信, 是非常可怕的事 預測不在追求是與非, 而是估算機率. 有精確的機率, 才能做出有利的決策. 預測時不能忽略誤差, 並要勇於承認有不確定性. 不然你會過度解釋, 變成不精準的預測. 做預測時, 最怕一看見有相關就解釋成因果關係. 根據預測的機率, 做了最有利的選擇, 即使結果不好, 仍是好預測. 不是一定要追求完美的預測, 只要預測比對手好, 你就贏了. 當大家不免被雜訊迷惑時, 問問自己, 你有什麼法寶, 能讓自己更接近真相? 跟著法寶走, 不要 跟著群眾走. 保持客觀, 隨時根據訊息而更新的預測, 才有可能是精準的預測. 最後提醒 Source : 精準預測 The Signal and the Noise
  30. 30. 30 AI
  31. 31. 認知科學 31 類神經網路 突觸學習/權重 監督式學習 GPU 龐大有標資料集 語意處理 深層學習
  32. 32. 32 實例
  33. 33. 33 「暢銷書密碼」一書 文字探勘 斷字、認詞、詞性標記、依存句法分析 機器分類 KNN、SVM 驗證 十折交叉驗證 留一驗證 Source :暢銷書密碼
  34. 34. 34 暢銷書密碼模型 Source :暢銷書密碼
  35. 35. 客戶抱怨模型 Example 35
  36. 36. 工具 Example 36
  37. 37. 37
  38. 38. Thank you 38

×