Download to read offline
Uploaded byJeff Wu
衡量通用方法論(AIE, Applied information economics) - 如何衡量萬事萬物 How to measure anything
本文件介绍了新的管理衡量工具，强调了衡量在不确定性决策中的重要性。探讨了如何通过定义决策问题、计算信息价值和应用通用方法来降低不确定性。还提供了多种衡量方法及其实用性的建议，强调实证研究与数据分析的重要性。
More Related Content
衡量通用方法論(AIE, Applied information economics) - 如何衡量萬事萬物 How to measure anything
- 1. Ch 13 新的管理衡量工具 衡量世界，以網際網路為工具 額外加映 +衡量通用方法論 回顧 HPX-『如何衡量萬事萬物』讀書會
- 2. 新的管理衡量工具 追蹤科技 ● 成本 ● 駕駛行為/習慣 ●人際關係 Internet ● 挖掘研究 ● 蒐集資料 ● Mashups分析 ● 網路調查 預測市場 ● 群眾智慧
- 3. How to measureanything finding the value of “intangibles” in business
- 4.
- 5. 方法論 方法 英文 MethodologyMethod 說明 研究方法的理論 搜集/推論/解釋/預測的工具或技巧 例子 What & Why How 殺雞該用甚麼刀 & 為甚麼要用這種刀 如何使用牛刀 好處 提昇選擇正確方法的機會 解決未來遭遇的問題 方法論與方法
- 6. The Design InnovationProcess, 101 Design Methods
- 7. 衡 量 的 通 用 方 法 定義決策問題與不確定 決定現有已知 計算額外資訊價值 衡量高價值資訊 決策並付諸行動 9~13 5, 6 4 7 11, 12,14 衡 量 心 法 3 衡量的通用方法論 3
- 8. 衡量心法 -- 衡量的觀念與客體 衡量的定義 根據一項或多項觀察，以數量表達的方式降低不確定性 ⇒不必然要消除不確定性 釐清⇒釐清連鎖⇒思想實驗 『想衡量的特定但最初是模糊的事項』是甚麼意思?為什麼會在乎它? 釐清連鎖 ● 若問題具重要性，它便能偵測(觀察)到 ● 如果它是可偵測到，我們就能偵測到某個數量(或可能的數量範圍) ● 若我們能偵測到可能的數量範圍，它就是可以衡量的 3
- 9. 衡量心法 -- 衡量的方法 耐吉法Just do it! ● 如不知要衡量什麼，儘管去衡量，將會知道要衡量什麼 ● 實驗：藉由嘗試來獲得東西 衡量基本作法 抽樣+對照控制+改變焦點在不同問題類型(貝式反推) 最簡單的衡量範例 - 五的規則 任何從母體中隨機抽取的五個樣本，母體的中位數有93.75%的機會，會落 在這五個樣本中的最大與最小數值之間 3
- 10. 衡量心法 -- 衡量的方法 四項有用的衡量假設 ●你的問題不像你想的那麼獨特 ● 你擁有的資料多過你所想像的 ● 你需要的資料少於你所想像的 ● 適當數量的新資料比你想像中容易取得 無知絕不可能強過知識。 ~~恩里科‧費米, 1938年諾貝爾物理獎得主 會給你惹麻煩的不是無知；而是你深信不移卻非事實的概念。 3
- 11.
- 12.
- 13. 定義決策問題與不確定 焦點問題 ● 衡量要支援什麼決策 ● 要衡量的事物，若用 可觀察的結果來定義 會是什麼? ●這個事物如何影響與 問題有關的決策 費米分解法 ● 評估對一個問題已經 知道的資訊，以得到 一個約略估計的數目 衡 量 的 通 用 方 法 定義決策問題與不確定 決定現有已知 計算額外資訊價值 衡量高價值資訊 決策並付諸行動 9~13 5, 6 4 7 11, 12, 14 衡 量 心 法 3 4 How What
- 14. 定義決策問題與不確定 用對話語：不確定性 ● 不確定性：未完全確定，有一個以上的可能性。 真正的後果/狀態/結果/價值是未知的 ● 不確定性衡量：為一組不確定性指派一組機率 用對話語：風險 ●風險：不確定的狀態，有些涉及損失、災難或其他不想要的後果 ● 風險衡量：一組可能性，其中每個都有量化的機率與量化的損失 4
- 15.
- 16.
- 17.
- 18. 決定現有已知 表達不確定性的方法 - 信賴區間CI ●沒有確切的數字並不等於什麼都不知道 ● 表達對一個數值的不確定性，可將其視為一個可能的數值範圍 ● 校準後的機率評估，是衡量初始不確定性狀態的關鍵 改善尺度校準程度的方法 ● 重覆及反饋 ● 相等賭局 ● 考慮兩個同意及反對的意見 ● 避免定錨 ● 逆轉定錨效果 5
- 19. 決定現有已知 衡量風險的方式 ● 風險程度：低/中/高 &風險評分：1~ 10 ⇒ 感受(自我安慰) ● 任何計畫投資的全部風險，最後都可表示為成本和效益不確定性的範 圍，以及可能造成影響的機率⇒ 蒙地卡羅分析 蒙地卡羅分析 - 實際的風險分析 ● 根據輸入範圍用電腦產生數以千計的模擬情境，將每情境中隨機產生 的未知變數放入公式中計算結果，以統計所有的結果機率分佈 ● 計算不確切知道成本和效益的投資報酬率 6
- 20. 決定現有已知 蒙地卡羅分析簡易版 ● 總和的範圍區間=範圍區間平方和的開平方 ⇒公式僅簡單加減 ● 公式超出加減之外/非常態分佈(均等分佈/二項分佈...)均得用正常版 風險承受度⇒風險數量化 ● 可能性X損失(風險中力的簡單方法) vs 風險偏好 ⇒ Ch11 風險矛盾 ● 量化風險分析用在例行的營運決策，而非最大或風險性最高的決策 ● 未廣泛使用蒙地卡羅模擬，將造成組織效益重大損失，或暴露在明顯 可迴避的風險中 6
- 21.
- 22.
- 23. 計算額外資訊價值 資訊有價值的三個理由 ● 資訊降低決策不確定性，而這些決策是有經濟後果 ● 資訊影響其他人的行為，而這些行為是有經濟後果⇒ 誘因價值 ● 資訊本身就有市場價值 資訊的價值 ● 了解衡量的價值，會影響我們衡量事物的方式，甚至是否需做衡量 ● EVI 資訊的預期價值 = 預期機會損失的降低 = EOL資訊前 - EOL資訊後 ○ EOL = 犯錯的機率 x 犯錯的成本 ● EVPI 完全資訊的預期價值 = EOL資訊前 ⇒ 最簡單捷徑 ● 範圍資訊的價值....看書卡緊啦!!! 7
- 24. 計算額外資訊價值 降低部份不確定性的價值 ● EVII(不完全)+EVSI(樣本) ● EVPI估算具不確定性，精確EVI 並不是很有用 ●初始不確定性降低，資訊價值 EVI快速升高，資訊預期成本ECI 小幅增加 ● 請衡量高價值資訊的變數，通常 它遠遠超過其他變數 ● 衡量是反覆的，每回能告訴你如 何作(以及是否要)下回合衡量 7
- 25.
- 26.
- 27. 計算額外資訊價值 常見衡量迷思 ● 迷思：當你有很多的不確定性，需要大量的資料來告訴你有用的事 ● 事實：如你現在有很多的不確定性，要大幅降低不確定性並不需要大量 的資料。當你以有很多的確定性，那時你要大幅降低不確定性就需要 很多資料。 衡量反比 ●在企業案例中，變數衡量的經濟效益通常與衡量得到的關注成反比 ○ 絕大多數變數資訊價值為零 ○ 高資訊價值變數通常是客戶從未衡量過的變數 ○ 花最多時間衡量的通常是那些資訊價值很低的變數 7
- 28. 計算額外資訊價值 總結不確定性/風險/資訊價值：衡量第一步 ● 衡量風險的關鍵 ⇒了解如何衡量不確定性 ● 了解如何計算資訊價值關鍵 ⇒ 了解風險的量化意義 ● 了解資訊價值，我們將知道要衡量什麼，以及我們應該投入多少努力 去衡量它 計算資訊價值心得 ● 衡量的價值很重要：如不計算資訊價值，可能用了錯誤的方法，衡量了 錯的事物 ● 反覆進行：價值最高的衡量是最剛開始的衡量，所以一點一點進行，每 回合衡量累積一些收穫。 7
- 29.
- 30.
- 31.
- 32.
- 33. 衡量高價值資訊 從衡量什麼過渡到如何衡量 ● 選擇與設計工具 各類衡量工具 ● 貝式分析 ●抽樣 ● 人類偏好衡量 ● 人類判斷 ● 新管理衡量工具 9 10 11 12 13 8
- 34. 衡量高價值資訊 選擇與設計工具 ● 分解衡量，好讓它能從其他衡量求得估計 ● 考量你從間接研究中發現的事 ●對一個或多個分解出來的部件，使用一個或多個衡量方法 ⇒ 遺留線索、直接觀察、加標籤追蹤，或作實驗 ● 將剛好足夠的觀念牢牢放在心上 ⇒ 排優序 ● 思考該問題特有的誤差 選擇與設計工具的提示 ● 從結果來想 ● 反覆進行 ● 考慮多種方法 ● 一個會讓其餘衡量失去意義的簡單問題是啥 ● 做就對了 8
- 35.
- 36. 衡量高價值資訊 間接研究 ● 完全陌生的主題不從Google開始 ⇒有連結的Wiki是更好的起點 ● 搜尋的名稱盡量和研究或數量資料連結 ⇒ 顧客認知 + 調查... ● 以搜索引擎和特定主題寶庫來看待網際網路研究 ⇒ 更好相關性 ● 嘗試多種搜尋引擎 ● 走投無路多試試參考書目 ● 試試英文 8
- 37. 衡量高價值資訊 觀察基本方法：如果第一個方法沒用，快試下一個 ● 像精明的偵探般追蹤線索，對已掌握到的資料進行鑑識分析 ● 直接觀察。開始觀看、計數，如果可能進行抽樣 ⇒如線索非現成 ● 如果目前沒有留下線索，加上追蹤器，讓它開始留下足跡 ⇒ 免費禮品包裝/Coupon(衡量取得成本) ● 如果完全不能追蹤線索，創造能觀察它的條件(實驗) ⇒ A/B Test 8
- 38. 衡量高價值資訊 只作必要衡量 花在衡量上的最佳支出，會以完全資訊預期價值 EVPI 的10%(~2%)當作 一項衡量的經費 ●必作衡量價值常低於EVPI ● 初始衡量常改變後續衡量的價值，反覆衡量是有價值的 ● EVI在初期較陡，初期降低的不確定性要大得多，即使是誤差大的方法 (省錢)，都能帶出很多原本不知道的資訊 8
- 39. 衡量高價值資訊 考量誤差 體認誤差存在，有助於開發出補救策略 ⇒ 對照控制 ●系統性誤差：衡量過程的傾向，會偏向某特定結果 ⇒ ㄧ致性的偏誤 ● 隨機性誤差：個別觀察無法預測的誤差 ● 正確性：系統性誤差小的衡量特質 ● 準確性：隨機性誤差小的衡量特質 ● 偏誤：無法能平均掉的誤差(系統性誤差) ⇒ 需加以控制 ○ 預期性偏誤：只看到你想看的 ○ 選擇性偏誤：即使在抽樣時要隨機，也有沒注意到的非隨機性 ○ 觀察者偏誤：對人類作觀察會導致他們改變行為 8
- 40.
- 41. 衡量高價值資訊 範圍的貝式反推....看書卡緊啦!!! 貝式分析能... ● 重新描述衡量問題的方式 ○ 在我的觀察前提下，X為真的機率是多少 ○如果X為真，這個觀察的機率是多少 衡量懷疑論者的謬誤 ● 謬誤：衡量中誤差的可能性表示觀察無法降低不確定性 ● 事實：如果一個觀察可能讓我們知道什麼，它必然告訴了我們什麼 10 What if...
- 42. 衡量高價值資訊 小量抽樣方法 ● 由校準過的估計者做主觀估計 ● z分數(30~) ●t-統計量(2~30) ⇒ 參數式, 不確定性範圍 ● 免數學90%CI(5~30) ⇒ 非參數式, 中數範圍>t-統計量 其他抽樣方法 ● 母體比例抽樣(Population Proportion Sampling) ● 抽查抽樣(Spot Sampling) ● 群集抽樣(Clustered Sampling) ● 分層抽樣(Stratified Sampling) ● 序列抽樣(Serial Sampling) 9
- 43. 衡量高價值資訊 重要統計觀念 ● 統計顯著性：小樣本 vs30~1000? ⇒ 視衡量什麼及為何要衡量而定 ● 極端值(Outlier)：收斂速度成反比 ● 門檻：門檻機率計算機 ● 實驗：A/B Test ● 資料關聯性：迴歸分析 ● 假設檢定：... 跨謀，誰來補充? 9
- 44. 衡量高價值資訊 偏好與態度：衡量的軟性面 ● 人類的偏好是衡量唯一來源，也是人類對事物所做選擇 ● 陳述型偏好：說 ●顯現型偏好：行為 觀察偏好的問券調查 ● 李克特量表：非常不喜歡/不喜歡/非常喜歡 or 非常不同意/非常同意 ● 選擇題 ● 評等排序 ● 論述題 11
- 45. 衡量高價值資訊 12 人類判斷 ● 開發能力外需調整誤差 ○機率校準 ○ 抵銷誤差與偏誤 ● 專家估計避免認知偏誤 ○ 定錨(Anchoring) ○ 月暈/尖角效應(Halo/horns effect) ○ 從眾偏誤(Bandwagon bias) ○ 浮現偏好(Emerging preferences)
- 46. 追蹤科技 ● 成本 ● 駕駛行為 ●人際關係 Internet ● 挖掘研究 ● 蒐集資料 ● Mashups分析 ● 網路調查 預測市場 ● 群眾智慧 衡量高價值資訊 - 新的管理衡量工具 13
- 47.
- 48. 衡量高價值資訊 (衡量)工具的六大優點 ● 工具能偵測到你所偵測不到的 ● 工具比較有一致性 ●工具能被校準到足以修正誤差 ● 工具能避免人為偏誤 ● 工具會作紀錄 ● 用工具作衡量，要比人作衡量更快速更便宜 ⇒ 具其中幾項優點就夠，即使僅一項也能改善空手無助的人類觀察 8
- 49.
- 50. 衡量高價值資訊 透過取捨來衡量 ● 主觀的評估：支付意願法WTP/統計生命價值法VSL ● 數學文盲與錯置的義憤感(Life/Health) ●高度爭論性的價值，其初始寬大範圍就夠好了 量化風險耐受性 ● 不同規模有不同的投資邊界 ● 與主管一起紀錄公司的投資邊界 ○ 讓所有主管更能接受數量化的風險分析 ○ 驅散主管決策時對於數量風險分析的顧慮 11
- 51. 衡量高價值資訊 主觀取捨的數量化：多重矛盾偏好的處理 ● 效用曲線(等高線) ○ 績效和品質 ○風險和報酬 ○ 貨幣當量CME：將金錢的取捨整套因素貨幣化 利潤最大化 vs 主觀取捨 ● 簡化為利潤或股東價值最大化 ⇒ 終極指標 ○ 淨現值/投資報酬率 11
- 52.
- 53.