Downloaded 357 times
Uploaded byTurning Point Studio
大數據的基本概念(上)
本文件介紹大數據的基本概念，包括其定義、特性以及與一般數據的差異。強調大數據的三大特性：樣本等於母體、數據的雜亂與不精確，以及相關性的重要性，並透過多個案例來展示其應用。在數據分析中，大數據的使用必須接受雜亂與不精確的現實，並充分利用各種資料來源創造價值。
![[系列活動] 智慧城市中的時空大數據應用](https://cdn.slidesharecdn.com/ss_thumbnails/dscstbigdata1060211-170211004152-thumbnail.jpg?width=640&height=640&fit=bounds)
![[系列活動] 手把手教你R語言資料分析實務](https://cdn.slidesharecdn.com/ss_thumbnails/stepbystepr20170114-170113030702-thumbnail.jpg?width=640&height=640&fit=bounds)
大數據的基本概念(上)
- 1.
- 2.
- 3. 內容來源 中文書名：大數據 英文書名：Big Data –A Revolution That Will Transform How We Live, Work, and Think 作者：麥爾荀伯格(Viktor Mayer-Schӧnberger) 庫基耶(Kenneth Cukier) 出版商：天下文化；譯者：林俊宏
- 4. 大綱 • 什麼是大數據(Big Data)？ •大數據跟一般數據有何不同？ • 大數據的第一項特性：樣本 = 母體 • 大數據的第二項特性：雜亂不精確 • 大數據的第三項特性：相關性為王
- 5.
- 6. 什麼是大數據？ • 原文是Big Data，直翻為大數據，又翻為巨量資料 或海量資料 •大數據該有多大？事實上，沒有絕對的標準，只 要分析的樣本數趨近母體數(相對的概念)，都可叫 大數據；總之，不會太小 圖片來源： http://www.forbes.com/sites/gartnergroup/2013/03/27/gart ners-big-data-definition-consists-of-three-parts-not-to-be- confused-with-three-vs/
- 7.
- 8.
- 9.
- 10. 大數據有何不同？ 1. 資料可以重複利用，產生新的經濟價值 2. 資料規模的改變引發狀態的改變(量變質變) 3. 必須使用新的工具來分析資料 4. 創新之處不在於處理資料的機器，而是資料本身 和使用的方式
- 11. 大數據有何不同？ • 巨量資料的使用包含三種思維的改變： 1. 要具備針對主題分析龐大資料整體的能力 2.願意接受真實資料會雜亂不清的事實 3. 要看重相關性，而非因果關係 圖片來源：http://www.taopic.com/search.php?keyword=%D0%A1%C5%AE%BA%A2%CB%BC%BF%BC 分析 資料整體 不精確 是必然 重視 相關性
- 12.
- 13. 案例一 • Google拿美國最常見的5000萬個搜尋關鍵字與疾 病管制局的歷史流感傳播資料比對 • 建立4萬5千種數學模型，找出45個搜尋關鍵字， 與流感最有關連 •這些關鍵字能夠提供即時的疫情爆發預測，而非 疾管局遲至一、兩個禮拜後的通報速度 Google利用搜尋關鍵字預測H1N1流感傳播情形
- 14.
- 15. 案例二 • Farecast從航空業航班預定資料庫中取得2000億 筆飛機票價紀錄，與出發前天數做比較 • 如果系統預測機票價格平均將下跌，就會建議消 費者再等等；如果預測機票價格將上漲，則會建 議以目前票價購買 •2008年被微軟併購，結合進Bing搜尋引擎中(儼然 是扼殺了這套系統…) Farecast利用大數據分析預測飛機票價資訊
- 16.
- 17. 大數據特性一：樣本=母體 • 母體：針對一主題研究調查的全體對象 • 樣本：母體中抽樣取出的子集合 •大部分研究基於成本與時間考量，無法針對所有 對象(母體)做研究，於是便採用隨機抽樣的方式挑 選出足以代表母體特徵的樣本作為研究對象 母體：例如所有65歲以上的人口 樣本：例如65歲以上的人口中，依據縣市人口比例抽樣共1萬人
- 18. 抽樣的問題 • 很多時候，刻意打造能代表母體的樣本，反而導 致巨大的誤差，最好的方法便是進行隨機抽樣 • 但真正的隨機抽樣其實難上加難，易受系統性偏 差影響 •抽樣的另外一個問題是：抽樣後的尺度無法調整， 若想將結果分成子群，結果的錯誤率會大增
- 19. 抽樣的問題 • 抽樣後調整尺度的問題舉例： 全校2000位小學生中，抽樣100位學生，依據年齡與身高做比對，結果如下： 再從9~10歲的子群中，進一步分析男女的身高影響，結果如下： 除了樣本數少造成誤差提高之外，子群能否代表原先 抽樣的群體也是問題 年齡區間 學生數平均身高 7~8歲 35 124 cm 9~10歲 40 133 cm 11~12歲 25 140 cm 性別 學生數 平均身高 男 22 130 女 18 136.7
- 20.
- 21. 大數據特性一：樣本=母體 • 由於技術與資料化已有長足進步，蒐集全部對象 的資料不再是不可能的任務 • 大數據分析要能創造新的價值，勢必要在一開始 便盡量蒐集全部的資料，也就是「樣本= 母體」 • 所以大數據指的不是絕對的資料量，而是相對的 概念，指的是要有完整的資料集
- 22.
- 23.
- 24.
- 25.
- 26.
- 27. 大數據特性二：雜亂不精確 • 雜亂的來源： 1. 資料量越多，資料錯誤不精確的可能性越高 2.結合不同源頭、不同類型的資料 3. 資料格式不一致 巨量資料的概念，就是讓數據的重點從「精確」走 向「可能性」
- 28. 大數據特性二：雜亂不精確 • 過去的類比時代缺乏資訊，每個資料點都至關重 要，因此資料的精確是最重要的 • 但現在，透過科技技術的發展，我們可以輕易蒐 集到大量的數位資料，資料的精確性已不再重要 •事實上，造成雜亂的不是大數據本身，是測量、 記錄與分析的工具尚不完善
- 29.
- 30.
- 31. 案例六 • 早在1997年，超級電腦「深藍」就曾擊 敗世界西洋棋王卡斯巴羅夫 • 現在，電腦的棋力更大為進步，因為系 統裡有了更多的殘局應對資料，電腦的 殘局處理能力有顯著進步 •針對六顆棋子以下的殘局，所有的棋步 都有完整分析，人類絕對無法勝出 對弈數越多，電腦下西洋棋越強 圖片來源： https://zh.wikipedia.org/wik i/%E6%B7%B1%E8%97% 8D_(%E9%9B%BB%E8% 85%A6)
- 32.
- 33. 案例七 • 2000年微軟研究員實驗證實，與其開發演算法， 擴大語料庫的成效更好 • 1990年代，IBM開發Candide系統，輸入英法語國 會文件，將語言翻譯問題轉換為數學運算問題 •2006年Google利用全球網路多達數十億的翻譯網 頁開發語言翻譯功能，雖然資料雜亂，翻譯的成 效卻比其他系統好得多 電腦自然語言處理(語言翻譯)能力
- 34.
- 35.
- 36.
- 37.
- 38. 案例十一 • Google前資訊長梅瑞爾成立的ZestFinance透過分 析大量重要與「不重要」因素，判斷申請人的信 用評比，藉此決定是否該提供小額短期貸款 • 許多借款客戶的資料欄位都是空的，或甚至被誤 登記為「已死亡」(高達10%的客戶！) •2012年，該公司的貸款違約率比起行業平均低上 三分之一 ZestFinance利用大數據判斷是否提供小額短期貸款
- 39.
- 40. 大數據特性三：相關性為王 • 很多時候，我們只需要知道「正是如此」，不需 要知道「為何如此」 • 也就是注重「相關性」，而非「因果關係」 圖片來源：http://www.garmaonhealth.com/the-hormone -chronic-health-problem-connection/ •相關性 (Correlation) A增加，則B有很高機率增加 • 因果關係 (Causation) 若有P，則有Q；若非Q，則非P
- 41. 因果研究的缺點 • 小量資料的時代，往往是先提出假說，再調查因 果關係或相關性分析，易受先入為主的偏見或錯 覺影響 • 人類直覺式尋找因果關係的「快思系統」，讓我 們能很快下結論，但容易產生偏見與誤解 •因果關係的研究與實驗，往往非常昂貴又費時， 而相關性的研究，相較之下相當快速又便宜，相 關性分析甚至能協助找出因果關係
- 42.
- 43.
- 44. 案例十二 • 亞馬遜起初聘請十多 位書評和編輯提出建 議閱讀書目 • 隨後開發「品項對品 項」協同篩選技術， 由系統自動推薦書目 •測試結果竟比書評的建議更具成效，即使電腦壓 根不知道為什麼買A產品的人還會買B產品 亞馬遜網路商店的大數據推薦系統 圖片來源：http://www.jayteo.me/2014/05/25/the-future-of-brick-mortar- business-will-be-an-integrated-offline-online-experience/
- 45.
- 46.
- 47. 案例十五 • IBM與醫院合作，偵測與紀錄早產兒的16種資料 流，每秒有1260個資料點 • 透過即時的數據分析，便能在感染症狀出現前24 小時預先偵測到，讓醫師能對症下藥 •獨特的發現包括：以往認為感 染爆發前會有身體不適的症狀 ，但數據結果顯示在爆發前， 有一段時間生命徵象非常穩定 在早產兒出現明顯症狀前就預先偵測感染情況 圖片來源：https://www.yumpu.com/en/document/view/18888177/neonatal-rashes
- 48. 案例十六 • 愛迪生聯合電力公司求助哥倫比亞大學的統計學 者，希望透過巨量資料分析，找出高風險的人孔 蓋，讓他們可以提早維修 • 透過分析2008年以前的所有資料，結果顯示「電 纜年份」與「過去是否發生事故」是最重要的指 標 •用於預測2009年的危險人孔蓋，其中列出的前 10%危險清單中，有44%之後確實發生嚴重事故 紐約市如何找出高氣爆風險人孔蓋？ 圖片來源：http://web.mit.edu/rudin/www/RudinEtAl2011ComputerMagazine.pdf
- 49.