Big Data 101 一 一個充滿意圖與關聯世界的具體實現

10,778 views

Published on

2012.05.24 於 「Big Data Taiwan 2012」的 Keynote 講稿。

主講者:Etu 副總經理/ 蔣居裕
《議題簡介》
無論是企業區域網路,還是開放的網際網路,在巨大的結構化與非結構化資料的背後,其實充滿著各種行為意圖,以及人、事、物、時、地的多維度關聯。商業的日益競爭,已經來到了一個除了講求行銷創意,還要擁有巨量資料處理與分析技術,才能出奇制勝的時代。有人形容 Big Data 的價值挖掘,就像是在攪拌混凝土,若在尚未完成前就中斷,將導致前功盡棄,全無可用的窘境。對 Big Data 的意圖與關聯探索,必須是 End-to-End 全程的照料,方得實現。本議程將舉例說明這個有序到永續的過程,讓聽者更能領略意圖與關聯充滿的世界。

Published in: Technology

Big Data 101 一 一個充滿意圖與關聯世界的具體實現

  1. 1. Big Data 101 一一個充滿意圖與關聯世界的具體實現 精誠資訊 雲中心 Etu 副總經理 蔣居裕 1
  2. 2. 大綱• 我從 Etu 品牌影片學到的事• Big Data 101 – 今日須知• Big Data Ecosystem – 今日看盡生態系• 一個充滿意圖與關聯的世界• Etu - 意圖與關聯世界的具體呈現者• 結論 2
  3. 3. 我從 Etu 品牌影片學到的事1. 了解客戶是商業服務的根本需求2. 找出商品間的關聯不是新鮮事,但從 Big Data 來找, 面向更廣,機會更大,挑戰也更大3. 藉由分析沈默大眾的行為資料 (Big Data),找出不存在 結構化資料庫裡的意圖與關聯4. 要知意圖,要得關聯,可透過 Etu 專業團隊的協助, 做得更快更好 3
  4. 4. Big Data 101 今日須知 4
  5. 5. Big Data 要處理的資料量級• 1.8 ZB World Wide created in 2011• 7.9 ZB World Wide created by 2015 • Yottabytesource: The readwriteweb, Nov. 2011 • Zettabyte • Gigabyte • Megabyte • Kilobyte 5
  6. 6. Big Data 時代來臨 – 新量級、新處理模式、新企業智慧 行動/網際網路 Mobile/Internet 物聯網 Unstructured (非結構化) Internet of Things • Web Pages • E-mail • Multimedia • Instant Messages • More Binary Files Semi-structured (半結構化) • XML • Logs Structured (結構化) • Click-stream • Equipment / Device • Relational Database • RFID tag • File in record format 6
  7. 7. Big Data 要處理的三個面向:3V Velocity 處理時效 Volume Variety 資料量 資料格式 7
  8. 8. 30字箴言 Volume Variety很多的非/半結構化資料 Velocity要在一定的時間內處理完而且成本不能太高 8
  9. 9. CIO Survey 2012 同樣是第一名,在不同年代有不同內涵 年度科技優先順序 (Technology Priorities) Number: 2,335 Source: Gartner, 2012 9
  10. 10. 變遷中的 Business IntelligenceBI in 2008/2009BI from 2012 10 image credit: David Fierstein 10
  11. 11. 2020 前的 10 大趨勢主軸 沒有一項趨勢是獨自發展的!我們正被一個大生態系推著走 Source: “Top Ten Trend in CRM for 2020”, Gartner, 2012 11
  12. 12. Big Data 對企業的價值 預估未來 競爭策略 客戶滿意Survey of IT Decision Makers from 304 Source: GigaOM Pro, March 2012companies 12
  13. 13. Big Data Ecosystem 今日看盡生態系 13
  14. 14. Big Data 主流基礎平台:Hadoop• 處理半/非結構化巨量資料• 儲存與運算單點(本地)解決• 分散式橫向擴充架構 (Scale-out)• 以開源的 Apache Hadoop 為標準版本 14
  15. 15. Hadoop 平台競爭要素 Hadoop Disruption Vectors 整合 部署 存取 Source: GigaOM Pro, 2012 15
  16. 16. Big Data Taiwan 2012 活動要義• 一個主題:Big Data Integration• 兩個特邀:• 三個軸向:Cloud.Mobility.Enterprise• 九家廠商 16
  17. 17. 整合:從 Big Data 到 Total Data聲音檔案影片檔案 OLTP圖形檔案 Web, Mobile, CRM, ERP, SCM, …  商務交易文件檔案文字資料 回饋/歷史資料 與XML檔案 行為互動Web Logs點擊事件 SQL NoSQL NewSQL社交網路關聯圖譜 Big Data 新聞 Feeds 精煉處理場 預處理  EDW MPP NewSQL  感應器 多結構資料 傳統 ETL嵌入設備 儲存/彙整/轉換/運算RFID Tags 商業智慧地理資訊  與GPS 點位 回饋/歷史資料 線上分析 Dashboard, 事件 Report, 其他 Visualization, … OLAP Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture 17
  18. 18. Big Data Taiwan 2012 整合大全聲音檔案影片檔案 OLTP圖形檔案 Web, Mobile, CRM, ERP, SCM, …  商務交易文件檔案文字資料 回饋/歷史資料 與XML檔案 行為互動Web Logs點擊事件 SQL NoSQL NewSQL社交網路關聯圖譜 Big Data 新聞 Feeds 精煉處理場 預處理  EDW MPP NewSQL  感應器 多結構資料 傳統 ETL嵌入設備 儲存/彙整/轉換/運算RFID Tags 商業智慧地理資訊  與GPS 點位 回饋/歷史資料 線上分析 Dashboard, 事件 Report, 其他 Visualization, … OLAP Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture 18
  19. 19. 三種溫度資料的整合:Hot / Warm / Cold Hot Data 在線結構化資料 在線半/非結構化資料 OLTP OLAP Warm Data 在線半/非結構化資料 Hadoop-based Solution Cold Data 離線資料 SAN / NAS / Scale-out NAS 19
  20. 20. Total Data 整合舉例: Etu + Splunk巨量.可加掛.什貨皆拉 及時分析.價值接力 敏捷.漂亮.高貴 20
  21. 21. Big Data Taiwan 2012 整合大全• 半/非結構化與結構化資料共構 – Etu (Hadoop) 與 SQL 整合 (Track 1-2) – Etu (Hadoop) 與 MPP DB/DW 整合 (Track 1-2)• 半/非結構化與半/非結構化資料共構 – Etu (Hadoop) 與 Splunk 整合 (Track 1-1 / 3-2) – Etu (Hadoop) 與 Stream Computing 整合 (Track 2-2)• Warm Data 與 Cold Data 串接 – Etu (Hadoop) 與 NAS/SAN 整合 (Keynote 4) 21
  22. 22. 一個充滿意圖與關聯的世界 22
  23. 23. 何謂意圖?• 明示 (直接的意圖) – 直接表達於言語、文字、或動作• 默示 (間接的意圖) – 透過特定行為去推知 Big Data 要處理分析的,一般為默示意圖 23
  24. 24. 反意圖:因為不了解意圖,所以浪費您還在做促銷網頁與頻發電子報嗎? 24
  25. 25. 正意圖• 強化熱點• 個人化郵件• 關聯式推薦 25
  26. 26. 有哪些關聯?• 商品與商品• 人與人 然後把人與商品關聯起來,創造更大的價值更多的關聯維度:• 時間• 地點• 事件 26
  27. 27. 關聯推薦的完美實踐 I – Netflix 比你的枕邊人還要了解你對影片的喜好 用戶租看的影片 60% 來自系統的自動推薦 預測用戶對一部影片的評等 誤差不會超過半顆星 27
  28. 28. 關聯推薦的完美實踐 II – Amazon 以小書商體貼的初衷,長成地球上最大的個人化零售商 每秒賣出 72.9 項商品 (Oct. 2010) 想方設法,讓客戶與商品配對 28
  29. 29. Amazon 每秒賣出 72.9 項商品的秘訣訂單積累 (基本) 的關聯推薦 29
  30. 30. Amazon 每秒賣出 72.9 項商品的秘訣完美 (無所不用其極) 的個人化關聯推薦 30
  31. 31. Amazon 每秒賣出 72.9 項商品的秘訣用戶對一項商品下評論、標籤、討論、評等 (顆星),都將影響自己與他人的個人化關聯推薦 31
  32. 32. 企業可以向超級雲端公司學習的意圖與關聯智慧 萬事皆搜尋 智慧回應每日億級瀏覽行為 百萬商品關聯推薦 9 億人際關係多維度分享 32
  33. 33. Etu –意圖與關聯世界的具體呈現者 33
  34. 34. Etu 讓您擁有國際等級的意圖與關聯智慧VISIONING THEBIG DATA FLOWSINTO BUSINESS VALUE taipei . beijing 34
  35. 35. 企業採用 Hadoop 技術架構的挑戰 •技術/人才缺口 1. 企業對 Hadoop 架構普遍陌生 2. Hadoop 叢集規劃、部署、管 還處於市場早期 理與系統調校的技術門檻高 •專業服務資源缺口 1. 缺乏在地、專業、有實務經驗 的 Hadoop 顧問服務 2. 缺乏能夠提供完整 Big Data 解 決方案設計、導入、與維護的 助您跨越 Big Data 鴻溝 專業廠商 35
  36. 36. Etu,世界級的 Big Data 專業團隊 36
  37. 37. Etu - Big Data Conqueror 大數據征服者聯盟 擁有累計超過 30 年 Big Data 處理經驗 商業與科技顧問並俱全球性資訊安全服務運營,規模超過 500 個節點,日處理超過 350 億筆數據 線上服務 IDC 自動化管理,規模超過 10,000 台伺服器 3 位 Cloudera Certified Developer for Apache Hadoop 1 位 Cloudera Certified Administrator for Apache Hadoop Big Data 行業應用經驗,含括電信業務、行動加值服務、 互動多媒體、電力、網路服務、資訊安全等範疇 圖像版權屬 Marvel Studios 與各人頭主人所擁有 37
  38. 38. Etu ApplianceBig Data End-to-End Solution in a Box儲存與運算一體,簡化與最佳化的優勢機種:• 10 分鐘內可部署 100+ 節點• 資料擷取能力 1U 勝過 8U• Big Data 運算處理最適化• 單節點可處理 4~40 TB 資料 • 延展:公有雲等級的運算架構 • 可靠:電信等級的系統品質 • 效能:企業等級的創新績效 38
  39. 39. One Service Etu Consulting 顧問服務 商業暨科技顧問One Application Etu Recommender 分析應用系統 精準推薦應用 One Platform Etu Appliance 處理平台 巨量資料處理解決方案 39
  40. 40. Etu 的「7 是 7 不是」 Etu 是 Etu 不是1 非結構化 Big Data 解決方案供應商 結構化資料庫/資料倉儲供應商2 同時具備儲存與運算能力的軟硬一體 一種單純的儲存設備3 帶有公有雲血統的分散式運算 傳統的 IT 架構4 強調為客戶提高營收獲利 只強調為客戶節省成本5 商業顧問+方案實踐者 只有平台與工具的廠商6 亞洲自主技術,瞄準亞洲市場 只看台灣市場的代理商 Big Data Ecosystem 的一份子,7 單打獨鬥的原廠 Partner-friendly 40
  41. 41. 關聯推薦舉例 – 人為• 參加過 Big Data Taiwan 2012 也看過這本書: “The Filter Bubble: What The Internet Is Hiding From You” 《搜尋引擎沒告訴你的事》 by Eli Pariser (March, 2012) 41
  42. 42. 關聯推薦舉例 – 人為• 聽過「Big Data 101 — 一個充滿意圖與關聯世界的具體實現」的人, 同時也報名了: – 「Hadoop 與 SQL 的甜蜜連結 — 非結構與結構資料共構的企業策略」 – 「活用您的 Big Data,實現線上服務行銷的精準推薦」 – 「行動智慧將巨量資料成為營收利器」 – 「資安分析在維運智慧的成效」• 聽過「Big Data 101 — 一個充滿意圖與關聯世界的具體實現」的人, 同時也參觀了: – C1 (Etu) 攤位 – A2 (M Factory/Splunk) 攤位 42
  43. 43. 關聯推薦舉例 – 行為• 參觀過「 C1 (Etu) 」攤位的人,同時也參觀了: – A2 (M Factory/Splunk) 攤位 – C2 (Microsoft) 攤位 – D1 (Fujitsu) 攤位 – D3 (IBM) 攤位 – E1 (EMC Isilon) 攤位  行為資料從 RFID Tag 來 43
  44. 44. 結論 台灣第一個專注服務企業客戶的 Hadoop-based 顧問與解決方案品牌 意圖與關聯充滿的 Big Data 世界 Etu 幫您具體整合來呈現 44
  45. 45. www.etusolution.com 45
  46. 46. Follow Us: 歡迎加入 Etu Taiwan Facebook 粉絲專頁 http://www.facebook.com/etusolution 46

×