ESD 2012 Keynote: What Is the next Big Data?

986 views
872 views

Published on

This is my keynote slides for Etu Solution Day 2012 which was held on Dec, 20, 2012 @Taipei, Taiwan. I had summarized the market status of Big Data in Taiwan and predicted the trend in 2013.

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
986
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
13
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

ESD 2012 Keynote: What Is the next Big Data?

  1. 1. What Is thenext Big Data? Etu 負責人 蔣居裕 Dec. 20, 2012
  2. 2. 自我介紹蔣居裕 (Fred Chiang)• Etu 負責人• Hadoop Big Data 傳教士• Big Data Taiwan 社群發起人• 《 Fred 豢養的雲中象》— 台灣唯一專寫 Big Data 的非純技術部落格 2
  3. 3. 大綱• 2012 台灣 Big Data 市場發展檢視• 2013 台灣 Big Data 市場趨勢預測• Etu Solution Day 2012 活動預覽• Etu 2013 發展方向 3
  4. 4. 2012 台灣 Big Data 市場發展檢視 4
  5. 5. 2012 台灣 Big Data 元年 五大趨勢預測實現強度 5
  6. 6. 2013 台灣 Big Data 市場趨勢預測 6
  7. 7. 2013 台灣 Big Data 市場趨勢預測1. 本地不同行業的 Big Data 應用案例,將一一浮現數據報酬將能具體地被檢視。電信、電子商務、零售、製造、金融、政府將是領航的焦點領域。 7
  8. 8. 2013 台灣 Big Data 市場趨勢預測2. “Medium” Data 出現在更多企業 Big Data 應用場景”Big” 的迷思,用 3V 模型來明辨。 8
  9. 9. Big Data 要處理的三個面向:3V Velocity 處理時效 2. 3. 1. VolumeVariety 資料量 資料格式 9
  10. 10. 2013 台灣 Big Data 市場趨勢預測3. Hadoop 相關專業教育訓練課程漸熱讓企業與個人得以擁有較方便學習 Big Data 處理與系統管理的管道。 10
  11. 11. 從一隻大象到一個動物園,生氣盎然 機器學習 分散式儲存 HDFS 資料採擷 高階查詢語言 (SQL-like) 平行運算框架 MapReduce 數據倉儲 數據序列化 但架構與管理難度頗高 分散式資料庫 (NoSQL) 資料獲取與監控 資料流程hiho oozieSqoop CascadingFlume Hue ZooKeeperScribe Solr 動物園管理員 11
  12. 12. 2013 台灣 Big Data 市場趨勢預測4. 從 Quantified Self、Open Data、Enterprise Data、 到 Internet-scale Data,資料分析蔚為顯學個人、企業、社會、國家、世界,各種面向的數據價值挖掘工程持續建構。 12
  13. 13. 洞察自己RescueTime 13
  14. 14. 2013 台灣 Big Data 市場趨勢預測5. Open Data 方興未艾,各級政府、不同部門的開放策略 與腳步不一,來自民間的挑戰也不斷隨著非營利與商業應用需求的增加,以及為求較佳的使用者體驗,不同公部門將面臨資料開放政策與作法上的挑戰。 14
  15. 15. Etu Solution Day 2012 15
  16. 16. Etu Solution Day 2012 16
  17. 17. Etu Solution Day 20121. 一客一市場 — 具精準推薦本領的個人專屬導購員 Etu Recommender 焦點行業:電子商務、零售業2. 高科技產業資料分析解決方案 焦點行業:高科技製造業3. Etu DW Offload 解放資料倉儲的運算效能 焦點行業:電信、金融 Demos4. Trinity BDM 橋接傳統與未來 Booth 焦點行業:電信、金融、製造5. Big Data 視覺化分析解決方案 焦點行業:整體行業6. Mobile LPR - Big Data 影像資料的車牌分析應用 焦點行業:政府、交通運輸 17
  18. 18. Etu 2013 發展方向 18
  19. 19. Etu 2013 主力:一平台 + 一方案 19
  20. 20. Etu 2013 關鍵字• 整合• 一橫多縱• 夥伴價值 20
  21. 21. 多結構整合:從 Hadoop Big Data 到 Total Data聲音檔案影片檔案 OLTP圖形檔案 Web, Mobile, CRM, ERP,  SCM, … 商務交易文件檔案文字資料 回饋/歷史資料 與XML檔案 行為互動Web Logs點擊事件 New SQL NoSQL SQL 社交網路 關聯圖譜 Big Data 新聞 Feeds 精煉處理場 預處理  EDW MPP New 感應器 多結構資料 SQL 嵌入設備 儲存/彙整/轉換/運算 RFID Tags 商業智慧 傳統 ETL地理資訊  與GPS 點位 回饋/歷史資料 線上分析 Dashboard, 事件 Report, 其他 Visualization, … OLAP Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
  22. 22. 多結構整合:從 Hadoop Big Data 到 Total Data聲音檔案影片檔案 OLTP圖形檔案 Web, Mobile, CRM, ERP,  SCM, … 商務交易文件檔案文字資料 回饋/歷史資料 與XML檔案 行為互動Web Logs點擊事件 New SQL NoSQL SQL 社交網路 關聯圖譜 Big Data 新聞 Feeds 精煉處理場 預處理  EDW MPP New 感應器 多結構資料 SQL 嵌入設備 儲存/彙整/轉換/運算 RFID Tags 商業智慧 傳統 ETL地理資訊  與GPS 點位 回饋/歷史資料 線上分析 Dashboard, 事件 Report, 其他 Visualization, … OLAP Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
  23. 23. 三種溫度資料的整合 Hot / Warm / Cold DataHot Data線上結構化資料 RDB DW DW DW DW MPP DW SQL-based DB OLTP / OLAP HBase Hive PigWarm Data線上半/非結構化資料 Map Reduce Map Reduce Map Reduce Hadoop-based HDFS HDFS HDFSOnline Query / AnalyticsCold Data Backup/Archive with SAN, NAS, Cloud Storage, or Tape離線資料 23
  24. 24. 三種溫度資料的整合 Hot / Warm / Cold DataHot Data線上結構化資料 RDB DW DW DW DW MPP DW SQL-based DB OLTP / OLAP HBase Hive PigWarm Data線上半/非結構化資料 Map Reduce Map Reduce Map Reduce Hadoop-based HDFS HDFS HDFSOnline Query / AnalyticsCold Data Backup/Archive with SAN, NAS, Cloud Storage, or Tape離線資料 24
  25. 25. Etu Offering 發展:一橫多縱 行動商務 廣告投放電信營運 製造/金融 電子商務 Work with ISV Partners Etu Recommender 精準推薦解決方案 Etu Appliance 25
  26. 26. Etu Appliance Hadoop Big Data 運算平台首選 不可能更容易1 U 節點可處理 4 ~ 40 TB• Scalability - 公有雲等級的運算架構• Reliability - 電信等級的系統品質• Performance - 企業等級的創新績效 26
  27. 27. Etu Appliance 於 10 月初獲得 27
  28. 28. Etu Appliance 於 10 月底又獲得系統、應用、工具軟體類 28
  29. 29. Etu Appliance 於 12 月初又獲得平台組 29
  30. 30. Etu Recommender 精準推薦解決方案一客.一市場 30
  31. 31. 建構 Etu Ecosystem ISV for Hadoop-based Application Development SI/VAR for Hadoop-based Solution Integration Reseller for Etu AppliancePartner Enablement: Solution. Skill.Support 31
  32. 32. 建構 Etu EcosystemPartner Enablement: Solution. Skill.Support 32
  33. 33. 台灣唯一的 Big Data 認證課程 Etu Big Data Hands-on Training Level 1 手作初級體驗課程 Etu Big Data Hands-on Training Level 2 手作進階 - 企業應用實作課程FB 粉絲頁:http://www.facebook.com/etusolution 33
  34. 34. 如果您只記得 3 件事1. 2013 延續 Big Data 元年的發展,市場持續向上, 為往後的大爆發做準備。2. Etu 的「一橫多縱」策略,將展現 Big Data 應用的 價值與精彩。3. Etu 與夥伴攜手,為企業 Big Data 而服務。 34
  35. 35. Merry X’mas闔家平安.收穫滿滿 35

×