What Is the
next Big Data?
     Etu 負責人 蔣居裕

        Dec. 20, 2012
自我介紹
蔣居裕 (Fred Chiang)
• Etu 負責人

• Hadoop Big Data 傳教士

• Big Data Taiwan 社群發起人

• 《 Fred 豢養的雲中象》—
 台灣唯一專寫 Big Data 的非純技術部落格



                            2
大綱
• 2012 台灣 Big Data 市場發展檢視

• 2013 台灣 Big Data 市場趨勢預測

• Etu Solution Day 2012 活動預覽

• Etu 2013 發展方向




                               3
2012 台灣 Big Data 市場發展檢視




                          4
2012 台灣 Big Data 元年
 五大趨勢預測實現強度




                      5
2013 台灣 Big Data 市場趨勢預測




                          6
2013 台灣 Big Data 市場趨勢預測

1. 本地不同行業的 Big Data 應用案例,將一一浮現


數據報酬將能具體地被檢視。電信、電子商務、零售、製造、金融、政府將是
領航的焦點領域。




                                     7
2013 台灣 Big Data 市場趨勢預測

2. “Medium” Data 出現在更多企業 Big Data 應用場景


”Big” 的迷思,用 3V 模型來明辨。




                                         8
Big Data 要處理的三個面向:3V

          Velocity
             處理時效



                     2.




            3.
                          1.
                               Volume
Variety                        資料量
  資料格式

                                        9
2013 台灣 Big Data 市場趨勢預測

3. Hadoop 相關專業教育訓練課程漸熱


讓企業與個人得以擁有較方便學習 Big Data 處理與系統管理的管道。




                                       10
從一隻大象到一個動物園,生氣盎然

                                             機器學習

   分散式儲存 HDFS                                資料採擷
                        高階查詢語言 (SQL-like)
   平行運算框架 MapReduce

                                數據倉儲
                                             數據序列化



         但架構與管理難度頗高
    分散式資料庫 (NoSQL)
                                            資料獲取與監控



                                資料流程
hiho      oozie
Sqoop     Cascading
Flume     Hue                                ZooKeeper
Scribe    Solr
                                            動物園管理員



                                                         11
2013 台灣 Big Data 市場趨勢預測

4. 從 Quantified Self、Open Data、Enterprise Data、
   到 Internet-scale Data,資料分析蔚為顯學


個人、企業、社會、國家、世界,各種面向的數據價值挖掘工程持續建構。




                                              12
洞察自己
RescueTime




             13
2013 台灣 Big Data 市場趨勢預測

5. Open Data 方興未艾,各級政府、不同部門的開放策略
   與腳步不一,來自民間的挑戰也不斷


隨著非營利與商業應用需求的增加,以及為求較佳的使用者體驗,不同公部門
將面臨資料開放政策與作法上的挑戰。




                                     14
Etu Solution Day 2012




                        15
Etu Solution Day 2012




                        16
Etu Solution Day 2012

1. 一客一市場 — 具精準推薦本領的個人專屬導購員 Etu Recommender
  焦點行業:電子商務、零售業
2. 高科技產業資料分析解決方案
  焦點行業:高科技製造業
3. Etu DW Offload 解放資料倉儲的運算效能
  焦點行業:電信、金融                           Demos
4. Trinity BDM 橋接傳統與未來                 Booth
  焦點行業:電信、金融、製造
5. Big Data 視覺化分析解決方案
  焦點行業:整體行業
6. Mobile LPR - Big Data 影像資料的車牌分析應用
  焦點行業:政府、交通運輸
                                               17
Etu 2013 發展方向




                18
Etu 2013 主力:一平台 + 一方案




                        19
Etu 2013 關鍵字

• 整合
• 一橫多縱
• 夥伴價值


               20
多結構整合:從 Hadoop Big Data 到 Total Data
聲音檔案
影片檔案                                                                                                  OLTP
圖形檔案                                                    Web, Mobile,
                                                        CRM, ERP,
                                                       SCM, …                  商務交易
文件檔案
文字資料                              回饋/歷史資料                                        與
XML檔案                                                                           行為互動
Web Logs
點擊事件
                                                                                                    New
                                                                                 SQL     NoSQL
                                                                                                    SQL
 社交網路
 關聯圖譜
                              Big Data                              
新聞 Feeds                      精煉處理場                                 預處理
                                                                               EDW       MPP
                                                                                                    New

  感應器          多結構資料                                                                                SQL

 嵌入設備          儲存/彙整/轉換/運算                                                                                           
RFID Tags
                                                                                商業智慧                                 傳統 ETL
地理資訊                                                                           與
GPS 點位                                         回饋/歷史資料
                                                                                線上分析
                                                        Dashboard,
  事件                                                    Report,
  其他                                                    Visualization, …                              OLAP




            Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
多結構整合:從 Hadoop Big Data 到 Total Data
聲音檔案
影片檔案                                                                                                  OLTP
圖形檔案                                                    Web, Mobile,
                                                        CRM, ERP,
                                                       SCM, …                  商務交易
文件檔案
文字資料                              回饋/歷史資料                                        與
XML檔案                                                                           行為互動
Web Logs
點擊事件
                                                                                                    New
                                                                                 SQL     NoSQL
                                                                                                    SQL
 社交網路
 關聯圖譜
                              Big Data                              
新聞 Feeds                      精煉處理場                                 預處理
                                                                               EDW       MPP
                                                                                                    New

  感應器          多結構資料                                                                                SQL

 嵌入設備          儲存/彙整/轉換/運算                                                                                           
RFID Tags
                                                                                商業智慧                                 傳統 ETL
地理資訊                                                                           與
GPS 點位                                         回饋/歷史資料
                                                                                線上分析
                                                        Dashboard,
  事件                                                    Report,
  其他                                                    Visualization, …                              OLAP




            Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
三種溫度資料的整合
                           Hot / Warm / Cold Data
Hot Data
線上結構化資料                        RDB        DW         DW
                                           DW         DW
                                                       MPP
                                            DW
      SQL-based                                         DB
     OLTP / OLAP

                              HBase        Hive         Pig
Warm Data
線上半/非結構化資料                     Map
                              Reduce
                                           Map
                                          Reduce
                                                       Map
                                                      Reduce

     Hadoop-based              HDFS        HDFS        HDFS
Online Query / Analytics


Cold Data                   Backup/Archive with SAN, NAS,
                            Cloud Storage, or Tape
離線資料
                                                               23
三種溫度資料的整合
                           Hot / Warm / Cold Data
Hot Data
線上結構化資料                        RDB        DW         DW
                                           DW         DW
                                                       MPP
                                            DW
      SQL-based                                         DB
     OLTP / OLAP

                              HBase        Hive         Pig
Warm Data
線上半/非結構化資料                     Map
                              Reduce
                                           Map
                                          Reduce
                                                       Map
                                                      Reduce

     Hadoop-based              HDFS        HDFS        HDFS
Online Query / Analytics


Cold Data                   Backup/Archive with SAN, NAS,
                            Cloud Storage, or Tape
離線資料
                                                               24
Etu Offering 發展:一橫多縱

                              行動商務     廣告投放

電信營運   製造/金融     電子商務




         Work with
         ISV Partners   Etu Recommender 精準推薦解決方案




           Etu Appliance
                                              25
Etu Appliance

 Hadoop Big Data 運算平台首選



 不可能更容易
1 U 節點可處理 4 ~ 40 TB


• Scalability - 公有雲等級的運算架構
• Reliability - 電信等級的系統品質
• Performance - 企業等級的創新績效



                                       26
Etu Appliance 於 10 月初獲得



                          27
Etu Appliance 於 10 月底又獲得

系統、應用、工具軟體類



                           28
Etu Appliance 於 12 月初又獲得

平台組




                           29
Etu Recommender 精準推薦解決方案


一客.一市場



                        30
建構 Etu Ecosystem




   ISV   for Hadoop-based Application Development

   SI/VAR     for Hadoop-based Solution Integration

   Reseller    for Etu Appliance

Partner Enablement:   Solution. Skill.Support


                                                       31
建構 Etu Ecosystem




Partner Enablement:   Solution. Skill.Support


                                                32
台灣唯一的 Big Data 認證課程
    Etu Big Data Hands-on Training Level 1
                          手作初級體驗課程

    Etu Big Data Hands-on Training Level 2
                 手作進階 - 企業應用實作課程
FB 粉絲頁:http://www.facebook.com/etusolution




                                             33
如果您只記得 3 件事

1. 2013 延續 Big Data 元年的發展,市場持續向上,
  為往後的大爆發做準備。

2. Etu 的「一橫多縱」策略,將展現 Big Data 應用的
  價值與精彩。

3. Etu 與夥伴攜手,為企業 Big Data 而服務。

                                    34
Merry X’mas

闔家平安.收穫滿滿




               35

Keynote: What Is the next Big Data?

  • 1.
    What Is the nextBig Data? Etu 負責人 蔣居裕 Dec. 20, 2012
  • 2.
    自我介紹 蔣居裕 (Fred Chiang) •Etu 負責人 • Hadoop Big Data 傳教士 • Big Data Taiwan 社群發起人 • 《 Fred 豢養的雲中象》— 台灣唯一專寫 Big Data 的非純技術部落格 2
  • 3.
    大綱 • 2012 台灣Big Data 市場發展檢視 • 2013 台灣 Big Data 市場趨勢預測 • Etu Solution Day 2012 活動預覽 • Etu 2013 發展方向 3
  • 4.
    2012 台灣 BigData 市場發展檢視 4
  • 5.
    2012 台灣 BigData 元年 五大趨勢預測實現強度 5
  • 6.
    2013 台灣 BigData 市場趨勢預測 6
  • 7.
    2013 台灣 BigData 市場趨勢預測 1. 本地不同行業的 Big Data 應用案例,將一一浮現 數據報酬將能具體地被檢視。電信、電子商務、零售、製造、金融、政府將是 領航的焦點領域。 7
  • 8.
    2013 台灣 BigData 市場趨勢預測 2. “Medium” Data 出現在更多企業 Big Data 應用場景 ”Big” 的迷思,用 3V 模型來明辨。 8
  • 9.
    Big Data 要處理的三個面向:3V Velocity 處理時效 2. 3. 1. Volume Variety 資料量 資料格式 9
  • 10.
    2013 台灣 BigData 市場趨勢預測 3. Hadoop 相關專業教育訓練課程漸熱 讓企業與個人得以擁有較方便學習 Big Data 處理與系統管理的管道。 10
  • 11.
    從一隻大象到一個動物園,生氣盎然 機器學習 分散式儲存 HDFS 資料採擷 高階查詢語言 (SQL-like) 平行運算框架 MapReduce 數據倉儲 數據序列化 但架構與管理難度頗高 分散式資料庫 (NoSQL) 資料獲取與監控 資料流程 hiho oozie Sqoop Cascading Flume Hue ZooKeeper Scribe Solr 動物園管理員 11
  • 12.
    2013 台灣 BigData 市場趨勢預測 4. 從 Quantified Self、Open Data、Enterprise Data、 到 Internet-scale Data,資料分析蔚為顯學 個人、企業、社會、國家、世界,各種面向的數據價值挖掘工程持續建構。 12
  • 13.
  • 14.
    2013 台灣 BigData 市場趨勢預測 5. Open Data 方興未艾,各級政府、不同部門的開放策略 與腳步不一,來自民間的挑戰也不斷 隨著非營利與商業應用需求的增加,以及為求較佳的使用者體驗,不同公部門 將面臨資料開放政策與作法上的挑戰。 14
  • 15.
  • 16.
  • 17.
    Etu Solution Day2012 1. 一客一市場 — 具精準推薦本領的個人專屬導購員 Etu Recommender 焦點行業:電子商務、零售業 2. 高科技產業資料分析解決方案 焦點行業:高科技製造業 3. Etu DW Offload 解放資料倉儲的運算效能 焦點行業:電信、金融 Demos 4. Trinity BDM 橋接傳統與未來 Booth 焦點行業:電信、金融、製造 5. Big Data 視覺化分析解決方案 焦點行業:整體行業 6. Mobile LPR - Big Data 影像資料的車牌分析應用 焦點行業:政府、交通運輸 17
  • 18.
  • 19.
  • 20.
    Etu 2013 關鍵字 •整合 • 一橫多縱 • 夥伴價值 20
  • 21.
    多結構整合:從 Hadoop BigData 到 Total Data 聲音檔案 影片檔案 OLTP 圖形檔案 Web, Mobile, CRM, ERP,  SCM, … 商務交易 文件檔案 文字資料 回饋/歷史資料 與 XML檔案 行為互動 Web Logs 點擊事件 New SQL NoSQL SQL 社交網路 關聯圖譜 Big Data  新聞 Feeds 精煉處理場 預處理  EDW MPP New 感應器 多結構資料 SQL 嵌入設備 儲存/彙整/轉換/運算  RFID Tags 商業智慧 傳統 ETL 地理資訊  與 GPS 點位 回饋/歷史資料 線上分析 Dashboard, 事件 Report, 其他 Visualization, … OLAP Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
  • 22.
    多結構整合:從 Hadoop BigData 到 Total Data 聲音檔案 影片檔案 OLTP 圖形檔案 Web, Mobile, CRM, ERP,  SCM, … 商務交易 文件檔案 文字資料 回饋/歷史資料 與 XML檔案 行為互動 Web Logs 點擊事件 New SQL NoSQL SQL 社交網路 關聯圖譜 Big Data  新聞 Feeds 精煉處理場 預處理  EDW MPP New 感應器 多結構資料 SQL 嵌入設備 儲存/彙整/轉換/運算  RFID Tags 商業智慧 傳統 ETL 地理資訊  與 GPS 點位 回饋/歷史資料 線上分析 Dashboard, 事件 Report, 其他 Visualization, … OLAP Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
  • 23.
    三種溫度資料的整合 Hot / Warm / Cold Data Hot Data 線上結構化資料 RDB DW DW DW DW MPP DW SQL-based DB OLTP / OLAP HBase Hive Pig Warm Data 線上半/非結構化資料 Map Reduce Map Reduce Map Reduce Hadoop-based HDFS HDFS HDFS Online Query / Analytics Cold Data Backup/Archive with SAN, NAS, Cloud Storage, or Tape 離線資料 23
  • 24.
    三種溫度資料的整合 Hot / Warm / Cold Data Hot Data 線上結構化資料 RDB DW DW DW DW MPP DW SQL-based DB OLTP / OLAP HBase Hive Pig Warm Data 線上半/非結構化資料 Map Reduce Map Reduce Map Reduce Hadoop-based HDFS HDFS HDFS Online Query / Analytics Cold Data Backup/Archive with SAN, NAS, Cloud Storage, or Tape 離線資料 24
  • 25.
    Etu Offering 發展:一橫多縱 行動商務 廣告投放 電信營運 製造/金融 電子商務 Work with ISV Partners Etu Recommender 精準推薦解決方案 Etu Appliance 25
  • 26.
    Etu Appliance HadoopBig Data 運算平台首選 不可能更容易 1 U 節點可處理 4 ~ 40 TB • Scalability - 公有雲等級的運算架構 • Reliability - 電信等級的系統品質 • Performance - 企業等級的創新績效 26
  • 27.
    Etu Appliance 於10 月初獲得 27
  • 28.
    Etu Appliance 於10 月底又獲得 系統、應用、工具軟體類 28
  • 29.
    Etu Appliance 於12 月初又獲得 平台組 29
  • 30.
  • 31.
    建構 Etu Ecosystem  ISV for Hadoop-based Application Development  SI/VAR for Hadoop-based Solution Integration  Reseller for Etu Appliance Partner Enablement: Solution. Skill.Support 31
  • 32.
    建構 Etu Ecosystem PartnerEnablement: Solution. Skill.Support 32
  • 33.
    台灣唯一的 Big Data認證課程 Etu Big Data Hands-on Training Level 1 手作初級體驗課程 Etu Big Data Hands-on Training Level 2 手作進階 - 企業應用實作課程 FB 粉絲頁:http://www.facebook.com/etusolution 33
  • 34.
    如果您只記得 3 件事 1.2013 延續 Big Data 元年的發展,市場持續向上, 為往後的大爆發做準備。 2. Etu 的「一橫多縱」策略,將展現 Big Data 應用的 價值與精彩。 3. Etu 與夥伴攜手,為企業 Big Data 而服務。 34
  • 35.