SlideShare a Scribd company logo
1 of 35
Download to read offline
What Is the
next Big Data?
     Etu 負責人 蔣居裕

        Dec. 20, 2012
自我介紹
蔣居裕 (Fred Chiang)
• Etu 負責人

• Hadoop Big Data 傳教士

• Big Data Taiwan 社群發起人

• 《 Fred 豢養的雲中象》—
 台灣唯一專寫 Big Data 的非純技術部落格



                            2
大綱
• 2012 台灣 Big Data 市場發展檢視

• 2013 台灣 Big Data 市場趨勢預測

• Etu Solution Day 2012 活動預覽

• Etu 2013 發展方向




                               3
2012 台灣 Big Data 市場發展檢視




                          4
2012 台灣 Big Data 元年
 五大趨勢預測實現強度




                      5
2013 台灣 Big Data 市場趨勢預測




                          6
2013 台灣 Big Data 市場趨勢預測

1. 本地不同行業的 Big Data 應用案例,將一一浮現


數據報酬將能具體地被檢視。電信、電子商務、零售、製造、金融、政府將是
領航的焦點領域。




                                     7
2013 台灣 Big Data 市場趨勢預測

2. “Medium” Data 出現在更多企業 Big Data 應用場景


”Big” 的迷思,用 3V 模型來明辨。




                                         8
Big Data 要處理的三個面向:3V

          Velocity
             處理時效



                     2.




            3.
                          1.
                               Volume
Variety                        資料量
  資料格式

                                        9
2013 台灣 Big Data 市場趨勢預測

3. Hadoop 相關專業教育訓練課程漸熱


讓企業與個人得以擁有較方便學習 Big Data 處理與系統管理的管道。




                                       10
從一隻大象到一個動物園,生氣盎然

                                             機器學習

   分散式儲存 HDFS                                資料採擷
                        高階查詢語言 (SQL-like)
   平行運算框架 MapReduce

                                數據倉儲
                                             數據序列化



         但架構與管理難度頗高
    分散式資料庫 (NoSQL)
                                            資料獲取與監控



                                資料流程
hiho      oozie
Sqoop     Cascading
Flume     Hue                                ZooKeeper
Scribe    Solr
                                            動物園管理員



                                                         11
2013 台灣 Big Data 市場趨勢預測

4. 從 Quantified Self、Open Data、Enterprise Data、
   到 Internet-scale Data,資料分析蔚為顯學


個人、企業、社會、國家、世界,各種面向的數據價值挖掘工程持續建構。




                                              12
洞察自己
RescueTime




             13
2013 台灣 Big Data 市場趨勢預測

5. Open Data 方興未艾,各級政府、不同部門的開放策略
   與腳步不一,來自民間的挑戰也不斷


隨著非營利與商業應用需求的增加,以及為求較佳的使用者體驗,不同公部門
將面臨資料開放政策與作法上的挑戰。




                                     14
Etu Solution Day 2012




                        15
Etu Solution Day 2012




                        16
Etu Solution Day 2012

1. 一客一市場 — 具精準推薦本領的個人專屬導購員 Etu Recommender
  焦點行業:電子商務、零售業
2. 高科技產業資料分析解決方案
  焦點行業:高科技製造業
3. Etu DW Offload 解放資料倉儲的運算效能
  焦點行業:電信、金融                           Demos
4. Trinity BDM 橋接傳統與未來                 Booth
  焦點行業:電信、金融、製造
5. Big Data 視覺化分析解決方案
  焦點行業:整體行業
6. Mobile LPR - Big Data 影像資料的車牌分析應用
  焦點行業:政府、交通運輸
                                               17
Etu 2013 發展方向




                18
Etu 2013 主力:一平台 + 一方案




                        19
Etu 2013 關鍵字

• 整合
• 一橫多縱
• 夥伴價值


               20
多結構整合:從 Hadoop Big Data 到 Total Data
聲音檔案
影片檔案                                                                                                  OLTP
圖形檔案                                                    Web, Mobile,
                                                        CRM, ERP,
                                                       SCM, …                  商務交易
文件檔案
文字資料                              回饋/歷史資料                                        與
XML檔案                                                                           行為互動
Web Logs
點擊事件
                                                                                                    New
                                                                                 SQL     NoSQL
                                                                                                    SQL
 社交網路
 關聯圖譜
                              Big Data                              
新聞 Feeds                      精煉處理場                                 預處理
                                                                               EDW       MPP
                                                                                                    New

  感應器          多結構資料                                                                                SQL

 嵌入設備          儲存/彙整/轉換/運算                                                                                           
RFID Tags
                                                                                商業智慧                                 傳統 ETL
地理資訊                                                                           與
GPS 點位                                         回饋/歷史資料
                                                                                線上分析
                                                        Dashboard,
  事件                                                    Report,
  其他                                                    Visualization, …                              OLAP




            Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
多結構整合:從 Hadoop Big Data 到 Total Data
聲音檔案
影片檔案                                                                                                  OLTP
圖形檔案                                                    Web, Mobile,
                                                        CRM, ERP,
                                                       SCM, …                  商務交易
文件檔案
文字資料                              回饋/歷史資料                                        與
XML檔案                                                                           行為互動
Web Logs
點擊事件
                                                                                                    New
                                                                                 SQL     NoSQL
                                                                                                    SQL
 社交網路
 關聯圖譜
                              Big Data                              
新聞 Feeds                      精煉處理場                                 預處理
                                                                               EDW       MPP
                                                                                                    New

  感應器          多結構資料                                                                                SQL

 嵌入設備          儲存/彙整/轉換/運算                                                                                           
RFID Tags
                                                                                商業智慧                                 傳統 ETL
地理資訊                                                                           與
GPS 點位                                         回饋/歷史資料
                                                                                線上分析
                                                        Dashboard,
  事件                                                    Report,
  其他                                                    Visualization, …                              OLAP




            Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
三種溫度資料的整合
                           Hot / Warm / Cold Data
Hot Data
線上結構化資料                        RDB        DW         DW
                                           DW         DW
                                                       MPP
                                            DW
      SQL-based                                         DB
     OLTP / OLAP

                              HBase        Hive         Pig
Warm Data
線上半/非結構化資料                     Map
                              Reduce
                                           Map
                                          Reduce
                                                       Map
                                                      Reduce

     Hadoop-based              HDFS        HDFS        HDFS
Online Query / Analytics


Cold Data                   Backup/Archive with SAN, NAS,
                            Cloud Storage, or Tape
離線資料
                                                               23
三種溫度資料的整合
                           Hot / Warm / Cold Data
Hot Data
線上結構化資料                        RDB        DW         DW
                                           DW         DW
                                                       MPP
                                            DW
      SQL-based                                         DB
     OLTP / OLAP

                              HBase        Hive         Pig
Warm Data
線上半/非結構化資料                     Map
                              Reduce
                                           Map
                                          Reduce
                                                       Map
                                                      Reduce

     Hadoop-based              HDFS        HDFS        HDFS
Online Query / Analytics


Cold Data                   Backup/Archive with SAN, NAS,
                            Cloud Storage, or Tape
離線資料
                                                               24
Etu Offering 發展:一橫多縱

                              行動商務     廣告投放

電信營運   製造/金融     電子商務




         Work with
         ISV Partners   Etu Recommender 精準推薦解決方案




           Etu Appliance
                                              25
Etu Appliance

 Hadoop Big Data 運算平台首選



 不可能更容易
1 U 節點可處理 4 ~ 40 TB


• Scalability - 公有雲等級的運算架構
• Reliability - 電信等級的系統品質
• Performance - 企業等級的創新績效



                                       26
Etu Appliance 於 10 月初獲得



                          27
Etu Appliance 於 10 月底又獲得

系統、應用、工具軟體類



                           28
Etu Appliance 於 12 月初又獲得

平台組




                           29
Etu Recommender 精準推薦解決方案


一客.一市場



                        30
建構 Etu Ecosystem




   ISV   for Hadoop-based Application Development

   SI/VAR     for Hadoop-based Solution Integration

   Reseller    for Etu Appliance

Partner Enablement:   Solution. Skill.Support


                                                       31
建構 Etu Ecosystem




Partner Enablement:   Solution. Skill.Support


                                                32
台灣唯一的 Big Data 認證課程
    Etu Big Data Hands-on Training Level 1
                          手作初級體驗課程

    Etu Big Data Hands-on Training Level 2
                 手作進階 - 企業應用實作課程
FB 粉絲頁:http://www.facebook.com/etusolution




                                             33
如果您只記得 3 件事

1. 2013 延續 Big Data 元年的發展,市場持續向上,
  為往後的大爆發做準備。

2. Etu 的「一橫多縱」策略,將展現 Big Data 應用的
  價值與精彩。

3. Etu 與夥伴攜手,為企業 Big Data 而服務。

                                    34
Merry X’mas

闔家平安.收穫滿滿




               35

More Related Content

What's hot

Trinity BDM - 橋接傳統與未來
Trinity BDM - 橋接傳統與未來Trinity BDM - 橋接傳統與未來
Trinity BDM - 橋接傳統與未來Etu Solution
 
Big Data World Forum
Big Data World ForumBig Data World Forum
Big Data World Forumbigdatawf
 
数据分析架构实例与安全的云挖掘
数据分析架构实例与安全的云挖掘数据分析架构实例与安全的云挖掘
数据分析架构实例与安全的云挖掘mysqlops
 
揭开数据虚拟化的神秘面纱
揭开数据虚拟化的神秘面纱揭开数据虚拟化的神秘面纱
揭开数据虚拟化的神秘面纱Denodo
 
数据挖掘理论与实践
数据挖掘理论与实践数据挖掘理论与实践
数据挖掘理论与实践medcl
 
Can data virtualization uphold performance with complex queries? (Chinese)
Can data virtualization uphold performance with complex queries? (Chinese)Can data virtualization uphold performance with complex queries? (Chinese)
Can data virtualization uphold performance with complex queries? (Chinese)Denodo
 
数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅Denodo
 
資料倉儲與採礦技術 大葉大學-詹翔霖
資料倉儲與採礦技術 大葉大學-詹翔霖資料倉儲與採礦技術 大葉大學-詹翔霖
資料倉儲與採礦技術 大葉大學-詹翔霖文化大學
 
如何快速实现数据编织架构
如何快速实现数据编织架构如何快速实现数据编织架构
如何快速实现数据编织架构Denodo
 
Bigdata bizoppor
Bigdata bizopporBigdata bizoppor
Bigdata bizopporAccenture
 

What's hot (13)

Trinity BDM - 橋接傳統與未來
Trinity BDM - 橋接傳統與未來Trinity BDM - 橋接傳統與未來
Trinity BDM - 橋接傳統與未來
 
Emc keynote 1130 1200
Emc keynote 1130 1200Emc keynote 1130 1200
Emc keynote 1130 1200
 
Big Data World Forum
Big Data World ForumBig Data World Forum
Big Data World Forum
 
数据分析架构实例与安全的云挖掘
数据分析架构实例与安全的云挖掘数据分析架构实例与安全的云挖掘
数据分析架构实例与安全的云挖掘
 
揭开数据虚拟化的神秘面纱
揭开数据虚拟化的神秘面纱揭开数据虚拟化的神秘面纱
揭开数据虚拟化的神秘面纱
 
数据挖掘理论与实践
数据挖掘理论与实践数据挖掘理论与实践
数据挖掘理论与实践
 
Can data virtualization uphold performance with complex queries? (Chinese)
Can data virtualization uphold performance with complex queries? (Chinese)Can data virtualization uphold performance with complex queries? (Chinese)
Can data virtualization uphold performance with complex queries? (Chinese)
 
数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅
 
Silf2012lw3
Silf2012lw3Silf2012lw3
Silf2012lw3
 
开放数据-中文
开放数据-中文开放数据-中文
开放数据-中文
 
資料倉儲與採礦技術 大葉大學-詹翔霖
資料倉儲與採礦技術 大葉大學-詹翔霖資料倉儲與採礦技術 大葉大學-詹翔霖
資料倉儲與採礦技術 大葉大學-詹翔霖
 
如何快速实现数据编织架构
如何快速实现数据编织架构如何快速实现数据编织架构
如何快速实现数据编织架构
 
Bigdata bizoppor
Bigdata bizopporBigdata bizoppor
Bigdata bizoppor
 

Viewers also liked

MySQL to Neo4j: A DBA Perspective - David Stern @ GraphConnect NY 2013
MySQL to Neo4j: A DBA Perspective - David Stern @ GraphConnect NY 2013MySQL to Neo4j: A DBA Perspective - David Stern @ GraphConnect NY 2013
MySQL to Neo4j: A DBA Perspective - David Stern @ GraphConnect NY 2013Neo4j
 
Big data hadoop-no sql and graph db-final
Big data hadoop-no sql and graph db-finalBig data hadoop-no sql and graph db-final
Big data hadoop-no sql and graph db-finalramazan fırın
 
講師營學習心得分享 No.1 講師如何介紹自已
講師營學習心得分享 No.1 講師如何介紹自已講師營學習心得分享 No.1 講師如何介紹自已
講師營學習心得分享 No.1 講師如何介紹自已基欽 劉
 

Viewers also liked (7)

MySQL to Neo4j: A DBA Perspective - David Stern @ GraphConnect NY 2013
MySQL to Neo4j: A DBA Perspective - David Stern @ GraphConnect NY 2013MySQL to Neo4j: A DBA Perspective - David Stern @ GraphConnect NY 2013
MySQL to Neo4j: A DBA Perspective - David Stern @ GraphConnect NY 2013
 
Big data
Big dataBig data
Big data
 
Graph Database
Graph DatabaseGraph Database
Graph Database
 
Presentation skills
Presentation skillsPresentation skills
Presentation skills
 
Big data hadoop-no sql and graph db-final
Big data hadoop-no sql and graph db-finalBig data hadoop-no sql and graph db-final
Big data hadoop-no sql and graph db-final
 
講師營學習心得分享 No.1 講師如何介紹自已
講師營學習心得分享 No.1 講師如何介紹自已講師營學習心得分享 No.1 講師如何介紹自已
講師營學習心得分享 No.1 講師如何介紹自已
 
(Big) Data Science
(Big) Data Science(Big) Data Science
(Big) Data Science
 

Similar to Keynote: What Is the next Big Data?

Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現Fred Chiang
 
Hadoop 與 SQL 的甜蜜連結
Hadoop 與 SQL 的甜蜜連結Hadoop 與 SQL 的甜蜜連結
Hadoop 與 SQL 的甜蜜連結James Chen
 
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況Jazz Yao-Tsung Wang
 
Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)Jazz Yao-Tsung Wang
 
Business intelligent 概論 棅易
Business intelligent 概論 棅易Business intelligent 概論 棅易
Business intelligent 概論 棅易Lawrence Huang
 
Big data, big deal ms it168文库
Big data, big deal ms it168文库Big data, big deal ms it168文库
Big data, big deal ms it168文库Accenture
 
Big data, big deal ms it168文库
Big data, big deal ms it168文库Big data, big deal ms it168文库
Big data, big deal ms it168文库Accenture
 
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Etu Solution
 
逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构Denodo
 
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲Herman Wu
 
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdfmarkmind
 
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDBBig Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDBMonster Supreme
 
民间秘方
民间秘方民间秘方
民间秘方dynasty
 
企业系统商务智能设计
企业系统商务智能设计企业系统商务智能设计
企业系统商务智能设计George Ang
 
智慧系統服務研究 永鑫 V2
智慧系統服務研究 永鑫 V2智慧系統服務研究 永鑫 V2
智慧系統服務研究 永鑫 V2Lawrence Huang
 
查小三 + 新智慧營運 Splunk4.2大顯身手
查小三 + 新智慧營運 Splunk4.2大顯身手查小三 + 新智慧營運 Splunk4.2大顯身手
查小三 + 新智慧營運 Splunk4.2大顯身手Gandalf Huang
 
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林corlin chen
 
Se shang hai_04_cloudybi
Se shang hai_04_cloudybiSe shang hai_04_cloudybi
Se shang hai_04_cloudybiTech2IPO
 
数据领导者的多云数据集成.pdf
数据领导者的多云数据集成.pdf数据领导者的多云数据集成.pdf
数据领导者的多云数据集成.pdfChunLei(peter) Che
 
05 朱近之 ibm云计算解决方案概览 0611
05 朱近之 ibm云计算解决方案概览 061105 朱近之 ibm云计算解决方案概览 0611
05 朱近之 ibm云计算解决方案概览 0611ikewu83
 

Similar to Keynote: What Is the next Big Data? (20)

Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現
 
Hadoop 與 SQL 的甜蜜連結
Hadoop 與 SQL 的甜蜜連結Hadoop 與 SQL 的甜蜜連結
Hadoop 與 SQL 的甜蜜連結
 
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
 
Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)
 
Business intelligent 概論 棅易
Business intelligent 概論 棅易Business intelligent 概論 棅易
Business intelligent 概論 棅易
 
Big data, big deal ms it168文库
Big data, big deal ms it168文库Big data, big deal ms it168文库
Big data, big deal ms it168文库
 
Big data, big deal ms it168文库
Big data, big deal ms it168文库Big data, big deal ms it168文库
Big data, big deal ms it168文库
 
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享
 
逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构
 
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲
 
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
 
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDBBig Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
 
民间秘方
民间秘方民间秘方
民间秘方
 
企业系统商务智能设计
企业系统商务智能设计企业系统商务智能设计
企业系统商务智能设计
 
智慧系統服務研究 永鑫 V2
智慧系統服務研究 永鑫 V2智慧系統服務研究 永鑫 V2
智慧系統服務研究 永鑫 V2
 
查小三 + 新智慧營運 Splunk4.2大顯身手
查小三 + 新智慧營運 Splunk4.2大顯身手查小三 + 新智慧營運 Splunk4.2大顯身手
查小三 + 新智慧營運 Splunk4.2大顯身手
 
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
 
Se shang hai_04_cloudybi
Se shang hai_04_cloudybiSe shang hai_04_cloudybi
Se shang hai_04_cloudybi
 
数据领导者的多云数据集成.pdf
数据领导者的多云数据集成.pdf数据领导者的多云数据集成.pdf
数据领导者的多云数据集成.pdf
 
05 朱近之 ibm云计算解决方案概览 0611
05 朱近之 ibm云计算解决方案概览 061105 朱近之 ibm云计算解决方案概览 0611
05 朱近之 ibm云计算解决方案概览 0611
 

More from Etu Solution

終歸:分群消費者x多元商機的實現
終歸:分群消費者x多元商機的實現終歸:分群消費者x多元商機的實現
終歸:分群消費者x多元商機的實現Etu Solution
 
歡迎回來:全面圖譜,金融 3.0 顧客行銷新視界
歡迎回來:全面圖譜,金融 3.0 顧客行銷新視界歡迎回來:全面圖譜,金融 3.0 顧客行銷新視界
歡迎回來:全面圖譜,金融 3.0 顧客行銷新視界Etu Solution
 
猜你喜歡:虛實並進,贏在全通路
猜你喜歡:虛實並進,贏在全通路猜你喜歡:虛實並進,贏在全通路
猜你喜歡:虛實並進,贏在全通路Etu Solution
 
投客所好:互聯內外,啟動投信藍海數據戰
投客所好:互聯內外,啟動投信藍海數據戰投客所好:互聯內外,啟動投信藍海數據戰
投客所好:互聯內外,啟動投信藍海數據戰Etu Solution
 
致詞歡迎:Big Data 無所不在,Data Technology 無 C 不歡
致詞歡迎:Big Data 無所不在,Data Technology 無 C 不歡致詞歡迎:Big Data 無所不在,Data Technology 無 C 不歡
致詞歡迎:Big Data 無所不在,Data Technology 無 C 不歡Etu Solution
 
啟程:Data Technology 的待客之道
啟程:Data Technology 的待客之道啟程:Data Technology 的待客之道
啟程:Data Technology 的待客之道Etu Solution
 
Track C-1 大數據時代的產品 ─ 創新與洞察決策
Track C-1 大數據時代的產品 ─ 創新與洞察決策Track C-1 大數據時代的產品 ─ 創新與洞察決策
Track C-1 大數據時代的產品 ─ 創新與洞察決策Etu Solution
 
Track C-3 Let's Play Marketing - 瘋創意 玩推薦 就該這樣搞行銷
Track C-3 Let's Play Marketing - 瘋創意 玩推薦 就該這樣搞行銷Track C-3 Let's Play Marketing - 瘋創意 玩推薦 就該這樣搞行銷
Track C-3 Let's Play Marketing - 瘋創意 玩推薦 就該這樣搞行銷Etu Solution
 
Track C-2 洞見未來 - Tableau 創造大數據新價值
Track C-2 洞見未來 - Tableau 創造大數據新價值Track C-2 洞見未來 - Tableau 創造大數據新價值
Track C-2 洞見未來 - Tableau 創造大數據新價值Etu Solution
 
Track B-3 解構大數據架構 - 大數據系統的伺服器與網路資源規劃
Track B-3 解構大數據架構 - 大數據系統的伺服器與網路資源規劃Track B-3 解構大數據架構 - 大數據系統的伺服器與網路資源規劃
Track B-3 解構大數據架構 - 大數據系統的伺服器與網路資源規劃Etu Solution
 
Track B-1 建構新世代的智慧數據平台
Track B-1 建構新世代的智慧數據平台Track B-1 建構新世代的智慧數據平台
Track B-1 建構新世代的智慧數據平台Etu Solution
 
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構Etu Solution
 
Track A-2 基於 Spark 的數據分析
Track A-2 基於 Spark 的數據分析Track A-2 基於 Spark 的數據分析
Track A-2 基於 Spark 的數據分析Etu Solution
 
Track A-1: Cloudera 大數據產品和技術最前沿資訊報告
Track A-1: Cloudera 大數據產品和技術最前沿資訊報告Track A-1: Cloudera 大數據產品和技術最前沿資訊報告
Track A-1: Cloudera 大數據產品和技術最前沿資訊報告Etu Solution
 
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力Etu Solution
 
Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享
Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享
Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享Etu Solution
 
Cloudera 助力台灣大數據產業的發展
Cloudera 助力台灣大數據產業的發展Cloudera 助力台灣大數據產業的發展
Cloudera 助力台灣大數據產業的發展Etu Solution
 
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動Etu Solution
 
Opening: Big Data+
Opening: Big Data+Opening: Big Data+
Opening: Big Data+Etu Solution
 
數位媒體的客戶洞察行銷術
數位媒體的客戶洞察行銷術數位媒體的客戶洞察行銷術
數位媒體的客戶洞察行銷術Etu Solution
 

More from Etu Solution (20)

終歸:分群消費者x多元商機的實現
終歸:分群消費者x多元商機的實現終歸:分群消費者x多元商機的實現
終歸:分群消費者x多元商機的實現
 
歡迎回來:全面圖譜,金融 3.0 顧客行銷新視界
歡迎回來:全面圖譜,金融 3.0 顧客行銷新視界歡迎回來:全面圖譜,金融 3.0 顧客行銷新視界
歡迎回來:全面圖譜,金融 3.0 顧客行銷新視界
 
猜你喜歡:虛實並進,贏在全通路
猜你喜歡:虛實並進,贏在全通路猜你喜歡:虛實並進,贏在全通路
猜你喜歡:虛實並進,贏在全通路
 
投客所好:互聯內外,啟動投信藍海數據戰
投客所好:互聯內外,啟動投信藍海數據戰投客所好:互聯內外,啟動投信藍海數據戰
投客所好:互聯內外,啟動投信藍海數據戰
 
致詞歡迎:Big Data 無所不在,Data Technology 無 C 不歡
致詞歡迎:Big Data 無所不在,Data Technology 無 C 不歡致詞歡迎:Big Data 無所不在,Data Technology 無 C 不歡
致詞歡迎:Big Data 無所不在,Data Technology 無 C 不歡
 
啟程:Data Technology 的待客之道
啟程:Data Technology 的待客之道啟程:Data Technology 的待客之道
啟程:Data Technology 的待客之道
 
Track C-1 大數據時代的產品 ─ 創新與洞察決策
Track C-1 大數據時代的產品 ─ 創新與洞察決策Track C-1 大數據時代的產品 ─ 創新與洞察決策
Track C-1 大數據時代的產品 ─ 創新與洞察決策
 
Track C-3 Let's Play Marketing - 瘋創意 玩推薦 就該這樣搞行銷
Track C-3 Let's Play Marketing - 瘋創意 玩推薦 就該這樣搞行銷Track C-3 Let's Play Marketing - 瘋創意 玩推薦 就該這樣搞行銷
Track C-3 Let's Play Marketing - 瘋創意 玩推薦 就該這樣搞行銷
 
Track C-2 洞見未來 - Tableau 創造大數據新價值
Track C-2 洞見未來 - Tableau 創造大數據新價值Track C-2 洞見未來 - Tableau 創造大數據新價值
Track C-2 洞見未來 - Tableau 創造大數據新價值
 
Track B-3 解構大數據架構 - 大數據系統的伺服器與網路資源規劃
Track B-3 解構大數據架構 - 大數據系統的伺服器與網路資源規劃Track B-3 解構大數據架構 - 大數據系統的伺服器與網路資源規劃
Track B-3 解構大數據架構 - 大數據系統的伺服器與網路資源規劃
 
Track B-1 建構新世代的智慧數據平台
Track B-1 建構新世代的智慧數據平台Track B-1 建構新世代的智慧數據平台
Track B-1 建構新世代的智慧數據平台
 
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
Track A-3 Enterprise Data Lake in Action - 搭建「活」的企業 Big Data 生態架構
 
Track A-2 基於 Spark 的數據分析
Track A-2 基於 Spark 的數據分析Track A-2 基於 Spark 的數據分析
Track A-2 基於 Spark 的數據分析
 
Track A-1: Cloudera 大數據產品和技術最前沿資訊報告
Track A-1: Cloudera 大數據產品和技術最前沿資訊報告Track A-1: Cloudera 大數據產品和技術最前沿資訊報告
Track A-1: Cloudera 大數據產品和技術最前沿資訊報告
 
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力Data without Boundaries - 圍繞第一方數據,找到商業驅動力
Data without Boundaries - 圍繞第一方數據,找到商業驅動力
 
Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享
Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享
Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享
 
Cloudera 助力台灣大數據產業的發展
Cloudera 助力台灣大數據產業的發展Cloudera 助力台灣大數據產業的發展
Cloudera 助力台灣大數據產業的發展
 
Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動Data Leaders in Action - 資料價值領袖風範與關鍵行動
Data Leaders in Action - 資料價值領袖風範與關鍵行動
 
Opening: Big Data+
Opening: Big Data+Opening: Big Data+
Opening: Big Data+
 
數位媒體的客戶洞察行銷術
數位媒體的客戶洞察行銷術數位媒體的客戶洞察行銷術
數位媒體的客戶洞察行銷術
 

Keynote: What Is the next Big Data?

  • 1. What Is the next Big Data? Etu 負責人 蔣居裕 Dec. 20, 2012
  • 2. 自我介紹 蔣居裕 (Fred Chiang) • Etu 負責人 • Hadoop Big Data 傳教士 • Big Data Taiwan 社群發起人 • 《 Fred 豢養的雲中象》— 台灣唯一專寫 Big Data 的非純技術部落格 2
  • 3. 大綱 • 2012 台灣 Big Data 市場發展檢視 • 2013 台灣 Big Data 市場趨勢預測 • Etu Solution Day 2012 活動預覽 • Etu 2013 發展方向 3
  • 4. 2012 台灣 Big Data 市場發展檢視 4
  • 5. 2012 台灣 Big Data 元年 五大趨勢預測實現強度 5
  • 6. 2013 台灣 Big Data 市場趨勢預測 6
  • 7. 2013 台灣 Big Data 市場趨勢預測 1. 本地不同行業的 Big Data 應用案例,將一一浮現 數據報酬將能具體地被檢視。電信、電子商務、零售、製造、金融、政府將是 領航的焦點領域。 7
  • 8. 2013 台灣 Big Data 市場趨勢預測 2. “Medium” Data 出現在更多企業 Big Data 應用場景 ”Big” 的迷思,用 3V 模型來明辨。 8
  • 9. Big Data 要處理的三個面向:3V Velocity 處理時效 2. 3. 1. Volume Variety 資料量 資料格式 9
  • 10. 2013 台灣 Big Data 市場趨勢預測 3. Hadoop 相關專業教育訓練課程漸熱 讓企業與個人得以擁有較方便學習 Big Data 處理與系統管理的管道。 10
  • 11. 從一隻大象到一個動物園,生氣盎然 機器學習 分散式儲存 HDFS 資料採擷 高階查詢語言 (SQL-like) 平行運算框架 MapReduce 數據倉儲 數據序列化 但架構與管理難度頗高 分散式資料庫 (NoSQL) 資料獲取與監控 資料流程 hiho oozie Sqoop Cascading Flume Hue ZooKeeper Scribe Solr 動物園管理員 11
  • 12. 2013 台灣 Big Data 市場趨勢預測 4. 從 Quantified Self、Open Data、Enterprise Data、 到 Internet-scale Data,資料分析蔚為顯學 個人、企業、社會、國家、世界,各種面向的數據價值挖掘工程持續建構。 12
  • 14. 2013 台灣 Big Data 市場趨勢預測 5. Open Data 方興未艾,各級政府、不同部門的開放策略 與腳步不一,來自民間的挑戰也不斷 隨著非營利與商業應用需求的增加,以及為求較佳的使用者體驗,不同公部門 將面臨資料開放政策與作法上的挑戰。 14
  • 15. Etu Solution Day 2012 15
  • 16. Etu Solution Day 2012 16
  • 17. Etu Solution Day 2012 1. 一客一市場 — 具精準推薦本領的個人專屬導購員 Etu Recommender 焦點行業:電子商務、零售業 2. 高科技產業資料分析解決方案 焦點行業:高科技製造業 3. Etu DW Offload 解放資料倉儲的運算效能 焦點行業:電信、金融 Demos 4. Trinity BDM 橋接傳統與未來 Booth 焦點行業:電信、金融、製造 5. Big Data 視覺化分析解決方案 焦點行業:整體行業 6. Mobile LPR - Big Data 影像資料的車牌分析應用 焦點行業:政府、交通運輸 17
  • 19. Etu 2013 主力:一平台 + 一方案 19
  • 20. Etu 2013 關鍵字 • 整合 • 一橫多縱 • 夥伴價值 20
  • 21. 多結構整合:從 Hadoop Big Data 到 Total Data 聲音檔案 影片檔案 OLTP 圖形檔案 Web, Mobile, CRM, ERP,  SCM, … 商務交易 文件檔案 文字資料 回饋/歷史資料 與 XML檔案 行為互動 Web Logs 點擊事件 New SQL NoSQL SQL 社交網路 關聯圖譜 Big Data  新聞 Feeds 精煉處理場 預處理  EDW MPP New 感應器 多結構資料 SQL 嵌入設備 儲存/彙整/轉換/運算  RFID Tags 商業智慧 傳統 ETL 地理資訊  與 GPS 點位 回饋/歷史資料 線上分析 Dashboard, 事件 Report, 其他 Visualization, … OLAP Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
  • 22. 多結構整合:從 Hadoop Big Data 到 Total Data 聲音檔案 影片檔案 OLTP 圖形檔案 Web, Mobile, CRM, ERP,  SCM, … 商務交易 文件檔案 文字資料 回饋/歷史資料 與 XML檔案 行為互動 Web Logs 點擊事件 New SQL NoSQL SQL 社交網路 關聯圖譜 Big Data  新聞 Feeds 精煉處理場 預處理  EDW MPP New 感應器 多結構資料 SQL 嵌入設備 儲存/彙整/轉換/運算  RFID Tags 商業智慧 傳統 ETL 地理資訊  與 GPS 點位 回饋/歷史資料 線上分析 Dashboard, 事件 Report, 其他 Visualization, … OLAP Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
  • 23. 三種溫度資料的整合 Hot / Warm / Cold Data Hot Data 線上結構化資料 RDB DW DW DW DW MPP DW SQL-based DB OLTP / OLAP HBase Hive Pig Warm Data 線上半/非結構化資料 Map Reduce Map Reduce Map Reduce Hadoop-based HDFS HDFS HDFS Online Query / Analytics Cold Data Backup/Archive with SAN, NAS, Cloud Storage, or Tape 離線資料 23
  • 24. 三種溫度資料的整合 Hot / Warm / Cold Data Hot Data 線上結構化資料 RDB DW DW DW DW MPP DW SQL-based DB OLTP / OLAP HBase Hive Pig Warm Data 線上半/非結構化資料 Map Reduce Map Reduce Map Reduce Hadoop-based HDFS HDFS HDFS Online Query / Analytics Cold Data Backup/Archive with SAN, NAS, Cloud Storage, or Tape 離線資料 24
  • 25. Etu Offering 發展:一橫多縱 行動商務 廣告投放 電信營運 製造/金融 電子商務 Work with ISV Partners Etu Recommender 精準推薦解決方案 Etu Appliance 25
  • 26. Etu Appliance Hadoop Big Data 運算平台首選 不可能更容易 1 U 節點可處理 4 ~ 40 TB • Scalability - 公有雲等級的運算架構 • Reliability - 電信等級的系統品質 • Performance - 企業等級的創新績效 26
  • 27. Etu Appliance 於 10 月初獲得 27
  • 28. Etu Appliance 於 10 月底又獲得 系統、應用、工具軟體類 28
  • 29. Etu Appliance 於 12 月初又獲得 平台組 29
  • 31. 建構 Etu Ecosystem  ISV for Hadoop-based Application Development  SI/VAR for Hadoop-based Solution Integration  Reseller for Etu Appliance Partner Enablement: Solution. Skill.Support 31
  • 32. 建構 Etu Ecosystem Partner Enablement: Solution. Skill.Support 32
  • 33. 台灣唯一的 Big Data 認證課程 Etu Big Data Hands-on Training Level 1 手作初級體驗課程 Etu Big Data Hands-on Training Level 2 手作進階 - 企業應用實作課程 FB 粉絲頁:http://www.facebook.com/etusolution 33
  • 34. 如果您只記得 3 件事 1. 2013 延續 Big Data 元年的發展,市場持續向上, 為往後的大爆發做準備。 2. Etu 的「一橫多縱」策略,將展現 Big Data 應用的 價值與精彩。 3. Etu 與夥伴攜手,為企業 Big Data 而服務。 34