Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享

講師:Etu COO 陳育杰 (Eric Chen)

  • Be the first to comment

Big Data Tornado - 2015 台灣 Big Data 企業經典應用案例分享

  1. 1. 1 Big Data Tornado 2015 台灣Big Data 企業 經典應用案例分享 Eric Chen Etu COO & VP of BD June 16, 2015
  2. 2. 2 2015,台灣 Big Data 經典應用案例
  3. 3. 3 應用案例 – 電商零售百貨 CRM Offline Analytics Cluster Online Cluster for Recommendation Web 互動資料   • 瀏覽、點擊   • 搜尋   • 購物車   • 結帳   • 跨網域用戶行為   Mobile互動資料 • 瀏覽   • 點擊   • 搜尋   • 購物車   • 結帳   • 跨網域用戶行為   流量分析 新客戶 vs. 回頭客 來源網站/不同版位 訂單效益關聯分析 Hive HBase 關連性商品 效益分析 再訪客戶 特質與基因分析 個人化推薦
  4. 4. 4 應用案例 – 數位媒體 理財偏好 股票 基金 保險 房地產 定存 搜尋關鍵字 內容偏好 娛樂 汽車 野外 財經 釣魚 行為模式 瀏覽頻率 上網時段 停留時間 上網裝置 登入狀態 來源網址 廣告取向 促銷優惠 廣告類別 廣告商品 廣告品牌 人口屬性 性別 年齡 城市 行業 子女 Customer Behavior Data Lake  
  5. 5. 5 應用案例 – 金控銀行 個人化的行銷體驗 FPS理財規劃 SFA銷售自動化 CRM客戶管理 互動 記錄 客戶 留言 網路 爬文 理專 日誌 聯徵 資料 第三方 支付 Data Warehouse Customer Behavior Data Lake   3600 Customer View 到府服務 一般理財服務 電話訪問 互動式電子帳單 個人化EDM Next Best Offer 一客一市場
  6. 6. 6 應用案例 – 製造生產 (工業 4.0) SPC Recipe SPI/AOI SFC AOI Images Root Cause Analysis 自動診斷 Process Control 線上預警 Optimization 動態配方調整 資料處理 錯誤判斷 模式 探勘、確認 系統建構 告警調教 獨立控管,資料分散 整合控管,資料集中 透過(經驗法則)進行摸索學習 透過(智慧分析)進行早期預警
  7. 7. 7 應用案例 – 醫療 HISPACS Oracle MS SQL Informix Enterprise Data Pool Sqoop Web Service API l  解決大量資料載入效率不佳與資料查詢速度太慢的問題 l  成為醫院資訊系統的 data pool,所有資料先進行格式統一,錯誤 資料清洗等轉置工作, l  EDW / DM 或應用系統所有資料需求,皆統一由 Hadoop 提供, 解決跨來源資料整合問題。 DW
  8. 8. 8 2015,我們看到企業導入 Big Data 的技術挑戰
  9. 9. 9 企業導入 Big Data 的技術挑戰 •  資料來源眾多 •  資料類型不同 •  資料大小不一 •  資料格式繁多 •  資料接取的時效 性差異大 資料繁雜 •  資料處理的目的, 決定資料可以如 何被運用; •  或運用後,才發 現資料應該如何 被處理 •  如何設計自動化 的資料處理流程? 資料處理困難 •  什麼樣的資料應 用應該用Hive ? or HBase ? or Impala ? •  現有工具如何駕 馭Big Data 不知如何運用 資料 資料架構陌生 •  不同類型的資料 如何對應到適合 的資料架構設計?
  10. 10. 10 2015,我們提出的解決方案
  11. 11. 11
  12. 12. 12 Etu Data Lake 探索資料的廣度 整合資料孤島,還原商業全貌
  13. 13. 13 From Database to Data Lake Data Lake Data Warehouse Database ü  應用服務的 資料儲存 ü  短期資料 分析查詢 ü  企業決策分析 資料儲存 ü  結構化、多構面、 長期的資料分析 ü  企業的資料整合的儲存平台 ü  多樣性、龐雜的資料, 做為企業資料分析素材 ü  資料的萃取、轉換、讀取, 以及資料分析的工作
  14. 14. 14 Etu Data Lake StructuredDataUnstructuredData ERP CRM LOB Apps 3rd  Party RDB/EDW Business Analytics
  15. 15. 15 Etu Data Lake 從資料的盤點、儲存、處理、入庫到運用 •  評估商業需求 •  盤點資料 •  分析不同資料 格式規範 資 料 運 用 ( 分 析 視 覺 化 解 讀 ) •  規範檔案系統 架構 Etu 顧 問 服 務 • ETL整合 • 規範自動化流程 • 資料模型規劃 • Ready for Query, Analysis Discovery
  16. 16. 16 整合資料孤島,還原客戶資料全貌 ü 每個獨立的系統,形成個別的資料庫孤島 (silo) ü 眾多不同資料格式,例如日常處理的掃描檔、 客服紀錄、CRM、績效管理等 ü 大量無法處理的非結構資料 ü 以及分散的資料倉儲系統
  17. 17. 17 歷史資料歸檔後的靈活運用 ü 例如大量的交易紀錄,需要經常性備份和定期 歸檔,以利後續業務應用,或因應監管機關的 查詢。 ü 過期的歸檔後的歷史資料必須能 被靈活的查詢應用,做為長期趨勢分析 和規劃的基礎。
  18. 18. 18 問題的先期資料蒐集以利後續探勘 企業面臨的最大挑戰,在於許多商業問題從 使用者需求確認、資料模型建立,到資料導入 及驗證,曠日廢時,並且很多時候在蒐集資料 的當下,並不確定資料模型該如何建立…… Schema On Write Schema On Read
  19. 19. 19 Etu Data Lake 價值主張 應用開發更容易 資料探勘和架構設計更容易 毋需經過特殊資料整理,沒有特殊目的的資料蒐集。資料先蒐集進來, 讓應用層的資料轉換和取用,如同使用自來水一樣容易。
  20. 20. 20 20 Etu Data Lake Agile Exploration for Out of the Box Possibility 商業問題的資料探勘和再運用 更好的客戶體驗,更敏捷的商業決策 資料的永續,知識的共享 企業 Big Data 的基石
  21. 21. 21 Thank You

×