Your SlideShare is downloading. ×
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Etu DW Offload 解放資料倉儲的運算效能
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Etu DW Offload 解放資料倉儲的運算效能

970

Published on

隨著企業資料量爆炸性地成長,現有資料倉儲系統面臨著前所未有的產出、效能、與成本效益之間的掙扎。Etu Appliance 巨量資料處理平台,以其運算與儲存合一、高效運算、線性擴充的特性,搭配Sqoop 與各傳統資料庫及資料倉儲界接的能力,可用遠低於擴充既有系統的成本,在更短的時間內完成相同的資料倉儲作業,釋放出寶貴的系統資源。

隨著企業資料量爆炸性地成長,現有資料倉儲系統面臨著前所未有的產出、效能、與成本效益之間的掙扎。Etu Appliance 巨量資料處理平台,以其運算與儲存合一、高效運算、線性擴充的特性,搭配Sqoop 與各傳統資料庫及資料倉儲界接的能力,可用遠低於擴充既有系統的成本,在更短的時間內完成相同的資料倉儲作業,釋放出寶貴的系統資源。

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
970
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
72
Comments
0
Likes
2
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Etu DW Offload解放資料倉儲的運算效能 Etu Chris Lin Technical Consultant Dec. 20, 2012
  • 2. 自我介紹林志樺 Chris – Etu 科技顧問• 資料分析師及資料庫管理• ERP 系統管理及技術支援• ERP 系統導入顧問• CCDH (Cloudera Certified Developer for Hadoop) 2
  • 3. 大綱• 資料倉儲系統在企業的定位• 資料倉儲系統面臨的問題與挑戰• Etu DW Offload 方案架構及效益• 案例分享 3
  • 4. 資料倉儲系統在企業的定位 SSAS S S BI 工具及平台 R S 資料倉儲系統ERP CRM LOB APPs Legacy 3rd party 結構化資料來源 4
  • 5. 資料倉儲系統面臨的問題 S報表產出 SSAS S R時間變長 BI 工具及平台 S 非結構化 資料導入 Sensor資料倉儲系統擴充 Logs 資料倉儲系統 Device結構化 ERP CRM LOB APPs Legacy 3rd party ERP CRM LOB APPs Legacy 3rd party 非結構化資料倍增 ERP CRM LOB APPs Legacy 3rd party 資料來源 結構化資料來源 5
  • 6. 資料倉儲系統的挑戰• 時效:當日資料要數日後方可取得• 儲存:保存原始資料需大量儲存空間• 擴充:單位儲存運算成本高但效益低• 彈性:對於大量、半/非結構化資料處理不易 6
  • 7. Hadoop 系統特色• 儲存並處理巨量多結構化資料• 內建資料與任務的容錯機制• 執行資料分析程式於分散式系統上• 線性的擴充能力• 運行於商用伺服器,無需高端硬體 7
  • 8. 資料處理方式比較 Scale Out (TB to PB) 關聯式 查詢應用 NoSQL NoSQL NoSQL 資料庫 Scale Up (up to TB) ETL 工具 平行 平行 平行 資料處理 或 運算 運算 運算 Script 原始數據 分散式 分散式 分散式 檔案系統 檔案系統 檔案系統 檔案系統 資料倉儲系統 Hadoop 系統 8
  • 9. 資料倉儲系統卸載至 Hadoop BI 工具及平台 Hadoop 資料倉儲系統Sensor Logs Device ERP CRM LOB 非結構化資料來源 結構化資料來源 9
  • 10. 資料倉儲系統卸載至 Hadoop 的好處• 將資料接收及預處理作業移出,釋出資源• 運用 Hadoop 平行運算的強大運算,提昇效能• 透過 Hadoop 安全容錯的大量儲存,降低成本• 藉由 Hadoop 保存完整的原始資料,拓展資料 倉儲提供資訊的深度及廣度 10
  • 11. Etu Appliance 特色• 為 Hadoop 任務量身訂做及最佳化:  高度整合、簡單佈署  高效處理、簡化使用  高度安全、簡易擴充• Hadoop 最佳作業平台 11
  • 12. Etu DW Offload 方案架構 Hive ConnectorIMAGE Etu BI Tools DataFlowWebLog ETL Languages FTP Pig HiveText Data Processing Layer DWERP Syslog MapReduceCRM Sqoop Data Store Layer Aggregated Dataset HDFSSCM 12
  • 13. Etu DW Offload 方案的效益• 減少資料倉儲運算及儲存負荷• 降低資料倉儲升級需求• 提昇全程資料處理時間• 加快企業策略反應速度 13
  • 14. Etu DW Offload 方案的優勢• 低學習曲線 Etu Appliance 包含的 Pig 與 Hive 語言,是以資料分析師的經 驗設計與開發,學習難度低。除 Java 外,應用程式亦可使用 Python 等語言開發,適用範圍廣。• 高企業整合性 Etu Appliance 包含與各資料庫界接之 JDBC/ODBC,資料流動 性佳。• 高系統與資料可用度 除了 Hadoop 容錯,Etu Appliance 還內建全系統 HA 機制, 提供更完整的保障。 14
  • 15. Etu Appliance 系統與企業整合Excel with Hive Connector BI 工具 Etu Appliance 資料倉儲系統 結構化與非結構化資料 結構化資料來源 15
  • 16. 案例分享(電信商)• 問題 話務資料在資料倉儲前的 ETL 處理耗時過長(數日),無 法即時發現門號欠費、盜用、超量等問題,影響營收• 挑戰 當日資料於隔日上班前即可完成報表,以利即時提出反 應對策 16
  • 17. 案例分享(電信商) 效益時間 – 數天->數小時 ETL Tools BI資料 - 減量 90% 工具 話務 話務 參照 彙總 資料 資料 資料 資料 Etu Appliance 平台 17
  • 18. 如果您只記得三件事• Hadoop:Offload 資料倉儲的最佳平台• Etu:最專業的 Hadoop 團隊;Etu Appliance:企業級 Hadoop 首選平台• Etu DW Offload:以 Etu Appliance 為平台的 End-to- End 資料倉儲卸載完整解決方案,協助您提昇資料倉儲工作 的效率,並降低資料倉儲升級的成本 18
  • 19. 聯絡 Etuwww.etusolution.cominfo@etusolution.comTaipei, Taiwan318, Rueiguang Rd., Taipei 114, TaiwanT: +886 2 7720 1888F: +886 2 8798 6069Beijing, ChinaRoom B-26, Landgent Center,No. 24, East Third Ring Middle Rd.,Beijing, China 100022T: +86 10 8441 7988F: +86 10 8441 7227 19

×