SlideShare a Scribd company logo
1 of 22
Download to read offline
Copyright © CKmates. All rights reserved
如何以數據分析為基礎
的架構佈局
銓鍇國際 CKmates 顧問 Tony Chung
Agenda
2
Copyright © CKmates. All rights reserved
一、數位轉型核心
二、雲端數據分析架構
三、銓鍇國際 CKmates
Copyright © CKmates. All rights reserved
3
數位轉型核心
Copyright © CKmates. All rights reserved
4
數位轉型
OT to IT
數據驅動
Copyright © CKmates. All rights reserved
5
OLTP ERP CRM LOB
Data Warehouse
Business Intelligence
關聯式資料庫限制
TBs-PBs 擴展
期初資本投資 + 擴展投資
($$K / TB / Year)
資料載入前須先定義資料結構
Copyright © CKmates. All rights reserved
6
OLTP ERP CRM LOB
Data Warehouse
Business Intelligence
OLTP MES Sensors
Data Warehouse
Business Intelligence
Web Devices
Data Warehouse
Business Intelligence
數據孤島 數據孤島
Copyright © CKmates. All rights reserved
8
0100100101
0 Data01
1000101001
1
Break free from
legacy databases
釋放數據
Movetomanage
數據託管
Turn data to insights
增加數據洞察力
Build data-driven apps
創新數據分析應用
Modernizeyour
data warehouse
現代化雲數據倉儲
數據飛輪 Data Flywheel
2
3
4
5
Copyright © CKmates. All rights reserved
9
雲端數據分析架構
Copyright © CKmates. All rights reserved
10
數據湖 (Data Lake)
• 結構化資料與非結構化資料的集中
儲存池
• 開源文件格式儲存元數據以支援直
接分析
Copyright © CKmates. All rights reserved
11
數據湖 (Data Lake)的優勢
• 分離運算與儲存,依需要擴展
• 支持所有資料來源的進階分析
• 降低 ETL 的複雜性和運營開銷
• 具備支援新數據庫和分析技術的發
明的可擴展性
Copyright © CKmates. All rights reserved
12
驅動數據飛輪
Catalog
DW
Queries
Big Data
Processing
Interactive Real-Time
OLTP ERP CRM LOB Web Sensors Social
Devices
Business Intelligence Machine Learning
Data Lake
1001100001001010111001
0101011100101010000101
1111011010001111001011
0010110
0100011000010
OLTP ERP CRM LOB
Data Warehouse
Business Intelligence
釋放數據
數據託管
Copyright © CKmates. All rights reserved
13
雲端數據分析架構
Federated Query
Zero ETL
Spectrum query S3 Data lake export
雲託管數據庫
Query live data
QuickSight
ML Insights 視覺化服務
Connect apps to analyze and visualize your data
Amazon S3 數據湖
Keep up to exabytes of data in S3
機器學習
Analyze open
standards-based
data formats
SQL
Amazon
Redshift ML
節省成本
高安全性
高耐用性
雲數據倉儲 Redshift
快速洞察
高性價比
Copyright © CKmates. All rights reserved
14
Amazon S3
Amazon Simple Storage
Service (S3)
• 專為從任何位置存放和擷取任何資料量所建立的檔
案儲存服務,S3 提供熱 (Standard)、溫(Warm)、
冷 (Cold) 等儲存選項,將檔案分類在適合的儲存類
別能夠有效節省費用。
• 儲存在 S3 的檔案 (單區域儲存類別除外) ,會自動
被儲存在三座不同的資料中心中,任何單一資料中
心的異常不會導致檔案的存取出問題。
Copyright © CKmates. All rights reserved
15
Amazon Redshift
• 最廣泛使用的雲端資料倉儲,您可以使用標準
SQL 和現有的商業智慧 (BI) 工具來分析儲存在雲
上的大量資料。
• 每小時僅需 0.25 USD,無須簽訂長期合約,並且
能夠擴展到數 PB 甚至更多的儲存空間,對比之下
傳統資料庫僅能儲存到最大 16 TB。
Amazon Redshift
Copyright © CKmates. All rights reserved
16
Amazon QuickSight
Copyright © CKmates. All rights reserved
17
比較項目 地端 AWS Data Lake
儲存能力
難以擴展儲存空間,擴展成本高昂且需
長期規劃
儲存成本低,空間近乎無限擴展,減少
企業機台耗損,並同時節能減碳
運算能力
受限於現有機器,擴增機器成本高昂且
需長期規劃
運算能力隨取隨用,以分鐘計價,運算
後可隨時關閉
分析能力 需要自行購買軟體授權
AWS 提供現有雲端分析 SaaS 服務,並
以運算時間計價不包含授權
資料控管 資料孤島整合困難
透過雲端權限機制,可將資料集中並予
以權限控管,以符合 資訊安全管控
即時資料處理能力
需要建置機群並且耗費大量人工部署分
布式系統
以流量計價,用多少付多少並且無須建
置軟硬體
資料應用能力
需要專業資料科學家及人工智慧研究人
員
AWS 提供易用上手的資料分析及機器學
習各式 SaaS 服務直接使用
傳統資料中心 VS AWS Data Lake
Copyright © CKmates. All rights reserved
18
參考案例
Copyright © CKmates. All rights reserved
20
銓鍇國際 CKmates
您的雲端數位長
混合雲應用專家.加速數位轉型旅程
Copyright © CKmates. All rights reserved
21
AWS專業證照100+
CKmates 深耕 AWS Cloud,隨著科技進步與商
業應用的提升,我們的團隊擁有超過 100 張的
AWS 認證的專業證照,涵蓋 SA – Professional,
DevOps, Security 等。
CKmates-專業服務技術能力與支援能力
AWS 託管服務供應商
透過標準化流程,從設計、遷移部署到運行、優
化,直到環境監控和自動化管理,為您的企業創
造高自動化與成本、效能最佳化。
AWS Migration Competency
合作夥伴
CKmates 長年專注提供企業完善雲端解決方案,
我們豐富的經驗提供您一條龍的雲端遷移服務,
從評估、計劃、遷移到維運,協助您處理複雜程
序,完整將您的應用程序、基礎設施上雲。
Copyright © CKmates. All rights reserved
22
建置與測試
AWS部署與測試
應用系統
部署、遷移與測試
關鍵指標演練與
驗證
教育訓練與移交
• 盤點現有系統、
依據設計架構進
行建置與測試
• 應用系統部署
• 資料遷移
• 應用系統功能性測試
• 上線計畫與測試計畫
• 系統架構、組態、
測試計畫與結果等
移交
• 教育訓練
時程視系統規模與複雜度
• 執行測試計畫與進
行必要的修正如組
態變更、架構調整、
需求變更等
Copyright © CKmates. All rights reserved
23
託管與持續優化
託管範圍與 SOP 確認 日常維運與諮詢 持續優化、增加託管範圍
• 託管方案與 SLA
• 託管資產清單
• 託管 SOP 與事件通報
程序
• SLA 優化、新需求會議
• 依據 AWS Well-
Architected 最佳實踐進
行體檢與優化
依託管合約期
• 先進監控與告警
• 維運工作與記錄
• 依 SOP 與通報程序進
行事件處理與通報追蹤
• 帳務、技術諮詢、訓練、
workshop等
Copyright © CKmates. All rights reserved
24
CKmates
CKmates漫步雲端
02-77290880
info@ckmates.com

More Related Content

Similar to 20230523- D Forum 智慧工廠新竹- 智雲製造、數位轉型_如何以數據分析為基礎的架構佈局.pdf

How to build data warehouse
How to build data warehouseHow to build data warehouse
How to build data warehouse
jasonfuoo
 
Oracle北大青鸟完全教程
Oracle北大青鸟完全教程Oracle北大青鸟完全教程
Oracle北大青鸟完全教程
yiditushe
 
七牛云存储详解
七牛云存储详解七牛云存储详解
七牛云存储详解
niuer7
 
Greenplum技术
Greenplum技术Greenplum技术
Greenplum技术
锐 张
 
Accelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud eraAccelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud era
Junchi Zhang
 
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in chinaOcean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
 
Bdwf11 netezza james_zheng
Bdwf11 netezza james_zhengBdwf11 netezza james_zheng
Bdwf11 netezza james_zheng
bigdatawf
 

Similar to 20230523- D Forum 智慧工廠新竹- 智雲製造、數位轉型_如何以數據分析為基礎的架構佈局.pdf (20)

How to build data warehouse
How to build data warehouseHow to build data warehouse
How to build data warehouse
 
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
 
CKmates - AWS 雲端運算 基礎服務介紹
CKmates - AWS 雲端運算 基礎服務介紹CKmates - AWS 雲端運算 基礎服務介紹
CKmates - AWS 雲端運算 基礎服務介紹
 
零到千万可扩展架构 AWS Architecture Overview
零到千万可扩展架构 AWS Architecture Overview零到千万可扩展架构 AWS Architecture Overview
零到千万可扩展架构 AWS Architecture Overview
 
Oracle北大青鸟完全教程
Oracle北大青鸟完全教程Oracle北大青鸟完全教程
Oracle北大青鸟完全教程
 
七牛云存储详解
七牛云存储详解七牛云存储详解
七牛云存储详解
 
Cloud formation 基礎設施即程式碼和aws資源佈建-workshop
Cloud formation 基礎設施即程式碼和aws資源佈建-workshopCloud formation 基礎設施即程式碼和aws資源佈建-workshop
Cloud formation 基礎設施即程式碼和aws資源佈建-workshop
 
零壹科技 個人資料管理系統 (PIMS) WorkShop
零壹科技 個人資料管理系統 (PIMS) WorkShop零壹科技 個人資料管理系統 (PIMS) WorkShop
零壹科技 個人資料管理系統 (PIMS) WorkShop
 
Greenplum技术
Greenplum技术Greenplum技术
Greenplum技术
 
美团技术沙龙04 美团下一代分布式存储系统
美团技术沙龙04   美团下一代分布式存储系统美团技术沙龙04   美团下一代分布式存储系统
美团技术沙龙04 美团下一代分布式存储系统
 
数据领导者的多云数据集成.pdf
数据领导者的多云数据集成.pdf数据领导者的多云数据集成.pdf
数据领导者的多云数据集成.pdf
 
Etu Data Lake
Etu Data LakeEtu Data Lake
Etu Data Lake
 
Accelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud eraAccelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud era
 
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
 
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in chinaOcean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
 
Bdwf11 netezza james_zheng
Bdwf11 netezza james_zhengBdwf11 netezza james_zheng
Bdwf11 netezza james_zheng
 
Build 1 trillion warehouse based on carbon data
Build 1 trillion warehouse based on carbon dataBuild 1 trillion warehouse based on carbon data
Build 1 trillion warehouse based on carbon data
 
数据库系统设计漫谈
数据库系统设计漫谈数据库系统设计漫谈
数据库系统设计漫谈
 
高可用可扩展数据库架构方案探讨
高可用可扩展数据库架构方案探讨高可用可扩展数据库架构方案探讨
高可用可扩展数据库架构方案探讨
 
内存数据库[1]
内存数据库[1]内存数据库[1]
内存数据库[1]
 

20230523- D Forum 智慧工廠新竹- 智雲製造、數位轉型_如何以數據分析為基礎的架構佈局.pdf

  • 1. Copyright © CKmates. All rights reserved 如何以數據分析為基礎 的架構佈局 銓鍇國際 CKmates 顧問 Tony Chung
  • 2. Agenda 2 Copyright © CKmates. All rights reserved 一、數位轉型核心 二、雲端數據分析架構 三、銓鍇國際 CKmates
  • 3. Copyright © CKmates. All rights reserved 3 數位轉型核心
  • 4. Copyright © CKmates. All rights reserved 4 數位轉型 OT to IT 數據驅動
  • 5. Copyright © CKmates. All rights reserved 5 OLTP ERP CRM LOB Data Warehouse Business Intelligence 關聯式資料庫限制 TBs-PBs 擴展 期初資本投資 + 擴展投資 ($$K / TB / Year) 資料載入前須先定義資料結構
  • 6. Copyright © CKmates. All rights reserved 6 OLTP ERP CRM LOB Data Warehouse Business Intelligence OLTP MES Sensors Data Warehouse Business Intelligence Web Devices Data Warehouse Business Intelligence 數據孤島 數據孤島
  • 7. Copyright © CKmates. All rights reserved 8 0100100101 0 Data01 1000101001 1 Break free from legacy databases 釋放數據 Movetomanage 數據託管 Turn data to insights 增加數據洞察力 Build data-driven apps 創新數據分析應用 Modernizeyour data warehouse 現代化雲數據倉儲 數據飛輪 Data Flywheel 2 3 4 5
  • 8. Copyright © CKmates. All rights reserved 9 雲端數據分析架構
  • 9. Copyright © CKmates. All rights reserved 10 數據湖 (Data Lake) • 結構化資料與非結構化資料的集中 儲存池 • 開源文件格式儲存元數據以支援直 接分析
  • 10. Copyright © CKmates. All rights reserved 11 數據湖 (Data Lake)的優勢 • 分離運算與儲存,依需要擴展 • 支持所有資料來源的進階分析 • 降低 ETL 的複雜性和運營開銷 • 具備支援新數據庫和分析技術的發 明的可擴展性
  • 11. Copyright © CKmates. All rights reserved 12 驅動數據飛輪 Catalog DW Queries Big Data Processing Interactive Real-Time OLTP ERP CRM LOB Web Sensors Social Devices Business Intelligence Machine Learning Data Lake 1001100001001010111001 0101011100101010000101 1111011010001111001011 0010110 0100011000010 OLTP ERP CRM LOB Data Warehouse Business Intelligence 釋放數據 數據託管
  • 12. Copyright © CKmates. All rights reserved 13 雲端數據分析架構 Federated Query Zero ETL Spectrum query S3 Data lake export 雲託管數據庫 Query live data QuickSight ML Insights 視覺化服務 Connect apps to analyze and visualize your data Amazon S3 數據湖 Keep up to exabytes of data in S3 機器學習 Analyze open standards-based data formats SQL Amazon Redshift ML 節省成本 高安全性 高耐用性 雲數據倉儲 Redshift 快速洞察 高性價比
  • 13. Copyright © CKmates. All rights reserved 14 Amazon S3 Amazon Simple Storage Service (S3) • 專為從任何位置存放和擷取任何資料量所建立的檔 案儲存服務,S3 提供熱 (Standard)、溫(Warm)、 冷 (Cold) 等儲存選項,將檔案分類在適合的儲存類 別能夠有效節省費用。 • 儲存在 S3 的檔案 (單區域儲存類別除外) ,會自動 被儲存在三座不同的資料中心中,任何單一資料中 心的異常不會導致檔案的存取出問題。
  • 14. Copyright © CKmates. All rights reserved 15 Amazon Redshift • 最廣泛使用的雲端資料倉儲,您可以使用標準 SQL 和現有的商業智慧 (BI) 工具來分析儲存在雲 上的大量資料。 • 每小時僅需 0.25 USD,無須簽訂長期合約,並且 能夠擴展到數 PB 甚至更多的儲存空間,對比之下 傳統資料庫僅能儲存到最大 16 TB。 Amazon Redshift
  • 15. Copyright © CKmates. All rights reserved 16 Amazon QuickSight
  • 16. Copyright © CKmates. All rights reserved 17 比較項目 地端 AWS Data Lake 儲存能力 難以擴展儲存空間,擴展成本高昂且需 長期規劃 儲存成本低,空間近乎無限擴展,減少 企業機台耗損,並同時節能減碳 運算能力 受限於現有機器,擴增機器成本高昂且 需長期規劃 運算能力隨取隨用,以分鐘計價,運算 後可隨時關閉 分析能力 需要自行購買軟體授權 AWS 提供現有雲端分析 SaaS 服務,並 以運算時間計價不包含授權 資料控管 資料孤島整合困難 透過雲端權限機制,可將資料集中並予 以權限控管,以符合 資訊安全管控 即時資料處理能力 需要建置機群並且耗費大量人工部署分 布式系統 以流量計價,用多少付多少並且無須建 置軟硬體 資料應用能力 需要專業資料科學家及人工智慧研究人 員 AWS 提供易用上手的資料分析及機器學 習各式 SaaS 服務直接使用 傳統資料中心 VS AWS Data Lake
  • 17. Copyright © CKmates. All rights reserved 18 參考案例
  • 18. Copyright © CKmates. All rights reserved 20 銓鍇國際 CKmates 您的雲端數位長 混合雲應用專家.加速數位轉型旅程
  • 19. Copyright © CKmates. All rights reserved 21 AWS專業證照100+ CKmates 深耕 AWS Cloud,隨著科技進步與商 業應用的提升,我們的團隊擁有超過 100 張的 AWS 認證的專業證照,涵蓋 SA – Professional, DevOps, Security 等。 CKmates-專業服務技術能力與支援能力 AWS 託管服務供應商 透過標準化流程,從設計、遷移部署到運行、優 化,直到環境監控和自動化管理,為您的企業創 造高自動化與成本、效能最佳化。 AWS Migration Competency 合作夥伴 CKmates 長年專注提供企業完善雲端解決方案, 我們豐富的經驗提供您一條龍的雲端遷移服務, 從評估、計劃、遷移到維運,協助您處理複雜程 序,完整將您的應用程序、基礎設施上雲。
  • 20. Copyright © CKmates. All rights reserved 22 建置與測試 AWS部署與測試 應用系統 部署、遷移與測試 關鍵指標演練與 驗證 教育訓練與移交 • 盤點現有系統、 依據設計架構進 行建置與測試 • 應用系統部署 • 資料遷移 • 應用系統功能性測試 • 上線計畫與測試計畫 • 系統架構、組態、 測試計畫與結果等 移交 • 教育訓練 時程視系統規模與複雜度 • 執行測試計畫與進 行必要的修正如組 態變更、架構調整、 需求變更等
  • 21. Copyright © CKmates. All rights reserved 23 託管與持續優化 託管範圍與 SOP 確認 日常維運與諮詢 持續優化、增加託管範圍 • 託管方案與 SLA • 託管資產清單 • 託管 SOP 與事件通報 程序 • SLA 優化、新需求會議 • 依據 AWS Well- Architected 最佳實踐進 行體檢與優化 依託管合約期 • 先進監控與告警 • 維運工作與記錄 • 依 SOP 與通報程序進 行事件處理與通報追蹤 • 帳務、技術諮詢、訓練、 workshop等
  • 22. Copyright © CKmates. All rights reserved 24 CKmates CKmates漫步雲端 02-77290880 info@ckmates.com