Ứng dụng Data Warehouse
xây dựng CSDL KTXH cho các
Bộ, Ngành
Trình bày: Chu Kỳ Quang
Huế - 30/8/2013
Nội dung trình bày
I. DW và OLAP trong hệ thống hỗ trợ ra
quyết định
II. Một trường hợp ứng dụng
III.Một vài nhận xét
I. DW&OLAP trong hệ thống hỗ trợ ra quyết định
Nhu cầu thông tin
1. Phân biệt 2 loại thông tin:
• Thông tin dữ liệu nhằm p...
I. Những câu hỏi của nhà quản lý
1. “Chúng tôi có hàng núi dữ liệu, nhưng chúng ta không
thể truy cập được”
2. “Chúng tôi ...
I.Kiến trúc hệ thống DW&OLAP
I.Kiến trúc hệ thống DW&OLAP
• Lớp đáy là nguồn dữ liệu bên ngoài
• Lớp tiếp theo là DW. Nó luôn là một hệ thống CSDL
quan...
I.So sánh các k/n cơ bản của DW & OLAP
DW OLAP
Hệ thống DBMS quan hệ (SQL,
Oracle…)
OLAP engine (SSAS,
…)
Mô hình
dữ liệu
...
I.So sánh… Mô hình dữ liệu DM (hình sao)
I.So sánh… Mô hình dữ liệu CUBE
I.So sánh… Các phép toán DM (SQL)
SELECT TG.THANG, DP.TEN, SP.TEN, BH.DS
FROM TG, DP, SAN_PHAM SP, BAN_HANG.
WHERE TG.TG=B...
I.So sánh… Các phép toán CUBE (MDX)
SELECT
{([DIA_PHUONG].[TEN], [SAN_PHAM].[TEN])} ON COLUMNS
[THOI_GIAN].[THANG] ON ROWS...
II. Một trường hợp ứng dụng
Mục tiêu dự án
1. Xây dựng mô hình phân tích dự báo KTXH trung và
dài hạn
2. Xây dựng mô hình ...
II.Quy trình phân tích dự báo
1. Xác định và định nghĩa vấn đề cần phân tích, dự báo
2. Hiểu dữ liệu
3. Chuẩn bị dữ liệu
4...
II. Một số phương pháp phân tích dự báo
1. Khai phá dữ liệu: mô tả lớp, luật kết hợp, phân tích
cụm…
2. Phương pháp ngoại ...
II.Giải pháp của HIPT
Xây dựng DW&OLAP là platform dữ liệu cho quá
trình phân tích dự báo
II. Giải pháp của HIPT
Hệ thống chỉ tiêu
1. Nhóm chỉ tiêu đô thị hóa
2. Nhóm chỉ tiêu chất lượng nguồn nhân lực
3. Nhóm ch...
II. Giải pháp của HIPT
Phân tổ
1. Khu vực kinh tế
2. Thành phần kinh tế
3. Ngành kinh tế
4. Mục đích sử dụng
5. Loại hình ...
II. Giải pháp của HIPT
Địa danh phân cấp
1. Vùng lãnh thổ (Âu. Á, Các nước Đông Nam Á…)
2. Nước
3. Vùng miền
• Trung du và...
II. Giải pháp của HIPT
Thời gian phân cấp
1. Năm (số liệu từ 1995 đến 2012)
2. Quý
3. Tháng
II. HỆ THỐNG PHẦN MỀM
1. Sử dụng SSAS tạo cube online từ DM
2. Chương trình của HIPT tạo cube offline lưu trong
file .CUB
...
II. Nhận xét: chức năng của DW&OLAP
• Làm cho thông tin của tổ chức truy cập được: dễ hiểu, mềm
dẻo (navigable) và nhanh
•...
II. Nhận xét: Trách nhiệm của QT DW&OLAP
1. Hiểu được lĩnh vực nghiệp vụ, trách nhiệm công việc của
người sử dụng.
2. Xác ...
II. Nhận xét: Trách nhiệm của QT DW&OLAP
6. Tạo ra các giao diện ứng dụng đơn giản, phù hợp với kinh
nghiệm của người sử d...
II. Nhận xét: Trách nhiệm của QT DW&OLAP
11. Phát hành dữ liệu đều đặn
12. Duy trì sự tin cậy của người sử dụng
13. Giữ đư...
II. NX: Những cạm bẫy phải tránh khi xây dựng DW
1. Quá quan tâm đến công nghệ và dữ liệu hơn là tập trung vào
yêu cầu và ...
II. NX: Những cạm bẫy phải tránh khi xây dựng DW
6. Làm cho dữ liệu được hỏi trong vùng trình bày trở nên quá
phức tạp
7. ...
CÂU HỎI THẢO LuẬN
Upcoming SlideShare
Loading in...5
×

Ứng dụng Data Warehouse xây dựng CSDL KTXH cho các Bộ, Ngành

524

Published on

Hội thảo Hợp tác Phát triển CNTT-TT Việt Nam lần thứ 17 sẽ diễn ra tại khách sạn Xanh thành phố Huế từ ngày 29 đến 31/8/2013. Hội thảo do Bộ Thông tin và Truyền thông, UBND tỉnh Thừa Thiên Huế, Hội Tin học Việt Nam và Hội Tin học thành phố Hồ Chí Minh đồng tổ chức với chủ đề “Xây dựng hạ tầng CNTT-TT đồng bộ từ Trung ương đến địa phương tạo động lực phát triển kinh tế - xã hội”

http://ict2013.thuathienhue.gov.vn/

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
524
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
29
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Ứng dụng Data Warehouse xây dựng CSDL KTXH cho các Bộ, Ngành

  1. 1. Ứng dụng Data Warehouse xây dựng CSDL KTXH cho các Bộ, Ngành Trình bày: Chu Kỳ Quang Huế - 30/8/2013
  2. 2. Nội dung trình bày I. DW và OLAP trong hệ thống hỗ trợ ra quyết định II. Một trường hợp ứng dụng III.Một vài nhận xét
  3. 3. I. DW&OLAP trong hệ thống hỗ trợ ra quyết định Nhu cầu thông tin 1. Phân biệt 2 loại thông tin: • Thông tin dữ liệu nhằm phục vụ tính hợp pháp của các quyết định hành chính • Thông tin dữ liệu phục vụ tính hợp lý của các quyết định hành chính 2. Xây dựng DW&OLAP là một trong các giải pháp đáp ứng thông tin phục vụ tính hợp lý của các quyết định hành chính
  4. 4. I. Những câu hỏi của nhà quản lý 1. “Chúng tôi có hàng núi dữ liệu, nhưng chúng ta không thể truy cập được” 2. “Chúng tôi cần lát mỏng (slicing) và cắt miếng (dicing) dữ liệu theo cách tùy ý” 3. “Các anh làm công nghệ thông tin phải làm sao cho người nghiệp vụ trực tiếp lấy được dữ liệu” 4. “Tôi cần biết điều gì là quan trọng” 5. “Tôi phát điên lên là tại cuộc họp có hai người đưa ra hai con số khác nhau của cùng một chỉ tiêu nghiệp vụ” 6. “Chúng tôi muốn mọi người phải sử dụng nhiều thông tin hơn để hỗ trợ việc ra quyết định”
  5. 5. I.Kiến trúc hệ thống DW&OLAP
  6. 6. I.Kiến trúc hệ thống DW&OLAP • Lớp đáy là nguồn dữ liệu bên ngoài • Lớp tiếp theo là DW. Nó luôn là một hệ thống CSDL quan hệ. Lược đồ CSDL của nó thường là hình sao, hình bông tuyết và hình chòm sao. • Lớp giữa là OLAP server, thường được cài đặt bởi hoặc (1) Mô hình ROLAP (2) Mô hình MOLAP (3) Mô hình lai HOLAP • Lớp đỉnh là một client, nó bao gồm các công cụ hỏi, báo cáo, phân tích và các công cụ phân tích dự báo
  7. 7. I.So sánh các k/n cơ bản của DW & OLAP DW OLAP Hệ thống DBMS quan hệ (SQL, Oracle…) OLAP engine (SSAS, …) Mô hình dữ liệu - Theo mô hình quan hệ - Lược đồ hình sao, bông tuyết, chòm sao - Mô hình đa chiều - Các cube dữ liệu Phép toán Các phép chiếu, chọn, nối với cú pháp SELECT FROM WHERE thực hiện trên các table và cho kết quả cũng là table (bảng phẳng) Các phép drill down/up, dice, slice, pivot trên các cube và cho kết quả là các cube, hiển thị bảng làm tổ
  8. 8. I.So sánh… Mô hình dữ liệu DM (hình sao)
  9. 9. I.So sánh… Mô hình dữ liệu CUBE
  10. 10. I.So sánh… Các phép toán DM (SQL) SELECT TG.THANG, DP.TEN, SP.TEN, BH.DS FROM TG, DP, SAN_PHAM SP, BAN_HANG. WHERE TG.TG=BH.TG AND DP.DP=BH.DP AND SP.SP=SP.SP THANG DP SP DS 2/2012 HN P2 1 2/2012 SG P1 2 2/2012 SG P2 3 3/2012 HN P1 4 3/2012 HN P2 5 3/2012 SG P1 6 3/2012 SG P2 7 4/2012 HN P1 8 4/2012 HN P2 9 4/2012 SG P1 10 4/2012 SG P2 11
  11. 11. I.So sánh… Các phép toán CUBE (MDX) SELECT {([DIA_PHUONG].[TEN], [SAN_PHAM].[TEN])} ON COLUMNS [THOI_GIAN].[THANG] ON ROWS FROM BAN_HANG HN SG All P1 P2 All P1 P2 2/2012 1 1 5 2 3 3/2012 9 4 5 13 6 7 4/2012 17 8 9 21 10 11
  12. 12. II. Một trường hợp ứng dụng Mục tiêu dự án 1. Xây dựng mô hình phân tích dự báo KTXH trung và dài hạn 2. Xây dựng mô hình phân tích dự báo KTXH ngắn hạn
  13. 13. II.Quy trình phân tích dự báo 1. Xác định và định nghĩa vấn đề cần phân tích, dự báo 2. Hiểu dữ liệu 3. Chuẩn bị dữ liệu 4. Xây dựng hoặc lựa chọn mô hình dự báo và dự báo 5. Phân tích và đánh giá kết quả dự báo 6. Sử dụng kết quả dự báo, thông tin, tri thức mới rút ra từ mô hình dự báo.
  14. 14. II. Một số phương pháp phân tích dự báo 1. Khai phá dữ liệu: mô tả lớp, luật kết hợp, phân tích cụm… 2. Phương pháp ngoại suy 3. Mô hình tăng trưởng kinh tế 4. Mô hình chuỗi thời gian 5. Mô hình kinh tế lượng 6. Mô hình cân bằng tổng quát tính toán được 7. Mô hình đầu vào, đầu ra (Bảng I/O)
  15. 15. II.Giải pháp của HIPT Xây dựng DW&OLAP là platform dữ liệu cho quá trình phân tích dự báo
  16. 16. II. Giải pháp của HIPT Hệ thống chỉ tiêu 1. Nhóm chỉ tiêu đô thị hóa 2. Nhóm chỉ tiêu chất lượng nguồn nhân lực 3. Nhóm chỉ tiêu chuyển dịch Cơ cấu kinh tế 4. Nhóm chỉ tiêu Cơ sở hạ tầng 5. Nhóm chỉ tiêu cán cân thanh toán quốc tế 6. Nhóm chỉ tiêu Nông lâm nghiệp và thuỷ sản 7. Nhóm chỉ tiêu Công nghiệp 8. .v.v.
  17. 17. II. Giải pháp của HIPT Phân tổ 1. Khu vực kinh tế 2. Thành phần kinh tế 3. Ngành kinh tế 4. Mục đích sử dụng 5. Loại hình doanh nghiệp 6. .v.v.
  18. 18. II. Giải pháp của HIPT Địa danh phân cấp 1. Vùng lãnh thổ (Âu. Á, Các nước Đông Nam Á…) 2. Nước 3. Vùng miền • Trung du và miền núi phía Bắc • Đồng bằng sông Hồng • Bắc Trung Bộ và Duyên hải miền Trung • Đông Nam Bộ • Đồng bằng sông Cửu Long • Tây Nguyên 4. Tỉnh/Thành phố
  19. 19. II. Giải pháp của HIPT Thời gian phân cấp 1. Năm (số liệu từ 1995 đến 2012) 2. Quý 3. Tháng
  20. 20. II. HỆ THỐNG PHẦN MỀM 1. Sử dụng SSAS tạo cube online từ DM 2. Chương trình của HIPT tạo cube offline lưu trong file .CUB 3. Chương trình quản lý DM (cập nhật các bảng chiều, tải bảng FACT), khai thác CUBEvà DM 4. Chương trình khai thác CUBE (webbase) 5. Sử dụng SSAS viết câu lệnh MDX
  21. 21. II. Nhận xét: chức năng của DW&OLAP • Làm cho thông tin của tổ chức truy cập được: dễ hiểu, mềm dẻo (navigable) và nhanh • Làm cho thông tin của tổ chức thống nhất: nếu 2 số liệu của tổ chức có cùng tên, thì chúng phải đồng nghĩa; ngược lại nếu 2 số liệu khác nghĩa thì chúng phải khác tên • Nguồn thông tin thích nghi với sự thay đổi: khi thêm câu hỏi mới và dữ liệu mới, dữ liệu và công nghệ đang sử dụng không thay đổi và không mắc lỗi • DW phải là pháo đài an ninh bảo vệ tài sản thông tin của tổ chức • DW là cơ sở để ra quyết định: dữ liệu lịch sử và chân thực của DW là cơ sở để hỗ trợ việc ra quyết định
  22. 22. II. Nhận xét: Trách nhiệm của QT DW&OLAP 1. Hiểu được lĩnh vực nghiệp vụ, trách nhiệm công việc của người sử dụng. 2. Xác định rõ các quyết định mà người nghiệp vụ muốn ban hành với sự trợ giúp của DW&OLAP. 3. Chỉ ra người sử dụng tốt nhất, người sẽ ra quyết định có sử dụng DW&OLAP. 4. Tìm ra người sử dụng mới tiềm năng và làm cho họ biết tới DW&OLAP. 5. Chọn ra một tập con dữ liệu tích cực và hiệu quả nhất từ một núi dữ liệu trong tổ chức để đưa vào DW&OLAP.
  23. 23. II. Nhận xét: Trách nhiệm của QT DW&OLAP 6. Tạo ra các giao diện ứng dụng đơn giản, phù hợp với kinh nghiệm của người sử dụng. 7. Bảo đảm dữ liệu là chính xác và tin cậy, gắn nhãn cho nó một cách nhất quán trong toàn bộ tổ chức. 8. Liên tục giám sát tính chính xác của dữ liệu và nội dung của các báo cáo được phát hành. 9. Tìm kiếm các nguồn dữ liệu mới, làm DW&OLAP liên tục thích nghi với sự thay đổi của dữ liệu, các yêu cầu báo cáo và các ưu tiên nghiệp vụ. 10. Trên cơ sở thành công của các quyết định nghiệp vụ có sử dụng DW&OLAP, điều chỉnh nhân sự, phần mềm và phần cứng.
  24. 24. II. Nhận xét: Trách nhiệm của QT DW&OLAP 11. Phát hành dữ liệu đều đặn 12. Duy trì sự tin cậy của người sử dụng 13. Giữ được người sử dụng nghiệp vụ, sự hỗ trợ của người điều hành và sự hài lòng của lãnh đạo
  25. 25. II. NX: Những cạm bẫy phải tránh khi xây dựng DW 1. Quá quan tâm đến công nghệ và dữ liệu hơn là tập trung vào yêu cầu và mục đích của nghiệp vụ 2. Không có được người bảo trợ cho DW&OLAP, người có tầm nhìn quản lý hợp lý, có ảnh hưởng 3. Triển khai dự án 1 lần mà không nỗ lực phát triển dần dần, có quản lý và hấp dẫn người dùng 4. Phân bổ quá nhiều nguồn lực để xây dựng vùng chuẩn bị dữ liệu dẫn đến hết tiền trước khi xây dựng vùng trình bày có giá trị trên cơ sở mô hình chiều 5. Chú ý quá nhiều vào hiệu quả xử lý hậu trường hơn là chú ý đến hiệu quả xử lý câu hỏi và tính dễ sử dụng cho người nghiệp vụ
  26. 26. II. NX: Những cạm bẫy phải tránh khi xây dựng DW 6. Làm cho dữ liệu được hỏi trong vùng trình bày trở nên quá phức tạp 7. Triển khai các mô hình đa chiều một cách cô lập mà không xem xét đến kiến trúc dữ liệu cho phép chia sẻ các chiều tương thích 8. Chỉ tải dữ liệu tổng vào vùng trình bày 9. Cho rằng yêu cầu nghiệp vụ, dữ liệu đang có và công nghệ là tĩnh 10. Không coi trọng sự chấp nhận của người dùng là thành công của DW&OLAP
  27. 27. CÂU HỎI THẢO LuẬN
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×