Your SlideShare is downloading. ×
Ứng dụng Data Warehouse xây dựng CSDL KTXH cho các Bộ, Ngành
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Ứng dụng Data Warehouse xây dựng CSDL KTXH cho các Bộ, Ngành

502

Published on

Hội thảo Hợp tác Phát triển CNTT-TT Việt Nam lần thứ 17 sẽ diễn ra tại khách sạn Xanh thành phố Huế từ ngày 29 đến 31/8/2013. Hội thảo do Bộ Thông tin và Truyền thông, UBND tỉnh Thừa Thiên Huế, Hội …

Hội thảo Hợp tác Phát triển CNTT-TT Việt Nam lần thứ 17 sẽ diễn ra tại khách sạn Xanh thành phố Huế từ ngày 29 đến 31/8/2013. Hội thảo do Bộ Thông tin và Truyền thông, UBND tỉnh Thừa Thiên Huế, Hội Tin học Việt Nam và Hội Tin học thành phố Hồ Chí Minh đồng tổ chức với chủ đề “Xây dựng hạ tầng CNTT-TT đồng bộ từ Trung ương đến địa phương tạo động lực phát triển kinh tế - xã hội”

http://ict2013.thuathienhue.gov.vn/

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
502
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
28
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Ứng dụng Data Warehouse xây dựng CSDL KTXH cho các Bộ, Ngành Trình bày: Chu Kỳ Quang Huế - 30/8/2013
  • 2. Nội dung trình bày I. DW và OLAP trong hệ thống hỗ trợ ra quyết định II. Một trường hợp ứng dụng III.Một vài nhận xét
  • 3. I. DW&OLAP trong hệ thống hỗ trợ ra quyết định Nhu cầu thông tin 1. Phân biệt 2 loại thông tin: • Thông tin dữ liệu nhằm phục vụ tính hợp pháp của các quyết định hành chính • Thông tin dữ liệu phục vụ tính hợp lý của các quyết định hành chính 2. Xây dựng DW&OLAP là một trong các giải pháp đáp ứng thông tin phục vụ tính hợp lý của các quyết định hành chính
  • 4. I. Những câu hỏi của nhà quản lý 1. “Chúng tôi có hàng núi dữ liệu, nhưng chúng ta không thể truy cập được” 2. “Chúng tôi cần lát mỏng (slicing) và cắt miếng (dicing) dữ liệu theo cách tùy ý” 3. “Các anh làm công nghệ thông tin phải làm sao cho người nghiệp vụ trực tiếp lấy được dữ liệu” 4. “Tôi cần biết điều gì là quan trọng” 5. “Tôi phát điên lên là tại cuộc họp có hai người đưa ra hai con số khác nhau của cùng một chỉ tiêu nghiệp vụ” 6. “Chúng tôi muốn mọi người phải sử dụng nhiều thông tin hơn để hỗ trợ việc ra quyết định”
  • 5. I.Kiến trúc hệ thống DW&OLAP
  • 6. I.Kiến trúc hệ thống DW&OLAP • Lớp đáy là nguồn dữ liệu bên ngoài • Lớp tiếp theo là DW. Nó luôn là một hệ thống CSDL quan hệ. Lược đồ CSDL của nó thường là hình sao, hình bông tuyết và hình chòm sao. • Lớp giữa là OLAP server, thường được cài đặt bởi hoặc (1) Mô hình ROLAP (2) Mô hình MOLAP (3) Mô hình lai HOLAP • Lớp đỉnh là một client, nó bao gồm các công cụ hỏi, báo cáo, phân tích và các công cụ phân tích dự báo
  • 7. I.So sánh các k/n cơ bản của DW & OLAP DW OLAP Hệ thống DBMS quan hệ (SQL, Oracle…) OLAP engine (SSAS, …) Mô hình dữ liệu - Theo mô hình quan hệ - Lược đồ hình sao, bông tuyết, chòm sao - Mô hình đa chiều - Các cube dữ liệu Phép toán Các phép chiếu, chọn, nối với cú pháp SELECT FROM WHERE thực hiện trên các table và cho kết quả cũng là table (bảng phẳng) Các phép drill down/up, dice, slice, pivot trên các cube và cho kết quả là các cube, hiển thị bảng làm tổ
  • 8. I.So sánh… Mô hình dữ liệu DM (hình sao)
  • 9. I.So sánh… Mô hình dữ liệu CUBE
  • 10. I.So sánh… Các phép toán DM (SQL) SELECT TG.THANG, DP.TEN, SP.TEN, BH.DS FROM TG, DP, SAN_PHAM SP, BAN_HANG. WHERE TG.TG=BH.TG AND DP.DP=BH.DP AND SP.SP=SP.SP THANG DP SP DS 2/2012 HN P2 1 2/2012 SG P1 2 2/2012 SG P2 3 3/2012 HN P1 4 3/2012 HN P2 5 3/2012 SG P1 6 3/2012 SG P2 7 4/2012 HN P1 8 4/2012 HN P2 9 4/2012 SG P1 10 4/2012 SG P2 11
  • 11. I.So sánh… Các phép toán CUBE (MDX) SELECT {([DIA_PHUONG].[TEN], [SAN_PHAM].[TEN])} ON COLUMNS [THOI_GIAN].[THANG] ON ROWS FROM BAN_HANG HN SG All P1 P2 All P1 P2 2/2012 1 1 5 2 3 3/2012 9 4 5 13 6 7 4/2012 17 8 9 21 10 11
  • 12. II. Một trường hợp ứng dụng Mục tiêu dự án 1. Xây dựng mô hình phân tích dự báo KTXH trung và dài hạn 2. Xây dựng mô hình phân tích dự báo KTXH ngắn hạn
  • 13. II.Quy trình phân tích dự báo 1. Xác định và định nghĩa vấn đề cần phân tích, dự báo 2. Hiểu dữ liệu 3. Chuẩn bị dữ liệu 4. Xây dựng hoặc lựa chọn mô hình dự báo và dự báo 5. Phân tích và đánh giá kết quả dự báo 6. Sử dụng kết quả dự báo, thông tin, tri thức mới rút ra từ mô hình dự báo.
  • 14. II. Một số phương pháp phân tích dự báo 1. Khai phá dữ liệu: mô tả lớp, luật kết hợp, phân tích cụm… 2. Phương pháp ngoại suy 3. Mô hình tăng trưởng kinh tế 4. Mô hình chuỗi thời gian 5. Mô hình kinh tế lượng 6. Mô hình cân bằng tổng quát tính toán được 7. Mô hình đầu vào, đầu ra (Bảng I/O)
  • 15. II.Giải pháp của HIPT Xây dựng DW&OLAP là platform dữ liệu cho quá trình phân tích dự báo
  • 16. II. Giải pháp của HIPT Hệ thống chỉ tiêu 1. Nhóm chỉ tiêu đô thị hóa 2. Nhóm chỉ tiêu chất lượng nguồn nhân lực 3. Nhóm chỉ tiêu chuyển dịch Cơ cấu kinh tế 4. Nhóm chỉ tiêu Cơ sở hạ tầng 5. Nhóm chỉ tiêu cán cân thanh toán quốc tế 6. Nhóm chỉ tiêu Nông lâm nghiệp và thuỷ sản 7. Nhóm chỉ tiêu Công nghiệp 8. .v.v.
  • 17. II. Giải pháp của HIPT Phân tổ 1. Khu vực kinh tế 2. Thành phần kinh tế 3. Ngành kinh tế 4. Mục đích sử dụng 5. Loại hình doanh nghiệp 6. .v.v.
  • 18. II. Giải pháp của HIPT Địa danh phân cấp 1. Vùng lãnh thổ (Âu. Á, Các nước Đông Nam Á…) 2. Nước 3. Vùng miền • Trung du và miền núi phía Bắc • Đồng bằng sông Hồng • Bắc Trung Bộ và Duyên hải miền Trung • Đông Nam Bộ • Đồng bằng sông Cửu Long • Tây Nguyên 4. Tỉnh/Thành phố
  • 19. II. Giải pháp của HIPT Thời gian phân cấp 1. Năm (số liệu từ 1995 đến 2012) 2. Quý 3. Tháng
  • 20. II. HỆ THỐNG PHẦN MỀM 1. Sử dụng SSAS tạo cube online từ DM 2. Chương trình của HIPT tạo cube offline lưu trong file .CUB 3. Chương trình quản lý DM (cập nhật các bảng chiều, tải bảng FACT), khai thác CUBEvà DM 4. Chương trình khai thác CUBE (webbase) 5. Sử dụng SSAS viết câu lệnh MDX
  • 21. II. Nhận xét: chức năng của DW&OLAP • Làm cho thông tin của tổ chức truy cập được: dễ hiểu, mềm dẻo (navigable) và nhanh • Làm cho thông tin của tổ chức thống nhất: nếu 2 số liệu của tổ chức có cùng tên, thì chúng phải đồng nghĩa; ngược lại nếu 2 số liệu khác nghĩa thì chúng phải khác tên • Nguồn thông tin thích nghi với sự thay đổi: khi thêm câu hỏi mới và dữ liệu mới, dữ liệu và công nghệ đang sử dụng không thay đổi và không mắc lỗi • DW phải là pháo đài an ninh bảo vệ tài sản thông tin của tổ chức • DW là cơ sở để ra quyết định: dữ liệu lịch sử và chân thực của DW là cơ sở để hỗ trợ việc ra quyết định
  • 22. II. Nhận xét: Trách nhiệm của QT DW&OLAP 1. Hiểu được lĩnh vực nghiệp vụ, trách nhiệm công việc của người sử dụng. 2. Xác định rõ các quyết định mà người nghiệp vụ muốn ban hành với sự trợ giúp của DW&OLAP. 3. Chỉ ra người sử dụng tốt nhất, người sẽ ra quyết định có sử dụng DW&OLAP. 4. Tìm ra người sử dụng mới tiềm năng và làm cho họ biết tới DW&OLAP. 5. Chọn ra một tập con dữ liệu tích cực và hiệu quả nhất từ một núi dữ liệu trong tổ chức để đưa vào DW&OLAP.
  • 23. II. Nhận xét: Trách nhiệm của QT DW&OLAP 6. Tạo ra các giao diện ứng dụng đơn giản, phù hợp với kinh nghiệm của người sử dụng. 7. Bảo đảm dữ liệu là chính xác và tin cậy, gắn nhãn cho nó một cách nhất quán trong toàn bộ tổ chức. 8. Liên tục giám sát tính chính xác của dữ liệu và nội dung của các báo cáo được phát hành. 9. Tìm kiếm các nguồn dữ liệu mới, làm DW&OLAP liên tục thích nghi với sự thay đổi của dữ liệu, các yêu cầu báo cáo và các ưu tiên nghiệp vụ. 10. Trên cơ sở thành công của các quyết định nghiệp vụ có sử dụng DW&OLAP, điều chỉnh nhân sự, phần mềm và phần cứng.
  • 24. II. Nhận xét: Trách nhiệm của QT DW&OLAP 11. Phát hành dữ liệu đều đặn 12. Duy trì sự tin cậy của người sử dụng 13. Giữ được người sử dụng nghiệp vụ, sự hỗ trợ của người điều hành và sự hài lòng của lãnh đạo
  • 25. II. NX: Những cạm bẫy phải tránh khi xây dựng DW 1. Quá quan tâm đến công nghệ và dữ liệu hơn là tập trung vào yêu cầu và mục đích của nghiệp vụ 2. Không có được người bảo trợ cho DW&OLAP, người có tầm nhìn quản lý hợp lý, có ảnh hưởng 3. Triển khai dự án 1 lần mà không nỗ lực phát triển dần dần, có quản lý và hấp dẫn người dùng 4. Phân bổ quá nhiều nguồn lực để xây dựng vùng chuẩn bị dữ liệu dẫn đến hết tiền trước khi xây dựng vùng trình bày có giá trị trên cơ sở mô hình chiều 5. Chú ý quá nhiều vào hiệu quả xử lý hậu trường hơn là chú ý đến hiệu quả xử lý câu hỏi và tính dễ sử dụng cho người nghiệp vụ
  • 26. II. NX: Những cạm bẫy phải tránh khi xây dựng DW 6. Làm cho dữ liệu được hỏi trong vùng trình bày trở nên quá phức tạp 7. Triển khai các mô hình đa chiều một cách cô lập mà không xem xét đến kiến trúc dữ liệu cho phép chia sẻ các chiều tương thích 8. Chỉ tải dữ liệu tổng vào vùng trình bày 9. Cho rằng yêu cầu nghiệp vụ, dữ liệu đang có và công nghệ là tĩnh 10. Không coi trọng sự chấp nhận của người dùng là thành công của DW&OLAP
  • 27. CÂU HỎI THẢO LuẬN

×