Recommended
Recommended
More Related Content
Similar to hệ thống thông tin đa phương tiện trên đám mây .pptx
Similar to hệ thống thông tin đa phương tiện trên đám mây .pptx (20)
hệ thống thông tin đa phương tiện trên đám mây .pptx
- 1. TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT VĨNH LONG KHOA CÔNG NGHỆ THÔNG TIN LUẬN VĂN THẠC SĨ ĐỀ TÀI: HỆ THỐNG THÔNG TIN ĐA PHƯƠNG TIỆN TRÊN ĐÁM MÂY Giảng viên hướng dẫn: TS. Phan Thượng Cang Học viên thực hiện: MSHV: 21904019 - Nguyễn Quốc Anh Thư PHÂN HỆ 2: QUẢN LÝ THÔNG TIN ĐA PHƯƠNG TIỆN TRONG HỆ THỐNG Vĩnh Long, ngày 13/03/2024
- 2. 1. Tính cấp thiết của đề tài 2. Nghiên cứu liên quan 3. Phương pháp đề xuất NỘI DUNG BÁO CÁO 4. Kết quả thực nghiệm 5. Đóng góp và hướng phát triển 6. Tài liệu tham khảo
- 3. Tính cấp thiết của đề tài 1 Công nghệ thế giới thay đổi. Dữ liệu ngày càng lớn. Độ phức tạp của dữ liệu. Nhu cầu cấp thiết của Đài THVL. “Hệ thống thông tin đa phương tiện trên đám mây phân hệ 2 quản lí thông tin đa phương tiện trong hệ thống”.
- 4. Nghiên cứu liên quan 2 Hệ thống quản lý tri thức (Šaša và Krisper 2010; Dai và Rubin 2012) Quản lý tri thức, tri thức nghiệp vụ và phân tích nghiệp vụ (Chen et al. 2012) Khai thác dữ liệu và khám phá tri thức (Wu et al. 2014), (Begoli và Horey 2012)…. Hạn chế: Các nghiên cứu rất ít xem xét tác động của dữ liệu lớn đến toàn bộ quá trình quản lý tổ chức tri thức.
- 5. Mô hình đề xuất tổng quát Phương pháp đề xuất 3
- 6. Thiết kế tổng quát hệ thống phân hệ 1, 2 Phương pháp đề xuất (tt) 3
- 7. Sơ đồ theo kiến trúc đề xuất Phương pháp đề xuất (tt) 3
- 8. Qui trình xử lí một truy vấn/tìm kiếm và cập nhật dữ liệu trên đám mây Phương pháp đề xuất (tt) 3
- 9. Thiết kế dữ liệu lưu trữ trên đám mây Phương pháp đề xuất (tt) 3
- 10. Kết quả thực nghiệm 4 V.3.2.1 Môi trường cài đặt
- 11. Kết quả thực nghiệm (tt) 4 Tập dữ liệu - Nguồn dữ liệu đa phương tiện từ Đài THVL. - Các trường dữ liệu bao gồm tên, thể loại, đạo diễn, kịch bản, biên tập, chỉ đạo thực hiện, tổ chức sản xuất, diễn viên, thể hiện lời bình, người dẫn chương trình, quay phim, người tạo dữ liệu, chú thích hình ảnh, tóm tắt, nước sản xuất, năm sản xuất, số tập, người duyệt nội dung, nơi lưu trữ, dựng phim và attachment.
- 12. Kết quả thực nghiệm (tt) 4 Kịch bản thực nghiệm Môi trường Số node Response time (ms) (50 người, 1000 requests) Response time (ms) (100 người, 2000 requests) Ubuntu cục bộ 1 167 2700 Ubuntu đám mây Master 1 64 104 Ubuntu đám mây couchdb-2 2 62 312 Bảng kết quả thực nghiệm
- 13. Kết quả thực nghiệm (tt) 4 Kết quả kịch bản thực nghiệm 167 64 62 2700 104 312 0 500 1000 1500 2000 2500 3000 Ubuntu Cục bộ Ubuntu đám mây Master Ubuntu đám mây couchdb-2 Time Response time (ms) (50 người, 1000 requests) Response time (ms) (100 người, 2000 requests) Time(ms) Node Kết luận: Trường hợp node ở kb 2 có thời gian xử lý nhanh nhất
- 14. Những đóng góp mới Những đóng góp và hướng phát triển 5 - Hệ thống sử dụng kiến trúc hệ thống quản lý thông tin (KMS) hiện đại trên nền tảng đám mây. - Đưa ra giải pháp truy vấn dữ liệu video trên đám mây sử dụng mô hình MapReduce. - Xây dựng thao tác cập nhật dữ liệu đa phương tiện trên đám mây. - Xây dựng được ứng dụng để thực hiện việc truy vấn/ tìm kiếm thông tin trên đám mây. Xây dựng ứng dụng cho phép thêm, chỉnh sửa và xóa dữ liệu trong hệ thống trên đám mây.
- 15. Những đóng góp mới Những đóng góp và hướng phát triển 5 - Đánh giá chất lượng hệ thống. - Hướng tới một mô hình tổng thể của một hệ thống cơ sở dữ liệu cho dữ liệu đa phương tiện: nghiên cứu giới thiệu một mô hình kiến trúc mô tả một hệ thống quản lý dữ liệu cho dữ liệu đa phương tiện từ góc độ kiến trúc hệ thống. Nghiên cứu trình bày một mô hình dữ liệu hỗ trợ xây dựng hệ thống các hoạt động truy vấn/ tìm kiếm và truy cập dựa trên sự tương tự.
- 16. Hướng phát triển Những đóng góp và hướng phát triển (tt) 5 - Xây dựng hệ thống Web thân thiện có tính mở để khai thác kho dữ liệu khổng lồ theo chức năng và nhiệm vụ của từng phòng ban. - Đưa ra giải pháp cho việc triển khai hệ thống truy vấn/tìm kiếm và cập nhật dữ liệu trên mọi thiết bị thông qua hệ thống tập tin ảo trên đám mây.
- 17. BÀI BÁO KHOA HỌC 1. Nguyễn Quốc Thoại Anh, Nguyễn Quốc Anh Thư. “Hệ thống thông tin đa phương tiện trên đám mây” trên Tạp chí Khoa học – VLUTE – ISSN 2615-9945, năm 2022
- 18. DEMO Tập dữ liệu THVL: 105 video đã được rút trích đặc trưng Lập chỉ mục: MapReduce trong CouchDB kết hợp ElasticSearch Truy vấn/ tìm kiếm và cập nhật: ElasticSearch - Input: từ khóa (nội dung) - Output: danh sách các đặc trưng của video có chứa từ khóa đó.
- 19. DEMO (tt) Terminal T1: chạy ElasticSearch.service cd anhthuc3pq/ systemctl restart couchdb systemctl start ElasticSearch.service cd logstash/ ./setup.sh Terminal T2: chạy node index.js
- 20. TÀI LIỆU THAM KHẢO 1. Thang Le Dinh, Thuong-Cang Phan, Trung Bui. Twenty-second Americas Conference on Information Systems, San Diego, 2016. “Towards an Architecture for Big Data-Driven Knowledge Management Systems”. 2. Thang Le Dinh, Phan Thượng Cang, Trung Bui, Manh Chien Vu. 2016. “A service-oriented framework for big data-driven knowledge management systems”. Exploring Services Science. 247. 509-521. 3. Alavi, M., and Leidner, D. E. 2001. “Review: Knowledge Management and Knowledge Management Systems: Conceptual Foundations and Research Issues,” MIS Quarterly (25:1), pp. 107–136. 4. João Ricardo Lourenço, Bruno Cabral, Paulo Carreiro, Marco Vieira, and Jorge Bernardino. Choosing the right nosql database for the job: a quality attribute evaluation. Journal of Big Data, 2(1):18, 2015. 5. Bellenger, G. 2004. “Creating Knowledge Objects,” (available at http://www.systemsthinking.org/cko/guide.htm).
- 21. TÀI LIỆU THAM KHẢO (tt) 6. Bellinger, G., Castro, D., and Mills, A. 2004. “Data, information, knowledge, and wisdom.” (available at http://geoffreyanderson.net/capstone/export/37/trunk/research/ackoffDiscussion.pdf). 7. Beyer, M. A., and Laney, D. 2012. “The importance of ‘big data’: a definition,” Stamford, CT: Gartner. 8. Chen, H., Chiang, R. H. L., and Storey, V. C. 2012. “Business Intelligence and Analytics: From Big Data to Big Impact,” MIS Quarterly (36:4), pp. 1165–1188. 9. Robin Hecht and Stefan Jablonski. Nosql evaluation: A use case oriented survey. In 2011 International Conference on Cloud and Service Computing, pages 336–341. IEEE, 2011. 10.Dai, W., and Rubin, S. H. 2012. “Service-oriented knowledge management,” in Information Reuse and Integration (IRI), 2012 IEEE 13th International Conference on, C. Zhang, J. Joshi, E. Bertino, and B. Thuraisingham, Las Vegas, Nevada, USA, pp. 556–563.
- 22. CHÂN THÀNH CẢM ƠN QUÝ HỘI ĐỒNG ĐÃ LẮNG NGHE. TRÂN TRỌNG KÍNH CHÀO!
- 23. TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT VĨNH LONG KHOA CÔNG NGHỆ THÔNG TIN LUẬN VĂN THẠC SĨ ĐỀ TÀI: HỆ THỐNG THÔNG TIN ĐA PHƯƠNG TIỆN TRÊN ĐÁM MÂY Giảng viên hướng dẫn: TS. Phan Thượng Cang Học viên thực hiện: MSHV: 21904019 - Nguyễn Quốc Anh Thư PHÂN HỆ 2: QUẢN LÝ THÔNG TIN ĐA PHƯƠNG TIỆN TRONG HỆ THỐNG Vĩnh Long, ngày 13/03/2024
Editor's Notes
- Šaša: nghiên cứu việc quản lý tài nguyên dưới dạng dịch vụ và khai thác tính linh hoạt của hệ thống thông tin. Tuy nhiên, các hệ thống này đã không xem xét các cơ hội được trình bày bởi dữ liệu lớn. Ngoài ra, vẫn còn một chút lo ngại về sự hợp nhất kiến thức của dữ liệu truyền thống và dữ liệu lớn, cũng như cho quá trình phát triển kiến thức toàn diện. Chen: chỉ tập trung vào các khía cạnh cụ thể của quản lý tri thức như quản lý dữ liệu lớn, phân tích nghiệp vụ, nghiệp vụ thông minh và ra quyết định Wu: khai thác dữ liệu và khám phá tri thức
- Do đó nghiên cứu đề xuất một hệ thống quản lý tri thức dựa trên dữ liệu lớn, hỗ trợ các hoạt động khác nhau trong quá trình phát triển kiến thức. Theo kiến trúc đề xuất, nghiên cứu tập trung nghiên cứu về các kỹ thuật và công nghệ để xây dựng hệ thống giải pháp truy vấn dữ liệu video trên đám mây sử dụng mô hình MapReduce trên Metadata và giải pháp xây dựng thao tác cập nhật dữ liệu đa phương tiện trên đám mây theo kiến trúc hệ thống tri thức Nghiên cứu thực hiện nội dung của tầng 2 trong hệ thống tri thức là từ các dữ liệu thô đã thu thập, dữ liệu sẽ được sắp xếp, tổ chức lại. Sau khi đã dựng thành thành phẩm và lưu trữ vào cơ sở dữ liệu thì từ những dữ liệu thô ban đầu sẽ chuyển thành thông tin. Các thông tin được sắp xếp có tổ chức và các trường dữ liệu đầy đủ hơn và có khả năng truy xuất dữ liệu
- Các thành phần cơ bản của hệ thống bao gồm: Một bộ sưu tập chứa các Producer và Consumer Từ các video và text nhận được sẽ tạo ra các kịch bản hoàn chỉnh (mô tả video, nhận dạng các đối tượng trong video, tác giả, nội dung, khung giờ phát,...). Các kịch bản này sẽ được lưu thành Documents và Views trong CouchDB Thành phần còn lại là các Application (Web truy cập/tìm kiếm và cập nhật dữ liệu đa phương tiện) đã được đăng ký thông tin với hệ thống trên đám mây.
- Sau khi đã được nhận dạng, các thông tin nội dung của video sẽ được lập chỉ mục bằng công cụ tìm kiếm ElasticSearch. Về bản chất, nó sử dụng một cấu trúc dữ liệu gọi là inverted index (chỉ mục đảo ngược) để có thể thực hiện tìm kiếm với hiệu suất cao. Bằng việc sử dụng kỹ thuật inverted index, một bảng chỉ mục các khái niệm và danh sách tài liệu liên quan đến khái niệm đó sẽ được tạo ra Trong Elasticsearch, một tài liệu được index, thì có thể hiểu rằng, inverted index của tài liệu đó đã được tạo ra. Ví dụ, khi cần tìm từ khoá “solo cùng Bolaro", Elasticsearch sẽ thực hiện tìm kiếm trên inverted index (rất nhanh do các từ được sắp xếp), tìm được từ khoá “solo cùng Bolaro", sau đó trả về ID của các tài liệu tương ứng
- Người dùng sẽ gửi yêu cầu truy vấn đến Server trên đám mây. Nếu truy vấn đó là truy vấn/tìm kiếm, Server sẽ dùng Elastic Search để truy vấn dữ liệu (vì Elastic Search hỗ trợ các kiểu truy vấn văn bản mạnh mẽ hơn truy vấn vốn có của DB), còn các yêu cầu cập nhật cơ sở dữ liệu, sẽ được Server gửi thẳng đến cơ sở dữ liệu. Khi cơ sở dữ liệu thay đổi, nó sẽ thông báo thay đổi này cho Elastic Search cập nhật lại dữ liệu truy vấn/tìm kiếm (thông qua Logstash). Do đó, dữ liệu truy vấn/tìm kiếm từ Elastic Search sẽ đảm bảo mới nhất từ cơ sở dữ Liệu Ngoài ra, quá trình tìm kiếm thực tế còn phức tạp hơn nữa, khi mà Elasticsearch còn phải đánh giá mức độ tương quan giữa những từ trong index với từ khoá cần tìm. Hệ thống chỉ mục thu được là danh sách các từ khóa, chỉ rõ các từ khóa nào xuất hiện ở video nào và trường nào Cập nhật dữ liệu với ElasticSearch trên đám mây: muốn cập nhật người dùng phải được cấp quyền, hệ thống sẽ cung cấp tên và mật khẩu để nhận dạng đúng người dùng. Sau đó, người dùng có thể thực hiện thêm, sửa, xóa dữ liệu trên các trường đặc trưng như: tên, thể loại, đạo diễn, kịch bản, biên tập và File, hệ thống sẽ insert, update, delete dữ liệu giao diện dựa trên nền tảng web để thực hiện các thao tác cập nhật dữ liệu trên đám mây. - Thực hiện lệnh POST không gán id cho nội dung thì Elasticsearch sẽ tạo một id tự động cho nội dung. - Lấy nội dung: Sử dụng câu lệnh GET để lấy ra nội dung với id và chỉ mục tương ứng. - Cập nhật nội dung: Thực hiện lệnh tạo nội dung với id đã tồn tại thì thông tin của nội dung cũng sẽ được cập nhật hoặc có thể sử dụng lệnh UPDATE trực tiếp để cập nhật lại nội dung cho chỉ mục với id đã tồn tại
- - CouchDB Server lưu trữ cơ sở dữ liệu trên đám mây có tên là multimedia, nơi lưu trữ Document. Mỗi Document được đặt tên duy nhất trong cơ sở dữ liệu và CouchDB cung cấp API RESTful HTTP để đọc và cập nhật (thêm, sửa, xóa) Document cơ sở dữ liệu. - Document là đơn vị dữ liệu chính trong CouchDB và bao gồm bất kỳ số lượng trường và tệp đính kèm nào. Document cũng bao gồm dữ liệu đa phương tiện được duy trì bởi hệ thống cơ sở dữ liệu. Các trường Document được đặt tên duy nhất và chứa các giá trị thuộc nhiều loại khác nhau (văn bản, số, boolean, danh sách,...) và không có giới hạn đặt cho kích thước văn bản hoặc số phần tử. - Mỗi Document chứa tập hợp các trường gồm tên, thể loại, đạo diễn, kịch bản, biên tập, chỉ đạo thực hiện, tổ chức sản xuất, diễn viên, thể hiện lời bình, người dẫn chương trình, quay phim, người tạo dữ liệu, chú thích hình ảnh, tóm tắt, nước sản xuất, năm sản xuất, số tập, người duyệt nội dung, nơi lưu trữ, dựng phim và attachment. Mỗi trường chứa tập hợp các thông tin trong bộ sưu tập đã được trích xuất đặc trưng từ các video
- Kịch bản 1: Có 50 người truy cập cùng thời điểm, chúng ta không thể tìm 50 người để thực hiện tạo ra tải mô phỏng này. Vậy để giải quyết vấn đề, nghiên cứu sẽ sử dụng công cụ ApacheBench (ab) để tạo ra tải mô phỏng trên máy chủ ảo và máy chủ ảo trên đám mây. Do đó, có 50 người truy cập cùng thời điểm, mỗi người truy cập sẽ thực hiện nhấn refresh page 20 lần. Tùy chọn concurrency bằng 1000 và tùy chọn requests bằng 1000. Vậy 50 người thực hiện 20 lần thì tổng yêu cầu là 1000. Kịch bản 2: Có 100 người truy cập cùng thời điểm, mỗi người truy cập sẽ thực hiện nhấn refresh page 20 lần. Tùy chọn concurrency bằng 1000 và tùy chọn requests bằng 1000. Vậy 100 người thực hiện 20 lần thì tổng yêu cầu là 2000
- chúng ta có thể nhận thấy ở kịch bản 1, trong môi trường ubuntu cục bộ với số node là 1 thì thời gian trả về kết quả là 167ms. Ở môi trường Ubuntu đám mây Master với số node là 1 thì thời gian trả về là 64ms, với số node là 2 thì thời gian trả về là 62 ms. Cho thấy, thời gian trả về trong môi trường đám mây đã được rút ngắn 61,6% trong trường hợp 1 node và rút ngắn 62,8% trong trường hợp 2 node. Tương tự vậy, ở kịch bản 2, trong môi trường ubuntu cục bộ với số node là 1 thì thời gian trả về kết quả là 2700 ms. Ở môi trường Ubuntu đám mây Master với số node là 1 thì thời gian trả về là 104 ms, với số node là 2 thì thời gian trả về là 312 ms. Cho thấy, thời gian trả về trong môi trường đám mây đã được rút ngắn 96,1% trong trường hợp 1 node và rút ngắn 88,4% trong trường hợp 2 node. Điều này chứng tỏ rằng trong nghiên cứu này, hiệu suất của môi trường đám mây nhanh chóng và hiệu quả hơn môi trường cục bộ.