0
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướn...
Upcoming SlideShare
Loading in...5
×

An Image Clustering Method Using Image Content and Metadata

249

Published on

Clustering Images based on Content Features Combining with Textual Characteristics

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
249
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
8
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "An Image Clustering Method Using Image Content and Metadata"

  1. 1. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM ẢNH Sinh viên thực hiện Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo Cán bộ hướng dẫn ThS Nguyễn Cẩm Tú CN Nguyễn Thanh Sơn KT–SIS LAB, Đại học Công Nghệ, Đại học Quốc Gia Hà Nội Báo cáo hội nghị sinh viên nghiên cứu khoa học 2011Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả1/ 31
  2. 2. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Nội dung 1 Giới thiệu bài toán phân cụm ảnh 2 Một số nghiên cứu liên quan 3 Mô hình giải quyết bài toán Cơ sở lý thuyết Mô hình giải quyết bài toán 4 Thực nghiệm 5 Kết luận và định hướng nghiên cứu tiếp theo Kết luận Định hướng nghiên cứu tiếp theo Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả2/ 31
  3. 3. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Nội dung 1 Giới thiệu bài toán phân cụm ảnh 2 Một số nghiên cứu liên quan 3 Mô hình giải quyết bài toán Cơ sở lý thuyết Mô hình giải quyết bài toán 4 Thực nghiệm 5 Kết luận và định hướng nghiên cứu tiếp theo Kết luận Định hướng nghiên cứu tiếp theo Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả3/ 31
  4. 4. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Giới thiệu bài toán phân cụm ảnh • Lượng dữ liệu ảnh trao đổi và lưu trữ trên Internet phát triển rất nhanh. • Nhu cầu tìm kiếm hình ảnh, thông tin liên quan tới hình ảnh trở nên cần thiết. Tìm kiếm thông tin điểm du lịch dựa vào ảnh (tên, vị trí ...) Tìm kiếm thông tin cá nhân dựa vào ảnh,... • Một số Search Engine ảnh (Google Image Search, Flickr,..) cho phép nhập truy vấn dạng văn bản hoặc dạng ảnh → đáp ứng một phần nhu cầu của người sử dụng. Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả4/ 31
  5. 5. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Giới thiệu bài toán phân cụm ảnh Một kết quả trả về từ máy tìm kiếm ảnh Google Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả5/ 31
  6. 6. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Giới thiệu bài toán phân cụm ảnh Một kết quả trả về từ máy tìm kiếm ảnh Flickr Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả6/ 31
  7. 7. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Giới thiệu bài toán phân cụm ảnh • Vấn đề đặt ra Với những truy vấn nhập nhằng, Search Engine sẽ xử lý ra sao? Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả7/ 31
  8. 8. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Giới thiệu bài toán phân cụm ảnh • Vấn đề đặt ra Với những truy vấn nhập nhằng, Search Engine sẽ xử lý ra sao? • Giải pháp đề xuất Phân cụm lại các ảnh kết quả trả về từ một máy tìm kiếm ảnh theo câu truy vấn của người dùng Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả7/ 31
  9. 9. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Giới thiệu bài toán phân cụm ảnh • Vấn đề đặt ra Với những truy vấn nhập nhằng, Search Engine sẽ xử lý ra sao? • Giải pháp đề xuất Phân cụm lại các ảnh kết quả trả về từ một máy tìm kiếm ảnh theo câu truy vấn của người dùng → đưa ra kết quả tốt hơn cho người dùng. Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả7/ 31
  10. 10. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Nội dung 1 Giới thiệu bài toán phân cụm ảnh 2 Một số nghiên cứu liên quan 3 Mô hình giải quyết bài toán Cơ sở lý thuyết Mô hình giải quyết bài toán 4 Thực nghiệm 5 Kết luận và định hướng nghiên cứu tiếp theo Kết luận Định hướng nghiên cứu tiếp theo Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả8/ 31
  11. 11. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Một số nghiên cứu liên quan • Guangqing Liu, Byungwook Lee 2009 [LL09] phân cụm các ảnh bằng cách tính toán độ tương tự sử dụng đặc trưng màu HSV. • Haoyang Ding, Jing Liu, Hanqing Lu 2008 [DLL08] phân cụm lại các kết quả trả về từ máy tìm kiếm bằng cách trích xuất các cụm từ khóa trong các văn bản đi kèm với ảnh. • Feng Jing và cộng sự [JWY06] sử dụng phương pháp học tên cụm ảnh(Learning Image Cluster Names) nhằm tổ chức lại kết quả tìm kiếm dưới dạng các nhóm ảnh tương tự nhau. Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả9/ 31
  12. 12. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Một số nghiên cứu liên quan Sử dụng kết quả tìm kiếm của google, phân cụm top kết quả trả về dựa trên độ tương đồng Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả10/ 31
  13. 13. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Một số nghiên cứu liên quan Sử dụng kết quả tìm kiếm của google, phân cụm top kết quả trả về dựa trên độ tương đồng Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả11/ 31
  14. 14. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Nội dung 1 Giới thiệu bài toán phân cụm ảnh 2 Một số nghiên cứu liên quan 3 Mô hình giải quyết bài toán Cơ sở lý thuyết Mô hình giải quyết bài toán 4 Thực nghiệm 5 Kết luận và định hướng nghiên cứu tiếp theo Kết luận Định hướng nghiên cứu tiếp theo Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả12/ 31
  15. 15. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Cơ sở lý thuyết Cơ sở lý thuyết • Trích xuất đặc trưng của ảnh Đặc trưng màu sắc (Color Feature) Đặc trưng kết cấu (Texture Feature) Đặc trưng văn bản (Textual Feature) Sự kết hợp các đặc trưng ảnh • Thuật toán K-means • Lý thuyết đồ thị trong xếp hạng ảnh Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả13/ 31
  16. 16. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Cơ sở lý thuyết Trích xuất đặc trưng của ảnh • Đặc trưng màu sắc (Color Feature) Không gian màu RGB Sử dụng các độ đo tương đồng dựa vào khoảng cách Euclid • Đặc trưng kết cấu (Texture Feature) Cung cấp thông tin trong sự sắp xếp về mặt không gian của màu sắc và cường độ trong ảnh Sử dụng độ đo Euclid Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả14/ 31
  17. 17. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Cơ sở lý thuyết Trích xuất đặc trưng của ảnh • Đặc trưng văn bản (Textual Feature) Tên ảnh: “White Flower” Tags : [whiteflower, hongkongflowershow, 2009, bokeh, causewaybay, hongkong, jonnoj, jonbinalay, nikond80, interestingness50] Bình luận: “ ..very interesting title isn’t it? Hong Kong Flower Show 2009 Causeway bay Hong Kong” Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả15/ 31
  18. 18. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Cơ sở lý thuyết Trích xuất đặc trưng của ảnh • Sự kết hợp các đặc trưng ảnh Kết hợp hai vector đặc trưng theo công thức : F = [ α × L1 L2 × F1 F2 ] F là vector đặc trưng kết hợp α là hệ số nhân thu được từ quá trình thực nghiệm L1 là số chiều của vector đặc trưng thứ nhất L2 là số chiều của vector đặc trưng thứ hai F1 là vector đặc trưng thứ nhất F2 là vector đặc trưng thứ hai Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả16/ 31
  19. 19. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Cơ sở lý thuyết Thuật toán K-means Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả17/ 31
  20. 20. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Cơ sở lý thuyết Lý thuyết đồ thị trong xếp hạng ảnh • Xây dựng đồ thị ảnh • Đưa đồ thị về dạng nhị phân • Xếp hạng lại các ảnh Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả18/ 31
  21. 21. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Mô hình giải quyết bài toán Mô hình giải quyết bài toán • Mô hình đề xuất gồm 4 giai đoạn: Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả19/ 31
  22. 22. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Mô hình giải quyết bài toán Mô hình giải quyết bài toán • Mô hình đề xuất gồm 4 giai đoạn: Giai đoạn 1: Trích xuất tập dữ liệu Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả19/ 31
  23. 23. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Mô hình giải quyết bài toán Mô hình giải quyết bài toán • Mô hình đề xuất gồm 4 giai đoạn: Giai đoạn 1: Trích xuất tập dữ liệu Giai đoạn 2: Tính toán vector đặc trưng Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả19/ 31
  24. 24. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Mô hình giải quyết bài toán Mô hình giải quyết bài toán • Mô hình đề xuất gồm 4 giai đoạn: Giai đoạn 1: Trích xuất tập dữ liệu Giai đoạn 2: Tính toán vector đặc trưng Giai đoạn 3: Phân cụm ảnh Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả19/ 31
  25. 25. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Mô hình giải quyết bài toán Mô hình giải quyết bài toán • Mô hình đề xuất gồm 4 giai đoạn: Giai đoạn 1: Trích xuất tập dữ liệu Giai đoạn 2: Tính toán vector đặc trưng Giai đoạn 3: Phân cụm ảnh Giai đoạn 4: Xếp hạng lại ảnh trong mỗi cụm Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả19/ 31
  26. 26. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Mô hình giải quyết bài toán Mô hình giải quyết bài toán Mô hình đề xuất hệ thống phân cụm Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả20/ 31
  27. 27. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Nội dung 1 Giới thiệu bài toán phân cụm ảnh 2 Một số nghiên cứu liên quan 3 Mô hình giải quyết bài toán Cơ sở lý thuyết Mô hình giải quyết bài toán 4 Thực nghiệm 5 Kết luận và định hướng nghiên cứu tiếp theo Kết luận Định hướng nghiên cứu tiếp theo Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả21/ 31
  28. 28. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Thực nghiệm • Các phương án thực nghiệm Phân cụm dựa trên vector đặc trưng màu sắc ảnh Phân cụm dựa trên vector đặc trưng kết cấu ảnh Phân cụm dựa trên vector đặc trưng văn bản đi kèm ảnh Phân cụm sau khi kết hợp các đặc trưng • Đánh giá hệ thống dựa vào độ chính xác (Precision), độ hồi tưởng (recall) và độ đo f-store (F1) Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả22/ 31
  29. 29. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Thực nghiệm • Kết quả Kết quả phân cụm của truy vấn "leopard" sau khi kết hợp các đặc trưng Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả23/ 31
  30. 30. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Thực nghiệm • Kết quả Đánh giá kết quả phân cụm của hệ thống Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả24/ 31
  31. 31. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Nội dung 1 Giới thiệu bài toán phân cụm ảnh 2 Một số nghiên cứu liên quan 3 Mô hình giải quyết bài toán Cơ sở lý thuyết Mô hình giải quyết bài toán 4 Thực nghiệm 5 Kết luận và định hướng nghiên cứu tiếp theo Kết luận Định hướng nghiên cứu tiếp theo Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả25/ 31
  32. 32. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Kết luận Kết luận • Đối với đặc trưng nội dung ảnh, sử dụng đặc trưng màu sắc cho kết quả chính xác hơn và thời gian phân cụm nhanh hơn so với đặc trưng kết cấu. • Thực nghiệm chứng tỏ sự kết hợp đặc trưng màu sắc và văn bản cho kết quả tốt hơn việc chỉ dùng riêng rẽ các đặc trưng. Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả26/ 31
  33. 33. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Kết luận Kết luận • Mỗi vector đặc trưng có độ quan trọng khác nhau với mỗi loại truy vấn: Đặc trưng màu sắc: Hữu ích khi các ảnh có sự phân biệt về màu nền. Đặc trưng kết cấu: Hữu ích với các ảnh có sự phân bố cấu trúc không gian. Đặc trưng văn bản: Hữu ích với các ảnh có sự phân biệt tên đối tượng theo ngữ cảnh. Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả27/ 31
  34. 34. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Định hướng nghiên cứu tiếp theo Định hướng nghiên cứu tiếp theo •Cải thiện thuật toán phân cụm • Tự động nhận biết số cụm •Nghiên cứu và thực nghiệm với một số đặc trưng nội dung khác của ảnh (đặc trưng SIFT – SIFT feature, đặc trưng hình dạng – Shape feature) Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả28/ 31
  35. 35. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Tài liệu tham khảo [CHL04] Deng Cai, Xiaofei He2, Zhiwei Li, Wei-Ying Ma and Ji-Rong Wen, Hierarchical Clustering of WWW Image Search Results Using Visual, Textual and Link Information, MM’04, October 10–16, 2004.. [DAM00] Dengsheng Zhang, Aylwin Wong, Maria Indrawan, Guojun Lu, Content-based Image Retrieval Using Gabor Texture Features, IEEE Transactions PAMI, 2000. [JWY06] Feng Jing, Changhu Wang, Yuhuan Yao, Kefeng Deng, Lei Zhang, Wei-Ying Ma, IGroup: Web Image Search Results Clustering ,Santa Barbara, California, USA : s.n., 2006. Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả29/ 31
  36. 36. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Tài liệu tham khảo [LL09] Guangqing Liu, Byungwook Lee, A Color-based Clustering Approach for Web Image Search Results.Conference on Convergence and Hybrid Information Technology 2009. [ZSO08] Hilal Zitouni, Sare Sevil, Derya ¨Ozkan, Pınar Duygulu, Re-ranking of Image Search Results using a Graph Algorithm, Preprint submitted to 19th International Conference on Pattern Recognition, 2008. [DLL08] Haoyang Ding, Jing Liu, Hanqing Lui, Hierarchical Clustering-Based Navigation of Image Search Results , MM’08, October 26–31, 2008 Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả30/ 31
  37. 37. Giới thiệu bài toán phân cụm ảnh Một số nghiên cứu liên quan Mô hình giải quyết bài toán Thực nghiệm Kết luận và định hướng Cảm ơn các thầy, các anh chị và các bạn đã quan tâm theo dõi! Nguyễn Thị Hương Nguyễn Minh Hoàng Nguyễn Phước Thảo KT–SIS LAB, UET, VNU NGHIÊN CỨU MỘT PHƯƠNG PHÁP KẾT HỢP GIỮA ĐẶC TRƯNG NỘI DUNG VÀ VĂN BẢN ĐI KÈM TRONG PHÂN CỤM Ả31/ 31
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×