Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận văn tóm tắt ngành kĩ thuật phần mềm với đề tài: Nhận dạng và phân loại hoa quả trong ảnh màu, cho các bạn làm luận văn tham khảo
Kĩ thuật lọc ảnh và ứng dụng trong lọc nhiễu làm trơnNguyen Thieu
Bài tập lớn môn học Xử Lý Ảnh (Thế Anh, Thiệu)
Code và toàn bộ báo cáo có thể xem tại đây:
https://drive.google.com/drive/folders/0B0gRRELQqRA8QlYwaE14NDlsZHc?usp=sharing
Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận văn tóm tắt ngành kĩ thuật phần mềm với đề tài: Nhận dạng và phân loại hoa quả trong ảnh màu, cho các bạn làm luận văn tham khảo
Kĩ thuật lọc ảnh và ứng dụng trong lọc nhiễu làm trơnNguyen Thieu
Bài tập lớn môn học Xử Lý Ảnh (Thế Anh, Thiệu)
Code và toàn bộ báo cáo có thể xem tại đây:
https://drive.google.com/drive/folders/0B0gRRELQqRA8QlYwaE14NDlsZHc?usp=sharing
Nhận viết luận văn đại học, thạc sĩ trọn gói, chất lượng, LH ZALO=>0909232620
Tham khảo dịch vụ, bảng giá tại: https://vietbaitotnghiep.com/dich-vu-viet-thue-luan-van
Download luận văn đồ án môn thị giác máy tính với đề tài: Nhận dạng mặt người trên matlab, cho các bạn làm luận văn tham khảo
Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận văn đồ án tốt nghiệp với đề tài: Thiết kế bộ Điều khiển trượt cho tay máy Robot 2 bậc tự do và mô phỏng trên Matlab – Simulink, cho các bạn tham khảo
Để xem full tài liệu Xin vui long liên hệ page để được hỗ trợ
: https://www.facebook.com/thuvienluanvan01
HOẶC
https://www.facebook.com/garmentspace/
https://www.facebook.com/thuvienluanvan01
https://www.facebook.com/thuvienluanvan01
tai lieu tong hop, thu vien luan van, luan van tong hop, do an chuyen nganh
Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận án tóm tắt ngành cơ kĩ thuật với đề tài: Động lực học ngược và điều khiển chuyển động của robot song song Delta không gian, cho các bạn tham khảo
Nhận viết luận văn đại học, thạc sĩ trọn gói, chất lượng, LH ZALO=>0909232620
Tham khảo dịch vụ, bảng giá tại: https://vietbaitotnghiep.com/dich-vu-viet-thue-luan-van
Download luận văn đồ án tốt nghiệp ngành điện tử truyền thông với đề tài: Thiết kế và thi công mạch điều khiển tốc độ động cơ DC sử dụng thuật toán Pid, cho các bạn làm luận văn tham khảo
Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận văn tóm tắt ngành công nghệ thông tin với đề tài: Ứng dụng webgis trong hệ thống giám sát bệnh truyền nhiễm, cho các bạn làm luận văn tham khảo
Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận văn đồ án tốt nghiệp với đề tài: Thiết kế hệ thống đo nhiệt độ, cho các bạn làm luận văn tham khảo
Nhận viết luận văn đại học, thạc sĩ trọn gói, chất lượng, LH ZALO=>0909232620
Tham khảo dịch vụ, bảng giá tại: https://baocaothuctap.net
Download luận văn thạc sĩ với đề tài: Ứng dụng khai phá dữ liệu xây dựng hệ hỗ trợ chẩn đoán y khoa, cho các bạn làm luận văn tham khảo
Nhận viết luận văn đại học, thạc sĩ trọn gói, chất lượng, LH ZALO=>0909232620
Tham khảo dịch vụ, bảng giá tại: https://vietbaitotnghiep.com/dich-vu-viet-thue-luan-van
Download luận văn đồ án môn thị giác máy tính với đề tài: Nhận dạng mặt người trên matlab, cho các bạn làm luận văn tham khảo
Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận văn đồ án tốt nghiệp với đề tài: Thiết kế bộ Điều khiển trượt cho tay máy Robot 2 bậc tự do và mô phỏng trên Matlab – Simulink, cho các bạn tham khảo
Để xem full tài liệu Xin vui long liên hệ page để được hỗ trợ
: https://www.facebook.com/thuvienluanvan01
HOẶC
https://www.facebook.com/garmentspace/
https://www.facebook.com/thuvienluanvan01
https://www.facebook.com/thuvienluanvan01
tai lieu tong hop, thu vien luan van, luan van tong hop, do an chuyen nganh
Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận án tóm tắt ngành cơ kĩ thuật với đề tài: Động lực học ngược và điều khiển chuyển động của robot song song Delta không gian, cho các bạn tham khảo
Nhận viết luận văn đại học, thạc sĩ trọn gói, chất lượng, LH ZALO=>0909232620
Tham khảo dịch vụ, bảng giá tại: https://vietbaitotnghiep.com/dich-vu-viet-thue-luan-van
Download luận văn đồ án tốt nghiệp ngành điện tử truyền thông với đề tài: Thiết kế và thi công mạch điều khiển tốc độ động cơ DC sử dụng thuật toán Pid, cho các bạn làm luận văn tham khảo
Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận văn tóm tắt ngành công nghệ thông tin với đề tài: Ứng dụng webgis trong hệ thống giám sát bệnh truyền nhiễm, cho các bạn làm luận văn tham khảo
Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận văn đồ án tốt nghiệp với đề tài: Thiết kế hệ thống đo nhiệt độ, cho các bạn làm luận văn tham khảo
Nhận viết luận văn đại học, thạc sĩ trọn gói, chất lượng, LH ZALO=>0909232620
Tham khảo dịch vụ, bảng giá tại: https://baocaothuctap.net
Download luận văn thạc sĩ với đề tài: Ứng dụng khai phá dữ liệu xây dựng hệ hỗ trợ chẩn đoán y khoa, cho các bạn làm luận văn tham khảo
Nhận dạng mặt người bằng thuật toán PCA trên Matlabhieu anh
Mục tiêu của đề tài “ Nhận dạng mặt người bằng thuật toán PCA trên Matlab ” là thực hiện chương trình tìm kiếm một bức ảnh có khuôn mặt một người trong tập ảnh cơ sở giống với khuôn mặt của người trong bức ảnh cần kiểm tra bằng ngôn ngữ Matlab.
Đồ án môn thị giác máy tính nhận dạng mặt người trên matlab. Các điều kiện khác mà nhận dạng khuôn mặt không làm việc tốt bao gồm thiếu ánh sáng, đeo kính mát, tóc dài, hoặc các đối tượng mà một phần khuôn mặt bị che, và các hình ảnh độ phân giải thấp. Một bất lợi nghiêm trọng là nhiều hệ thống sẽ kém hiệu quả nếu biểu hiện khuôn mặt khác nhau. Ngay cả một nụ cười lớn, cũng có thể làm cho hệ thống giảm tính hiệu quả. Ngoài ra còn có sự không thống nhất trong các bộ dữ liệu được sử dụng bởi các nhà nghiên cứu.
Tóm tắt:
Phương pháp phân tích dữ liệu cổ điển và phổ biến dựa vào lý thuyết phản chứng, nhưng là một phương pháp có nhiều khiếm khuyết vốn đã được chỉ ra ngay từ khi phương pháp này ra đời vào khoảng 100 năm trước. Trong vài thập niên gần đây, phương pháp phân tích Bayes càng ngày càng phổ biến và đã đạt được nhiều thành công ngoạn mục trong di truyền học, nghiên cứu khoa học và nghiên cứu lâm sàng. Bài viết này giới thiệu ứng dụng phương pháp phân tích Bayes trong vài trường hợp lâm sàng.
Summary:
The traditional frequentist methodology of data analysis relies on the concept of proof by contradiction. This methodology has several flaws and deficiencies which have been pointed out since its inception about 100 years ago. In recent decades, the Bayesian methodology has regained its prominence as an alternative approach to scientific inference and data analysis. The Bayesian methodology has proven a great success in genetics, scientific research, and clinical research. In this article, I introduce the basic concept of Bayesian inference via two cases of clinical diagnosis.
Hai trường hợp lâm sàng
Trường hợp 1.Nữ, 47 tuổi, tự phát hiện một u nhỏ bên vú trái và chị quan ngại đó là bướu ung thư nên đến gặp bác sĩ. Sau khi khám tổng quát và xem xét tiền sử gia đình, bác sĩ đề nghị chị đi chụp nhũ ảnh. Kết quả nhũ ảnh là dương tính. Chị muốn biết nguy cơ chị mắc bệnh ung thư vú là bao nhiêu. Bác sĩ nên trả lời như thế nào?
Nhận viết luận văn Đại học , thạc sĩ - Zalo: 0917.193.864
Tham khảo bảng giá dịch vụ viết bài tại: vietbaocaothuctap.net
Download luận văn thạc sĩ ngành công nghệ thông tin với đề tài: Phân cụm đa mô hình và ứng dụng trong phân đoạn ảnh viễn thám, cho các bạn làm luận văn tham khảo
Nghiên Cứu Phương Pháp Trích Chọn Đặc Trưng Ảnh Xây Dựng Hệ Thống Phục Vụ Điểm Danh Và Đánh Giá Thái Độ Học Tập Của Sinh Viên, các bạn tham khảo thêm tại tài liệu, bài mẫu điểm cao tại luanvantot.com
Đồ Án Nhận Dạng Mặt Người Trên Matlab đã chia sẻ đến cho các bạn nguồn tài liệu hoàn toàn hữu ích đáng để xem và theo dõi mà các bạn không nên bỏ qua. DỊCH VỤ VIẾT THUÊ ĐỀ TÀI TRỌN GÓI ZALO TELEGRAM : 0934.536.149
Hệ Cơ Sở Dữ Liệu Đa Phương Tiện PTIT
Giảng viên: Nguyễn Đình Hóa PTIT
Hệ thống thông tin - Công nghệ phần mềm PTIT
#ptit #ai #httt #poppinkhiem #poppingkhiem
1. Ứng dụng XAI trong
phân đoạn ảnh y khoa
Nhóm : Twelve
21C11015 Nguyễn PhươngNam
21C11026 Nguyễn Thành Thái
21C11029 Hoàng Minh Thanh
Giảng viên: PGS.TS Lý Quốc Ngọc
3. Explainable AI
Vì sao dự đoán sai?
Dựa trên những yếu tố nào
Mô hình bị thiên kiến?
Bị bias trên đặc trưng gì, nhóm
dữ liệu nào?
Kết luận dựa trên cơ sở gì?
Liệu dự đoán đúng nhưng lại dựa trên
đặc trưng sai?
5. Why we needs Explainable AI (XAI)
❑ Mục tiêu của XAI là để giúp con người hiểu, có thể tin
tưởng và quản lý hiệu quả các kết quả của một hệ
thống AI.
GPT-4 ước tính có 100 Trillion tham số
Megatron-Turing Natural Language Generation model (MT-
NLG) có hơn 530 tỉ tham số
7. Động lực nghiên cứu
Khoa học Ứng dụng
• Không thể lý giải khi input thay đổi
• Có thể chỉnh sửa để đạt kết quả
tốt hơn
• Lý giải được các trường hợp bị
bias (thiên kiến)
• Biết được nguyên nhân nào tác động
làm thay đổi kết quả dự đoán
• Có thể giải thích khi bị Adversarial
Attack
• Lý giải:
- Giải thích khi trường hợp
tranh chấp, kiện tụng
- Giải thích nguyên nhân gây
ra sự cố
• Ứng dụng trong các trường hợp yêu
cầu độ chính xác cao
• Có thể cải thiện được độ chính xác
cao, đảm bảo hệ thống hoạt động ổn
định.
• Tích hợp kết quả diễn giải để
phát triển các hệ thống khác
Adversarial Attack: là kỹ thuật để tìm ra một sự nhiễu loạn làm thay đổi dự đoán
của một mô hình học máy. Sự nhiễu loạn có thể rất nhỏ và mắt người không thể
nhận thấy được.
8. XAI in Medical Image Segmentation
(XAI in MIS)
Explainable AI
(XAI scope,
Visual/Text/number, ...)
Medical Image
(Lung, Chest, Brain, ...,
CT,MRI, X-ray)
Image
Segmentation
(Edge base, Threadhold,
Regionbase, ..)
XAI in
MIS
12. Image Segmentation
❑ U-NET(Không phải SOTA)
● Mô hình tiêu biểu nhất cho bài toán Segmentation
● Dữ liệu y khoa rất ít, chi phí gán nhãn cao
(Các mô hình Transformer cần dữ liệu cực lớn - hàng triệu tấm ảnh)
● Mô hình Unet là mô hình đơn giản nhất để dễ dàng XAI
13. XAI problem statement
❑ Requirement
● Lý giải cho 1 dự đoán mô
hình của 1 ảnh bất kỳ
❑ Input
● Một ảnh bất kỳ
● Mô hình phân đoạn và trọng số
❑ Output
● Sự giải thích (The Explanation)
Image (Saliency Maps)
Visual Image
Văn bản (Text)
Number
Tree/Table/...
XAI
Model
14. Explainable AI
❑ XAI Method Taxonomy
● Khả năng:
Giải thích ở nhiều model (XAI Model Agnostic)
Chỉ những model cụ thể (XAI Model Specific)
image model weight
● Phạm vi:
Toàn cục (Global)
Cục bộ (Local)
● Giai đoạn nào:
Trước khi training model
Trong khi training model
Sau khi training model (Post-hoc)
● Phương pháp:
Thay thế (Surrogate)
Trực quan hóa (Visualization)
● Output:
Numerical
Textual
Rule
Visual (Images, Graph, Chart,.)
Model
Mixed
15. XAI by scope
❑ Cục bộ (Local Explanations) vs Toàn cục (Global Explanations)
Giải thích kết quả của 1 dự đoán dựa
trên một đặc trưng cục bộ
(Explain individualpredictions)
Giải thích kết quả của 1 dự đoán dựa
trên phạm vi toàn cục
(Explain complete behavior of model)
Tìm ra được sự bias của mô hình trong
phạm vi toàn cục
(Help unearth biases in the local
neighborhoodof a given instance)
Làm rõ được những bias sẽ ảnh hưởng
đến những nhóm dữ liệu nào
(Help shed light on big picture biases affecting
larger subgroups)
Điều tra được dự đoán dựa trên
những đặc trưng đúng hay sai
(Help vet if individual predictions are being
made for the right reasons )
Điều tra dự đoán đúng có đã dựa trên
những đặc trưng đúng hay chưa
(Help vet if the model, at a high level, is
suitable for deployment)
Interpreting MachineLearning Models: State-of-the-art, Challenges, Opportunities
16. Explainable AI
❑ Người sử dụng XAI:
● End users (e.g., người xin vay)
● Người cần ra quyết định (e.g., bác sĩ, luật sư, judges)
● Cơ quan quản lý (e.g., người làm luật)
● Researchers và kỹ sư
❑ Chức năng của XAI:
● Debugging
● Phát hiện trong trường hợp bị bias (Bias Detection)
● Cơ sở để tin tưởng mô hình (Recourse)
● Biết được khi nào và trường hợp nào thì mô hình
đáng tin cậy
● Các mô hình phụ trở, để gỡ lỗi, giám sát, giúp hệ
thống hoạt động ổn định.
17. Explainable AI
❑ Output:
● Inherently Interpretable Models
Lý giải bằng mô hình đơn giản mà con người dễ dàng hiểu được
Ưu: Lý giải dễ dàng hiểu được, dễ dàng tiếp cận với người dùng thông thường
Nhược:
• Độ chính xác không cao
• Không bao quát hết và mô tả đầy đủ về model
● Post hoc Explanations
Hậu xử lý để cung cấp thông tin cần thiết về mô hình
Ưu: Cung cấp các thông tin cần thiết, mô tả đầy đủ các hành vi của model
Nhược:
• Độ phức tạp cao
• Không phải ai cũng có thể hiểu được
18. Explainable AI for Deep Learning
❑ Feature attribution: Làm nổi bật các đặc trưng quan
trọng ảnh hướng đến việc dự đoán của mô hình
● Pixel attribution: trường hợp đặc biệt của feature attribution
Phương pháp Perturbation-based
• LIME, SHAP, ...
Phương pháp Gradient-base:
Output là Saliency map
• CAM (Vanilla gradient)
• Grad-CAM
• SmoothGrad...
❑ Saliency map:
Là ảnh grayscale trong đoạn [0 , 1], kích thước cùng với ảnh gốc
Input Output
Saliency map
19. Saliency map giải thích điều gì?
❑ Output phương pháp Gradient-base
XAI in MIS => Saliency map.
❑ Saliency map giải thích bằng cách làm nổi bật:
● Theo vùng (region)/điểm ảnh (pixel) ảnh hưởng:
Region/pixel nào trong ảnh tác động đến kết quả dự đoán cuối cùng
● Theo từng giai đoạn (stage)/từng lớp (layers)
Với từng lớp thì mô hình đã tập trung học ở vùng nào
VD: stage1: học ở các tai, mắt, tóc,...; stage2: thì học toàn bộ khuôn mặt,…
● Theo từng lớp nhãn (ground truth) khác nhau
Vùng được học với từng class khác nhau (chó/mèo/voi/..)
20. Lợi ích của Saliency map
❑ Nếu saliency map làm nổi bật không đúng các đặc
trưng cần học, ta có thể biết để điều chỉnh:
● Theo region/pixel:
Tăng thêm dữ liệu có nhiều các ảnh có đặc trưng và nhãn tương ứng để
model có thể học được đúng trong trường hợp đó.
● Theo từng giai đoạn (stage)/từng lớp (layers)
Nếu với từng stage/layers mà saliency map không học đúng thì có thể
tăng/giảm thêm layers hoặc điều chỉnh mô hình
● Theo từng lớp nhãn (ground truth) khác nhau
Với những lớp nhãn có độ chính xác thấp hoặc saliency học không đúng với
yêu cầu thì cần tăng thêm dữ liệu để mô hinh có thể học tốt hơn
21. Công
trình
Nguyên lý Ưu điểm Nhược điểm
LIME
- Chỉ ra được đặc trưng
nào quan trọng cho việc
dự đoán bằng cách xáo
trộn input và quan sát
kết quả
- Làm nổi bật các phần
quan trọng
- Áp dụng cho tất cả loại mô hình
- Dùng hồi quy tuyến tính (hoặc
cây quyết định), giải thích ngắn
và dễ hiểu.
- LIME áp dụng: bảng, ảnh và văn
bản.
- Việc lựa chọn kernel hợp lý
không đơn giản.
- Dữ liệu perturbed được lấy
ngẫu nhiên, có thể có dữ liệu “kỳ
dị”.
- Lời giải thích của LIME có thể bị
thao túng/điều khiển.
SHAP
- Giải thích tầm quan
trọng/đóng góp của các
đặc trưng cho dự đoán
trung bình
- Shap tính trung bình
các hoán vị mask đặc
trưng
- Thể hiện được mối quan
hệ tầm quan trọng các thuộc tính
với kết quả
- Lời giải thích chính xác hơn
- Cung cấp khả năng lý giải toàn
cục và cục bộ
-
SHAPE áp dụng: bảng, ảnh và tex
t
- Tính toán chậm
-
Lời giải thích của SHAP có thể bị
thao
túng / điều khiển.
- Có thể có điểm dữ liệu kỳ dị
DeepShap
DeepLift
- Dựa trên SHAP và
nhanh hơn dựa trên xắp
xỉ sum
Tốc độ tính toán nhanh hơn Tính toán gần đúng (xấp xỉ)
22. Công trình Nguyên lý Ưu điểm Nhược điểm
CAM
- Tạo lớp GAP các node
là feature map của lớp
conv cuối cùng với lớp
Fully connected
- Visualization phản ánh
tầm quan trọng các dữ
liệu đầu vào.
- Phải thêm lớp GAP vào CNN
- Có thể chỉ lấy được thông tin ở lớp
conv cuối cùng
- Không được phép có nhiều fully
connected layer ở phía sau lớp GAP
Grad-CAM
- Tính weight dựa trên
gradient
- Không cần thay đổi kiến
trúc mạng.
- Giữ lại các spatial
information và high-level
feature.
- Grad-CAM chỉ backpropagate đến
lớp conv cuối.
- Không có thông tin về ảnh đầu
vào. Đôi khi sẽ bị mất mát thông tin
quan trọng ở ảnh đầu vào.
23. Ý tưởng phương pháp Gradient-base
❑ Mô hình blackbox (deep learning) học dựa trên tăng/giảm đạo hàm
● Hàm loss: với là learning rate (tỷ lệ học)
● VD: Kết quả dự đoán ảnh là con mèo là 0.6 hay 60%.
=+0.2-0.3+0.7-0.5-0.3+0.8 (layer đầu)
= +0.4-0.7+0.9 (layer cuối)
= 0.6 (output)
Đạo hàm (Gradient result) sẽ tăng hoặc giảm
Phân dương: thành phần khớp đúng với nhãn
Phân âm: thành phần khớp đúng với nhãn
=> Gradient dương -> vùng nào đó trong ảnh
có tác động đến kết quả cuối cùng.
0.6 (~60%) là 3
25. Phương pháp Gradient-base
❑ Chọn Phương pháp Gradient-base vì:
● Trực quan, dễ quan sát
● Tính toán nhanh hơn so với các phương pháp khác
● Phù hợp XAI cho bài toán Segmetation và mô hình
U-NET
CAM, Grad-CAM, Guide GradCAM, SmoothCam
26. Tóm tắt
❑ XAI in MIS:
● Chọn ảnh 2D não để phân đoạn khối u
● Chọn U-net là mô hình Segmentation
● Chọn Gradient-base cho phương pháp XAI
Explainable AI
(XAIscope,
Visual/Text/number,
...)
Medical
Image
(Lung,Chest, Brain, ...,
CT,MRI, X-ray)
Image
Segmentation
(Edge base,
Threadhold,Region
base,..)
XAI in
MIS
❑ Saliency map:
● Giải thích: vùng nào làm nổi
bật theo region/pixel, stage
ground truth
● Lợi ích: biết cần thay đổi gì
❑ Ý tưởng XAI Gradient-base:
● Tăng/giảm gradient ~ Khớp/không
khớp giữa dự đoán và ground truth
28. Medical Image Segmentation
❑ Input:
● 1 ảnh chụp não kích thước
❑ Output:
● 1 mask chứa khối u tương ứng
❑ Nhãn (Ground Truth):
● ; pixel não không có khối u
● ; pixel não có khối u
❑ Dataset:
● Tập ảnh 2D não
● Tập mask 2D tương tương ứng
32. XAI trong phân đoạn khối u não
❑ Input:
● Ảnh chụp 2D não
● Mô hình U-net và trọng số đã training
● Kết quả phân đoạn khối u của U-net
❑ Output:
● Explainable(Saliency map - vùng ảnh khối u được kích hoạt)
Output :
Saliency map
XAI Menthod
Input:
• 1 ảnh não bất kỳ
• trọng số model
• model
33. Phương pháp Gradient-based
❑ Mục tiêu:
● Visualize saliency map cho các lớp convolution cuối cùng
Saliency map
Gradient-
base method
5x5
conv1 conv2 feature map
dense layer
34. Pipeline of Method Framework
❑ Giải thích được các đặc trưng nào đóng góp
cho việc phân đoạn
35. XAI in Segmentation
Guided Grad-CAM
XAI Menthod
Input
CAM (Vanilla gradient)
Grad-CAM
SmoothGrad
CAM (Vanilla
gradient) là gì?
36. CAM (Class Activation Map)
❑ Vanilla gradient (CAM)
● Mục tiêu: Vùng (Region) nào trong ảnh thể hiện đặc trưng của
lớp cần phân loại
GAP : Global Average Pooling
● Ý tưởng: Gradient dương -> vùng nào đó trong ảnh có tác
động đến kết quả cuối cùng.
37. CAM (Class Activation Map)
❑ Vanilla gradient (Class Activation Map):
● B1: Tính feed forward của ảnh đầu vào đến lớp Conv
cuối cùng.
● B2: GAP lớp Conv cuối cùng
● B3: Training hàm linear classification theo GAP vừa
tính (Lớp dense cuối cùng được xấp xỉ bằng hàm
Linear – Theo công thức Taylor bậc nhất) để lấy w
● B3: Dùng hàm linear để tính và biểu diễn saliency map.
Vanilla gradient
38. Class Activation Map in CNN
❑ Vanilla gradient (Class Activation Map):
Training linear approx
Feed forward
39. Grad-CAM (Gradient-weighted
Class Activation Mapping)
❑ Grad-CAM:
● B1. Tính feed forward của ảnh đầu vào.
● B2. Lấy raw score của lớp cần tính, tính trung bình lớp neuron
trước khi softmax
● B3. Coi các lớp khác là 0, lớp cần tính là 1
● B4. Đạo hàm ngược đến lớp conv cuối cùng (lớp conv trước khi
đi qua lớp dense)
● B5. Tính hệ số của từng lớp feature map là trung bình đạo hàm
ngược.
● B6. Tính trung binh của feature map bằng
cách tổng hệ số nhân với từng lớp
● B7. Áp hàm RELU
● B8. Biểu diễn saliency map
43. Các công đoạn SmoothGrad
❑ Thêm nhiễu (đạo hàm dao động rất lớn ở quy
mô nhỏ)
● B1. Thêm nhiễu vào ảnh cần XAI (nhiễu theo phân
phối chuẩn)
● B2. Tính GradCAM như cho tất cả ảnh đã sinh
● B3. Tính trung bình kết quả
44. Công trình Nguyên lý Ưu điểm Nhược điểm
UNET
(ResUNet+
+)
- Sử dụng các lớp tích chập để filter các đặc
trưng.
- Các quá trình down/up sampling nhưng
vẫn giữ các giai đoạn encode
downsamplingđến cuối cho quá trình khởi
tạo lại cuối cùng.
- Trích lọc đặc trưng và tìm ra bối cảnh của
hình ảnh, tổng hợp mask đưa ra nhãn từng
pixel.
- Mô hình đơn
giản và hiệu quả
- Độ chính xác
thấp
ResNET
- Tương tự UNET
- Dùng skip-connection(redisual
learning) giải quyết vấn đề vanishing
gradient
- Tăng số lượng layer, tăng độ sâu mạng.
Tăng kích thước ảnh đầu vào xử lý hiệu quả
hơn
- Độ chính xác
cao hơn UNET
- Độ phức tạp
cao hơn
- Kiến trúc phức
tạp hơn UNET
45. Công trình Nguyên lý Ưu điểm Nhược điểm
EfficientNet
(Eff-UNet,..)
- Kết hợp căn bằng cả chiều sâu và
chiều rộng để đạt được model có
kích thước lớn, với hiệu năng
cao độ phân giải cao hơn compund
scaling.
- Độ chính xác cao hơn.
- Mạng cấu trúc lớn hơn
nhưng dễ hội tụ
- Tốn tài nguyên tính toán
hơn ResNET
Transfomer
(DPT, Swin
UNETR...)
- Chia bức ảnh cần
segmentation thành từng Patches
và position encoding.
- Tính sự quan trọng của từng
Pathes khi đi qua lớp Mask
Transfomer
- Sau đó Upsampling và lấy Argmax
để được Segmentation Map
- Độ chính xác rất cao
trên tập dữ liệu lớn
- Độ chính xác thấp trên
dữ liệu nhỏ
- Học được thứ tự và vị
trí của Patches tốt hơn
(do có position
encoding)
- Độ chính xác thấp với tập
dữ liệu nhỏ hoặc khi
training chưa đủ lâu vì
không đủ khả năng khái
quát hóa.
- Yêu cầu TFLOPS cao hơn
49. Các vấn đề còn tồn đọng
❑ Các vấn đề của XAI
● Sự đánh đổi giữa độ chính xác và khả năng giải thích?
● Mô hình thay thế có phản ánh trung thực mô hình black
box ban đầu?
● Lời giải thích không có ý nghĩa, hoặc không cung cấp đủ
chi tiết để hiểu hộp đen đang làm gì.
❑ Grad-CAM chỉ Backpropagation đến lớp Conv cuối
● Ưu: Giữ lại các spatial information và high-level feature.
● Nhược: Không có thông tin về ảnh đầu vào. Đôi khi sẽ bị
mất mát thông tin quan trọng ở ảnh đầu vào (cạnh, màu
sắc, ...)
51. XAI trong phân đoạn ảnh khối u não
❑ Input
● Ảnh não 2D
● Model & weight
● Ảnh phân đoạn
khối u
XAI Model
❑ Output
● Saliency map
52. Framework pipeline
❑ Framework pipeline
● Huấn luyện mô hình Image Segmentation thông
thường
Thu được trọng số mô hình
● Áp dụng mô hình XAI
weight
53. Image Segmentation
❑ Encoder-Decoder Based Models
● Encoder (Downsampling): Trích lọc đặc trưng để tìm ra bối cảnh
của hình ảnh
● Decoder (Upsampling): Tăng kích thước ảnh về ban đầu,
để từng bước phân đoạn từng pixel.
54. Explainable AI
Image Segmentation
❑ Input:
● Một ảnh cần giải thích
● Trọng số mô hình segmentation
● Output của segmentation
❑ Output:
● Explainable
XAI
Model
55. Hướng tiếp cận Hậu xử lý
❑ Có 2 hướng tiếp cận, cho bài toán pixel
attribution:
● Perturbation-based: LIME, SHAP, ...
● Gradient-base: Vanilla gradient, Grad-CAM, ..
56. Các công đoạn LIME & SHAP
❑ 1. Chọn 1 mẫu dữ liệu để giải thích
❑ 2. Tạo ra bộ dữ liệu xáo trộn : Thay đổi các đặc trưng
của điểm dữ liệu ban đầu
● Thay đổi các đặc trưng của điểm dữ liệu ban đầu.
❑ 3. Gán trọng số cho tất cả dữ liệu trong tập perturbed
❑ 4. Huấn luyện mô hình hồi quy tuyến tính theo tập
perturbed có trọng số
● Giải thích độ quan trọng của đặc trưng (importance of feature)
của điểm dữ liệu đang xét.
57. Loss function
❑ Hàm mất mát
● f: mô hình ban đầu cần được giải thích (deep neural
network)
● g: mô hình thay thế, đơn giản hơn (linear regression)
● pi: trọng số giữa x và z
58. Các công đoạn Grad-CAM
❑ Các bước tính:
● 1. Tính feed forward của ảnh đầu vào.
● 2. Tính gradient của đầu ra tương ứng với ảnh đầu vào.
Thực hiện backpropagate đến lớp convolutional cuối cùng
● 3. Biểu diễn saliency map
60. References
❑ Zhang, Y.; Weng, Y.; Lund, J. Applications of Explainable Artificial Intelligence in
Diagnosis and Surgery. Diagnostics 2022, 12, 237. https://www.mdpi.com/2075-
4418/12/2/237/htm
❑ Tjoa E. and Guan C. (2021) A survey on explainable artificial intelligence (XAI): toward
medical XAI. IEEE Transact. Neural Networks Learning Systems 32, 4793–4813
10.1109/TNNLS.2020.3027314. https://arxiv.org/pdf/1907.07374.pdf
❑ Teixeira, L.O.; Pereira, R.M.; Bertolini, D.; Oliveira, L.S.; Nanni, L.; Cavalcanti, G.D.C.; Costa,
Y.M.G. Impact of Lung Segmentation on the Diagnosis and Explanation of COVID-19 in
Chest X-ray Images. Sensors 2021, 21, 7116. https://arxiv.org/pdf/2009.09780.pdf
❑ Costa YMG, Silva SA Jr, Teixeira LO, Pereira RM, Bertolini D, Britto AS Jr, Oliveira LS,
Cavalcanti GDC. COVID-19 Detection on Chest X-ray and CT Scan: A Review of the Top-
100 Most Cited Papers. Sensors (Basel). 2022 Sep
26;22(19):7303. https://pubmed.ncbi.nlm.nih.gov/36236402/
❑ Shamshad, F., Khan, S.H., Zamir, S.W., Khan, M.H., Hayat, M., Khan, F.S., & Fu, H. (2022).
Transformers in Medical Imaging: A Survey. ArXiv, abs/2201.09873.
❑ https://darwin.v7labs.com/v7-labs/covid-19-chest-x-ray-dataset
65. ❑ Để biểu diễn dưới dạng toán học, ta cần các ký
hiệu:
● I: ảnh đầu vào
● Vector đầu ra gồm có C chiều
● S(I): vector đầu ra, với S(I) = [S1(I), S2(I), …, SC(I)]
● Sc(I): giá trị dự đoán (xác suất) của ảnh I với lớp dự
đoán là c
66. ❑ Ví dụ, biến đầu vào “x” và “y” và đầu ra “f”, ta có
các hàm số:
● z = x + 2y
● f = 2*z
❑ Cách 1: Tính toán hàm số:
● f = 2*z = 2*(x + 2y) = 2x + 4y
❑ Cách 2: Tính toán đạo hàm:
● Cả hai cách, nhận xét: với cùng đầu vào x = 1 và y = 1. Ảnh
hưởng của biến y gấp đôi biến x.
● Tuy nhiên, tính “thủ công” như cách 1 không hiệu quả với DNN
với hàng triệu tham số. Và các hàm số, không phải lúc nào cũng
tuyến tính.
67. ❑ Ví dụ, biến đầu vào “x” và “y” và đầu ra “f”, ta có
các hàm số:
● z = x + 2y
● f = 2*z
❑ Cách 1: Tính toán hàm số:
● f = 2*z = 2*(x + 2y) = 2x + 4y
❑ Cách 2: Tính toán đạo hàm:
● Cả hai cách, nhận xét: với cùng đầu vào x = 1 và y = 1. Ảnh
hưởng của biến y gấp đôi biến x.
● Tuy nhiên, tính “thủ công” như cách 1 không hiệu quả với DNN
với hàng triệu tham số. Và các hàm số, không phải lúc nào cũng
tuyến tính.
71. Explainable AI
❑ Phân loại theo outputs của XAI:
● Lý giải bằng trực quan
Hình ảnh
Biểu đồ (plot)
● Lý giải bằng văn bản
Từng ký tự (Cell Activation Value)
InterpNET : tạo ra văn bản để lý giải cho hình ảnh input
Thông tin ngữ nghĩa cho mô hình
● Lý giải bằng toán học hoặc số liệu
Concept Activation Vectors (CAVs)
Linear classifiers for features inspection
Local Interpretable Model-Agnostic Explanations (LIME)
72. Explainable AI
● Intrinsically interpretable: Sử dụng các mô hình Machine
Learning truyền thống để lý giải mô hình Blackbox
● Post hoc interpretation methods: Sử dụng hậu xử lý để cung
cấp thêm thông tin Explainable
79. XAI trong phân đoạn ảnh khối u não
❑ Input
● Ảnh não 2D
● Model & weight
● Ảnh phân đoạn
khối u
XAI Model
❑ Output
● Saliency map
80. Local Explanations
• Feature Importances
• Rule Based
• Saliency Maps
• Prototypes/Example Based
• Counterfactuals
Global Explanations
• Collection of Local Explanations
• Representation Based
• Model Distillation
• Summaries of Counterfactuals