Các mô hình học sâu tiên tiến và ứng dụng trong phân tích chuỗi thời gian lâm sàng.doc

Dịch vụ viết thuê đề tài – KB Zalo/Tele 0917.193.864 – luanvantrust.com
Kham thảo miễn phí – Kết bạn Zalo/Tele mình 0917.193.864
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
NGUYỄN THỊ CẨM VÂN
CÁC MÔ HÌNH HỌC SÂU TIÊN TIẾN VÀ
ỨNG DỤNG TRONG PHÂN TÍCH CHUỖI
THỜI GIAN LÂM SÀNG
LUẬN VĂN THẠC SĨ
Ngành: Hệ thống thông tin
HÀ NỘI -

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Thị Cẩm Vân
CÁC MÔ HÌNH HỌC SÂU TIÊN TIẾN VÀ
ỨNG DỤNG TRONG PHÂN TÍCH CHUỖI
THỜI GIAN LÂM SÀNG
LUẬN VĂN THẠC SĨ
Ngành: Hệ thống thông tin
Cán bộ hướng dẫn: PGS.TS. Hà Quang Thuỵ
TS. Trần Mai Vũ
HÀ NỘI -

Tóm tắt
Trong thập kỉ qua, lượng dữ liệu được lưu trữ trong hồ sơ sức khỏe điện tử (Electronic
Heath Records) tăng lên nhanh chóng, việc sử dụng các hệ thống EHR đã tăng lên rất nhiều
ở cả bệnh viện và cơ sở chăm sóc. Các hệ thống EHR lưu trữ dữ liệu liên quan đến mỗi lần
gặp bệnh nhân, bao gồm thông tin nhân khẩu học, chẩn đoán, xét nghiệm và kết quả trong
phòng thí nghiệm, đơn thuốc, hình ảnh X quang, ghi chú lâm sàng ... Mặc dù được thiết kế
chủ yếu để cải thiện hiệu quả chăm sóc sức khỏe từ quan điểm vận hành, nhiều nghiên cứu
đã tìm thấy việc sử dụng cho các ứng dụng tin học lâm sàng.
Trong những năm gần đây, cộng đồng nghiên cứu về chăm sóc sức khỏe ứng
dụng các công nghệ trí tuệ nhân tạo ngày càng tăng để cung cấp các phương pháp
phân tích dữ liệu lớn và hỗ trợ ra quyết định trong chẩn đoán lâm sàng. Một trong những
lý do chính cho điều này là tác động to lớn của việc áp dụng các kĩ thuật học sâu để sử
dụng dữ liệu lớn trong các trường hợp phân tích hồ sơ chăm sóc sức khỏe phức tạp.
Luận văn sẽ xây dựng một mô hình học sâu áp dụng cơ chế Attention kết
hợp với mạng BiLSTM dự đoán sự kiện lâm sàng cho 3 sự kiện mục tiêu đó là
Nhiễm trùng máu (SEPSIS), Nhồi máu cơ tim (MI), và nồng độ Vancomycin
trong huyết thanh sau 24 giờ dùng thuốc Vancomycin.
Đồng thời, luận văn trích xuất các đặc trưng tương ứng với 3 sự kiện mục tiêu từ
cơ sở dữ liệu MIMIC-III và xây dựng mô hình cơ sở sử dụng các mô hình độc lập:
LSTM, Attention và BiLSTM để làm nổi bật tính hiệu quả của mô hình kết hợp đề xuất.
Từ khóa: Dự đoán sự kiện lâm sàng, EHR, MIMIC-III, Nhồi máu cơ tim, Nhiễm
trùng huyết, Vancomycin, Học sâu trong y tế.
iii

Lời cảm ơn
Đầu tiên, em xin bày tỏ lòng biết ơn chân thành và sâu sắc tới PGS.TS. Hà
Quang Thuỵ, người thầy đã mang đến cho em nguồn cảm hứng vô tận trong
nghiên cứu khoa học. Em thật sự biết ơn những giúp đỡ, lời khuyên và sự tận
tình hướng dẫn của thầy trong luận văn cũng như định hướng nghiên cứu
trong suốt thời gian học tập và làm việc tại Phòng Thí nghiệm và Công nghệ tri
thức (DS&KT Lab - Đại học Công nghệ, Đại học quốc gia Hà Nội.
Em muốn gửi lời cảm ơn sâu sắc đến TS. Trần Mai Vũ, người đã tận tình chỉ bảo,
hướng dẫn, động viên và giúp đỡ em không chỉ trong quá trình thực hiện đề tài luận văn
này mà còn trong suốt quãng thời gian học tập và nghiên cứu tại Phòng Thí nghiệm.
Em xin gửi lời cảm ơn sâu sắc tới quý thầy cô giáo trong Khoa Công nghệ thông tin
nói riêng và trường Đại học Công nghệ - Đại học Quốc gia Hà Nội nói chung, đã truyền
đạt kiến thức quý báu cho em trong những năm tháng ngồi trên ghế nhà trường.
Em xin gửi lời cảm ơn tới các thầy cô, anh chị và các bạn trong DS&KTLab,
đặc biệt là chị Quỳnh, chị Hồng, chị Yến, Trang và Cát đã giúp đỡ em rất nhiều
trong việc hỗ trợ kiến thức chuyên môn để hoàn thành luận văn tốt nghiệp này.
Cuối cùng, con xin nói lên lòng biết ơn vô hạn đối với gia đình, những người
luôn luôn chăm sóc, là nguồn động viên, khích lệ con, giúp con vượt qua những
khó khăn trong cuộc sống. Gửi tới chồng em, cảm ơn anh đã luôn bên cạnh em
qua bao thăng trầm trong cuộc sống, luôn là điểm tựa vững chắc để em vượt qua
mọi khó khăn và cố gắng hoàn thiện bản thân mình từng ngày.
Tôi xin chân thành cảm ơn!
iv

Lời cam đoan
Tôi xin cam đoan rằng luận văn thạc sĩ hệ thống thông tin "Các mô hình học sâu tiên tiến
và ứng dụng trong phân tích chuỗi thời gian lâm sàng" là công trình nghiên cứu do tôi
thực hiện dưới sự hướng dẫn của PGS.TS. Hà Quang Thuỵ và TS.Trần Mai Vũ.
Tất cả những tài liệu tham khảo từ các nghiên cứu liên quan đều được
trích dẫn nguồn gốc rõ ràng từ danh mục tài liệu tham khảo của luận văn.
Trong luận văn này, không có việc sao chép tài liệu, các công trình nghiên cứu
của người khác mà không trích dẫn nguồn.
Nếu phát hiện có bất kì sự gian lận nào, tôi xin hoàn toàn chịu trách
nhiệm trước hội đồng cũng như kết quả luận văn của mình.
Học viên cao học
Nguyễn Thị Cẩm Vân
v

Mục lục
Tóm tắt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
Lời cảm ơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv
Lời cam đoan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
Mục lục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi
Danh mục thuật ngữ viết tắt và giải nghĩa . . . . . . . . . . . . . . . . . . . . . . ix
Danh sách hình vẽ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x
Danh sách bảng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi
Mở đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xii
1 Khái quát bài toán phân tích chuỗi thời gian lâm sàng . . . . . . . . . . . . 1
1.1 Giới thiệu về phân tích chuỗi thời gian lâm sàng . . . . . . . . . . . . . . 1
1.1.1 Giới thiệu về chuỗi thời gian . . . . . . . . . . . . . . . . . . . . . 1
1.1.2 Giới thiệu về bài toán phân tích chuỗi thời gian lâm sàng . . . . . 2
1.2 Các phương pháp phân tích chuỗi thời gian lâm sàng . . . . . . . . . . . . 3
1.2.1 Hệ thống chấm điểm trong ICU . . . . . . . . . . . . . . . . . . . 3
1.2.2 Điểm chuẩn của các mô hình học sâu trên bộ dữ liệu chăm sóc
sức khỏe lớn MIMIC-III . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Khó khăn và thách thức trong phân tích chuỗi thời gian lâm sàng . . . . . 10
1.4 Giới thiệu về ba mục tiêu dự báo: Nhiễm trùng huyết, Nhồi máu cơ tim,
và nồng độ Vancomycin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.1 Nhiễm trùng huyết . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4.2 Nhồi máu cơ tim . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4.3 Vancomycin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.5 Phát biểu bài toán của luận văn . . . . . . . . . . . . . . . . . . . . . . . . 12
vi

2 Mô hình bộ nhớ dài ngắn hạn hai chiều BiLSTM . . . . . . . . . . . . . . . 14
2.1 Mạng nơ-ron nhân tạo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Mạng truyền thẳng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 Học với mạng nơ-ron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.1 Hàm lỗi và cực tiểu hóa Gradient Descent . . . . . . . . . . . . . 17
2.3.2 Lan truyền ngược . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.3 Hàm kích hoạt . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4 Bộ nhớ dài ngắn hạn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.1 Mạng nơ-ron hồi quy . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4.2 Mạng bộ nhớ dài ngắn hạn . . . . . . . . . . . . . . . . . . . . . . 20
2.4.3 Bộ nhớ dài ngắn hạn hai chiều . . . . . . . . . . . . . . . . . . . . 21
2.5 Cơ chế chú ý . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.6 Cơ chế che dấu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3 Mô hình dự đoán sự kiện lâm sàng sử dụng cơ chế Attention kết hợp
kĩ thuật BiLSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.1 Mô hình đề xuất . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.1.1 Dữ liệu đầu vào của mô hình . . . . . . . . . . . . . . . . . . . . . 26
3.1.2 Áp dụng cơ chế che dấu . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.3 Áp dụng cơ chế chú ý . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.4 Các lớp BiLSTM . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.2 Phương pháp đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2.1 Ma trận nhầm lẫn . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2.2 Đường cong AUC-ROC . . . . . . . . . . . . . . . . . . . . . . . 30
4 Thực nghiệm và kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.1 Môi
trường thực nghiệm và cài đặt cấu hình . . . . . . . . . . . . . . . . . 32
4.1.1 Thư viện xây dựng mô hình . . . . . . . . . . . . . . . . . . . . . 32
4.1.2 Môi trường thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.3 Cài đặt tham số mô hình . . . . . . . . . . . . . . . . . . . . . . . 33
4.2 Dữ liệu và phương pháp đánh giá . . . . . . . . . . . . . . . . . . . . . . . 33
4.2.1 Dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.2.2 Xây dựng dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.3 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.3.1 Kết quả thực nghiệm 1: Dự đoán trong ngày . . . . . . . . . . . . 38
4.3.2 Kết quả thực nghiệm 2: Dự đoán ngày hôm sau . . . . . . . . . . 39
vii

4.3.3 Kết quả thực nghiệm 3: Đánh giá dựa trên mức độ sẵn có của dữ
liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.3.4 Nghiên cứu mức độ ảnh hưởng của các đặc trưng lên từng sự kiện
mục tiêu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.3.5 Định hướng nghiên cứu tương lai . . . . . . . . . . . . . . . . . . 45
Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Danh sách bài báo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Phụ lục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
viii

Danh mục thuật ngữ viết tắt
và giải nghĩa
Attention Mechanism
AUC
Bi-directional Long Short-
term Memory (BiLSTM)
Electronic Heath Record (EHR)
Intensive Care Unit (ICU)
Long short-term memory (LSTM)
Medical Information Mart for
Intensive Care III (MIMIC-III)
Myocardial Infarction (MI)
Natural Language Processing (NLP)
Reccurent Neural Network (RNN)
Receiver Operating Characteristic (ROC) Curve
Cơ chế chú ý
Diện tích phía dưới đường cong
Bộ nhớ dài ngắn hạn hai chiều
Bản ghi sức khỏe điện tử
Đơn vị chăm sóc chuyên sâu
Bộ nhớ dài ngắn hạn
Trung tâm thông tin y tế cho
chăm sóc chuyên sâu III Nhồi
máu cơ tim
Xử lý ngôn ngữ tự nhiên
Mạng nowrron hồi quy
Đường cong đặc trưng hoạt
động của bộ thu nhận
Sepsis Nhiễm trùng máu
ix

Danh sách hình vẽ
1 Sự phổ biến của hồ sơ sức khỏe điện tử . . . . . . . . . . . . . . . . . . . xii
1.1 Mô hình xây dựng MIMIC-III. . . . . . . . . . . . . . . . . . . . . . . . . 5
2.1 Mạng nơ-ron nhân tạo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Cấu trúc mạng nơ-ron truyền thẳng . . . . . . . . . . . . . . . . . . . . . 16
2.3 Các hàm kích hoạt khác nhau trong mạng nơ-ron nhân tạo . . . . . . . . . 19
2.4 Mạng nơ-ron hồi quy. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5 Kiến trúc của một đơn vị bộ nhớ dài ngắn hạn LSTM. . . . . . . . . . . . 21
2.6 Kiến trúc mở ra của BiLSTM với ba bước thời gian liên tiếp. . . . . . . . 22
2.7 Cơ chế che dấu cho chuỗi thời gian mất mát dữ liệu. . . . . . . . . . . . . 24
3.1 Mô hình đề xuất. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.1 Các bước trích xuất dữ liệu từ MIMIC-III và tiền xử lý. . . . . . . . . . . 34
4.2 SEPSIS ROC curves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3 MI ROC curves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.4 Vancomycin ROC curves . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.5 SEPSIS Cross ROC curves . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.6 MI Cross ROC curves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.7 Vancomycin Cross ROC curves . . . . . . . . . . . . . . . . . . . . . . . . 44
4.8 Mức độ ảnh hưởng của các đặc trưng lên từng sự kiện mục tiêu theo thứ
tự từ trái qua phải bao gồm: SEPSIS, MI và VANCOMYCIN. . . . . . . . 45
4.9 Mức độ ảnh hưởng của các đặc trưng theo ngày lên từng sự kiện mục tiêu
theo thứ tự từ trái qua phải bao gồm: SEPSIS, MI và VANCOMYCIN. . . 46
x

Danh sách bảng
1.1 Một số loại chuỗi thời gian . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Mô tả các bảng của CSDL MIMIC-III . . . . . . . . . . . . . . . . . . . . 6
2.1 Một số hàm kích hoạt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.1 Ma trận nhầm lẫn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.1 Tham số mô hình . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.3 Kết quả dự báo trong ngày trên các mô hình cho 3 nhiệm vụ dự báo mục
tiêu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.4 Kết quả dự báo cho ngày tiếp theo trên các mô hình cho 3 nhiệm vụ dự
báo mục tiêu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.5 Kết quả dự đoán của các mô hình trên các nhiệm vụ mục tiêu theo ngày. . 39
4.6 Kết quả AUC của LSTM trên các mức độ dữ liệu khác nhau với đánh giá
trong ngày và đánh giá cho 1 ngày tiếp theo . . . . . . . . . . . . . . . . . 41
4.7 Kết quả AUC của Attention+LSTM trên các mức độ dữ liệu khác nhau
với đánh giá trong ngày và đánh giá cho 1 ngày tiếp theo . . . . . . . . . . 41
4.8 Kết quả AUC của mô hình BiLSTM trên các mức độ dữ liệu khác nhau
4.9 Kết quả AUC của Attention+BiLSTM trên các mức độ dữ liệu khác nhau
xi

Mở đầu
Chăm sóc sức khỏe là một trong những ứng dụng nổi bật của khai phá dữ liệu và
học máy, nó đã thu hút được sự quan tâm nghiên cứu của cộng đồng nghiên cứu
trong thời gian gần đây. Điều này có được phải kể đến việc áp dụng rộng rãi hồ
sơ sức khỏe điện tử (EHR – Electronic Heath Records) trong đời sống xã hội, tạo
ra một nguồn dữ liệu lâm sàng kĩ thuật số vô cùng phong phú, ví dụ: các đơn vị
chăm sóc tăng cường (ICU – Intensive Care Unit), thường bao gồm các giá trị đa
biến được quan sát theo chuỗi thời gian tương ứng với các phép đo cảm biến,
kết quả xét nghiệm và các đánh giá chủ quan khác.
Hình 1: Sự phổ biến của hồ sơ sức khỏe điện tử
Một thách thức phổ biến trong chăm sóc sức khỏe hiện nay là các bác sĩ có quyền
truy cập vào một lượng lớn dữ liệu về bệnh nhân, nhưng có ít thời gian cũng như công
cụ hỗ trợ để đưa ra quyết định điều trị. Hỗ trợ ra quyết định dự đoán về kết quả lâm sàng
xii

tại thời điểm chăm sóc dành riêng cho bệnh nhân đóng vai trò quan trọng trong chẩn
đoán y học. Hồ sơ sức khỏe điện tử hiện rất phổ biến trong chăm sóc sức khỏe trên thế
giới. Những dữ liệu này đang được sử dụng với tần suất tăng dần để dự đoán các sự
kiện trong tương lai. Trong khi các mô hình dự đoán đã được phát triển để dự đoán nhu
cầu, hầu hết các công việc hiện tại đã tập trung vào các mô hình dự đoán chuyên biệt dự
đoán một tập hợp kết quả hạn chế. Tuy nhiên, thực hành lâm sàng hàng ngày liên quan
đến sự pha trộn không theo lịch trình và không đồng nhất của các kịch bản và cần các
mô hình dự đoán khác nhau trong hàng trăm đến hàng ngàn bản ghi. Việc phát triển và
triển khai các mô hình chuyên ngành từng cái một là không thực tế.
Cùng với sự phát triển của mạng nơ ron học sâu, nhiều mô hình được đề
xuất cho bài toán phân tích dữ liệu lâm sàng [23, 28]. Phương pháp cổ điển để
phân tích dữ liệu chăm sóc sức khỏe tập trung vào việc trích xuất các đặc
trưng được xử lý bằng tay và xây dựng các mô hình dự đoán theo nhiệm vụ
cụ thể. Các mô hình học máy thường đối mặt với thách thức là các yếu tố như
nhu cầu phụ thuộc dài hạn, lấy mẫu không đều và các giá trị bị thiếu.
Trong những năm gần đây, mạng nơ ron hồi quy RNN dựa trên bộ nhớ dài ngắn
hạn LSTM đã trở thành giải pháp thực tế để xử lý dữ liệu chuỗi thời gian lâm sàng. RNN
được thiết kế để mô hình hóa dữ liệu có độ dài khác nhau và đã đạt được các kết quả
tiên tiến trong mô hình hóa trình tự, chú thích hình ảnh và gần đây trong chẩn đoán lâm
sàng. Hơn nữa, các LSTM có hiệu quả trong việc khai thác các phụ thuộc tầm xa và xử
lý phi tuyến. Các RNN thực hiện tính toán tại mỗi vị trí của chuỗi thời gian bằng cách tạo
ra một chuỗi các trạng thái ẩn dưới dạng hàm của trạng thái ẩn trước đó và đầu vào cho
vị trí hiện tại. Bản chất tuần tự vốn có này làm cho việc song song hóa thách thức.
Mặc dù những nỗ lực để cải thiện hiệu quả tính toán mô hình tuần tự đã xuất
hiện gần đây, một số hạn chế vẫn còn tồn tại. Công trình gần đây của Vaswani và
cộng sự [29] lập luận rằng các cơ chế chú ý, mà không có bất kỳ sự tái phát, có thể
có hiệu quả trong các nhiệm vụ mô hình hóa theo trình tự. Các cơ chế chú ý
(Attention Mechanism) được sử dụng để mô hình hóa các phụ thuộc theo trình tự mà
không quan tâm đến khoảng cách thực tế của chúng trong chuỗi [1].
Do đó, luận văn quan tâm đến việc áp dụng các mô hình học sâu vào việc phân
tích dữ liệu lâm sàng, cụ thể là bài toán dự đoán sự kiện lâm sàng hỗ trợ cho việc ra
quyết định trong chẩn đoán lâm sàng sử dụng dữ liệu hồ sơ sức khỏe điện tử.
xiii

Các đóng góp chính của luận văn
Luận văn sẽ xây dựng một mô hình học sâu áp dụng cơ chế chú ý kết
hợp với bộ nhớ dài ngắn hạn hai chiều với mục đích dự đoán sự kiện lâm
sàng cho 3 sự kiện mục tiêu đó là Nhiễm trùng máu (SEPSIS), Nhồi máu
cơ tim (MI), và nồng độ Vancomycin trong huyết thanh sau 24 giờ dùng
thuốc Vancomycin hỗ trợ trong việc ra quyết định chẩn đoán lâm sàng.
Đồng thời, luận văn trích xuất các đặc trưng tương ứng với 3 sự kiện mục tiêu
từ cơ sở dữ liệu MIMIC-III và xây dựng mô hình cơ sở sử dụng các mô hình
độc lập: Mạng bộ nhớ dài ngắn hạn, Cơ chế chú ý và Mạng bộ nhớ dài ngắn
hạn hai chiều để làm nổi bật tính hiệu quả của mô hình kết hợp đề xuất.
Luận văn cũng nghiên cứu và đánh giá sự đóng góp của các đặc trưng
đối với từng sự kiện mục tiêu nhằm tăng hiệu suất cho mô hình và cung
cấp cái nhìn sâu sắc hữu ích về một số khía cạnh của phương pháp mà
luận văn đề xuất trong các nghiên cứu tương lai.
Ngoài phần Mở đầu và Kết luận, luận văn được cấu trúc bao gồm các Chương
sau:
Chương 1: Khái quát bài toán phân tích chuỗi thời gian lâm sàng: Trong
chương ngày, luận văn giới thiệu sơ lược về bài toán phân tích dữ liệu chuỗi thời gian
lâm sàng nói chung và bài toán dự đoán sự kiện lâm sàng nói riêng. Bên cạnh đó, luận
văn giới thiệu về các phương pháp tiếp cận phổ biến trong phân tích và dự đoán chuỗi
thời gian lâm sàng và các nghiên cứu liên quan.Luận văn đồng thời phân tích các khó
khăn và thách thức của bài toán và phát biểu bài toán sẽ triển khai trong luận văn này.
Chương 2: Mô hình bộ nhớ dài ngắn hạn hai chiều BiLSTM: Trong
chương này, luận văn giới thiệu về mô hình BiLSTM. Đồng thời, luận văn trình
bày các kiến thức nền tảng về trí tuệ nhân tạo, các mô hình học sâu cơ sở
như mạng nơ-ron hồi quy, bộ nhờ dài ngắn hạn, cơ chế chú ý... và các kĩ
thuật xử lý dữ liệu được sử dụng trong luận văn
Chương 3: Mô hình dự đoán sự kiện lâm sàng sử dụng cơ chế
Attention kết hợp kĩ thuật BiLSTM: Trong chương này, luận văn đầu tiên
giới thiệu về các mô hình đề xuất của luận văn.
Chương 4: Thực nghiệm và kết quả: Luận văn trình bày chi tiết về môi trường
thực nghiệm, chi tiết các pha trong quá trình triển khai mô hình, các kịch bản thực
nghiệm và tham số của mô hình. Luận văn đồng thời trình bày chi tiết kết quả đạt được
xiv

và đưa ra nhận xét.
Kết luận: Trình bày tổng kết lại các đóng góp của luận văn và các kết
quả đã đạt được. Các điểm hạn chế cũng như kế hoạch cải tiến mô hình đề
xuất trong tương lai sẽ được trình bày trong chương này.
xv

Chương 1
Khái quát bài toán phân tích
chuỗi thời gian lâm sàng
1.1 Giới thiệu về phân tích chuỗi thời gian lâm sàng
1.1.1 Giới thiệu về chuỗi thời gian
Một chuỗi thời gian là một tập hợp các quan sát được thực hiện tuần tự theo
thời gian. Thời gian tiến hành quan sát có thể thường xuyên hoặc khoảng
cách không đều. Hơn nữa, thời gian có thể liên tục hoặc rời rạc [26].
Định nghĩa:
Theo [4], một chuỗi thời gian được định nghĩa như sau:
Với k 2 N; T 2 R, một hàm x : T ! Rk
; t ! xt, tương đương với một tập các chỉ
mục xtjxt 2 R; t 2 T được gọi là một chuỗi thời gian được quan sát. Chúng ta
cũng có thể viết tương đương xt(t 2 T ) hoặc (xt)t2T
Với kN; T R, một không gian xác suất ( ; F; P ), hay một tập các chỉ mục
của các biến ngẫu nhiên XtjX + t 2 Rk
; t 2 T; (Xt)t2T P được gọi là một chuỗi thời
gian hay một mô hình chuỗi thời gian. Trong đó, = (Rk
)
T
là không gian của hàm
X : T ! Rk
, F là đại số trong , P là xác suất trên ( ; F).
Bảng 1.1 mô tả một số loại chuỗi thời gian Xt 2 R(t 2 T; T 6= ;)
1

Bảng 1.1: Một số loại chuỗi thời gian
Giá trị Thuật ngữ
k = 1 Chuỗi thời gian đơn biến
k 2 Chuỗi thời gian đa biến
T đếm được, 8a < b 2 R : T [a; b] hữu hạn Thời gian rời rạc
T rời rạc, 9u 2 R+s; t; tj+1 tj = u Thời gian bình đẳng
T = [a; b](a < b 2 R); t = R+ hoặc T = R Thời gian liên tục
1.1.2 Giới thiệu về bài toán phân tích chuỗi thời gian lâm sàng
Thập kỷ qua đã chứng kiến sự bùng nổ về lượng thông tin kỹ thuật số được lưu trữ
trong hồ sơ sức khỏe điện tử (EHR).Các hệ thống EHR lưu trữ dữ liệu liên quan đến
mỗi lần gặp bệnh nhân, bao gồm thông tin nhân khẩu học, chẩn đoán, xét nghiệm và
kết quả trong phòng thí nghiệm, đơn thuốc, hình ảnh X quang, ghi chú lâm sàng và
nhiều hơn nữa [5]. Mặc dù được thiết kế chủ yếu để cải thiện hiệu quả chăm sóc sức
khỏe từ quan điểm vận hành, nhiều nghiên cứu đã tìm thấy việc sử dụng cho các
ứng dụng tin học lâm sàng [6, 16]. Cụ thể, dữ liệu bệnh nhân có trong các hệ thống
EHR đã được sử dụng cho các nhiệm vụ như trích xuất khái niệm y tế [17, 24], mô
hình quỹ đạo bệnh nhân [11], suy luận bệnh tật [20]. Trong cùng thời gian, cộng
đồng học máy đã chứng kiến những tiến bộ rộng rãi trong lĩnh vực học sâu và ứng
dụng trong phân tích hồ sơ sức khỏe điện tử.
Việc sử dụng các hệ thống EHR đã tăng lên rất nhiều ở cả bệnh viện và cơ sở
chăm sóc xe cứu thương [6, 7]. Việc sử dụng EHR tại bệnh viện và phòng khám có
khả năng cải thiện chăm sóc bệnh nhân bằng cách giảm thiểu sai sót, tăng hiệu quả
và cải thiện sự phối hợp chăm sóc, đồng thời cung cấp nguồn dữ liệu phong phú cho
các nhà nghiên cứu. Các hệ thống EHR có thể khác nhau về chức năng, nhưng ngay
cả các hệ thống EHR cơ bản cũng có thể cung cấp nhiều thông tin về tiểu sử bệnh,
các biến chứng và lịch sử sử dụng thuốc của bệnh nhân [7].
Cho đến vài năm trước, hầu hết các kỹ thuật phân tích dữ liệu EHR phong phú đều
dựa trên các kỹ thuật thống kê và học máy truyền thống như hồi quy logistic, máy vectơ
hỗ trợ (SVM) và rừng ngẫu nhiên [19]. Gần đây, các kỹ thuật học sâu đã đạt được thành
công lớn trong nhiều lĩnh vực thông qua xây dựng mạng nơ-ron nhân tạo và nắm bắt các
phụ thuộc tầm xa trong dữ liệu theo cách hiệu quả [21]. Do sự gia tăng phổ biến của các
2

phương pháp học sâu và số lượng dữ liệu bệnh nhân ngày càng lớn, cũng đã có
sự gia tăng số lượng nghiên cứu áp dụng học sâu vào dữ liệu EHR cho các
nhiệm vụ tin học lâm sàng [9, 17, 25], mang lại hiệu suất tốt hơn các phương
pháp truyền thống và yêu cầu kỹ thuật tiền xử lý và tính năng tốn ít thời gian hơn.
Hồ sơ y tế điện tử của mỗi bệnh nhân có thể được biểu diễn dưới dạng
một chuỗi thời gian đa biến (multivariate time series). Giả sử chúng ta có r
biến quan sát, bệnh nhân thứ n trong số N bệnh nhân có thể được biểu diễn
bằng một chuỗi T
(n)
với các bộ (t
(
i
n)
; (x
(
i
n)
2 R Rr
trong đó i = 1; : : : ; T
(n)
. Dấu
thời gian t
(
i
n)
biểu thị lần nhập viện thứ i của bệnh nhân thứ n và T
(n)
là số lượt
khám của bệnh nhân n. Mục tiêu của mô hình dự đoán là để dự đoán nhãn ở mỗi
bước yi 2 0; 1
s
hoặc ở cuối dãy yi 2 0; 1
s
. Số lượng các nhãn có thể nhiều hơn 1.
Ví dụ: Trong mô hình trình tự truy cập (ESM) [8], mỗi lần truy cập hay một lần nhập
viện của một bệnh nhân, trình tự truy cập được thể hiện bằng một bộ mã số y tế khác
nhau c1; c2; : : : ; cn. cj là mã thứ j từ từ vựng C. Do đó, trong ESM, số lượng biến
r = jCj và đầu vào xi 2 0; 1jCj
là một vector nhị phân trong đó giá trị của thứ j chỉ ra rằng
cj là dữ liệu của lần truy cập thứ i. Đưa ra một chuỗi các lượt truy cập x1; x2; : : : ; xT ,
mục tiêu của ESM là tại mỗi bước thời gian i, cần phải dự đoán mã tương ứng
cho lần truy cập x2; x3; : : : ; xT +1 với số lượng nhãn là s = jCj.
Trong trường hợp học mã (L2D) hay dự đoán mã cho chuỗi thời gian lâm sàng[22],
vector đầu vào xi chứa các giá trị liên tục đo được trong quá trình điều trị. Giả sử có r các
giá trị đo được khác nhau, thì xi 2 Rr
. Mục tiêu của L2D là đưa một chuỗi đầu vào x1; x2; : : : ;
xT để dự đoán sự xuất hiện của một bệnh cụ thẻ s = 1 hoặc nhiều bệnh (s > 1). Không mất
tính tổng quát, L2D có thể được xem là một trường hợp đặc biệt của
ESM.
1.2 Các phương pháp phân tích chuỗi thời gian lâm sàng
1.2.1 Hệ thống chấm điểm trong ICU
Thang đo nghiêm trọng là những điều chỉnh quan trọng trong điều trị tại khoa chăm sóc
đặc biệt (ICU) để dự đoán kết quả điều trị của bệnh nhân, so sánh chất lượng chăm sóc
và phân tầng cho các thử nghiệm lâm sàng. Mặc dù điểm số nghiêm trọng của bệnh
không phải là yếu tố chính của điều trị, tuy nhiên, chúng là một phần thiết yếu của sự cải
thiện trong các quyết định lâm sàng và trong việc xác định bệnh nhân có kết quả không
mong muốn. Các mô hình dự đoán phải đối mặt với nhiều thách thức, nhưng, việc áp
3

dụng đúng các mô hình này sẽ giúp đưa ra quyết định đúng lúc và giảm chi phí bệnh
viện. Trên thực tế, chúng đã trở thành một công cụ cần thiết để mô tả các quần thể ICU
và để giải thích sự khác biệt về tỷ lệ tử vong. Tuy nhiên, cũng cần lưu ý rằng việc lựa
chọn thang điểm, chỉ số hoặc mô hình điểm nghiêm trọng phải phù hợp chính xác với sự
kiện, cài đặt hoặc ứng dụng; khi áp dụng sai, các hệ thống như vậy có thể dẫn đến lãng
phí thời gian, tăng chi phí, ngoại suy không chính đáng và khoa học kém. Bài viết này
cung cấp một cái nhìn tổng quan ngắn gọn về thang đo mức độ nghiêm trọng của ICU
(cùng với các tính toán tỷ lệ tử vong / tỷ lệ sống dự đoán của họ) được phát triển trong 3
thập kỷ qua, bao gồm một vài trong số chúng đã được sửa đổi cho phù hợp.
Trong hầu hết các hệ thống tính điểm, điểm số được tính từ dữ liệu thu thập được
vào ngày đầu tiên của ICU - sinh lý cấp tính và đánh giá sức khỏe mãn tính (APACHE),
điểm sinh lý cấp tính đơn giản (SAPS) và mô hình dự đoán tử vong (MPM). Những
người khác lặp đi lặp lại và thu thập dữ liệu mỗi ngày trong suốt thời gian ở ICU hoặc
trong 3 ngày đầu tiên - rối loạn chức năng nội tạng và hệ thống nhiễm trùng (ODIN),
đánh giá suy cơ quan tuần tự (SOFA), điểm rối loạn chức năng đa cơ quan (MODS), rối
loạn chức năng cơ quan hậu cần (LOD) mô hình và kết quả kiểm tra lại ICU trong ba
ngày (TRIOS). Điểm số có thể là chủ quan hoặc khách quan. [5] Điểm số chủ quan được
thiết lập bởi một nhóm các chuyên gia chọn các biến và gán trọng số cho từng biến dựa
trên ý kiến cá nhân của họ. Ví dụ: APACHE II, ODIN và SOFA. Các biến số điểm khách
quan được thu thập bằng cách sử dụng các kỹ thuật mô hình hồi quy logistic và phán
đoán lâm sàng để xác định phạm vi và để gán trọng số. Ví dụ: APACHE III, SAPS II,
MPM II, MODS, điểm LOD (LODS) và TRIOS.
1.2.2 Điểm chuẩn của các mô hình học sâu trên bộ dữ liệu chăm sóc
sức khỏe lớn MIMIC-III
1.2.2.1 Giới thiệu về MIMIC-III
Bộ dữ liệu MIMIC-III bao gồm các dữ liệu y tế được thu thập tại Trung tâm y tế Beth Israel
Deaconess ở Boston, Massachusetts, Hoa Kỳ. Bộ dữ liệu này chứa dữ liệu từ 38.597 bệnh
nhân khác nhau, được thu thập từ năm 2001 đến 2012. Đồng thời, nó được kết hợ từ hai cơ
sở dữ liệu riêng biệt đó là cơ sở dữ liệu CareVue và cơ sở dữ liệu Metavision.
Trái với dữ liệu của Bệnh viện Đại học Ghent, MIMIC-III không chỉ chứa các thông
số liên quan đến chẩn đoán cấy máu. Một loạt các chẩn đoán được lưu giữ trong cơ sở
dữ liệu. Nó nhằm mục đích cung cấp một bộ sưu tập dữ liệu đa dạng cho các loại phân
4

tích y tế khác nhau. Mặc dù MIMIC-III là một cơ sở dữ liệu mở, quyền truy cập chỉ
được cấp sau khi hoàn thành một quy trình được xác định. Việc hoàn thành chương
trình Sáng kiến Đào tạo Thể chế Hợp tác (CITI) liên quan đến dữ liệu hoặc nghiên
cứu mẫu vật cần phải được chứng minh. Hơn nữa, danh tính và viện nghiên cứu liên
kết của người nộp đơn được xem xét. MIMIC-III xây dựng thêm dựa trên cơ sở dữ
liệu MIMIC-II phổ biến đã được sử dụng trong nhiều nghiên cứu khác nhau.
Trong quá trình hoàn thành luận văn này, tôi đã hoàn thành chương trình
đào tạo liên quan đến dữ liệu nói trên và được cấp quyền truy cập cơ sở dữ
liệu MIMIC-III. Giấy chứng nhận được đặt tại Phụ lục.
Hình 1.1: Mô hình xây dựng MIMIC-III.
Các bảng của bộ dữ liệu này được trình bày chi tiết tại Bảng 1.2.
5

Bảng 1.2: Mô tả các bảng của CSDL MIMIC-III
STT Tên file Shape Tóm tắt
1 ADMISSIONS (58976, 19) Bảng ADMISSIONS đưa ra các thông tin liên quan đến một bệnh nhân nhập
viện.
2 CALLOUT (34499, 24) Bảng CALLOUT cung cấp thông tin về kế hoạch xả thải ICU.
3 CAREGIVERS (7567, 4) Bảng này cung cấp các thông tin liên quan đến người chăm sóc. Ví dụ, nó sẽ xác
định người chăm sóc là y tá, bác sĩ y khoa...
4 CHARTEVENTS (330712483, 15) CHARTEVENT chứa tất cả các dữ liệu biểu đồ có sẵn cho một bệnh nhân.
5 CVEVENTS (573146, 12) Bảng CPTEVENT chứa danh sách các mã thuật ngữ của thủ tục hiện tại được
6
lập hóa đơn cho bệnh nhân. Điều này có thể hữu ích để xác định xem các quy
trình nhất định đã được thực hiện chưa.
6 D_CPT (134, 9) Bảng này cung cấp một số thông tin cấp cao về mã thuật ngữ thủ tục. Tuy nhiên,
thông tin chi tiết cho các mã riêng lẻ là không có sẵn.
7 D_ICD_DIAGNOSES (14567, 4) Bảng này xác định mã ICD-9 để chẩn đoán. Các mã này được chỉ định ở thời
gian ở lại cuối cùng của bệnh nhân và được bệnh viện sử dụng để lập hóa đơn
chăm sóc. cung cấp.
8 D_ICD_PROCEDURES (3882, 4) Bảng này xác định mã ICD-9 cho các thủ tục. Các mã này được chỉ định ở thời
gian ở lại cuối cùng của bệnh nhâ và được bệnh viện sử dụng để lập hóa đơn
chăm só.c cung cấp.
9 D_ITEMS (12487, 10) Bảng D_ITEMS định nghĩa ITEMID, đại diện cho các phép đo trong cơ sở dữ
liệu.

10 D_LABITEMS (753, 6) D_LABITEMS chứa các định nghĩa cho tất cả ITEMID liên quan đến các phép
đo trong phòng thí nghiệm trong cơ sở dữ liệu MIMIC.
11 DATETIMEEVENTS (4485937,14) Cơ sở dữ liệu chứa tất cả các phép đo thời gian về một bệnh nhân trong ICU.
12 DIAGNOSES_ICD (651047,5) Bảng này xác định mã ICD-9 để chẩn đoán. Các Mã ICD được tạo cho mục đích
thanh toán tạic thời gian kết thúc nằm viện.
13 DRGCODES (125557,8) Bảng này xác định mã HCFA-DRG và APR-DRG cung cấp thông tin liên quan
đến chẩn đoán được ghi nhận chủ yếu cho mục đích thanh toán và hành chính.
7
14 ICUSTAYS (61532, 12) Bảng này cung cấp thông tin liên quan đến thời gian nằm viện của ICU.
15 INPUTEVENTS_CV (17527935, 22) Bảng này chứa dữ liệu của các sự kiện đầu vào chất lỏng (huyết thanh, thuốc
tiêm tĩnh mạch, insulin,...) liên quan đến nguồn cơ sở dữ liệu Carevue trong các
đợt ICU.
16 INPUT_EVENTS_MV (3618991,31) Bảng này chứa dữ liệu đầu vào cho bệnh nhân.
17 LABEVENTS (27854055, 9) Chứa tất cả các phép đo trong phòng thí nghiệm trong một thời gian nhất định
của bệnh nhân, bao gồm cả dữ liệu bệnh nhân.
18 MICROBIOLOGYEVENTS (631726, 16) Chứa thông tin vi sinh, bao gồm các xét nghiệm được thực hiện và độ nhạy cảm.
19 NOTEEVENTS (2083180, 9) Bảng này chứa tất cả các ghi chú thủ công cho bệnh nhân bởi người chăm sóc.
20 OUTPUTEVENTS (4349218,13) Bảng này chứa dữ liệu đầu ra cho bệnh nhân.
21 PATIENTS (46520, 8) Bảng này chứa dữ liệu nhập viện cho tất cả các bệnh nhân nh: giới tính, ngày
sinh,...

22 PRESCRIPTIONS (4156450, 19) Bảng này chứa các mục nhập đơn hàng liên quan đến thuốc, hay đơn thuốc.
23 PROCEDUREEVENTS_MV (258066, 25) Bảng này chứa các quy trình cho bệnh nhân
24 PROCEDURES_ICD (17527935, 22) Chứa các thủ tục ICD cho bệnh nhân, đáng chú ý nhất là các thủ tục ICD-9. Các
mã ICD được tạo cho mục đích thanh toán và được ghi nhận cho tất cả các bệnh
nhân nhập viện.
25 SERVICES (73343, 6) Bảng SERVICES mô tả dịch vụ kèm theo khi bệnh nhân được nhập viện. Các
dịch vụ này có thể tự chọn hoặc phát sinh trong quá trình điều trị.
8
26 TRANSFERS (261897, 13) Bảng này chứa các vị trí thực tế cho bệnh nhân trong suốt thời gian nằm viện

1.2.2.2 Điểm chuẩn của các mô hình học sâu trên MIMIC-III
Một yếu tố quan trọng đã thách thức nghiên cứu học máy đối với chẩn đoán lâm
sàng là thiếu các tiêu chuẩn được chấp nhận phổ biến để đánh giá chặt chẽ các
kỹ thuật mô hình hóa. Do đó, trong [14] các tác giả đã đề xuất điểm chuẩn công
khai cho bốn nhiệm vụ lâm sàng khác nhau: dự đoán tỷ lệ tử vong, phát hiện mất
bù sinh lý, dự báo thời gian lưu trú và kiểu hình. Các điểm chuẩn này được hỗ trợ
bởi Cơ sở dữ liệu thông tin y tế cho chăm sóc chuyên sâu (Medical Information
Mart for Intensive Care MIMIC-III) [18], đây là kho lưu trữ dữ liệu lâm sàng phong
phú công khai lớn nhất hiện có. Trong [18, 22], các tác giả cho rằng RNNs với
các tế bào LSTM vượt trội hơn tất cả các mô hình baseline hiện có.
Dự đoán tử vong tại bệnh viện: dự đoán tỷ lệ tử vong tại bệnh viện dựa
trên 48 giờ đầu tiên của ICU. Đây là một nhiệm vụ phân loại nhị phân với
độ đo đánh giá sử dụng AUC-ROC.
Phát hiện mất bù sinh lý: dự đoán liệu sức khỏe của bệnh nhân có bị suy giảm
nhanh chóng trong 24 giờ tới hay không. Các mục tiêu của nhiệm vụ này là thay
thế điểm cảnh báo sớm hiện đang được sử dụng trong các bệnh viện. Do thiếu tiêu
chuẩn để đánh giá điểm cảnh báo sớm, [14] theo dõi công việc trước đó và xác
định nhiệm vụ của họ là dự đoán tử vong trong 24 giờ ở lại ICU. Điều quan trọng
cần lưu ý là định nghĩa này đi lệch khỏi ý nghĩa cốt lõi của mất bù, và nhiệm vụ trở
nên tương tự như dự đoán tử vong. Mặt khác, họ tin rằng đây là nhiệm vụ gần nhất
để dự đoán mất bù mà người ta có thể có được các nhãn chính xác từ cơ sở dữ
liệu MIMIC-III. Mỗi trường hợp này nhiệm vụ là một ví dụ phân loại nhị phân.
Tương tự như dự đoán tử vong trong bệnh viện, độ đo chính là AUC-ROC.
Dự đoán thời gian lưu trú: dự đoán thời gian còn lại dành cho ICU vào mỗi
giờ ở lại. Dự đoán chính xác thời gian lưu trú còn lại rất quan trọng để lên lịch
và quản lý tài nguyên bệnh viện.Tác giả coi nhiệm vụ này như là một phân loại
đa nhãn với 10 lớp/nhóm (một cho ICU ngắn hơn một ngày, 7 ngày của tuần
đầu tiên, ở lại trên một tuần nhưng ít hơn hai tuần và cho ở lại hơn hai tuần).
Độ đo chính cho nhiệm vụ này là điểm số kappa có trọng số tuyến tính Cohen.
Phân loại kiểu hình phân loại trong số 25 điều kiện chăm sóc cấp tính có
trong một kiểu bệnh nhân lưu hồ sơ ICU nhất định. Vấn đề này là một
vấn đề phân loại đa nhãn với AUC-ROC trung bình vĩ mô là độ đo chính
9

1.3 Khó khăn và thách thức trong phân tích chuỗi thời
gian lâm sàng
Dữ liệu EHR đang ngày càng được sử dụng rộng rãi tại các trung tâm chăm
sóc sức khỏe trên toàn thế giới. Cùng với sự bùng nổ về dữ liệu là rất nhiều
vấn đề còn tồn tại trong dữ liệu này. Có thể kể đến các yếu tố sau đây:
Tính đầy đủ: Các thông tin về bệnh nhân không phải lúc nào cũng được trình
bày hoàn toàn trong cơ sở dữ liệu EHR. Ngay cả với một giao diện người dùng
chuẩn thu thập dữ liệu bệnh nhân một cách có hệ thống, EHR vẫn không có
đầy đủ thông tin của người bệnh. Có nhiều lý do cho việc này, ví dụ: (1) thiếu
ghi chép tỉ mỉ thông tin bệnh nhân trong EHRs; (2) bác sĩ không thể xác định
các điều kiện cụ thể như tác dụng phụ của thuốc; (3) khi có nhiều bác sĩ cùng
tham gia điều trị cho một bệnh nhân và gặp nhiều vấn đề trong việc trao đổi
thông tin và cập nhật chúng kịp thời; và (4) khó khăn trong việc tích hợp các hệ
thống EHR khác nhau được sử dụng bởi các bệnh viện khác nhau, kết quả là
dữ liệu của bệnh nhân có thể bị mất khi bệnh nhân chuyển bệnh viện.
Tính chính xác: Thông tin được cập nhật trong EHR cần phải có tính chính xác
cao. Thực tế, thông tin quan trọng thường tồn tại trong hình dạng của thông tin
không đủ cụ thể. Ví dụ, hồ sơ bệnh nhân có thể chứa chẩn đoán một rối loạn
da nói chung trong khi tình trạng cơ bản thực sự là do thuốc rối loạn da. Theo
Ủy ban Y tế Quốc gia Thụy Điển, trong một đánh giá của 4200 hồ sơ sức khỏe,
khoảng 20% các mã được gán trong EHRs đã được tìm thấy có lỗi lớn.
Độ phức tạp: Điều này chủ yếu đề cập đến độ phức tạp của dữ liệu trong EHRs.
Các loại dữ liệu không đồng nhất vẫn còn tồn tại rất nhiều trong EHRs làm nổi bật
những khó khăn trong việc phân tích chúng. Những khó khăn không chỉ xuất hiện
trong việc kết hợp các loại dữ liệu không đồng nhất mà còn xuất hiện trong việc
phân tích chúng một cách riêng biệt. Để xử lý các ghi chú lâm sàng trong văn bản,
phương pháp phổ biến và được sử dụng nhiều đó là xử lý ngôn ngữ tự nhiên. Tuy
nhiên,việc này trở lên phức tạp bởi chất lượng văn bản thấp chứa số lượng lớn
chữ viết tắt trong y tế, lỗi đánh máy và câu không đầy đủ.
Các sự kiện lâm sàng được báo cáo trong EHRs, bao gồm chẩn đoán, thuốc và xét
nghiệm, thường là mang tính tạm thời. Thường có nhiều hơn một loại sự kiện lâm
sàng được báo cáo trong mỗi hồ sơ bệnh nhân, và mỗi sự kiện lâm sàng được báo
10

cáo nhiều lần về tần suất bệnh nhân đến bệnh viện. Khoảng cách thời gian
giữa hai lần đến bệnh viện của mỗi bệnh nhân thường khác nhau. Do đó,
mỗi hồ sơ bệnh nhân bao gồm nhiều chuỗi thời gian với độ dài khác nhau và
khoảng thời gian không đều, làm cho nó đặc biệt khó nắm bắt thông tin thời
gian. Khi chuẩn bị dữ liệu EHR để phân tích, một số thách thức kỹ thuật
khác cũng thường gặp phải, bao gồm cả chiều cao do số lượng lớn lâm
sàng độc đáo. sự kiện; độ thưa thớt cao do mỗi biến lâm sàng chỉ được chia
sẻ bởi một nhóm nhỏ bệnh nhân; dữ liệu bị sai lệch do rất ít hồ sơ sức khỏe
chứa kết quả mục tiêu quan tâm so với những người không.
1.4 Giới thiệu về ba mục tiêu dự báo: Nhiễm trùng huyết,
Nhồi máu cơ tim, và nồng độ Vancomycin
Ba mục tiêu này đã được chọn để làm nổi bật ba kết quả y tế khác nhau được thúc đẩy
bởi các phát hiện trong phòng thí nghiệm, các dấu hiệu quan trọng và thuốc tương ứng.
Vì các mục tiêu này được đo và tính toán hàng ngày, một bệnh nhân có thể có các giá trị
mục tiêu khác nhau vào các ngày khác nhau tùy thuộc vào từng sự kiện mỗi ngày.
1.4.1 Nhiễm trùng huyết
Nhiễm trùng huyết là một trong những nguyên nhân hàng đầu gây tử vong ở bệnh nhân
của đơn vị chăm sóc chuyên sâu. Bệnh này là một trong những nguyên nhân hàng đầu
gây bệnh và cái chết trong ICU, đồng thời sự xuất hiện của nó vẫn tăng lên hàng năm.
Nhiễm trùng huyết gây ra bởi một phản ứng quá mức của cơ thể với nhiễm trùng và có
thể dẫn đến tổn thương mô, suy nội tạng và dẫn đến tử vong. Nhiễm trùng huyết có thể
được điều trị và phục hồi hoàn toàn. Dự đoán khởi phát nhiễm trùng huyết sớm và chính
xác có thể cho phép điều trị tích cực trong khi duy trì quản lý kháng khuẩn. Tuy nhiên,
điều này đòi hỏi phải dùng thuốc kịp thời. Một bệnh nhân xác suất sống sót giảm 7,6%
cho mỗi giờ điều trị bị hoãn [2]. Xem xét vai trò của nhiễm trùng trong nhiễm trùng huyết,
các xét nghiệm thường được thực hiện để xác nhận và xác định chúng. Xét nghiệm cấy
máu(blood culture test) xác định vi khuẩn hoặc nấm gây ra nhiễm trùng. Các xét nghiệm
như vậy được thực hiện khi có nghi ngờ nhiễm trùng huyết. Thực tế, các phương pháp
dự đoán hiện tại cho hiệu suất thấp và thường đòi hỏi thời gian để thu được kết quả xét
nghiệm trong phòng thí nghiệm.
11

1.4.2 Nhồi máu cơ tim
Nhồi máu cơ tim là một bệnh tim mạch do thiếu máu cơ tim cung cấp hoặc thậm chí hoại
tử cơ tim do tắc động mạch vành. Ở giai đoạn đầu của bệnh này, bệnh nhân bị nhồi máu
cơ tim thường có triệu chứng chẳng hạn như đau ngực và tức ngực, nhưng một số bệnh
nhân vẫn không có triệu chứng rõ ràng gây khó khăn trong việc điều trị kịp thời, do đó đe
dọa tính mạng. Do đó, làm thế nào để đạt được sớm chẩn đoán nhồi máu cơ tim có giá
trị lâm sàng quan trọng, và đã trở thành một chủ đề nghiên cứu về nhiều học giả.
1.4.3 Vancomycin
Nồng độ của Vancomycin trong huyết thanh cần nằm trong một phạm vi nhất định đối
với bệnh nhân tại ICU của bệnh viện. Vancomycin được sử dụng rộng rãi cho các
trường hợp nhiễm Staphylococcus aureus (MRSA) kháng methicillin và do đó được
đánh giá cao trong nghiên cứu. Đây là một bệnh nhiễm trùng do vi khuẩn. Khi nồng độ
của thuốc quá cao sẽ gây hại cho bệnh nhân, nhưng khi quá thấp thì không hiệu quả.
1.5 Phát biểu bài toán của luận văn
Đầu vào Dự đoán sự kiện lâm sàng cho mỗi bệnh nhân thường sử dụng một
chuỗi các giá trị về xét nghiệm, nhân khẩu học, thuốc . . . với các bước thời
gian lịch sử là dữ liệu đầu vào được biểu thị bằng một vector như sau:
h i
X
T
=
xT n xT (n 1) : : : xT 2 xT 1
(1.1)
Giả sử ICU bao gồm các P bệnh nhân và chúng ta cần dự đoán sự kiện
xảy ra tương ứng tại thời điểm T sử dụng n khung thời gian lịch sử (các bước),
đầu vào có thể là đặc trưng như một ma trận như sau:
P
2
x2
3 2
xT2 n xT
2
n+1 : : : xT
2
2 xT
2 1
3
x1 x1
n
x1
n+1
: : : x1
2
x1
1
6 ... 7 6
T T T T
7
XT = = ...
...
.
.. ..
.
(1.2)
6 7 6 7
6 x
P
7
6
xP x
P
: : : x
P
x
P
7
6 7 6 T n T n+1 T 2 T 1 7
Với mỗi 4 5 4 5
XT
P
=
h
xT i
n
x
T (n 1) : : :
x
T 2 xT 1 (1.3)
là một vector với m giá trị về kết quả xét nghiệm hay liều lượng thuốc, thông
tin bệnh nhân . . . . (đặc trưng được trích xuất tương ứng với từng sự kiện).

12

Đầu ra:
Đầu ra sẽ là dự báo liên quan đến sự kiện lâm sàng tương ứng tại bước
thời gian T + 1 là x^T +1 = yT
Kết luận chương 1
Trong chương ngày, luận văn giới thiệu sơ lược về chuỗi thời gian và bài toán
phân tích chuỗi thời gian lâm sàng. Bên cạnh đó, luận văn giới thiệu về các
phương pháp tiếp cận phổ biến trong phân tích và dự đoán chuỗi thời gian
lâm sàng và các nghiên cứu liên quan.
Luận văn đồng thời phân tích các khó khăn và thách thức của bài toán và
phát biểu bài toán sẽ triển khai trong luận văn này.
Trong chương tiếp theo, luận văn sẽ trình bày về mô hình BiLSTM và các
mô hình học sâu cơ sở khác sử dụng trong luận văn.
13

Chương 2
Mô hình bộ nhớ dài ngắn
hạn hai chiều BiLSTM
2.1 Mạng nơ-ron nhân tạo
Mạng nơ-ron nhân tạo (Artificial Intelligent - ANN) lấy cảm hứng từ sinh học
được thiết kế để mô phỏng theo cách mà bộ não con người xử lý thông tin.
ANN thu thập kiến thức của nó bằng cách phát hiện các mẫu và mối quan hệ
trong dữ liệu và được huấn luyện thông qua kinh nghiệm.
Hình 2.1: Mạng nơ-ron nhân tạo.
Một mạng nơ-ron nhân tạo được xây dựng từ những thành phần cơ bản là những
nơ-ron nhân tạo chứa lớp đầu vào (input layer), một hoặc nhiều lớp ẩn (hidden layers)
và một lớp đầu ra (output layer). Các đầu vào tiếp nhận kích thích từ đầu ra của những
14

nơ-ron khác hoặc từ môi trường. Mỗi nơ-ron vào có một bộ trọng số (weights) nhằm
khuếch đại tín hiệu kích thích sau đó tất cả sẽ được cộng lại. Tín hiệu sau đó sẽ
được tiếp tục biến đổi nhờ một hàm phi tuyến, thường gọi là hàm kích hoạt (activate
function). Và cuối cùng tín hiệu sẽ được đưa đến đầu ra của nơ-ron để lại trở thành
đầu vào của các nơ-ron khác hoặc trở thành tín hiệu ra của toàn bộ mạng. Khi kết
hợp các nơ-ron lại với nhau ta có một mạng nơ-ron nhân tạo. Tuỳ theo cách thức
liên kết giữa các nơ-ron mà ta có các loại mạng khác nhau như: mạng nơ-ron truyền
thẳng, mạng nơ-ron hồi quy,... Hình 2.1 minh họa một mạng nơ-ron nhân tạo cơ bản.
Trong ANN, rất nhiều tham số (trọng số và độ lệch) cần được điều chỉnh. Thay
đổi giá trị của các tham số này có thể dẫn đến một lượng lớn đầu ra khác nhau.
Không chỉ có vậy, chúng ta cũng có thể tùy chỉnh số lớp và số nơ-ron cho mỗi lớp
lớp. ANN cung cấp khả năng giải quyết vô số bài toán với mức độ phức tạp cao.
Vì vậy, một khi chúng ta có cấu trúc của mạng lưới thần kinh (số lượng nơ-ron, số
lượng lớp,..) chúng ta cần một thuật toán điều chỉnh tập hợp các trọng số để giải quyết bài
toán mà chúng ta đang cố gắng thể hiện. Thuật toán lan truyền ngược (BackPropagation)
thực hiện được điều này. Nếu khởi tạo ngẫu nhiên tất cả các tham số và tính toán đầu ra
của ANN, sẽ thấy rằng kết quả sẽ khác nhiều so với đầu ra mong muốn. Vì vậy, chúng ta có
thể tính toán sự khác biệt giữa đầu ra thực tế của ANN và đầu ra mong muốn (được gọi là
lỗi) và thông qua Gradient Descent, chúng ta có thể giảm thiểu lỗi này. Sử dụng một quy
trình lặp để giảm thiểu giá trị lỗi tối ưu cho các trọng số và độ lệch.
2.2 Mạng truyền thẳng
Cấu trúc mạng nơ-ron truyền thẳng được mô tả trong Hình 2.2, ví dụ về một cấu trúc cho
mạng nơ ron hai lớp. Các biến đầu vào, biến ẩn và các biến đầu ra được biểu diễn bằng
các nút và các tham số trọng số được biểu diễn bởi các liên kết giữa các nút, trong đó
các tham số bias được biểu thị bằng các liên kết đến từ đầu vào bổ sung và các biến ẩn
x0 và z0. Mũi tên biểu thị hướng của luồng thông tin qua mạng trong quá trình truyền.
Các nơ-ron dựa trên sự kết hợp tuyến tính của các hàm cơ sở phi tuyến
cố định j(x) có công thức như sau:
M
Xj
(2.1)
y(x; w) = f( wj j(x))
=1
Trong đó, f(:) là một hàm kích hoạt phi tuyến. Hàm phij(x) phụ thuộc vào các
tham số: trọng số (weight) và bias. Các tham số này có thể điều chỉnh trong quá trình
15

Hình 2.2: Cấu trúc mạng nơ-ron truyền thẳng
huấn luyện. Có nhiều cách để xây dựng các hàm cơ sở phi tuyến. Mạng nơ-
ron sử dụng các hàm cơ sở theo dạng tương tự như Công thức2.1, sao cho
mỗi hàm cơ sở tự nó là hàm phi tuyến của tổ hợp tuyến tính của các đầu vào,
trong đó các hệ số trong tổ hợp tuyến tính là các tham số thích nghi. Định
nghĩa này dẫn đến mô hình mạng thần kinh cơ bản. Đầu tiên chúng ta xây
dựng tổ hợp tuyến tính M của các biến đầu vào x1; : : : ; xD) ở dạng:
D
aj =wji
(1)
xi + wj
(1)
0 (2.2)
Xi
=1
với j = 1; : : : ; M. Trong đó, chỉ số trên là các tham số tương ứng nằm trong lớp
đầu tiên của mạng,wji
(1)
là trọng số và các tham số wj
(1)
0 là độ lệch. Số lượng
aj được gọi là giá trị kích hoạt. Mỗi giá trị kích hoạt này sau đó được chuyển
đổi bằng hàm kích hoạt phi tuyến khác nhau h( ):
zj = h(aj) (2.3)
zj tương ứng với các đầu ra của các hàm cơ sở trong Công thức 2.1.Các
hàm phi tuyến h( ) thường được chọn là các hàm sigmoid hoặc tanh. Theo Công
thức 2.1, các giá trị này lại được kết hợp tuyến tính để kích hoạt đơn vị đầu ra:
M
ak =wkj
(2)
xi + wk
(2)
0 (2.4)
Xj
=1
với k = 1; : : : ; K là số lượng đầu ra. Sự chuyển đổi này tương ứng đến lớp thứ hai của
mạng,wj
(2)
0 là độ lệch. Cuối cùng, đơn vị đầu ra kích hoạt được chuyển đổi bằng cách sử
16

dụng hàm kích hoạt thích hợp để cung cấp một bộ đầu ra mạng yk. Chúng ta có thể kết
hợp các giai đoạn vừa được giải thích để cung cấp chức năng mạng tổng thể như sau:
M D
y(x; w) = ( w
(2)
h( w
(1)
xi + w
(1)
) + w
(2)
) (2.5)
X Xi
j0 k0
kj ji
j=1 =1
Kiến trúc mạng được hiển thị trong Hình2.2 có thể dễ dàng khái quát
bằng cách xem xét các lớp tế bào thần kinh bổ sung. Vấn đề chính là làm thế
nào để tìm giá trị tham số phù hợp cho một tập hợp các dữ liệu huấn luyện.
2.3 Học với mạng nơ-ron
2.3.1 Hàm lỗi và cực tiểu hóa Gradient Descent
Cũng tương tự như các bài toán học máy khác thì quá trình học vẫn là tìm lấy một hàm
lỗi để đánh giá và tìm cách tối ưu hàm lỗi đó để được kết quả hợp lý nhất có thể. Một
cách tiếp cận đơn giản cho vấn đề xác định các tham số mạng là để giảm thiểu tổng
bình phương hàm lỗi. Cho một tập huấn luyện bao gồm một tập các vectơ đầu vào xn,
cho n = 1; : : : ; N, cùng với một tập các vectơ đích tương ứng tn, cực tiểu hóa hàm lỗi:
1 N
X
(2.6)
E(w) = jjtn yn(xn; w)jj
2
2
n=1
Để tìm ra một giá trị nhỏ nhất hợp lý, cần phải chạy thuật toán gradient descent
nhiều lần, mỗi lần sử dụng một vector trọng số được chọn ngẫu nhiên khác nhau.
2.3.2 Lan truyền ngược
Với mỗi điểm dữ liệu trong tập huấn luyện,tổng của hàm lỗi
N
X
E(w) = En(w) (2.7)
n=1
Với một đầu vào xn cụ thể, hàm lỗi của tập huấn luyện là:
En = 1
K (tk yk)
2
(2.8)
2
X
k=1
trong đó yk là đầu ra của nơ-ron k,
và tk tương tứng với yk là:
@En
@yk
tương ứng là mục tiêu. Đạo hàm của hàm lỗi
= yk tk (2.9)

17

Chúng ta có đầu ra của ANN có thể được tính bởi công thức sau:
@En
K
Xk (2)
(2.10)
= tk):yk(1 yk):wkj ]:zj(1 zj):xi
ji
@w(1)
[(yk
=1
2.3.3 Hàm kích hoạt
Mỗi nơ-ron có tín hiệu đầu vào và tín hiệu đầu ra. Đầu ra của một lớp được sử dụng như
đầu vào cho lớp tiếp theo. Do đó, mỗi nơ-ron phải kết hợp tín hiệu đầu vào tín hiệu đầu
ra. Điều này được thực hiện bằng cách tính tổng trọng số của các giá trị đầu vào cộng
với độ lệch và áp dụng hàm kích hoạt . Điều này được đưa ra theo công thức dưới đây:
X
Yk = ( = (wik xi) + bk) (2.11)
i
Trong Công thức 2.11, Yk và bk tương ứng là tín hiệu đầu ra và độ lệch của nơ-
ron k,wik là trọng số của kết nối giữa đầu vào i và nơ-ron k, xi là giá trị của đầu vào i.
Hàm kích hoạt đơn giản nhất là hàm tuyến tính: (x) = x. Điều này có nghĩa
là không có hàm kích hoạt nào được sử dụng. Một phương trình tuyến tính dễ
giải, nhưng nó rất hạn chế trong sự phức tạp. Các hàm kích hoạt khác phổ
biến hơn được trình bày trong Bảng 2.1 và Hình 4.9 bên dưới.
Bảng 2.1: Một số hàm kích hoạt
Tên hàm Công thức Giá trị
Linear x ( ; 1)
Hyperbolic tangent (tanh)
2x
1
tanh(x) = e ( 1; 1)
2x
+1
e
Logistic sigmoid (x) =
1
(0; 1)
1+e x
Rectified linear unit (ReLU) max(0; x) [0; 1)
2.4 Bộ nhớ dài ngắn hạn
2.4.1 Mạng nơ-ron hồi quy
Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) là một mạng nơ-ron thần kinh chứa
các vòng lặp bên trong cho phép thông tin có thể lưu lại được. Một mạng nơ-ron hồi quy có
thể được coi là nhiều bản sao chép của cùng một mạng, trong đó mỗi đầu ra của mạng này
là đầu vào của một mạng sao chép khác. Chuỗi lặp lại các mạng này chính
18

Hình 2.3: Các hàm kích hoạt khác nhau trong mạng nơ-ron nhân tạo
là phân giải của mạng nơ-ron hồi quy, các vòng lặp khiến chúng tạo thành một
chuỗi danh sách các mạng sao chép nhau.
Các kiến trúc của RNN, cũng là cấu trúc cơ bản của LSTM, được trình
bày trong Hình 2.4.
Tại lớp ẩn của RNN, nó nhận vector đầu vào XP
T sinh ra vector đầu ra
YT
. Cấu trúc mở ra của RNN (Hình 2.4) biểu diễn quá trình tính toán tại mỗi
thời điểm lặp t, lớp ẩn duy trì trạng thái ẩn (hidden state) ht và cập nhập dựa
trên lớp đầu vào xt và trạng thái ẩn ht 1 trước đó sử dụng công thức dưới đây:
h
t
=
h
(W
xh
x
t
+ W
hh
h
t 1
+ b
h
)
(2.12)
Trong đó, Wxh là ma trận trọng số từ lớp đầu vào đến lớp ẩn, Whh là ma trận trọng số
giữa hai trạng thái ẩn liên tiếp ht 1 và ht, bh là vector bias của lớp ẩn và h là hàm kích
hoạt để sinh ra trạng thái ẩn. Đầu ra của mạng nơ-ron có thể được biểu diễn như sau:
yt = (Whyht + by) (2.13)
Trong đó, Why là ma trận trọng số từ lớp ẩn đến lớp đầu ra, by là vector bias của lớp đầu
ra và y là hàm kích hoạt của lớp đầu ra.Áp dụng Biểu thức 2.12 và Biểu thức 2.13, các
tham số của RNN được huấn luyện và cập nhật lặp đi lặp lại thông qua phương pháp lan
19

truyền ngược (Back-Probagation). Tại mỗi bước thời gian t, lớp ẩn sẽ sinh ra
một giá trị yt, và đầu ra cuối cùng yT là giá trị dự đoán mong muốn tại bước thời
gian tiếp theo. Nói cách khác, x^T +1 = yT
Mặc dù RNN thể hiện khả năng vượt trội của mô hình với chuỗi thời gian phi
tuyến, tuy nhiên, RNN thông thường gặp phải vấn đề bùng nổ và biến mất đạo
hàm trong quá trình lan truyền ngược. Do đó, nó không có khả năng học từ các
chuỗi thời gian có độ trễ lớn [12], hay các chuỗi thời gian có phụ thuộc dài [3]
0 1 2
Unfold
…
0 1 2
Hình 2.4: Mạng nơ-ron hồi quy.
2.4.2 Mạng bộ nhớ dài ngắn hạn
Để xử lý các vấn đề đã nói ở trên của RNN, một số kiến trúc phức tạp như LSTM
[15] và kiến trúc GRU [10] được đề xuất. Nhiều nghiên cứu đã chứng minh rằng
mạng LSTM hoạt động tốt trên các bài toán theo trình tự với các phụ thuộc dài hạn.
Thành phần khác nhau duy nhất giữa LSTM và RNN là lớp ẩn [12]. Các
lớp ẩn của LSTM còn được gọi là ô hoặc đơn vị (cell). Hình 2.5 minh họa kiến
trúc của một đơn vị bộ nhớ dài ngắn hạn. Giống như RNN, tại mỗi lần lặp t,
một đơn vị LSTM có lớp đầu vào xt và lớp đầu ra ht. Mỗi đơn vị nhận trạng thái
đầu vào cet, trạng thái đầu ra ct và trạng thái đầu ra của đơn vị trước đó ct 1
trong quá trình huấn luyện và cập nhật tham số.
Với cấu trúc cổng, LSTM có thể giải quyết được các phụ thuộc dài hạn để
cho phép các thông tin hữu ích đi qua cổng. Có ba cổng trong một đơn vị LSTM
là cổng đầu vào (input gate) it, cổng quên (forget gate) ft và cổng đầu ra (output
gate) ot tại mỗi bước thời gian t. Đặc biệt, cổng quên giúp LSTM trở thành một mô
hình hiệu quả và có thể mở rộng cho một số vấn đề học tập liên quan đến dữ liệu
tuần tự [13]. Tại mỗi thời điểm t, LSTM tính toán trạng thái ẩn như sau:
20

−1
tanh
σ σ tanh σ
−1
Hình 2.5: Kiến trúc của một đơn vị bộ nhớ dài ngắn hạn LSTM.
it = xtW
i
+ ht 1U
i
+ b
i
ft = xtW
f
+ ht 1U
f
+ b
f
c~t = tanh (xtW
c
+ ht 1U
c
+ b
c
)
ct = it c~t + ft ct 1
ot = (xtW
o
+ ht 1U
o
+ b
o
)
ht = ot tanh (ct)
(2.14)
(2.15)
(2.16)
(2.17)
(2.18)
(2.19)
Trong đó, W
i
, U
i
, W
f
, U
f
, W
c
, U
c
, W
o
, and U
o
là các tham số huấn luyện
mô hình; b
i
, b
f
, b
c
, và b
o
là các giá trị bias; kí hiệu hàm sigmoid, và kí hiệu phép
nhân ma trận.
Đầu ra cuối cùng của một lớp LSTM là một vector với tất cả các đẩu ra
được biểu diễn bởi YT = [hT n; : : : ; ht 1]. Chỉ có phần từ cuối cùng trong vector
đầu ra là hT 1 là giá trị cần dự đoán. Do đó, giá trị dự đoán (^x) cho bước lặp
thời gian tiếp theo T là hT 1. Nói cách khác (^x)T = hT 1.
2.4.3 Bộ nhớ dài ngắn hạn hai chiều
Ý tưởng của BiLSTM xuất phát tự mạng nơ ron hồi quy hai chiều [27], nó xử lý chuỗi
dữ liệu với hai chiều xuôi và ngược với hai lớp ẩn riêng biệt. BiLSTM kết nối hai lớp
ẩn tới cùng một lớp đầu ra. Kiến trúc mở ra của BiLSTM bao gồm một lớp LSTM
truyền thẳng và một lớp LSTM truyền ngược được biểu diễn trong Hình 2.6.
21

Hình 2.6: Kiến trúc mở ra của BiLSTM với ba bước thời gian liên tiếp.
!
Chuỗi đầu ra của lớp truyền thẳng h lần lượt được tính toán sử dụng chuỗi
đầu vào từ thời điểm T n tới thời điểm T 1. Cả hai đầu ra của lớp truyền thẳng và
truyền ngược được tính toán bằng cách suwr dụng biểu thức cập nhật của một
đơn vị LSTM cơ bản đã trình bày tại Mục 2.4.2. BiLSTM sinh ra một vector đầu ra
YT , trong đó, mỗi thành phần được tính toán bằng biểu thức sau:
y
t = ! t t
)
(2.20)
(h ; h
Trong đó, hàm được sử dụng để kết hợp hai chuỗi đầu ra. Nó có thể là
một hàm nối, một hàm tổng, hàm trung bình hoặc một hàm nhân. Tương tự
như một lớp LSTM, đầu ra cuối cùng của một lớp BiLSTM có thẻ được biểu
diễn bởi vector YT = [yT n; : : : ; yT 1. Giá trị cuối cùng yT 1 là giá trị dự đoán cho
bước lặp thời gian tiếp theo.
2.5 Cơ chế chú ý
Trong những năm gần đây, cơ chế chú ý (Attention Mechanism) nhận được nhiều
sự quan tâm và gây được sự chú ý lớn trong cộng đồng học sâu. Cơ chế này
hiện được sử dụng trong một s ốbài toán chẳng hạn như chú thích hình ảnh, tóm
tắt văn bản,.. Các cơ chế chú ý trong mạng lưới thần kinh tương đối dựa trên cơ
chế chú ý thị giác của con người. Sự chú ý thị giác của con người được nghiên
cứu kỹ dẫn đến các mô hình khác nhau, tất cả chúng về cơ bản có thể tập trung
vào vùng có ’độ phân giải cao’ của hình ảnh trong khi hình ảnh xung quanh được
cảm nhận ở ’độ phân giải thấp’ và tiêu cự theo thời gian được điều chỉnh.
22

Cơ chế chú ý ban đầu được phát triển bằng cách sử dụng các mô hình Seq2Seq
liên quan đến dịch máy thần kinh. Trước Cơ chế chú ý, dịch thuật dựa trên việc đọc toàn
bộ câu trước khi cô đọng tất cả thông tin vào một vectơ dài cố định. Kết quả là, một câu
có hàng trăm từ được đại diện bởi một số từ chắc chắn sẽ dẫn đến việc mất thông tin
hoặc dịch không đủ. Vấn đề này được giải quyết một phần bởi cơ chế chú ý. Trình dịch
máy có thể nhận biết tất cả thông tin có trong câu gốc và sau đó tạo từ thích hợp theo từ
hiện tại mà nó hoạt động và với ngữ cảnh. Nó thậm chí có thể cho phép người dịch
’phóng to hoặc thu nhỏ’ (tập trung vào các tính năng cục bộ hoặc toàn cục).
Cơ chế chú ý tuy nhiên không bí ẩn hoặc phức tạp. Nó chỉ đơn giản là
một vectơ được xây dựng bởi các tham số và toán học tinh vi, thường là đầu
ra của lớp dày đặc sử dụng hàm softmax. Nó cũng có thể được đặt ở bất cứ
đâu phù hợp và có khả năng mà kết quả có thể được nâng cao.
Tương tự như kiến trúc Encoder-Decoder cơ bản đó là đặt một vectơ ngữ cảnh
vào khoảng trống của bộ Encoder-Decoder. Để xây dựng một vector ngữ cảnh là khá
đơn giản. Trước hết, để so sánh trạng thái mục tiêu và trạng thái nguồn, chúng tôi
lặp qua tất cả các trạng thái của bộ mã hóa và tạo điểm số cho từng trạng thái trong
bộ mã hóa. Sau đó, hàm sof tmax có thể được sử dụng để bình thường hóa tất cả các
điểm số, dẫn đến phân phối xác suất dựa trên các trạng thái mục tiêu.
ts =
exp score(ht; hs)
[Attention weight] (2.21)
S )
s0=1 exp score(ht
; h
s0
Xs
[Context vector] (2.22)
ct =
P
tshs
at = f(ct; ht) = tanh ([ct; ht]W
c
) [Attention vector] (2.23)
2.6 Cơ chế che dấu
Trong thực tế, dữ liệu y tế điện tử thường bị thiếu một lượng thông tin đáng kế
mà nếu không được xử lý có thể làm giảm tính hợp lệ của các kết luận được
đưa ra. Để giải quyết vấn đề dữ liệu bị thiếu trong dữ liệu y tế điện tử rất phức
tạp bởi thực tế là đôi khi rất khó phân biệt giữa dữ liệu bị thiếu và giá trị âm. Ví
dụ, một bệnh nhân không có tiền sử suy tim có thể thực sự không mắc bệnh
hoặc bác sĩ lâm sàng có thể đơn giản là không ghi nhận tình trạng này.
Đối với vấn đề dự đoán dựa trên mạng LSTM, nếu dữ liệu chuỗi thời gian đầu vào
chứa giá trị thiếu hay giá trị null, mô hình LSTM sẽ thất bại do giá trị null không thể
23

được tính trong quá trình huấn luyện mô hình. Nếu các giá trị bị thiếu được
đặt thành 0 hoặc một số giá trị khác được xác định trước, kết quả huấn luyện
và kiểm thử mô hình sẽ bị sai lệch cao.
Hình 2.7: Cơ chế che dấu cho chuỗi thời gian mất mát dữ liệu.
Hình 2.7 mình họa chi tiết cơ chế che dấu. Với một lớp LSTM, giá trị che
dấu ! được xác định trước thường là 0 hoặc Null và tất cả các giá trị thiếu trong
chuỗi dữ liệu thời gian được đặt là !. Cho một chuỗi thời gian XT , nếu xt là giá trị
bị thiếu, quá trình huấn luyện tại bước thời gian t sẽ được bỏ qua. Do đó, giá trị
tính toán được của ô trạng thái tại bước thời gian t 1 sẽ được truyền trực tiếp tới
bước thời gian t + 1. Trong trường hợp này, đầu ra của bước bước thời gian t
bằng với ! có thể trở thành đầu vào cho lớp tiếp theo. Tương tự, chúng ta có thể
giải quyết vấn đề các giá trị thiếu liên tiếp sử dụng cơ chế che dấu này.
24

Kết luận Chương 2
Trong chương này, luận văn đã giới thiệu về mô hình BiLSTM. Đồng thời, luận
văn trình bày các kiến thức nền tảng về trí tuệ nhân tạo, các mô hình học sâu cơ
sở như mạng nơ-ron hồi quy, bộ nhờ dài ngắn hạn, cơ chế chú ý... và các kĩ
thuật xử lý dữ liệu được sử dụng trong luận văn đó là cơ chế che dấu Masking.
Trong chương tiếp theo, luận văn sẽ trình bày về mô hình đề xuất để dự
đoán sự kiện cho chuỗi thời gian lâm sàng.
25

Chương 3
Mô hình dự đoán sự kiện lâm
sàng sử dụng cơ chế Attention
kết hợp kĩ thuật BiLSTM
3.1 Mô hình đề xuất
Sau khi đã tìm hiểu và phân tích về các phương phân tích chuỗi thời gian lâm
sàng cũng như các kĩ thuật học sâu được trình bày trong Chương 2, luận văn
đề xuất một mô hình dự đoán sự kiện lâm sàng sử dụng cơ chế chú ý
(attention mechanism) kết hợp kĩ thuật BiLSTM được mô tả trong Hình 3.1
3.1.1 Dữ liệu đầu vào của mô hình
Như đã trình bày trong phát biểu bài toán ở cuối Chương 1, luận văn sẽ xây
dựng một mô hình dự đoán sự kiện lâm sàng sử dụng một chuỗi các giá trị về
xét nghiệm, nhân khẩu học, thuốc... tương ứng với các bước thời gian lịch sử
là dữ liệu đầu vào được biểu thị bằng một vector như sau:
h i
X
T
=
xT n xT (n 1) : : : xT 2 xT 1
(3.1)
Giả sử ICU bao gồm các P bệnh nhân và chúng ta cần dự đoán sự kiện
xảy ra tương ứng tại thời điểm T sử dụng n khung thời gian lịch sử (các bước),
đầu vào có thể là đặc trưng như một ma trận như sau:
26

P
2
x2
3 2
xT2 n xT
2
n+1 : : : xT
2
2 xT
2 1
3
x1
x1
n
x1
n+1
: : : x1
2
x1
1
6 ... 7 6
T T T T
7
X
T = = ...
...
.
.. ..
.
(3.2)
6 7 6 7
6 x
P
7
6
xP x
P
: : : x
P
x
P
7
6 7 6 T n T n+1 T 2 T 1 7
4 5 4 5
Với mỗi
XT
P
=
h
xT i
n xT (n 1) : : :
x
T 2
x
T 1 (3.3)
là một vector với m giá trị về kết quả xét nghiệm hay liều lượng thuốc, thông
tin bệnh nhân . . . . (đặc trưng được trích xuất tương ứng với từng sự kiện).
Vector này chính là vector đầu vào của mô hình.
Hình 3.1: Mô hình đề xuất.
3.1.2 Áp dụng cơ chế che dấu
Khi áp dụng mô hình LSTM để dự đoán, nếu dữ liệu chuỗi thời gian đầu vào
chứa giá trị thiếu hay giá trị null, mô hình LSTM sẽ thất bại do giá trị null không
thể được tính trong quá trình huấn luyện mô hình.
Nếu các giá trị bị thiếu được đặt thành 0 hoặc một số giá trị khác được xác định
trước, kết quả huấn luyện và kiểm thử mô hình sẽ bị sai lệch cao. Do đó, luận văn áp
dụng cơ chế che giấu để khắc phục vấn đề thiếu giá trị trong chuỗi thời gian đầu vào.

27

Cơ chế che dấu đã được trình bày chi tiết tại Hình 2.7 trong Chương 2. Với một
lớp LSTM, giá trị che dấu ! được xác định trước thường là 0 hoặc Null và tất cả các
giá trị thiếu trong chuỗi dữ liệu thời gian được đặt là !. Cho một chuỗi thời gian XT ,
nếu xt là giá trị bị thiếu, quá trình huấn luyện tại bước thời gian t sẽ được bỏ qua. Do
đó, giá trị tính toán được của ô trạng thái tại bước thời gian t 1 sẽ được truyền trực
tiếp tới bước thời gian t + 1. Trong trường hợp này, đầu ra của bước bước thời gian t
bằng với ! có thể trở thành đầu vào cho lớp tiếp theo. Tương tự, chúng ta có thể giải
quyết vấn đề các giá trị thiếu liên tiếp sử dụng cơ chế che dấu này
3.1.3 Áp dụng cơ chế chú ý
Một vectơ chú ý học trọng số ai tương ứng với các tính năng xi để tập trung lớp tiếp theo
của mô hình vào các đặc trưng nhất định. Trong hầu hết các ví dụ sử dụng cơ chế chú
ý với các lớp LSTM, ai được huấn luyện để tương ứng với trạng thái nhúng của đơn vị
LSTM tại mỗi thời điểm và một vectơ trạng thái bên trong của đơn vị đó có trọng số theo
trọng số đã học được chuyển sang lớp đầu ra của mạng. Các cơ chế chú ý chủ yếu
được tích hợp vào các mô hình dịch máy để cải thiện hiệu suất thay vì khả năng biểu
diễn. Trong trường hợp dữ liệu y tế, việc biểu diễn trực tiếp một không gian nhúng như
vậy là một thách thức. Các đặc trưng thường bao gồm cả giá trị liên tục và giá trị rời rạc,
bởi vậy nó không dễ dàng chuyển đổi thành các đầu vào riêng biệt.
Để tạo điều kiện cho khả năng diễn giải ở cấp độ của các biến đầu vào, mô hình
đã học trọng số Wk để tính toán sự chú ý ak cho từng đặc trưng qua các bước thời gian:
ak = sof tmax(Wkxk)
Xk đại diện cho một đặc trưng duy nhất theo thời gian. Chuỗi thời gian của
các đặc trưng đầu vào được cân bằng bởi vectơ chú ý đã học này trước khi được
cung cấp cho lớp BiLSTM dưới dạng đầu vào: yk = ak yk
3.1.4 Các lớp BiLSTM
Tương tự như một lớp LSTM, đầu ra cuối cùng của một lớp BiLSTM có thể
được biểu diễn bởi vector YT = [yT n; : : : ; yT 1. Giá trị cuối cùng yT 1 là giá trị
dự đoán cho bước lặp thời gian tiếp theo. Chúng ta có thể chồng nhiều lớp
BiLSTM lên nhau, đầu ra của lớp này sẽ là đầu vào của lớp tiếp theo.
Cuối cùng, Đầu ra của mô hình sẽ là dự báo liên quan đến sự kiện lâm
sàng tương ứng tại bước thời gian T + 1 là x^T +1 = yT
28

Chi tiết về việc xây dựng mạng và các tham số huấn luyện mô hình sẽ
được mô tả chi tiết trong Chương 4: Thực nghiệm và kết quả.
3.2 Phương pháp đánh giá
3.2.1 Ma trận nhầm lẫn
TP (true positive) – mẫu mang nhãn dương được phân lớp đúng vào lớp dương.
FN (false negative) – mẫu mang nhãn dương bị phân lớp sai vào lớp âm.
FP (false positive) – mẫu mang nhãn âm bị phân lớp sai vào lớp dương.
TN (true negative) – mẫu mang nhãn âm được phân lớp đúng vào lớp âm.
Người ta thường quan tâm đến TPR, FNR, FPR, TNR (R - Rate) dựa trên
ma trận nhầm lẫn được mô tả trong Bảng 3.1.
Bảng 3.1: Ma trận nhầm lẫn
Được dự đoán là Dương Được dự đoán là Âm
Thực tế: Dương TPR =
T P
FNR =
F N
(TP+FN) (TP+FN)
Thực tế: Âm FPR =
F P
TNR =
T N
(FP+TN) (FP+TN)
Thật khó để so sánh hai mô hình với độ chính xác thấp và độ hồi tưởng cao
hoặc ngược lại. Vì vậy, để dễ dàng so sánh, độ đo F-Score sẽ được sử dụng. Điểm
F giúp đo Recall và Precision cùng một lúc. F-Score còn được gọi là độ hài hòa.
F _Score = 2 R P (3.4)
R + P
Bên cạnh đó, để đánh giá độ chính xác của một phương pháp xét nghiệm, các
nhà nghiên cứu thường ước tính tỉ lệ dương tính thật (tức là sensitivity - TPR) và tỷ
lệ những người có kết quả xét nghiệm dương tính thực sự mắc bện (PPV).
Sensitivity =
T P
(3.5)
TP +FN
PPV =
T P
(3.6)
TP +FP
29

3.2.2 Đường cong AUC-ROC
Đường cong AUC - ROC là phép đo hiệu suất cho vấn đề phân loại ở các cài đặt ngưỡng
khác nhau. ROC là một đường cong xác suất và AUC đại diện cho mức độ hoặc thước đo
độ phân tách. Nó cho biết bao nhiêu mô hình có khả năng phân biệt giữa các lớp. AUC càng
cao, mô hình càng tốt khi dự đoán 0 là 0 và 1 là 1. Bằng cách tương tự, AUC cao hơn, mô
hình tốt hơn là phân biệt giữa bệnh nhân mắc bệnh và không có bệnh.
Đường cong ROC được vẽ với Sensitivity so với Specificity trong đó TPR
nằm trên trục y và FPR nằm trên trục x.
30

Kết luận Chương 3
Trong chương này, luận văn đã trình bày về mô hình đề xuất để dự đoán sự kiện
cho chuỗi thời gian lâm sàng áp dụng cơ chế chú ý kết hợp với kĩ thuật BiLSTM.
Trong chương tiếp theo, luận văn sẽ mô tả các bước thực nghiệm, kịch
bản thực hiện và kết quả đạt được của mô hình đã đề xuất.
31

Chương 4
Thực nghiệm và kết quả

Các mô hình học sâu tiên tiến và ứng dụng trong phân tích chuỗi thời gian lâm sàng.doc

Recommended

Recommended

More Related Content

Similar to Các mô hình học sâu tiên tiến và ứng dụng trong phân tích chuỗi thời gian lâm sàng.doc

Similar to Các mô hình học sâu tiên tiến và ứng dụng trong phân tích chuỗi thời gian lâm sàng.doc (20)

More from Dịch vụ viết thuê đề tài trọn gói ☎☎☎ Liên hệ ZALO/TELE: 0973.287.149 👍👍

More from Dịch vụ viết thuê đề tài trọn gói ☎☎☎ Liên hệ ZALO/TELE: 0973.287.149 👍👍 (20)

Recently uploaded

Recently uploaded (20)

Các mô hình học sâu tiên tiến và ứng dụng trong phân tích chuỗi thời gian lâm sàng.doc