jurnalkankerserviksmenggunakangambarkolposkopi.pdf

Diagnosis Kanker Serviks Berbantuan Komputer
menggunakan Gambar Kolposkopik Time-lapsed
dan kematian [1, 2]. Namun demikian, kanker serviks tumbuh lambat,
sehingga perkembangannya melalui perubahan prakanker memberikan
peluang untuk pencegahan, deteksi dini, dan pengobatan. Untuk itu, pada
tahun 2018, Direktur Jenderal Organisasi Kesehatan Dunia (WHO)
mengumumkan seruan global untuk bertindak menuju eliminasi kanker
serviks [3]. Tantangan utama eliminasi kanker serviks berpusat pada negara
berpenghasilan rendah dan menengah (LMICs) di mana diskriminasi gender
dan kemiskinan ekstrem sangat membatasi pilihan wanita untuk mencari
perawatan—mengakibatkan lebih dari 88% kematian akibat kanker serviks
[2].
Kanker SERVIKS menempati urutan keempat terbanyak
I. PENDAHULUAN
Saat ini terdapat beberapa alat skrining, antara lain pemeriksaan sitologi
servikal (Pap test) dan pemeriksaan human papillomavirus (HPV), untuk
kanker serviks dengan mendeteksi cervical intraepithelial neoplasia (CIN),
yang berpotensi menjadi perubahan prakanker dan pertumbuhan abnormal
sel skuamosa pada permukaan serviks. Sitologi serviks membutuhkan ahli
sitologi yang berpengalaman untuk menangani mikroskop, yang tidak dapat
dicapai di sebagian besar pengaturan sumber daya yang rendah [4]. Tes
HPV telah direkomendasikan sebagai alternatif skrining sitologi tradisional
tanpa kehadiran ahli sitologi yang terampil [5]. Namun, tingkat positif palsu
yang tinggi dari skrining HPV meningkatkan beban kerja pemeriksaan
kolposkopi berikutnya. Karena kurangnya kolposkopi terlatih, pemeriksaan
kolposkopi menyeluruh dan tepat tidak tersebar luas di LMICs. Akibatnya,
meskipun pemerintah Cina secara berturut-turut menerapkan program
skrining serviks gratis secara nasional selama beberapa tahun [6], lebih dari
30.500 wanita meninggal akibat kanker serviks pada tahun 2015 [7].
kematian pada kanker wanita, membawa risiko morbiditas yang tinggi
Kolposkopi menjembatani antara skrining dan diagnosis kanker serviks—
membedakan hasil positif palsu dari pendekatan skrining sebelumnya dan
memberikan panduan (lokasi dan tingkat keparahan lesi) untuk metode
diagnosis berikut. Kolposkopi dengan biopsi adalah salah satu pendekatan
yang paling sering digunakan untuk diagnosis CIN dan kanker serviks. WHO
membagi CIN menjadi tiga tingkatan (CIN1, CIN2 dan CIN3), yang masing-
masing dapat dikategorikan menjadi lesi intraepitel skuamosa derajat rendah
(CIN1) dan derajat tinggi (CIN2/3). Jika seorang pasien yang berpotensi
memiliki lesi intraepitel skuamosa tingkat rendah atau lebih buruk (LSIL+,
terdiri dari CIN1/2/3 dan kanker) diidentifikasi oleh kolposkopi, biopsi yang
diarahkan oleh kolposkopi diperlukan untuk melakukan konfirmasi. Karena
populasi pasien yang besar dan terbatasnya jumlah ahli kolposkopi yang
terampil, keakuratan pemeriksaan kolposkopi di daerah dengan sumber
daya rendah
Yuexiang Li*, Jiawei Chen*, Peng Xue, Chao Tang, Jia Chang, Chunyan Chu, Kai Ma, Qing Li, Yefeng Zheng,
You Lin Qiao
email: {kennychang, chunyanchu}@tencent.com
Youlin Qiao bekerja di Departemen Epidemiologi Kanker, Pusat Kanker Nasional/
Pusat Penelitian Klinis Nasional untuk Rumah Sakit Kanker/Kanker, Akademi Ilmu
Kedokteran China dan Universitas Kedokteran Peking Union, Beijing, China e-mail:
qiaoy@cicams.ac.cn.
Hak Cipta (c) 2019 IEEE. Penggunaan pribadi atas materi ini diperbolehkan.
Qing Li bersama Rumah Sakit Bersalin dan Kesehatan Anak Shenzhen,
Shenzhen, Cina e-mail: liqing1350@foxmail.com
Chao Tang bersama Sekolah Kesehatan Masyarakat, Universitas Kedokteran
Dalian, Dalian, Liaoning, Tiongkok e-mail:
tangchao7717@163.com Jia Chang dan Chunyan Chu bersama Tencent Health, Shenzhen, Tiongkok
SZSM201612042), Natural Science Foundation of China (No. 61702339), dan Key
Area Research and Development Program of Guangdong Province, China (No.
2018B010111001).
Peng Xue bersama Departemen Epidemiologi dan Biostatistik, Sekolah
Kesehatan Masyarakat, Akademi Ilmu Kedokteran Tiongkok dan Perguruan Tinggi
Medis Peking Union, Beijing, Tiongkok e-mail: xuepeng pumc@foxmail.com.
Pekerjaan ini didukung oleh Proyek Penelitian Perawatan Kesehatan Shenzhen
(No. SZXJ2018038), Proyek Kedokteran Sanming di Shenzhen (No.
Penulis koresponden: Yefeng Zheng *
Kontribusi setara
Yuexiang Li, Jiawei Chen, Kai Ma, dan Yefeng Zheng bersama Ten cent Jarvis
Lab, Shenzhen, China e-mail: {vicyxli, jiaweichen, kylekma, yefengzheng}
@tencent.com.
Namun, izin untuk menggunakan materi ini untuk tujuan lain harus diperoleh dari
IEEE dengan mengirimkan permintaan ke pubs-permissions@ieee.org.
Artikel ini telah diterima untuk diterbitkan dalam edisi mendatang jurnal ini, tetapi belum sepenuhnya diedit. Konten dapat berubah sebelum publikasi akhir. Informasi kutipan: DOI 10.1109/TMI.2020.2994778, IEEE
Transactions on Medical Imaging
0278-0062 (c) 2020 IEEE. Penggunaan pribadi diperbolehkan, tetapi republikasi/redistribusi memerlukan izin IEEE. Lihat http://www.ieee.org/publications_standards/publications/rights/index.html untuk informasi lebih lanjut.
Abstrak—Kanker serviks menyebabkan kematian terkait
kanker terbanyak keempat pada wanita di seluruh dunia. Deteksi
dini neoplasia intraepitel serviks (CIN) dapat secara signifikan
meningkatkan tingkat kelangsungan hidup pasien. Dalam
makalah ini, kami mengusulkan kerangka pembelajaran
mendalam untuk identifikasi LSIL+ yang akurat (termasuk CIN
dan kanker serviks) menggunakan gambar kolposkopi yang
telah berlalu waktu. Kerangka kerja yang diusulkan melibatkan
dua komponen utama, yaitu, jaringan penyandian fitur key-frame
dan jaringan fusi fitur. Fitur dari gambar asli (pra-asam asetat)
dan gambar kolposkopi yang diambil sekitar 60-an, 90-an, 120-
an, dan 150-an selama uji asam asetat dikodekan oleh jaringan
pengkodean fitur. Beberapa pendekatan fusi dibandingkan,
semuanya mengungguli sistem diagnosis kanker serviks
otomatis yang ada dengan menggunakan slot waktu tunggal.
Jaringan konvolusional grafik dengan fitur tepi (E-GCN)
ditemukan sebagai pendekatan fusi yang paling cocok dalam
penelitian kami, karena penjelasannya yang sangat baik
konsisten dengan praktik klinis. Kumpulan data berskala besar,
yang berisi gambar kolposkopi selang waktu dari 7.668 pasien,
dikumpulkan dari rumah sakit kolaboratif untuk melatih dan
memvalidasi kerangka pembelajaran mendalam kami.
Kolposkopis diundang untuk bersaing dengan sistem diagnosis
berbantuan komputer kami. Kerangka pembelajaran mendalam
yang diusulkan mencapai akurasi klasifikasi 78,33%—sebanding dengan kolposkopis in-service—yang menunjukkan potensinya untuk memberi
Istilah Indeks—Kanker serviks, uji asam asetat, konvolu grafik
jaringan nasional, fusi fitur.
Penggunaan berlisensi resmi terbatas pada: University College London. Diunduh pada 24 Mei 2020 pukul 07:14:56 UTC dari IEEE Xplore. Pembatasan berlaku.
1
C
Machine Translated by Google

Untuk mengatasi masalah tersebut, sistem computer-aided diagnosis (CAD) yang
meningkatkan akurasi kolposkopi perlu dikembangkan.
Xu dkk. [16] membangun piramida fitur, yang terdiri dari histogram piramida dalam
ruang warna L*A*B, histogram piramida dengan gradien berorientasi, dan histogram
piramida dengan pola biner lokal, untuk klasifikasi displasia otomatis.
relatif rendah [8]. Underwood dkk. [9] melaporkan bahwa tingkat kepositifan tes
rata-rata dari biopsi kolposkopi adalah 63,3% di beberapa LMICs, mengakibatkan
over-atau under-diagnosis. Konsekuensinya, keakuratan pemeriksaan kolposkopi
menjadi hambatan dalam skrining dan diagnosis kanker serviks [10].
Beberapa sistem otomatis untuk diagnosis kanker serviks telah dikembangkan
dengan menggunakan gambar kolposkopi selama tes IVA. Tinjauan menyeluruh
dapat ditemukan di [19, 20]. Sebagai contoh, Li et al. [21] mengusulkan indeks
opacity yang menunjukkan tingkat displasia dengan secara otomatis mengukur
beberapa parameter proses acetowhitening dari dua gambar (gambar sebelum
dan sesudah asam asetat). Lagu dkk. [22] mengembangkan algoritma berbasis
data untuk menafsirkan gambar kolposkopi berdasarkan warna dan tekstur, dan
mengintegrasikan hasil tes HPV dan Pap untuk prediksi akhir displasia serviks.
Pada bagian ini, pertama-tama kami meninjau secara singkat karya sebelumnya
tentang pemrosesan gambar kolposkopi. Kemudian, beberapa banyak digunakan
B. Sistem Diagnosis Otomatis Menggunakan Gambar Kolposkopi
Inspeksi visual dengan asam asetat (IVA) merupakan salah satu pemeriksaan
kolposkopi yang umum digunakan. Prosedur VIA tipikal dapat diringkas sebagai
berikut: Pertama, asam asetat (5%) dioleskan ke serviks, yang dapat mengubah
epitel displastik menjadi daerah putih (acetowhite) [18]. Kemudian, kolposkopi
menangkap sejumlah variabel gambar pasca-asam asetat pada titik waktu yang
berbeda selama VIA. Area serviks secara bertahap memutih oleh asam asetat dan
menjadi paling jelas sekitar 120 detik setelah mengoleskan asam asetat. Area
yang memutih dapat memudar untuk pasien non-kanker pada akhir VIA (150 detik),
sedangkan pasien LSIL+ akan mempertahankan area yang memutih. Gambaran
area yang memutih (tingkat keputihan, tekstur, dll.) dipandang sebagai indeks
untuk diagnosis LSIL+.
Indeks klinis penting lainnya untuk identifikasi LSIL+ adalah durasi area pemutihan.
A. Inspeksi Visual dengan Asam Asetat
Metode ini menggunakan jaringan pembelajaran mendalam untuk mengekstrak
fitur dari setiap gambar kolposkopi pasien. Untuk memastikan kekokohan
representasi fitur, jaringan ultra-deep, yaitu ResNet-101 [15], diadopsi sebagai
tulang punggung untuk ekstraksi fitur. Kami membandingkan beberapa pendekatan
fusi, yang semuanya mengungguli sistem diagnosis berbantuan komputer yang
ada [16, 17] menggunakan slot waktu tunggal. Untuk lebih mewakili hubungan
antara bingkai gambar kolposkopi selang waktu, jaringan konvolusional grafik
dengan fitur tepi (E GCN) diimplementasikan, yang sedikit mengungguli pendekatan
fusi lainnya, tetapi dengan manfaat tambahan yang dapat dijelaskan konsisten
dengan praktik klinis. Selain itu, kumpulan data kolposkopi berskala besar, yang
terdiri dari gambar yang dikumpulkan dari 7.668 pasien, dibuat untuk melatih dan
mengevaluasi kerangka kerja yang diusulkan. Dalam percobaan, kerangka kerja
pembelajaran mendalam kami mencapai akurasi klasifikasi yang luar biasa, yang
mengungguli tidak hanya algoritme yang ada, tetapi juga dokter berpengalaman.
pendekatan fusi fitur dibahas. Terakhir, kami memberikan pengenalan singkat
tentang jaringan saraf graf dan meninjau karya-karya terkait yang sudah ada.
Dalam makalah ini, kami mengusulkan kerangka pembelajaran mendalam
untuk diagnosis LSIL+ dengan menggabungkan gambar dari beberapa slot waktu.
Oleh karena itu, menurut protokol [14] —menangkap satu gambar post acetic-
acid setiap 30 detik — empat gambar pada slot waktu yang berbeda (sekitar 60-
an, 90-an, 120-an, dan 150-an setelah menerapkan asam asetat) biasanya
diperoleh selama pemeriksaan kolposkopi untuk sabar. Untuk menangani gambar
selang waktu seperti itu, strategi umum adalah mengekstraksi fitur dari setiap
gambar secara terpisah dan kemudian menggabungkannya untuk prediksi akhir.
Oleh karena itu, ekstraksi fitur dan fusi adalah dua komponen utama yang
memengaruhi akurasi prediksi LSIL+ yang disediakan oleh model pembelajaran
mendalam.
Algoritme yang ada tersebut memiliki kelemahan yang sama — mereka hanya
menggunakan gambar kolposkopi asam pasca asetat tunggal untuk diagnosis.
Keakuratan klasifikasi displasia serviks sangat bergantung pada kualitas gambar
pasca-asam asetat, yang tidak kuat terhadap kebisingan, misalnya artefak seperti
pinset dapat menutup area lesi. Selain itu, kerangka kerja yang menggunakan citra
pasca-asam asetat tunggal tidak dapat mengeksploitasi informasi berharga yang
terkandung dalam proses tes VIA seperti durasi keputihan. Dalam makalah ini,
kami mengusulkan kerangka kerja pembelajaran mendalam untuk identifikasi
LSIL+ menggunakan gambar kolposkopi yang telah berlalu waktu. Kumpulan data
yang terdiri dari gambar kolposkopi berurutan yang diambil dari lebih dari 7.000
pasien—melebihi jumlah kumpulan data terbesar yang dilaporkan (1.112 pasien)
[16]—dikumpulkan untuk pelatihan kerangka kerja kami. Kumpulan data berskala
besar memungkinkan kami untuk menyelidiki potensi sepenuhnya
Menyaksikan perkembangan deep learning akhir-akhir ini, semakin banyak
penelitian [11] yang mencoba mengembangkan sistem berbasis deep learning
untuk diagnosis berbagai penyakit. Sebagai contoh, Li et al. [12] mengusulkan
jaringan saraf convolutional berbasis wilayah baru (R-CNN) untuk klasifikasi kanker
prostat menggunakan gambar histologis. Xie dkk. [13] mengembangkan model
pembelajaran mendalam kolaboratif berbasis pengetahuan multi-tampilan untuk
memisahkan nodul paru-paru ganas dari jinak menggunakan data computed
tomography (CT) dada. Berbeda dengan gambar histologis 2D dan data CT 3D,
gambar kolposkopi pasien dapat dilihat sebagai data 2.5D, yang melibatkan
informasi spasial 2D dan variasi selang waktu. Contoh data selang waktu
ditunjukkan pada Gambar. 1, di mana daerah lesi ditandai dengan kontur hijau.
Kolposkopi perlu menunggu satu menit setelah mengoleskan asam asetat untuk
mengetahui adanya acetowhite dan seluruh pemeriksaan berlangsung sekitar 2-3
menit.
Baru-baru ini, beberapa peneliti berupaya mengadopsi jaringan pembelajaran
mendalam untuk tugas ini [17, 23]. Namun, penelitian tersebut hanya menggunakan
kumpulan data kecil—gambar kolposkopik yang diperoleh dari sekitar 100 pasien—
untuk melatih jaringan, yang tidak cukup untuk sepenuhnya memanfaatkan
kekuatan pembelajaran mendalam.
2
II. PEKERJAAN TERKAIT

3
Gambar 1 Gambar kolposkopi yang diambil selama pemeriksaan kolposkopi. ( a ) Gambar asli / pra-asam asetat. (b)-(e) adalah citra pasca-asam asetat pada waktu
masing-masing sekitar 60-an, 90-an, 120-an, 150-an. Daerah lesi ditandai dengan kontur hijau.
1https://www.kaggle.com/c/intel-mobileodt-cervical-cancer-screening
(B)
D. Grafik Neural Networks
3) Memori Jangka Pendek Panjang (LSTM): LSTM adalah arsitektur
jaringan saraf berulang buatan [28], yang telah
(A)
Selanjutnya, beberapa kompetisi terkait diadakan untuk mendorong
para peneliti mengembangkan algoritma yang kuat untuk skrining kanker
serviks. Intel dan MobileODT meluncurkan tantangan Kaggle,1 yang
bertujuan mengembangkan sistem bantuan komputer untuk secara
akurat mengidentifikasi tipe serviks wanita berdasarkan gambar. Dataset
tantangan dapat dikategorikan menjadi tiga tipe serviks (tipe 1, tipe 2
dan tipe 3). Semua jenis serviks yang berbeda ini dianggap normal (non-
kanker), tetapi karena zona transformasi serviks tidak selalu terlihat,
beberapa pasien memerlukan pengujian lebih lanjut (tipe 2 dan 3)
sementara yang lain tidak (tipe 1). Keputusan ini penting untuk
perawatan pasien. Model pembelajaran mendalam telah diterapkan
untuk mengatasi tantangan ini dalam beberapa penelitian [24, 25].
Klasifikasi jenis serviks berada di luar cakupan pekerjaan ini dan kami
akan melakukan penelitian terkait di masa mendatang.
Notasi jaringan saraf grafik (GNNs) pertama kali diuraikan dalam
Gori et al. [29], dan dijabarkan lebih lanjut dalam Micheli [30] dan
Scarselli et al. [31]. Studi-studi awal ini mempelajari representasi node
target dengan menyebarkan informasi tetangga melalui arsitektur saraf
berulang secara iteratif sampai titik tetap yang stabil tercapai. Tinjauan
komprehensif jaringan saraf grafik dapat ditemukan di [32, 33]. Dalam
penelitian yang lebih baru, GNN telah diterapkan ke berbagai bidang,
seperti klasifikasi multi-label [34], segmentasi semantik [35], penalaran
interaksi [36, 37] dan pemrosesan citra medis [38, 39].
N dan D masing-masing adalah
jumlah node dan dimensi fitur node. Jaringan konvolusi grafik (GCN)
dan jaringan perhatian grafik (GAT) adalah dua kategori GNN, yang
sangat terkait dengan penelitian kami. Berikut ini, kami memberikan
pengantar mendetail tentang kedua jenis GNN ini.
Unit LSTM umum terdiri dari sel, gerbang input, gerbang keluaran, dan
gerbang lupa. Sel mengingat nilai selama interval waktu yang sewenang-
wenang dan tiga gerbang mengatur aliran informasi masuk dan keluar
sel. Jin dkk. [27] mengeksploitasi ResNet [15] dan LSTM untuk
mengekstrak fitur visual dan dependensi temporal, masing-masing, dan
mengintegrasikannya ke dalam jaringan yang dirancang khusus untuk
melakukan pengenalan alur kerja untuk video bedah.
dari model pembelajaran mendalam untuk menangani tugas identifikasi
LSIL+.
2) Persepsi Multi-Lapisan (MLP): MLP adalah kelas jaringan saraf
umpan maju, yang terdiri dari tiga atau lebih lapisan (lapisan masukan
dan keluaran dengan satu atau lebih lapisan tersembunyi) dari node
yang mengaktifkan nonlinier. Setiap pasang node di lapisan MLP yang
berdekatan dihubungkan dengan bobot. Akibatnya, output dari sebuah
node adalah jumlah tertimbang dari koneksi input. Fitur bingkai kunci
digabungkan dan dimasukkan sebagai input ke persepsi multi-lapisan
untuk prediksi akhir. Sebagai contoh, Wu et al. [26] menggunakan MLP
untuk memadukan fitur yang diekstraksi dari deskriptor bentuk kortikal
multi-saluran untuk pemisahan permukaan kortikal bayi.
Definisi konsep dasar graf diberikan sebagai berikut: Sebuah graf
adalah G = (V, E, A) dimana V adalah himpunan simpul, E adalah
himpunan sisi, dan A adalah matriks ketetanggaan. Dalam sebuah graf,
misalkan v ÿ V menyatakan sebuah simpul dan eij = (vi , vj ) ÿ E
menyatakan sebuah sisi. Matriks ketetanggaan A adalah matriks N × N
(N adalah jumlah simpul) dengan Aij = 1 jika eij ÿ E dan Aij = 0 jika eij ÿ/
E. Sebuah graf dapat diasosiasikan dengan atribut simpul X, di mana X
ÿ RN ×D adalah matriks fitur dengan Xi ÿ RD mewakili fitur dari node vi .
banyak digunakan untuk memproses data deret waktu, misalnya, ucapan dan video.
1) Voting: Ini adalah salah satu pendekatan yang umum digunakan
untuk ansambel model. Prediksi akhir dihasilkan dengan merata-ratakan
prediksi semua model di kumpulan model. Misalnya, Xie et al. [13]
menggunakan voting untuk mengumpulkan output dari submodel multi-
tampilan untuk klasifikasi node paru.
(e)
Seperti yang telah disebutkan sebelumnya, karena struktur 2.5D dari
gambar kolposkopi VIA, fitur dari setiap bingkai perlu diekstraksi secara
individual dan kemudian digabungkan dengan pendekatan fusi fitur
untuk prediksi berdasarkan pasien. Ada beberapa pendekatan fusi fitur
yang banyak digunakan, yang melibatkan pemungutan suara, persepsi
multi-lapisan (MLP) [26] dan memori jangka pendek panjang (LSTM)
[27].
(D)
C. Pendekatan Penggabungan Fitur
1) Grafik Convolutional Network (GCN)
(C)
Dibandingkan dengan pendekatan fusi yang ada seperti MLP dan
LSTM, jaringan konvolusional grafik (GCN) dengan fitur tepi dapat lebih
akurat dan secara eksplisit mewakili hubungan antara bingkai kunci
yang berbeda, yang konsisten dengan praktik klinis — kolposkopi
membandingkan pra dan pasca - gambar uji asam asetat untuk
identifikasi LSIL+. Di sini, kami memberikan pengenalan singkat tentang
jaringan saraf grafik.

4
Contoh ditunjukkan pada Gambar. 2,
representasi node vi dihitung dengan menggabungkan informasi dari node itu sendiri
dan tetangganya, yaitu v1, v2, v3 dan v4.
(A)
Gambar 3. Tantangan untuk analisis gambar kolposkopi. Sampel non-kanker (a) mungkin
memiliki tampilan yang mirip dengan sampel CIN (b); (c) pergeseran serviks; (d) pantulan
cahaya pada permukaan serviks; (e) spekulum (ditandai dengan panah biru) menempati
rasio gambar yang besar; (f) artefak (kapas dalam hal ini).
(F)
(D) (e)
(C)
Gambar 2. Contoh operasi konvolusi graf. Representasi node vi dihitung dengan
menggabungkan informasi dari dirinya sendiri dan tetangga (v1, v2, v3 dan v4).
(B)
AKU AKU AKU. METODE YANG DIUSULKAN
Ai,3
Ai,2
v4
Ai,4
v3
Ai,1
vi
v1
v2
Jaringan konvolusi grafik [40, 41] menggeneralisasikan operasi
konvolusi dari gambar grid padat ke data grafik jarang. Kuncinya adalah
mempelajari fungsi f untuk menghasilkan representasi node vi dengan
menggabungkan fiturnya sendiri Xi dan fitur tetangganya Xj .
Dalam penelitian kami, topologi grafik self-adaptive diperlukan untuk
menyetel bobot antar node untuk menggabungkan fitur yang diekstraksi
dengan lebih baik, yang membutuhkan fitur tepi untuk mewakili lebih
banyak informasi daripada konektivitas. Oleh karena itu, menggabungkan
kekuatan GCN dan GAT, kami mengintegrasikan fitur edge yang dapat
dipelajari ke dalam GCN tipikal (yaitu E-GCN), yang memungkinkan
GCN mengubah topologinya secara fleksibel selama pelatihan jaringan.
Pada bagian ini, pertama-tama kami memperkenalkan kumpulan data
kolposkopik yang diisi oleh dokter yang bekerja sama. Kemudian,
kerangka deep learning yang diusulkan disajikan secara rinci.
Untuk mengatasi tantangan di atas, kami mengusulkan kerangka
kerja pembelajaran mendalam untuk identifikasi LSIL+ dengan gambar
kolposkopi yang tahan lama. Karena masalah pergeseran serviks,
Jaringan perhatian grafik [42] adalah jenis lain dari jaringan saraf
grafik. Ini menggunakan mekanisme perhatian pada lingkungan grafik
untuk mengumpulkan informasi node, yang dapat sebagai tanda bobot
yang lebih besar ke node yang lebih penting. Berbeda dari GCN yang
menggunakan matriks berdekatan tetap, bobot perhatian dilatih bersama
dengan parameter jaringan saraf secara end-to-end. Banyak penelitian
[37, 43, 44] tentang GAT telah diajukan. Namun, GAT saat ini berbagi
masalah yang sama — informasi topologi grafik disuntikkan ke dalam
model dengan memaksa koefisien perhatian antara dua node menjadi
nol jika tidak terhubung [44]. Dengan kata lain, informasi tepi (yaitu,
bobot perhatian) dari GAT tidak tersedia untuk dua node yang tidak
terhubung dengan tepi.
Aij (j ÿ [1, 2, 3 , 4]) adalah nilai dari matriks adjacency, yang non-
parametrik. Karena matriks adjacency (A) non parametrik dan edge
(eij ) adalah biner dalam GCN biasa, hubungan antara node, misalnya
dependensi dan kekuatan, tidak dapat direpresentasikan dengan tepat.
A. Kumpulan data
Dengan menganalisis kumpulan data, kami menemukan beberapa
tantangan untuk mengidentifikasi sampel LSIL+ secara otomatis
menggunakan gambar kolposkopik. Pertama, sampel negatif dengan
penyakit seperti metaplasia seringkali memiliki tampilan yang mirip
dengan CIN1 (lihat Gambar 3 (a) dan (b)), yang mempersempit varians
antar kelas antara negatif dan positif. Kedua, serviks dapat bergeser
selama perolehan gambar. Lesi CIN terjadi di sekitar serviks, sehingga
area lesi mungkin sebagian terlihat pada situasi ini (lihat Gambar 3 (c)).
Ketiga, dalam prosedur VIA yang kompleks, kebisingan (lihat Gambar.
3 (d)) dan artefak (lihat Gambar. 3 (e) dan (f)) dapat dimasukkan ke
dalam gambar kolposkopi selang waktu.
2) Jaringan Perhatian Grafik (GAT)
Dataset yang digunakan dalam penelitian ini berisi gambar kolposkopi
dari 7.668 pasien (berkisar usia 24 hingga 69), yang dapat
Dataset dipisahkan menjadi set pelatihan dan validasi sesuai dengan
rasio 80:20. Set pelatihan (terdiri dari 2.882 non-kanker, 1.204 CIN1,
1.639 CIN2/3 dan 408 kasus kanker) digunakan untuk pelatihan jaringan
pembelajaran mendalam, sedangkan set validasi (terdiri dari 721 non-
kanker, 302 CIN1, 410 CIN2/3 dan 102 kasus kanker) digunakan untuk
menilai kinerja model. Seperti yang telah disebutkan sebelumnya,
gambar diambil sekitar lima slot waktu utama (asli, 60an, 90an, 120an,
150an) selama ujian VIA (ditunjukkan pada Gambar 1). Ukuran gambar
kolposkopi adalah 640×480 piksel. Semua pasien memiliki laporan
patologis, yang digunakan sebagai kebenaran dasar untuk pelatihan
jaringan pembelajaran mendalam.
B. Sistem CAD berbasis Deep Learning
dikategorikan menjadi non-kanker (3, 603), CIN1 (1, 506), CIN2/3 (2,
049) dan kanker (510). Dalam praktik klinis, jika lesi intraepitel skuamosa
derajat rendah atau lebih buruk (LSIL+, terdiri dari CIN1/2/3 dan kanker)
diidentifikasi oleh ahli kolposkopi, biopsi diperlukan untuk konfirmasi
keganasan lesi. Oleh karena itu, identifikasi LSIL+ yang akurat
menggunakan kolposkopi bermanfaat untuk biopsi berikut. Untuk tujuan
ini, kami memisahkan kumpulan data kolposkopi menjadi negatif (3.603
kasus non-kanker) dan positif (4.065 kasus LSIL+) untuk pengembangan
sistem identifikasi LSIL+ otomatis.

T
5
t + w - w
T T
L1 = x ÿ x
Lapisan terakhir yang terhubung sepenuhnya (FC) dari ResNet-50—awalnya dengan 1000
neuron—diganti dengan lapisan FC baru dengan empat neuron, yang sesuai dengan koordinat
pojok kiri atas, serta lebar dan tinggi (x, y, h, w) dari kotak pembatas serviks. Jaringan deteksi
serviks diawasi , yt , ht wt ) menunjukkan kebenaran dasar
T
Tiga komponen dari kerangka kerja pembelajaran mendalam
yang diusulkan (jaringan deteksi serviks, jaringan pengodean fitur,
dan jaringan konvolusi grafik) dilatih secara berurutan—jaringan
sebelumnya dilatih dan diperbaiki untuk pelatihan yang terakhir,
seperti yang disajikan dalam Alg . 1. Pipa ditunjukkan pada Gambar.
4.
Jaringan deteksi serviks yang diusulkan menggunakan
convolutional neural network (CNN) yang banyak digunakan—
ResNet-50 [15]—sebagai tulang punggung untuk memprediksi kotak pembatas serviks.
,
. (1)
framework pertama mengadopsi jaringan deteksi serviks untuk
mendeteksi area serviks dari keseluruhan gambar. Kemudian, kami
menggunakan jaringan penyandian fitur terpisah untuk mengekstraksi
fitur dari area serviks pada slot waktu yang berbeda. Akhirnya, fitur
yang diekstrak disatukan oleh jaringan konvolusi grafik untuk
mengidentifikasi pasien yang membutuhkan biopsi. Fusi berbasis
GCN dapat meniru proses diagnosis dokter dan mengurangi pengaruh
yang disebabkan oleh artefak.
Berbeda dari tugas pendeteksian objek umum, yang memiliki banyak
target, setiap gambar dalam kumpulan data kami hanya memiliki satu
ROI serviks. Oleh karena itu, alih-alih mengeksploitasi metode deteksi
objek yang rumit seperti Faster R-CNN [45] dan YOLO [46], kami
menerapkan pendekatan yang lebih sederhana untuk mengatasi masalah ini.
Karena serviks lebih kecil dari area yang mengandung lesi
memutih, kami memperbesar kotak pembatas serviks yang diprediksi
dan memotong tambalan persegi dari gambar. Bagian tengah
tambalan persegi terletak di tengah kotak pembatas serviks dan tambalan
+ y ÿ y
Karena serviks dapat bergeser selama akuisisi citra, kami
mengembangkan jaringan deteksi serviks untuk memotong wilayah
yang diminati (ROI) dari citra kolposkopi di awal.
dengan kerugian L1 .
Misalkan (x dari kotak pembatas serviks, kerugian L1 untuk regresi
koordinat dan ukuran kotak dapat ditulis sebagai:
Algoritma 1 Protokol pelatihan berurutan
1) Deteksi Serviks
+ h - h
3: Fungsi† : •
p ÿ P(D, M) {Fungsi prediksi: output M dengan input D} • Mÿ ÿ T(D,
M, L) {Fungsi pelatihan: melatih M dengan input D diawasi oleh L}
2:
Keluaran: • Mÿ cx: jaringan deteksi serviks
terlatih • Mÿ seq: jaringan penyandian fitur
terlatih • Mÿ
1: Input:
• Dcx: perangkat latihan untuk deteksi
serviks • Dseq: gambar kolposkopi berurutan untuk latihan
{termasuk gambar asli, 60-an, 90-an, 120-an, dan 150-an}
, Lcrossÿentropy)
EÿGCN : E-GCN terlatih
• Mcx: jaringan deteksi serviks {ResNet-50} •
Mseq: jaringan penyandian fitur {satu set model: Mseq =
Mÿ
6: Mÿ ÿ T(Dcx, Mcx, L1)
7: Langkah 2 Pengkodean Fitur:
freeze(Mÿ cx)
8: pcx ÿ P(Dseq, Mÿ cx) 9:
EÿGCN ÿ T(pseq, MEÿGCN
Mÿ
(Mori, M60s, M90s, M120s, M150s)} •
MEÿGCN : Jaringan fusi berbasis GCN • L: fungsi
kerugian (L1 dan Lcrossÿentropy)
cx
• freeze(M): membekukan parameter yang dapat dipelajari dari
M † M ÿ {Mcx, Mseq, MEÿGCN } † Mÿ
ÿ {Mÿ cx,
urutan
11: Langkah 3 fusi berbasis GCN:
freeze(Mÿ cx)
12:
freeze(Mÿ seq) 13: pcx
ÿ
P(Dseq, Mÿ cx) 14: pseq ÿ P(pcx,
Mÿ
seq) 15:
urutan, EÿGCN }
† D ÿ {Dcx, Dseq} † p
adalah keluaran dari fungsi prediksi P
10: Mÿ ÿ T(pcx, Mseq, Lcrossÿentropy)
5: Langkah 1 Deteksi Serviks:
Gbr. 4. Pipa sistem otomatis kami untuk identifikasi LSIL+. Sistem ini melibatkan tiga langkah: deteksi serviks, pengodean fitur, dan fusi fitur berbasis GCN
(E-GCN).
16: Mÿ
4: Prosedur Pelatihan:

INFORMASI RINCI ARSITEKTUR E-GCN . C(K, IN, OUT)
MEWAKILI LAPISAN KONVOLUSIONAL 1D DENGAN UKURAN KERNEL
(K), SALURAN INPUT (IN) DAN OUTPUT (OUT) .
Ukuran keluaran
(1)
1
2
1
e
N
1
Saya
e
Saya
6
e
i
(2) ÿ 1 × 1 × 20 e
2
N
2
Lcrossÿentropy = ÿ(g log(p) + (1 ÿ g) log(1 ÿ p))
1
C(1, 20, 20), Sigmoid ÿ 1 × 1 × 20 e (2)
1
e
2
saya (1)
e
e
N
2
Perbedaan utama antara GCN berbasis tepi standar [36, 38] dan E-GCN adalah bahwa kami
menyusun bobot tepi menjadi vektor 1 × 1 × 20 dan menggunakan lapisan (f) untuk mengekstraksi
fitur, yang memungkinkan E-GCN untuk menyetel topologi grafik secara global. Seperti yang
ditunjukkan pada Persamaan. (3), E-GCN melakukan penggabungan fitur untuk fitur yang
disandikan, yang mempertahankan informasi representatif yang diekstraksi dari gambar pada slot
waktu yang berbeda. Untuk menghasilkan prediksi negatif atau positif, fitur simpul keluaran h
(keluar) digabungkan dan diumpankan ke lapisan yang terhubung sepenuhnya, yang akhirnya
menghasilkan vektor 1 × 1 untuk identifikasi LSIL+. Optimalisasi E-GCN diawasi oleh Lcrossÿentropy.
e
i, j
Penyematan Node: h (1) n (X i ) = f
= f
Keluaran: h (keluar)
Pembaruan Tepi: e
h (1) + h (1) j
e
ÿ
ÿ jÿNi
ÿ
ÿ
Pembaruan Node: h (2) = f
(3)
= ÿv
)
e
ÿ
ÿ
= f e (X
jam (2) + jam (2)
ÿ
ÿ jÿNi
Penyematan Tepi: e
Seperti disebutkan dalam Bagian II, pendekatan fusi yang digunakan
secara luas (misalnya, MLP) memiliki kelemahan yang jelas untuk
memproses gambar kolposkopi selang waktu. GCN dengan fitur edge
yang dapat dipelajari, yang dapat secara akurat merepresentasikan
hubungan antar node, mungkin lebih cocok untuk memadukan fitur
yang disandikan dari langkah sebelumnya. Seperti yang ditunjukkan
pada Gambar. 4, kami membangun E-GCN dari lima node dengan
masing-masing node sesuai dengan satu slot waktu tertentu. Biarkan
Xv menunjukkan fitur simpul dan ÿ (vi , vj ) menunjukkan fitur tepi.
Mengikuti notasi Xe ij pada [36], E-GCN, yang terdiri dari dua lapisan
tersembunyi GNN yang diidentifikasi oleh superskrip, dapat didefinisikan sebagai:
terutama digunakan untuk
kompak dan f
dan f
Menurut protokol [14], seorang kolposkopis diharuskan untuk
mengambil lima gambar kolposkopi—gambar asli pra-asam asetat,
gambar 60-an, 90-an, 120-an, dan 150-an setelah asam asetat—selama
tes VIA. Karena gambar kolposkopi pada slot waktu yang berbeda
mengandung informasi yang representatif, gambar yang diambil
diproses oleh jaringan pengkodean fitur individu, seperti yang
digambarkan pada Gambar. 4. Tulang punggung jaringan pengkodean
fitur dapat dipilih dari CNN yang banyak digunakan seperti VGG [47 ],
ResNet [15] dan DenseNet [48]. Menggunakan gambar kolposkopi,
jaringan pengkodean fitur dilatih secara terpisah untuk mengidentifikasi
pasien yang membutuhkan biopsi. Proses pelatihan diawasi oleh cross-
entropy loss (Lcrossÿentropy), yang didefinisikan sebagai:
di mana p menunjukkan kemungkinan positif yang dihasilkan oleh
kerja bersih, dan g adalah kebenaran dasar (negatif/positif—0/1).
)
C(1, 20, 20), Sigmoid
F
Jaringan deteksi serviks dan pengkodean fitur diimplementasikan
menggunakan PyTorch,2 dan E-GCN dikembangkan menggunakan
Deep Graph Library (DGL).3 Tiga komponen—deteksi serviks, jaringan
pengkodean fitur, dan E-GCN—adalah
Selain itu, perlu disebutkan bahwa E-GCN kami bertujuan untuk
membangun aliran informasi yang tepat antar node untuk optimalisasi
fitur node yang lebih baik yang merupakan dasar utama untuk
pemisahan pasien normal dan LSIL+. Oleh karena itu, struktur grafik E-
GCN tetap sama untuk dua kategori (normal/LSIL+) setelah prosedur
pelatihan.
di mana ÿv(.) adalah fungsi aktivasi non-linier (yaitu, ReLU dalam
percobaan kami); Ni adalah himpunan node tetangga dari vi
size diatur ke (ÿ ÿ max(h, w), ÿ ÿ max(h, w)), di mana ÿ adalah faktor
skala (ÿ secara empiris diatur ke 1,5 dalam percobaan kami) dan max(.)
adalah operasi maksimum memilih yang lebih besar dari h dan w.
Arsitektur E-GCN: Informasi rinci E GCN disajikan pada Tabel I.
Karena E-GCN adalah arahan (vi ÿ
F
grafik, fitur tepi (Xe ) memiliki sifat: Xe ij vj ) = Xe ji(vj ÿ vi). Oleh
karena itu, ada 20 sisi dalam graf yang dibangun. Bobot 1 × 1 yang
dapat dipelajari ditugaskan ke setiap tepi, yang membuat Xe memiliki
bentuk 1 × 1 × 20. Bentuk fitur yang dikodekan adalah 1×1×2048 untuk
setiap node graf.
F
F
2) Pengodean Fitur
Setelah semua jaringan penyandian fitur dilatih dengan baik, output
dari lapisan kedua hingga terakhir diadopsi sebagai fitur yang disandikan
—vektor 1 × 1 × 2048 untuk menggunakan ResNet-101 sebagai tulang
punggung. Fitur yang disandikan memiliki kapasitas yang sangat baik
untuk merepresentasikan informasi spesifik yang terkandung dalam
gambar kolposkopik pada slot waktu yang berbeda, yang akan dikirim
ke tahap akhir (yaitu fusi fitur berbasis GCN).
Ukuran masukan:Xv ÿ 1 × 1 × 2048 dan Xe ÿ 1 × 1 × 20
Oleh karena itu, ukuran input E-GCN masing-masing adalah Xv ÿ 1× 1×
2048 dan Xe ÿ 1 × 1 × 20. Seperti yang ditunjukkan pada Tabel I, E
GCN melibatkan empat lapisan — f
fitur simpul, sedangkan tiga lapisan lainnya (f n , f
bertanggung jawab untuk fusi fitur dan penyetelan topologi grafik. (1)
dan e (2) tidak menjumlahkan ke 1
lebih Perhatikan bahwa tepi
berbobot e semua 20 tepi, karena kami menggunakan sigmoid sebagai fungsi aktivas
(2)
C(1, 128, 128), ReLU h ÿ 1 × 1 × 128
C. Implementasi & Kompleksitas Komputasi
3) Fusion berbasis GCN
(karena graf kita terhubung penuh, Ni sebenarnya memuat semua node
lain dalam graf); fe(.) dan fn(.) adalah layer yang memetakan antara
masing-masing representasi, yang serupa dengan [36].
C(1, 2048, 128), ReLU h ÿ 1 × 1 × 128
Arsitektur
e
aku j
Saya
(1) 1
(1)
Saya
N
1
e
2
Saya
(2)
Saya
(1)
ay
J
(2)
2
Saya
TABEL I
2https://pytorch.org/
3https://www.dgl.ai/

7
Gambar 5 Hasil deteksi serviks Kebenaran dasar dan prediksi jaringan masing-masing
digambar dengan persegi panjang merah dan biru. (a)-(b) adalah hasil deteksi serviks
untuk citra kolposkopi berkualitas baik, yaitu serviks terletak di dekat pusat citra. Hasil
gambar yang memiliki masalah pergeseran serviks dan artefak disajikan pada (c)-(d) dan
(e)-(f).
(A)
(F)
(D) (e)
(C)
IV. HASIL EKSPERIMENTAL
(B)
TABEL II
AKURASI (ACC) IDENTIFIKASI LSIL+ MENGGUNAKAN SINGLE TIME SLOT DENGAN
KERANGKA BERBEDA (%).
90-an
Fitur piramida [16] 63,13 65,21 64,36 65,15 64,69 AlexNet [50] 64,04
67,36 69,64 71,01 70,68 VGG-16 [47] 68,47 70,29 74,27 74,40 74,01
ResNet-50 [15] 69,38 71,01 74,66 75,77 75,11 ResNet-101 [15] 69,58
75,31 75,90 76,42 76,09 DenseNet-169 [48] 68,99 75,77 76,94 76,61
75,90
ORI 60an 120-an 150-an
dilatih dengan ukuran mini-batch 16 pada satu GPU (Tesla P40
dengan memori 24 GB). Tingkat pembelajaran awal diatur ke 0,001
dan pemecah Adam [49] diadopsi untuk optimasi.
Untuk menganalisis kinerja klasifikasi metode kami secara
kuantitatif, kami menggunakan tiga metrik termasuk presisi (PR),
daya ingat (RE) dan akurasi (ACC). ACC mengukur persentase pasien
yang diklasifikasikan dengan benar.
Dapat diamati dari Gambar. 5 bahwa jaringan deteksi serviks kami
menghasilkan hasil yang memuaskan secara visual tidak hanya untuk
gambar kolposkopi berkualitas baik (Gambar 5(a)-(b)), tetapi juga
gambar yang terpengaruh oleh pergeseran serviks (Gambar. 5(c)-(d))
dan artefak (Gbr. 5(e)-(f)). Jaringan yang diusulkan mencapai
persimpangan penyatuan (IoU) [46] sebesar 71,27% untuk deteksi
serviks. Karena kami memperbesar kotak pembatas serviks menjadi
tambalan persegi untuk jaringan penyandian fitur, IoU lebih lanjut
ditingkatkan menjadi 82,68%.
B. Performa Deteksi Serviks
Karena kerangka kami terdiri dari tujuh jaringan (yaitu, satu
ResNet-50, lima contoh ResNet-101 dan satu GCN), kompleksitas
komputasi dan waktu interferensi diukur untuk menilai potensinya
untuk aplikasi klinis. Kerangka kerja yang diusulkan berisi total 212
juta parameter, yang menghasilkan kompleksitas komputasional
sebesar 19,37 GFlops. Waktu interferensi kerangka kerja kami untuk
satu pasien adalah sekitar 80 ms (diuji pada satu GPU P40).
Ada beberapa tantangan untuk identifikasi LSIL+ otomatis seperti
pergeseran serviks dan artefak (misalnya, cotton bud dan pinset).
Untuk meringankan pengaruh yang disebabkan oleh masalah ini,
jaringan deteksi serviks diusulkan untuk memotong area serviks (ROI)
dari citra untuk pengkodean fitur selanjutnya. Gambar 5 menyajikan
hasil jaringan deteksi serviks kami. Kebenaran dasar dan prediksi
jaringan masing-masing digambar menggunakan persegi panjang
merah dan biru.
Kapasitas representasi dari fitur yang diekstraksi oleh jaringan
penyandian fitur kami sangat penting untuk tugas kami. Kedalaman
dan arsitektur adalah faktor kunci yang relevan dengan kinerja CNN.
Dalam hal ini, kami melakukan eksperimen ekstensif untuk
mengevaluasi CNN yang banyak digunakan seperti AlexNet [50],
VGG [47], ResNet [15] dan DenseNet [48], sehingga kami dapat
menemukan arsitektur jaringan yang cocok untuk menghasilkan fitur
diskriminatif untuk identifikasi LSIL+. Lima jaringan konvolusi dengan
kedalaman berbeda diimplementasikan, yaitu AlexNet 5 lapis, VGG
16 lapis, 50 lapis, ResNets 101 lapis, dan DenseNet 169 lapis.
Piramida fitur buatan tangan (menggunakan hutan acak sebagai
pengklasifikasi) yang diusulkan dalam [16] untuk klasifikasi displasia
serviks juga
A. Metrik Evaluasi
C. Perbandingan Berbagai Jaringan Pengodean Fitur
Kami pertama-tama mengevaluasi kinerja kerangka tersebut
dengan gambar kolposkopi tunggal yang diambil pada slot waktu
yang berbeda, seperti yang ditunjukkan pada Tabel II. Fitur-fitur yang
dipelajari secara otomatis oleh kerangka pembelajaran mendalam
mengungguli piramida fitur buatan tangan. Dapat diamati bahwa
jaringan yang lebih dalam (ResNet-101 dan DenseNet-169) mencapai
ACC yang lebih tinggi daripada jaringan yang lebih dangkal (AlexNet,
VGG-16 dan ResNet-50) untuk semua slot waktu, yang menunjukkan
bahwa peningkatan kedalaman jaringan dapat meningkatkan
kapasitas model mengekstraksi fitur yang mewakili. Model yang dilatih
dengan gambar kolposkopi 120-an—pengamatan terbaik dari area
lesi yang memutih dalam praktik klinis [16, 17, 21-23]—mencapai
ACC terbaik dibandingkan dengan slot waktu lainnya.
Untuk menilai peningkatan yang dihasilkan dengan menggabungkan
beberapa model, kami menggabungkan kerangka kerja yang dilatih
pada slot waktu yang berbeda menggunakan pendekatan fusi non-
parametrik (voting). Hasil validasi disajikan pada Tabel III. Keakuratan
model tunggal yang dilatih dengan gambar kolposkopi 120-an
dilibatkan untuk perbandingan. Untuk menganalisis lebih lanjut apakah
peningkatan berasal dari ansambel multi-pengklasifikasi atau informasi
tambahan dari beberapa slot waktu, kami berulang kali melatih model
dengan gambar kolposkopik 120-an lima kali dari inisialisasi acak
yang berbeda, dan model ansambel lima
Deteksi serviks, jaringan pengkodean fitur, dan E-GCN diamati untuk
bertemu setelah 50, 100, 10 zaman pelatihan, masing-masing.
Seluruh prosedur pelatihan memakan biaya sekitar satu hari (24 jam).
terlibat untuk perbandingan. Semua kerangka kerja dilatih dan
dievaluasi dengan protokol yang sama—set pelatihan yang identik
(80%) dan validasi (20%).

8
DIAGNOSIS KANKER SERVIKS, PENGUKURAN PARAMETER JARINGAN TIDAK BERLAKU PADA PENDEKATAN INI.).
PERBANDINGAN SLOT WAKTU TUNGGAL VS. SLOT WAKTU GANDA UNTUK IDENTIFIKASI LSIL+ MENGGUNAKAN JARINGAN DENGAN KEDALAMAN DAN
ACC-ACCURACY (%); N. P.-NETWORK PARAMETER—SEJAK PIRAMIDA FITUR [16] MENGADOPSI FITUR KERAJINAN TANGAN DAN SVM UNTUK
ILMU BANGUNAN. VOTING SEDERHANA DIGUNAKAN UNTUK MENGHASILKAN HASIL KLASIFIKASI DARI BEBERAPA MODEL. (PR-PRECISION, RE-RECALL,
90-an
Asli 60-an
ResNet-101
Gambar yang Dipotong
150-an
ResNet-50
120-an
Transaksi Pencitraan Medis
jaringan deteksi serviks. Baris kedua dan ketiga menyajikan perhatian
masing-masing.
ResNet-50 dan ResNet-101. Baris pertama menampilkan gambar yang dipotong oleh
Gambar 6. Visualisasi peta perhatian pasien yang dihasilkan oleh
TABEL III
peta dari multi-model frameworks (MTS) menggunakan ResNet-50 dan ResNet-101,
79,93
Fitur piramida [16]
DenseNet-169 mencapai hasil terbaik untuk model tunggal,
konsisten dengan praktik klinis kolposkopi. Seperti yang tercantum di
Untuk memberikan wawasan tentang apa yang dipelajari jaringan
hasil percobaan ditunjukkan pada Tabel IV.
terhadap 'model tunggal' diamati tidak peduli jaringan mana
66.91
sebaliknya, 'model ansambel (beberapa slot waktu, MTS)
Peta perhatian untuk prediksi LSIL+ yang dihasilkan oleh
79,54
(jutaan) PR RE ACC PR RE ACC PR RE
(slot waktu tunggal, STS)' pada Tabel III).
PR (80,34%), RE (80,27%) dan ACC (80,39%).
fitur yang dipelajari oleh ResNet-50 peka terhadap kebisingan,
dapat diamati bahwa jaringan penyandian fitur (ResNet 50 dan
ResNet-101) menarik lebih banyak perhatian pada jaringan yang diputihkan
ResNet-50 [15]
57
Model ansambel
antara model ansambel—mereka memiliki jaringan yang sama
yang penting untuk diskriminasi dengan jumlah tertimbang dari
jaringan deteksi (lima slot waktu dari pasien positif),
Model tunggal
76,53 76,57 76,61 77,85 76,47 77,07 80,17 79,59
peningkatan (sekitar 3%) pada 'model tunggal'. Meskipun
diproduksi oleh ResNet-50).
area lesi untuk prediksi LSIL+, yang masuk akal dan
slot untuk ansambel model, kami melakukan studi ablasi. Itu
dari 'multi-model' (slot waktu tunggal dan banyak slot waktu)
65.00 64.92 65.15 66.67 66.27 66.71 67.07 66.30 71.07 70.60 71.01 72.43
70.85 71.60 72.34 72.31
informasi tambahan terbatas untuk identifikasi LSIL+. Pada
informasi yang dipelajari dari jaringan [27, 51].
79.15
(beberapa slot waktu, MTS)
dari percobaan berulang untuk perbandingan ('Model ensemble
VGG-16 [47]
dalam kinerja yang lebih baik untuk model ansambel, yaitu yang terbaik
dibandingkan dengan ResNet-101, untuk kerangka kerja model tunggal
dan ganda. Alasan potensial mungkin karena
slot waktu masing-masing ditampilkan di baris kedua dan ketiga. Dia
2) Analisis Slot Waktu yang Berbeda
-
ACC. Alasan yang mendasari mungkin perbedaan kecil
Peta perhatian dapat dengan tepat menyorot wilayah gambar
1) Visualisasi Peta Perhatian
baris Gambar 6 menyajikan gambar yang dipotong oleh serviks
NP
12
gambar kolposkopi menjadi pertimbangan—menghasilkan signifikan
(ditandai dengan panah putih di peta perhatian gambar 120-an
mengevaluasi kontribusi yang dibuat oleh masing-masing dari lima kali
DenseNet-169 [48]
kekokohan kerangka kerja, peningkatan yang konsisten
75,01 74,82 74,40 76,73 74,51 75,31 79,08 79,08 75,68 75,73 75,77 77,55
75,63 76,35 79,47 79,47 76,40 76,50 76,42 78,73 7 7,24 77,85 80,34 80,27
Dibandingkan dengan 'model tunggal', 'model ansambel STS' memiliki
perhatian implisit jaringan pada gambar dan menafsirkan
(slot waktu tunggal, STS)
AlexNet [50]
ResNet-101 tampaknya mempelajari fitur gratis, hasilnya
Tabel III, ResNet-50 mencapai akurasi klasifikasi yang lebih rendah,
dan secara visual menilai kapasitas pengkodean fitur, kami
memvisualisasikan peta perhatian jaringan pada gambar kolposkopik.
dan ResNet-101 dilatih dengan gambar kolposkopi yang berbeda
Degradasi akurasi klasifikasi yang konsisten diamati dengan
menghapus setiap slot waktu. Bingkai yang paling penting
72.44
digunakan. 'Model ansambel STS' menghasilkan peningkatan marjinal
untuk 'model tunggal', yaitu sekitar 1% untuk PR, RE dan
ResNet-50 dan ResNet-101 ditunjukkan pada Gambar 6. Yang pertama
80.39
ACC
'—mengambil informasi kaya yang terkandung dalam urutan
Seperti yang ditunjukkan pada Tabel III, karena ansambel model meningkat
menyebabkan keliru mengenali artefak sebagai area lesi
Seperti yang disajikan pada Tabel III, menggabungkan lima slot
waktu dapat meningkatkan akurasi identifikasi LSIL+. Ke
ResNet-101 [15]
134
24
42
arsitektur dilatih dengan gambar kolposkopik 120-an yang sama.
peta fitur dari lapisan konvolusional terakhir, yang mengekspos
dan peta perhatian yang dihasilkan oleh individu ResNet-50
Model ansambel

9
TABEL IV
TABEL V
BACKBONE UNTUK JARINGAN ENCODING FITUR) (%).
76.63
Lapisan dangkal CNN [17] 66.85
MLP
71.01
ResNet-101 tunggal
67.88
80.78
ÿ ÿ ÿ ÿ - 77,90 77,95 77,98
ÿ ÿ - ÿ ÿ 78,03 78,05 78,11
Pemungutan suara
Slot waktu terpisah
66,16
72,64
77.72
80.59
Akurasi Penarikan Presisi
67,96
80,34
80,77
80,59
81,97
LSTM
- ÿ ÿ ÿ ÿ 79,66 79,70 79,74
ORI 60s 90s 120s 150s PR RE ACC
Mencampur slot waktu
E-GCN
73,71
80,27
80,62
80,40
81,78
ÿ ÿ ÿ -
R-CNN lebih cepat [45]
68.80
80.39
87,96
80,96
81.95
ÿ - ÿ ÿ ÿ 78,36 78,39 78,44
ÿ 77,70 77,74 77,79
Fusi awal
ÿ ÿ ÿ ÿ ÿ 80,34 80,27 80,39
informasi perwakilan dari slot waktu individu dan
area untuk identifikasi LSIL+ yang akurat.
tingkat profesional yang berbeda (intern, in-service dan profesional) diundang
untuk bersaing dengan kerangka kerja E-GCN dengan
ACC ke kolposkopis in-service (76,00%). Yang diusulkan
satuan untuk pembanding. Fitur yang diekstrak oleh ResNet-101 adalah
akurasi beberapa pendekatan yang ada [17, 45] juga terdaftar
pada 120-an setelah penerapan asam asetat, yang konsisten
Voting, MLP, LSTM dan E-GCN) mengungguli 'Mixing
pemutihan dipandang sebagai indeks untuk identifikasi LSIL+—
potensi kerangka pembelajaran mendalam yang diusulkan untuk
bekerja, kebenaran dasar berasal dari ujian patologis yang
mengeksploitasi informasi kontekstual. E-GCN tercapai
validasi dilakukan untuk hasil (ACC) dari MLP dan
dan 150 positif (70 CIN1, 70 CIN2/3 dan 10 kasus kanker).
fitur tepi, yang dapat mengekspresikan hubungan dengan benar
pendekatan, juga terlibat untuk perbandingan. Pendekatan
informasi yang terkandung dalam gambar kolposkopi berbeda
dilatih dengan set pelatihan yang disusun dengan mencampurkan kolposkopi
D. Perbandingan Berbagai Pendekatan Fusi
dengan konsensus para ahli membaca gambar uji. Secara teori,
lebih tinggi dari runner-up (ResNet-101 + MLP). Meskipun kami
dari runner-up (MLP). Dibandingkan dengan MLP, E GCN menyediakan fusi
berdasarkan slot waktu, yang dipertahankan
Kami juga melakukan konfrontasi manusia-mesin untuk mengevaluasi
(tingkat keputihan dan tekstur) dan durasi lesi memutih
gambar sebelum membuat diagnosis. Tiga kolposkopi aktif
Semua varian dari metode yang diusulkan mencapai sebanding
saluran. Hasil validasi ditunjukkan pada Tabel V. Hasil validasi tersebut
beberapa pendekatan fusi yang banyak digunakan seperti pemungutan
suara, persepsi multi layer (MLP), dan memori jangka pendek panjang (LSTM)
(yaitu, menyebabkan penurunan akurasi terbesar) adalah yang ditangkap
Seperti yang ditunjukkan pada Tabel V, semua pendekatan fusi akhir (yaitu,
120 detik setelah mengoleskan asam asetat ke serviks. Durasi dari
karena kelelahan atau keterbatasan waktu membaca manusia. Di dalam
E-GCN dapat meniru proses klinis ini menggunakan pembelajaran
bingkai yang berdekatan, yang menurunkan kapasitas LSTM untuk
Signifikansi Statistik: Untuk memvalidasi signifikansi statistik, percobaan
diulang tiga kali. Uji-t
dikumpulkan dari 300 pasien—150 negatif (non-kanker)
fusi, yang berbeda dari fusi akhir yang disebutkan di atas
jaringan penyandian fitur yang terpisah—mengeksploitasi sepenuhnya
di antaranya dikembangkan menggunakan gambar slot waktu tunggal
jelas untuk pengamatan dalam gambar kolposkopi ini.
atau diagnosis kanker kulit [53], kebenaran dasar diperoleh
diizinkan untuk menghabiskan waktu tak terbatas untuk membaca kolposkopi
dan 78,33% ACC, yaitu 1,58%, 1,33% dan 1,33%
(81,95%), yaitu +1,20%, +1,16% dan +1,17% lebih tinggi
gambar uji sebelum dan sesudah asam asetat untuk menilai fitur
Tabel VI.
Kami mengevaluasi E-GCN pada set validasi, dan menyertakan
peningkatan yang dihasilkan oleh E-GCN secara statistik signifikan pada
tingkat signifikansi 5%.
gambar kolposkopi pada slot waktu yang berbeda sebagai masukan yang berbeda
menjadi putih oleh asam asetat dan mencapai puncaknya pada
akurasi kecerdasan buatan (AI). AI mengungguli manusia
MLP, mungkin karena interval waktu yang lama (ÿ 30 detik) antara
kolposkopi (81,00%), hasilnya masih menunjukkan kedalaman
sangat baik meniru hubungan bersama.
E. Perbandingan Terhadap Kolposkopis
menyelidiki set tes yang sama, terdiri dari gambar kolposkopi
Kerangka kerja ResNet-101 + E-GCN mencapai kinerja klasifikasi terbaik,
yaitu 79,02% PR, 78,33% RE
diadopsi sebagai input untuk pendekatan fusi tersebut, karena kinerja
ResNet-101 yang sangat baik dalam ansambel model. Lebih awal
pendekatan slot waktu, yang menunjukkan keunggulan
dalam entri di bawah 'Slot waktu pencampuran' dari Tabel V. Sejak kebanyakan
ke pengetahuan sebelumnya klinis — area lesi menjadi paling banyak
aplikasi klinis. Di sebagian besar karya lain, misalnya, ImageNet [52]
tidak dapat diakses oleh AI atau manusia. Kolposkopi manusia
presisi tertinggi (81,97%), recall (81,78%) dan akurasi
area yang memutih pada pasien LSIL+ bertahan lebih lama dibandingkan
area non-kanker. Oleh karena itu, kolposkopi biasanya membandingkan E-GCN. Nilai p adalah 2,69%, yang menunjukkan akurasi
Hasil konfrontasi manusia-mesin disajikan dalam
antara bingkai yang berbeda dari data kolposkopi selang waktu.
memadukan informasi pada tahap paling awal—mengambil
slot waktu. Terlihat bahwa LSTM tidak mengungguli
Selama tes VIA, warna daerah lesi secara bertahap
kinerja sekelompok ahli adalah up-batas dari
framework mencapai ACC yang lebih rendah dibandingkan dengan profesional
gambar yang diambil pada slot waktu yang berbeda secara bersamaan.
PENDEKATAN FUSI YANG BERBEDA (RESNET-101 DIADOPSI SEBAGAI
FUSI FITUR. (PR-PRECISION, RE-RECALL, ACC-ACCURACY (%)).
KEAKURATAN KLASIFIKASI IDENTIFIKASI LSIL+ MENGGUNAKAN
PERBANDINGAN KINERJA IDENTIFIKASI LSIL+ YANG DIHASILKAN OLEH
KOMBINASI SLOT WAKTU YANG BERBEDA. VOTING DIGUNAKAN UNTUK

10
TABEL VI
PERBANDINGAN DENGAN KOLPOSKOPIS PADA SET TES INDEPENDEN
DENGAN 300 PASIEN. (PR-PRECISION, RE-RECALL, ACC-ACCURACY (%)).
Untuk meniru proses diagnosis klinis, E-GCN menggunakan fitur
tepi untuk merepresentasikan hubungan antara fitur yang disandikan.
Fitur edge dapat dilatih dan diperbarui selama pengoptimalan E-GCN.
Untuk menyelidiki kapasitas perwakilan fitur tepi dan memvalidasi
apakah mereka konsisten dengan pengetahuan klinis sebelumnya,
kami mengekstrak fitur tepi (yaitu, 20 bobot tepi 1 × 1) dari E-GCN
yang terlatih dengan baik dan menyajikan peta hubungan pada
Gambar. 7. Node grafik adalah fitur yang dikodekan yang diekstraksi
dari gambar asli (ORI) dan gambar asam asetat 60an, 90an, 120an,
150an.
ResNet-101 + Pemungutan Suara
F. Interpretasi E-GCN
Mesin
uji gambar untuk keputusan LSIL+ atau tidak. Tingkat dan durasi
pemutihan area lesi adalah dua indikator untuk diagnosis LSIL+.
Pasien dengan area memutih yang jelas dan bertahan lama (lebih dari
120 detik) memiliki risiko LSIL+ yang lebih tinggi. Seperti yang
ditunjukkan pada Gambar 7, ada empat koneksi kuat, yaitu 60s ÿ 90s,
90s ÿ 120s, ORI ÿ 120s dan 150s ÿ 60s, yang dapat mengekspresikan
dua indikator penting ini dengan sangat baik.
76,76 76,33 76,33
algoritme berbasis pembelajaran dapat memberikan bantuan yang
berguna dalam skenario klinis yang realistis—AI melebihi tingkat rata-
rata kolposkopi manusia (75,11%).
Menurut literatur klinis [14], dokter perlu hati-hati membandingkan
sebelum (60-an) dan pasca-asam asetat (120-an)
Rata-rata
Dalam pelayanan
Selanjutnya, node 150s dapat langsung mentransfer informasi ke
fitur node 120s melalui koneksi short-cut (150s ÿ 60s ÿ 90s ÿ 120s),
yang membuat node 120s secara bersamaan mempertimbangkan
dua indeks klinis—derajat (ORI ÿ 120s) dan durasi (150 detik ÿ 60
detik) area lesi yang memutih—untuk identifikasi LSIL+.
77,44 77,00 77,00
Profesional
68,35 68,33 68,33
a) Proses pemutihan selama VIA (60 detik ÿ 90 detik ÿ 120 detik):
Selama VIA, area lesi secara bertahap diputihkan oleh asam asetat
dan menjadi paling jelas sekitar 120 detik setelah pemberian asam
asetat. Proses ini dijelaskan oleh dua segmen garis terarah (60-an ÿ
90-an dan 90-an ÿ 120-an), yang menggambarkan bahwa fitur node
terakhir (90-an dan 120-an) sangat bergantung pada slot waktu
sebelumnya (60-an dan 90-an). b) Tingkat area lesi yang memutih
(ORI
ÿ 120s): Seperti yang telah disebutkan sebelumnya, (1) dokter
perlu membandingkan dengan hati-hati gambar tes asam asetat
sebelum (ORI) dan pasca-asam asetat untuk mengukur tingkat area
lesi yang memutih, dan ( 2) gambar kolposkopik 120-an memberikan
tampilan paling jelas dari area lesi yang memutih. Oleh karena itu, E-
GCN secara otomatis menetapkan jalan pintas untuk secara langsung
mentransfer informasi dari node ORI ke node 120s, yang
memungkinkan fitur node 120s untuk mewakili tingkat keputihan area
lesi selama VIA. c) Durasi pemutihan (150 detik ÿ 60 detik): Terlepas
dari segmen garis terarah yang menjelaskan proses pemutihan (60
detik ÿ 90 detik ÿ 120 detik) dan derajat area lesi yang memutih (ORI
ÿ 120 detik), segmen garis terarah lainnya (150 detik ÿ 60 detik ) pada
Gambar. 7 bertujuan untuk menilai kriteria penting lainnya—durasi
pemutihan. Area yang diputihkan dapat memudar untuk pasien non-
kanker pada akhir VIA (150 detik), sementara pasien LSIL+
mempertahankan area yang diputihkan. Oleh karena itu, durasi
pemutihan dapat diukur dengan membandingkan fitur nodus 60-an
(awal VIA) dan 150-an, yaitu, pasien memiliki risiko LSIL+ yang rendah
jika fitur dari dua slot waktu ini serupa secara persepsi. E-GCN kami
menyematkan informasi ini dengan membangun ketergantungan yang
kuat dari tahun 150-an hingga 60-an.
Untuk memvalidasi apakah interpretabilitas (yaitu, topologi grafik)
yang dipelajari oleh E-GCN benar-benar dapat meningkatkan akurasi
klasifikasi, kami melatih ulang kerangka pembelajaran mendalam
yang diusulkan dengan grafik yang direvisi (yaitu rE-GCN), yang
menghilangkan tepi median dan tepi yang lemah. . Akurasi klasifikasi
E-GCN dan rE-GCN asli pada set validasi dibandingkan pada Tabel
VII. Dapat diamati dari Tabel VII bahwa ACC rE-GCN sebanding
dengan E-GCN asli, yang menunjukkan keefektifan topologi graf yang
dipelajari oleh E-GCN. Sedikit penurunan akurasi klasifikasi (yaitu,
ÿ0,45% dari ACC) mungkin disebabkan oleh hilangnya aliran informasi
yang ditransaksikan oleh tepi median dan lemah.
Magang
73,29 77,37 76,00 77,93
82,24 81,00 73,19 75,98
75,11
1) Validasi Topologi Graf yang Dipelajari
Manusia
ResNet-101 + LSTM 77,06 76,67 76,67 ResNet-101 + E-GCN
(milik kita) 79,02 78,33 78,33
Menurut nilai fitur tepi (c ÿ [0, 1]), tepi dapat diklasifikasikan menjadi
tiga kategori — lemah (c <0,35), median (0,35 ÿ c < 0,65) dan kuat (c
ÿ 0,65). Tingkat ketergantungan (lemah, median dan kuat) dari garis
terarah mewakili kontribusi node asal yang dibuat ke node tujuan
selama optimasi grafik. Oleh karena itu, semakin tinggi level berarti
node tujuan memiliki ketergantungan yang lebih kuat pada asalnya.
PR RE ACC
ResNet-101 + MLP
Gambar 7. Hubungan yang dipelajari oleh E-GCN. Jenis garis mewakili
ketergantungan antara fitur yang disandikan, yang dapat diklasifikasikan
menjadi tiga kategori (lemah, median, dan kuat).

11
Kanker serviks menyebabkan kematian terkait kanker terbanyak keempat
(D). Fitur dari jaringan penyandian digabungkan untuk
E-GCN Asli 81.97 81.79 81.95
presisi tertinggi (72,62%), recall (85,45%) dan akurasi
Untuk menunjukkan generalisasi dari deep learning yang diusulkan
GCN tertimbang secara acak, masing-masing, yang menunjukkan
79,33
79,93
ResNet-101 + MLP
kedepannya, kami berencana untuk mengintegrasikan sitologi serviks dan HPV
di GCN yang ditimbang secara acak sama dengan E-GCN kami. Catatan
menguntungkan klasifikasi negatif/positif.
satu menyediakan data validasi dan pengujian. ResNet 101 diadopsi
sebagai tulang punggung untuk pengkodean fitur. Itu
T-SNE [54] digunakan untuk memvisualisasikan variasi fitur
jaringan untuk secara terpisah mengekstrak fitur dari masing-masing
untuk membuat keputusan akhir apakah pasien memerlukan biopsi. 2)
rangkaian. Seperti yang ditunjukkan pada Tabel VII, akurasi LSIL+
71,23 83,22 77,26
80,61
81,51
80,52% beralih dari E-GCN ke GCN yang terhubung penuh dan
ResNet-101 + Pemungutan Suara
yang mungkin terlewatkan oleh pendekatan yang diusulkan. Di dalam
set pengujian, yaitu GCN dengan graf terhubung penuh dan graf berbobot
acak. Bobot tepi untuk GCN yang terhubung penuh semuanya disetel ke 1,
sedangkan nilai ÿ [0, 1] adalah sebagai tanda ke tepi GCN yang diberi bobot
acak. Untuk perbandingan yang adil, jumlah koneksi yang kuat, median,
dan lemah
kapasitas untuk memadatkan kelompok kelas yang berbeda, yang
ResNet-101 + E-GCN (milik kami) 72,62 85,45 79,07
dataset (disebut dataset JX). Kumpulan data ini berisi gambar kolposkopi
selang waktu dari 1.161 pasien (yaitu, 577 negatif dan 584 positif) dari
rumah sakit yang berbeda dari
2) Visualisasi t-SNE
pengobatan lanjutan.
70,19 82,53 76,40
sitologi serviks atau hasil tes HPV (jika tersedia)
kanker serviks) identifikasi. Sistem ini menggunakan deep learning
Varian GCN adalah lapisan yang terhubung sepenuhnya setelah fitur node
FC GCN RW
GCN
Beberapa pasien dengan tipe serviks tertentu mungkin memiliki lesi di
samping saluran serviks (tidak terlihat pada gambar kolposkopi),
identifikasi pada set validasi menurun menjadi 79,87% dan
70,88 84,42 77,69
kami mengevaluasi kinerja dua varian GCN
efektivitas E-GCN untuk memproses gambar kolpo skopis yang telah berlalu
waktu.
rE-GCN
Hasil visualisasi t-SNE, E-GCN ditemukan memiliki
pengetahuan.
80.52
jenis sehingga kami dapat mengeluarkan peringatan untuk pasien yang membutuhkan lebih banyak
PR RE ACC
1) Dalam praktik klinis, seorang kolposkopi manusia dapat berintegrasi
tahap pelatihan; oleh karena itu, satu-satunya lapisan yang dapat dipelajari untuk
pasien. Dalam makalah ini, kami mengusulkan sistem diagnosis berbantuan
komputer yang akurat untuk LSIL+ (termasuk CIN dan
dari h (keluar) yang dihasilkan oleh E-GCN disajikan pada Gambar. 8 (b) dan
Akurasi Penarikan Presisi
pendekatan disajikan pada Tabel VIII. E-GCN tercapai
Untuk lebih menunjukkan manfaat yang dihasilkan oleh E-GCN kami,
kerangka kerja, kami melakukan percobaan tambahan pada yang lain
perbandingan, seperti yang ditunjukkan pada Gambar. 8 (a) dan (c). Dengan membandingkan
(79,07%) pada dataset JX, yang selanjutnya menunjukkan
77,95 84,64 81,50
manfaat menggunakan topologi grafik yang konsisten dengan klinis
ResNet-101 + LSTM
hasil untuk meniru praktek klinis, dan mengidentifikasi serviks
bahwa topologi grafik varian diperbaiki sebelum final
Kami melihat bahwa ada beberapa keterbatasan perbandingan ini:
79.87
perempuan di seluruh dunia. Deteksi dini neoplasia intraepitel serviks (CIN)
secara signifikan dapat meningkatkan tingkat kelangsungan hidup
embedding selama pelatihan E-GCN. Hasil visualisasi
akurasi identifikasi LSIL+ menggunakan fusi fitur yang berbeda
W.-BERAT-ACAK)
HIMPUNAN DATA. (PR-PRECISION, RE-RECALL, ACC-ACCURACY (%)).
PERBANDINGAN ANTARA TOPOLOGI GRAF YANG BERBEDA PADA ATAS
TABEL VIII
(C)
V. VALIDASI PADA DATASET LAIN
SET VALIDASI (%). (F.C. -FULLY-CONNECTED, R.
fitur untuk set validasi, masing-masing, sementara (c) dan (d) memvisualisasikan fitur asli dan GCN yang dipelajari untuk set tes masing-masing 300 pasien.
(B)
VI. BATASAN DAN PEKERJAAN MASA DEPAN
Gambar 8. Visualisasi t-SNE dari penyematan fitur selama pelatihan E-GCN. (a) dan (b) dihasilkan menggunakan fitur gabungan asli dan GCN dipelajari
(A)
KEAKURATAN KLASIFIKASI IDENTIFIKASI LSIL+ PADA JX
(D)
TABEL VII
VII. KESIMPULAN

12
[31] F. Scarselli, M. Gori, AC Tsoi, M. Hagenbuchner, dan G. Monfardini, "Model
jaringan saraf grafik," IEEE Transactions on Neural Networks, vol. 20, tidak. 1,
hlm. 61–80, 2009.
[14] J. Zhao, X. Zhang, R. Chen, YQ Zhao, dan YL Qiao, “Kinerja sistem evaluasi
kolposkopi R-way dalam skrining kanker serviks,”
[22] D. Song, E. Kim, X. Huang, J. Patruno, H. Munozavila, J. Heflin et al., “Koreferensi
entitas multimodal untuk diagnosis displasia serviks,” IEEE Transactions on
Medical Imaging, vol. 34, tidak. 1, hlm. 229–245, 2015.
[1] F. Bray, J. Ferlay, I. Soerjomataram, RL Siegel, dan A. Jemal, “Statistik kanker
global 2018: GLOBOCAN memperkirakan kejadian dan kematian di seluruh
dunia untuk 36 kanker di 185 negara,” CA: A Cancer Journal for Dokter, vol. 68,
tidak. 6, hlm. 394–424, 2018.
Moscicki et al., "Standar kolposkopi ASCCP: Peran kolposkopi, manfaat, potensi
bahaya, dan terminologi untuk praktik kolposkopi,"
[33] P. Battaglia, JBC Hamrick, V. Bapst, A. Sanchez, V. Zambaldi, M. Malinowski et
al., “Bias induktif relasional, pembelajaran mendalam, dan jaringan grafik,”
pracetak arXiv arXiv:1806.01261, 2018.
[15] K. He, X. Zhang, S. Ren, dan J. Sun, “Deep residual learning for image recognition,”
dalam IEEE Conference on Computer Vision and Pattern Recognition, 2016, hlm.
770–778.
[24] N. Kaur, N. Panigrahi, dan AK Mittal, “Penyaringan kanker serviks otomatis
menggunakan pembelajaran transfer,” dalam Konferensi Internasional tentang
Kemajuan Terkini dalam Sains dan Manajemen Teknik, 2017.
[3] (2018) Direktur Jenderal WHO mengimbau semua negara untuk mengambil
tindakan guna membantu mengakhiri penderitaan akibat kanker serviks. [On
line]. Tersedia: http://www.who.int/reproductivehealth/call to-action-elimination-
cervical-cancer/en/
[9] M. Underwood, M. Arbyn, WP Parry-Smith, SD Bellis-Ayres, dan E. Moss, “Akurasi
biopsi pukulan yang diarahkan oleh kolposkopi: Tinjauan sistematis dan meta-
analisis,” BJOG: Sebuah Jurnal Internasional tentang Obstetri & Ginekologi, vol.
119, tidak. 11, hlm. 1293–1301, 2012.
[35] Y. Chen, M. Rohrbach, Z. Yan, Y. Shuicheng, J. Feng, dan Y. Kalantidis, “Jaringan
penalaran global berbasis grafik,” dalam Konferensi IEEE tentang Visi Komputer
dan Pengenalan Pola, 2019.
[39] SY Shin, S. Lee, ID Yun, dan KM Lee, “Segmentasi pembuluh dalam dengan
mempelajari konektivitas grafis,” Analisis Gambar Medis, vol. 58, hal. 101556,
2019.
[17] V. Kudva, K. Prasad, dan G. Shyamala, "Otomatisasi deteksi kanker serviks
menggunakan jaringan saraf konvolusional," Tinjauan Kritis dalam Rekayasa
Biomedis, vol. 46, tidak. 2, hlm. 135–145, 2018.
Wright, “Pendekatan skrining dan pengobatan untuk pencegahan kanker serviks
dalam pengaturan sumber daya rendah: Uji coba terkontrol secara acak,” The
Journal of American Medical Association, vol. 294, tidak. 17, hlm. 2173–2181, 2005.
[11] M. Wu, C. Yan, H. Liu, Q. Liu, dan Y. Yin, “Klasifikasi otomatis kanker serviks dari
gambar sitologi dengan menggunakan jaringan saraf convolutional,” laporan
Bioscience, vol. 38, tidak. 6, hal. BSR20181769, 2018.
[26] Z. Wu, G. Li, L. Wang, F. Shi, W. Lin, JH Gilmore et al., "Pendaftaran paket
permukaan kortikal bayi gratis menggunakan jaringan saraf konvolusional yang
dalam," dalam Konferensi Musim Dingin IEEE tentang Aplikasi Computer Vision,
2018, hlm. 672–680.
[37] S. van Steenkiste, M. Chang, K. Greff, dan J. Schmidhuber, “Maksimalkan
ekspektasi saraf relasional: Penemuan objek dan interaksinya tanpa pengawasan,”
dalam Konferensi Internasional tentang Representasi Pembelajaran, 2018.
[19] V. Kudva dan K. Prasad, "Klasifikasi pola gambar dari skrining kanker serviks
berbasis asam asetat: Tinjauan," Tinjauan Kritis dalam Rekayasa Biomedis, vol.
46, tidak. 2, hlm. 117–133, 2018.
[28] S. Hochreiter dan J. Schmidhuber, "Memori jangka pendek panjang," Neural
Computation, vol. 9, tidak. 8, hlm. 1735–1780, 1997.
[6] SM Wang dan YL Qiao, “Implementasi skrining dan pencegahan kanker serviks di
Tiongkok—Tantangan dan kenyataan,” Jurnal Onkologi Klinis Jepang, vol. 45,
tidak. 1, hlm. 7–11, 2015.
[30] A. Micheli, "Jaringan saraf untuk grafik: Pendekatan konstruktif kontekstual," IEEE
Transactions on Neural Networks, vol. 20, tidak. 3, hlm. 498–511, 2009.
[13] Y. Xie, Y. Xia, J. Zhang, Y. Song, D. Feng, M. Fulham et al., “Pembelajaran
mendalam kolaboratif berbasis pengetahuan untuk klasifikasi nodul paru jinak-
ganas pada CT dada,” IEEE Transaksi Pencitraan Medis, vol. 38, tidak. 4, hlm.
991–1004, 2019.
[21] W. Li, S. Venkataraman, U. Gustafsson, JC Oyama, DG Ferris, dan RW Lieberman,
“Menggunakan indeks opasitas acetowhite untuk mendeteksi neoplasia intraepitel
serviks,” Jurnal Optik Biomedis, vol. 14, tidak. 1, hlm. 014 020–1–014 020–10,
2009.
REFERENSI
[8] MJ Khan, CL Werner, TM Darragh, RS Guido, C. Mathews, AB
[32] Z. Wu, S. Pan, F. Chen, G. Long, C. Zhang, dan PS Yu, “Sebuah survei
komprehensif tentang jaringan saraf graf,” pracetak arXiv: arXiv:1901.00596,
2019.
Jurnal Pencegahan Kanker Asia Pasifik, vol. 16, tidak. 10, hlm. 4223– 4228, 2015.
[23] M. Sato, K. Horie, A. Hara, Y. Miyamoto, K. Kurihara, dan K. Tomio, “Penerapan
pembelajaran mendalam pada klasifikasi gambar dari kolposkopi,” Surat Onkologi,
vol. 15, tidak. 3, hlm. 3518–3523, 2018.
Journal of Lower Genital Tract Disease, vol. 21, tidak. 4, hlm. 223–229, 2017.
[2] M. Brisson dan M. Drolet, “Penghapusan global kanker serviks sebagai masalah
kesehatan masyarakat,” Lancet Onkologi, vol. 20, tidak. 3, hlm. 319–321, 2019.
[34] Z.-M. Chen, X.-S. Wei, P. Wang, dan Y. Guo, “Multi-label image recognition with
graph convolutional network,” dalam IEEE Conference on Computer Vision and
Pattern Recognition, 2019.
[16] T. Xu, H. Zhang, C. Xin, E. Kim, dan X. Huang, “Patokan berbasis multi-fitur untuk
evaluasi klasifikasi displasia serviks,” Pengenalan Pola, vol. 63, hlm. 468–475,
2017.
[25] M. Arora, S. Dhawan, dan K. Singh, “Deep neural network for transformation zone
classification,” in International Conference on Secure Cyber Computing and
Communication, 2018, hlm. 213–216.
[4] L. Denny, L. Kuhn, MD Souza, AE Pollack, W. Dupree, dan TCJ
[10] N. Wentzensen, M. Schiffman, MI Silver, MJ Khan, RB Perkins, KM Smith et al.,
“Standar kolposkopi ASCCP: Praktik kolposkopi berbasis risiko,” Journal of
Lower Genital Tract Disease, vol. 21, tidak. 4, hlm. 230–234, 2017.
[36] T. Kipf, E. Fetaya, K.-C. Wang, M. Welling, dan R. Zemel, “inferensi relasional
saraf untuk sistem yang berinteraksi,” dalam Konferensi Internasional tentang
Pembelajaran Mesin, vol. 80, 2018, hlm. 2688–2697.
[40] TN Kipf dan M. Welling, “Klasifikasi semi-diawasi dengan jaringan konvolusional
graf,” dalam Konferensi Internasional tentang Representasi Pembelajaran, 2017.
[18] JL Belinson, RG Pretorius, WH Zhang, LY Wu, YL Qiao, dan P. Elson, “Skrining
kanker serviks dengan inspeksi visual sederhana setelah asam asetat,” Obstetri
& Ginekologi, vol. 98, tidak. 3, hlm. 441–444, 2001.
[27] Y. Jin, Q. Dou, H. Chen, L. Yu, J. Qin, CW Fu et al., “SV-RCNet: Pengenalan alur
kerja dari video bedah menggunakan jaringan konvolusional berulang,” Transaksi
IEEE pada Pencitraan Medis , vol. 37, tidak. 5, hlm. 1114–1126, 2018.
[5] Organisasi Kesehatan Dunia, Pengendalian kanker serviks yang komprehensif:
Panduan untuk praktik penting. Organisasi Kesehatan Dunia, 2014.
[12] W. Li, J. Li, KV Sarma, KC Ho, S. Shen, BS Kundsen et al., “Path R-CNN untuk
diagnosis kanker prostat dan Gleason grading of histological images,” IEEE
Transactions on Medical Imaging, vol. 38, tidak. 4, hlm. 945–954, 2019.
[38] R. Selvan, T. Kipf, M. Welling, JH Pedersen, J. Petersen, dan M. d. Bruijne,
“Ekstraksi pohon berbasis penyempurnaan grafik menggunakan jaringan medan
rata-rata dan jaringan saraf grafik,” arXiv preprint arXiv:1811.08674, 2018.
[20] K. Fernandes, JS Cardoso, dan J. Fernandes, “Metode otomatis untuk mendukung
keputusan skrining kanker serviks menggunakan kolposkopi digital,” IEEE
Access, vol. 6, hlm. 33 910–33 927, 2018.
[29] M. Gori, G. Monfardini, dan F. Scarselli, “A new model for learning in graph
domains,” dalam IEEE International Joint Conference on Neural Networks, 2005.
[7] W. Chen, R. Zheng, PD Baade, S. Zhang, H. Zeng, F. Bray dkk., “Statistik kanker
di Tiongkok, 2015,” CA: Jurnal Kanker untuk Dokter, vol. 66, tidak. 2, hlm. 115–
132, 2016.
gambar kolposkopi pasien. Untuk memastikan ketangguhan
representasi fitur, jaringan ultra-dalam, yaitu ResNet-101, diadopsi
sebagai tulang punggung untuk jaringan penyandian fitur.
Jaringan konvolusi grafik yang dapat ditafsirkan dengan fitur
simpul dan tepi (E-GCN) diimplementasikan untuk memadukan
fitur yang diekstrak dan menghasilkan hasil klasifikasi berdasarkan
pasien. Kerangka yang diusulkan dievaluasi pada dataset serviks
skala besar, yang melibatkan gambar yang dikumpulkan dari
7.668 pasien. Selain itu, kami mengundang kolposkopi untuk
bersaing dengan sistem diagnosis berbantuan komputer kami.
Hasil percobaan menunjukkan bahwa kerangka pembelajaran
mendalam yang diusulkan mencapai akurasi klasifikasi 78,33%,
yang sebanding dengan kolposkopi berpengalaman.

13
`
[50] A. Krizhevsky, I. Sutskever, dan GE Hinton, “Klasifikasi ImageNet dengan jaringan
saraf konvolusional yang dalam,” dalam Konferensi Internasional tentang Sistem
Pemrosesan Informasi Neural, 2012, hlm. 1097–1105.
[41] R. Li, S. Wang, F. Zhu, dan J. Huang, “jaringan saraf konvolusional grafik adaptif,”
dalam Konferensi AAAI tentang Kecerdasan Buatan, 2018, hlm. 3546–3553.
[49] D. Kingma dan JB Adam, “Adam: Metode untuk optimasi stokastik,” pracetak arXiv
arXiv:1412.6980, 2014.
[48] G. Huang, Z. Liu, L. van der Maaten, dan KQ Weinberger, “Densely connected
convolutional networks,” dalam IEEE Conference on Computer Vision and Pattern
Recognition, 2017, hlm. 2261–2269.
[46] J. Redmon, S. Divvala, R. Girshick, dan A. Farhadi, “You Only Look Once: Unified, real-
time object detection,” dalam IEEE Conference on Computer Vision and Pattern
Recognition, 2016, hlm. 779 –788.
[47] K. Simonyan dan A. Zisserman, “Jaringan konvolusional yang sangat dalam untuk
pengenalan gambar skala besar,” pracetak arXiv arXiv:1409.1556, 2014.
[45] S. Ren, K. He, R. Girshick, dan J. Sun, “R-CNN Lebih Cepat: Menuju deteksi objek
waktu nyata dengan jaringan proposal wilayah,” dalam Kemajuan dalam Sistem
Pemrosesan Informasi Neural, 2015.
[54] L. van der Maaten dan G. Hinton, "Visualisasi data dimensi tinggi menggunakan t-
SNE," Journal of Machine Learning Research, vol. 9, hlm. 2579– 2605, 2008.
[44] L. Gong dan Q. Cheng, “Exploiting edge features for graph neural network,” dalam The
IEEE Conference on Computer Vision and Pattern Recognition, 2019.
[53] A. Esteva, B. Kuprel, RA Novoa, J. Ko, SM Swtter, HM Blau et al., “Klasifikasi kanker
kulit tingkat dokter kulit dengan jaringan saraf dalam,” Nature, vol. 542, tidak. 7639,
hlm. 115–118, 2017.
[43] V. Garcia dan J. Bruna, “Pembelajaran beberapa tembakan dengan jaringan saraf
graf,” dalam Konferensi Internasional tentang Representasi Pembelajaran, 2018.
[52] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma et al., "Tantangan
pengenalan visual berskala besar ImageNet," International Journal of Computer
Vision, vol. 115, tidak. 3, hlm. 211–252, 2015.
[42] P. Velickovic, G. Cucurull, A. Casanova, A. Romero, P. Lio, and Y. Bengio, “Graph
attention networks,” pracetak arXiv arXiv:1710.10903, 2017.
[51] B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, dan A. Torralba, “Mempelajari fitur
mendalam untuk pelokalan diskriminatif,” dalam Konferensi IEEE tentang Visi
Komputer dan Pengenalan Pola, 2016, hlm. 2921–2929 .

jurnalkankerserviksmenggunakangambarkolposkopi.pdf

Recommended

Recommended

More Related Content

Similar to jurnalkankerserviksmenggunakangambarkolposkopi.pdf

Similar to jurnalkankerserviksmenggunakangambarkolposkopi.pdf (20)

Recently uploaded

Recently uploaded (6)

jurnalkankerserviksmenggunakangambarkolposkopi.pdf