BAHAN SOSIALISASI PPDB SMA-SMK NEGERI DISDIKSU TP. 2024-2025 REVISI.pptx
Seminar Proposal.pptx
1. Implementasi Speech Recognition
Pada Pembuatan Kalkulator Audio
Visual dengan Metode Deep Learning
TASYA ZULFI KOTO
18451089
STMIK KAPUTAMA KOTA BINJAI
2. Latar Belakang
Teknologi pada dasarnya dibuat dan dikembangkan sebagai alat untuk
membantu manusia. Hadir dan berkembangnya teknologi informasi
sangat berpengaruh pada perubahan dan menjadikan kemudahan
bagi manusia untuk melakukan pekerjaan dalam berbagai bidang,
seperti: sektor bisnis, social, pemerintahan, militer, pendidikan,
kesehatan, rumah tangga, dan hampir disetiap sendi-sendi kehidupan
manusia modern, tetapi apakah semua manusia dapat merasakan
atau menggunakan produk-produk teknologi yang selama ini
berkembang. Anak berkebutuhan khusus netra adalah kondisi
seseorang yang mengalami gangguan atau hambatan dalam
penglihatan. Sebagai seorang anak berkebutuhan khusus netra tentu
dalam melakukan kegiatan perhitungan dengan menggunakan alat
perhitungan atau yang sering kita sebut dengan kalkulator akan terasa
sulit. Kalkulator yang ada pada saat ini hanya dapat digunakan
dengan indera penglihatan tanpa adanya input dan output
menggunakan suara, sehingga anak berkebutuhan khusus netra
kesulitan dalam menggunakannya.
3. Rumusan Masalah
1. Bagaimana merancang dan membuat sebuah
kalkulator audio visual yang dapat
membantu seorang berkebutuhan khusus
netra dalam melakukan proses perhitungan?
2. Bagaimana menerapkan metode Deep
Learning (Artificial Neural Network) dalam
pembuatan kalkulator audio visual agar
sesuai dengan keinginan pengguna?
4. Tujuan Penelitian
1. Membantu dan memberikan alternative bagi
para anak berkebutuhan khusus netra dalam
melakuakan proses perhitungan-
perhitungan.
2. Menganalisis dan merancang sebuah aplikasi
kalkulator audio visual.
5. Manfaat Penelitian
1. Dapat membantu anak berkebutuhan
khusus netra yang mempunyai keterbatasan,
aplikasi kalkulator ini cukup memudahkan
mereka dalam melakukan proses
perhitungan. Sehingga didalam kehidupan
sehari-harinya menjadi lebih baik lagi.
2. Aplikasi kalkulator audio visual ini dapat
dimanfaatkan di lingkungan Pendidikan
Sekolah Luar Biasa (SLB) maupun
lingkungan sekitar.
6. Deep
Learning
Deep Learning merupakan metode learning
yang memanfaatkan artificial neural
network yang berlapis-lapis mulfi layer.
Artificial Neural Network ini dibuat mirip
otak manusia, dimana neuron-neuron
terkoneksi satu sama lain sehingga
membentuk sebuah jaringan neuron yang
sangat rumit. Deep learning atau
merupakan metode learning yang
memanfaatkan multiple non-linier
transformation, deep learning dapat dilihat
seperti gabungan machine learning dengan
AI (artificial neural network). Deep
Learning semakin sering digunakan pada
komunitas riset dan industri untuk
membantu memecahkan banyak masalah
data besar seperti Computer vision, Speech
recognition, dan Natural Language
Processing.
7. Artificial Neural
Network (ANN)
Artificial Neural Network (ANN) atau
jaringan syaraf tiruan merupakan sebuah
Teknik atau pendekatan pengolahan
informasi yang terinspirasi oleh cara kerja
sistem saraf biologis, khususnya pada sel
otak dalam memposes informasi. Elemen
kunci dari teknik ini adalah struktur sistem
pengolahan informasi yang bersikap unik
dan beragam untuk tiap aplikasi. Neural
Network terdiri dari sejumlah besar elemen
pemrosesan informasi (neuron) yang
saling terhubung dan bekerja bersama-
sama untuk menyelesaikan masalah
klasifikasi ataupun prediksi.
8. Speech Recognition
Speech Recognition atau pengenalan suara
adalah proses otomatis mengenali kata-
kata yang diucapkan kemudian
mengubahnya kedalam bentuk teks.
Dengan kata lain Speech Recognition
merupakan suatu proses yang
memungkinkan komputer untuk
mengenali apa yang diucapkan oleh
seseorang kemudian mengubahnya ke
bentuk tulisan, Speech recognition juga
merupakan salah satu dari
bentuk Artificial Intelligence atau AI.
9. Kalkulator Audio Visual
Dari pengertian diatas kita dapat
menyumpulkan bahwa kalkulator audio
visual adalah sebuah alat untuk
menghitung dari perhitungan sederhana
yang menggunakan komponen suara
(audio) sebagai input dan ouputnya.
10. Analisa
Sistem
Analisa sistem yang dibangun pada kasus
ini adalah tentang pengimplementasian
speech recognition pada pembuatan
kalkulator audio visual. Pengangkatan judul
ini dikarenakan alat perhitungan atau
kalkulator sebelumnya hanya dapat
digunakan dengan indera penglihatan
tanpa adanya input atau output
menggunakan suara. Dengan aplikasi ini
diharapkan pengguna (user) bisa dengan
mudah melakukan proses perhitungan
sederhana menggunakan suara. Aplikasi ini
dapat digunakan untuk anak berkebutuhan
khusus netra maupun pengguna (user)
yang memiliki panca indera yang
sempurna. Dimana aplikasi ini memiliki
tiga pilihan yaitu Bahasa Indonesia,
informasi, dan bantuan. Adapun rancangan
sistem untuk membuat aplikasi ini dibuat
dengan menggunakan Bahasa
pemrograman visual basic.
11. Deep Learning Sistem
Pada Desain Sistem ini menggunakan Sistem Speech Recognition yang
mengenali dan memahami kata - kata yang diucapkan dengan cara
digitalisasi kata dan mencocokkan sinyal digital tersebut dengan suatu
pola tertentu yang tersimpan di kalkulator audio visual sistem.
Berikut adalah gambaran umum perancangan sistem Deep Learning
Artificial Neural Network (ANN) dalam Speech Recognition.
Input Audio Preprocessing
Feature
Extraction Feature Matching Output
12. Tahapan dalam prosesnya yaitu :
1. Tahap penerimana masukan : masukan berupa sampel audio rekaman
yang diucapkan berasal dari user.
2. Tahap preprocessing : mempersiapkan dan mengolah data awal sehingga
data yang digunakan merupakan data yang sudah siap pakai dan dapat
mempermudah proses-proses dalam tahapan berikutnya.
3. Tahap ekstraksi ciri : Pada Tahap ini dilakukan ekstraksi ciri
menggunakan Mel frequency Cepstral Coefficents agar mendapat ciri ciri
dari masing-masing data dan menyimpan data yang berupa suara
sekaligus pembuatan basis data sebagai pola.
4. Tahap pembandingan : Pada tahap ini sistem akan mencocokan data
baru dengan data latih yang ada di dalam kalkulator audio visual yang
tersedia. Dimulai dengan proses konversi sinyal digital hasil proses
ekstraksi kedalam bentuk spektrum suara yang akan dianalisa dengan
membandingkannya dengan pola suara basis data. Sebelumnya data
suara masukan dipisahkan dan diproses satu per satu bedasarkan urutan.
5. Tahap Validasi : Pada tahap ini sistem akan mengambil keputusan
apakah masukan data dapat dikenali atau tidak.
13. Speech To Text Sistem
Data
Testing
Audio
Recording
Data
Training
Feature
Extraction
Feature
Matching
Text
Output
HMM/GMM
model
Berikut adalah gambaran umum dari perancangan Sistem Speech to
Text :
14. Beberapa fitur yang ada di Sistem Speech to Text ini:
1. Fitur record, dimana pengguna dapat merecord suara untuk nantinya di lakukan proses
Training.
2. Fitur play, dimana pengguna dapat mendengar hasil record suara yang sudah terekam.
3. Fitur select folder, dimana pengguna memilih root folder yang akan dijadikan data
Training.
4. Fitur Mel frequency Cepstral Coefficents Option, dimana pengguna memilih feature dari
Mel frequency Cepstral Coefficents yang akan digunakan 13 Feature atau 39 Feature.
5. Fitur GMM Option, dimana pengguna memilih mixture dari Gaussian Mixture Model
yang akan digunakan 3 mixture atau 6 mixture.
6. Fitur train, dimana pengguna dapat memproses data training nya untuk di jadikan
sebagai model Hidden Markov Model/Gaussian Mixture Model.
7. Fitur Delete Model, dimana pengguna dapat menghapus data model Hidden Markov
Model/Gaussian Mixture Model yang telah ada.
8. Fitur speech, dimana pengguna dapat mencoba fitur Speech to Text secara langsung.
15. Pengujian
No Kalimat
1 Kalkulator
2 Informasi
3 Bantuan
4 Keluar
5 Satu
6 Dua
7 Tiga
8 Empat
9 Lima
10 Enam
11 Tujuh
12 Delapan
13 Sembilan
14 Tambah
15 Kurang
16 Kali
17 Bagi
16. Pengujian Epoch
Pengujian Epoch MiniBatchSize Akurasi
Pengujian Pertama 10 27 59 %
Pengujian Kedua 20 27 64 %
Pengujian Ketiga 30 27 67 %
Pengujian Keempat 40 27 68 %
Pengujian Kelima 50 27 70 %
Pengujian Keenam 60 27 78 %
Pengujian Ketujuh 70 27 79 %
Pengujian Kedelapan 80 27 81 %
Pengujian Kesembilan 90 27 83 %
Pengujian Kesepuluh 100 27 85 %
Pengujian Kesebelas 150 27 88 %
Dari Nilai akurasi tertinggi yaitu
88 % dengan nilai epoch 150 yang
diadapatkan dari hasil pengujian
akan diuji kembali dengan
menggunakan paramater Mini
Batch Size yang berbeda untuk
melihat apakah ada perubahan
nilai pada akurasi.
17. Pengujian Mini Batch Size
Dari nilai akurasi tertinggi yaitu
89 % dengan nilai MiniBatchSize
20 yang diadapatkan dari hasil
pengujian akan diuji kembali
dengan menggunakan nilai epoch
yang berbeda untuk melihat
apakah ada perubahan nilai pada
akurasi.
Pengujian Epoch MiniBatchSize Akurasi
Pengujian Pertama 150 10 87 %
Pengujian Kedua 150 20 89 %
Pengujian Ketiga 150 30 87 %
Pengujian Keempat 150 40 85 %
Pengujian Kelima 150 50 79 %
Pengujian Keenam 150 60 85 %
Pengujian Ketujuh 150 70 83 %
Pengujian Kedelapan 150 80 81 %
Pengujian Kesembilan 150 90 80 %
Pengujian Kesepuluh 150 100 79 %
Pengujian Kesebelas 150 150 69 %
18. Pengujian Sistem
pengujian sistem ini diambil niali
epoch dan MiniBatchSize dengan hasil
akurasi terbaik untuk dilakukan
pengujian sebanyak sepuluh kali
dengan mendapatkan rata-rata akurasi
dengan nilai 87.8 %.
Pengujian Epoch MiniBatchSize Akurasi
Pengujian 1 150 20 91 %
Pengujian 2 150 20 85 %
Pengujian 3 150 20 89 %
Pengujian 4 150 20 86 %
Pengujian 5 150 20 84 %
Pengujian 6 150 20 91 %
Pengujian 7 150 20 91 %
Pengujian 8 150 20 88 %
Pengujian 9 150 20 84 %
Pengujian 10 150 20 89 %
R ATA-RATA AKURASI 87.8 %
Berdasarkan hasil pengujian dan analisa
yang telah dilakukan, maka dapat ditarik
kesimpulan sebagai berikut :
Semakin banyak data training maka
semakin baik hasil akurasi yang
dihasilkan.
Semakin banyak data training maka
akan semakin baik hasil akurasi yang
dihasilkan.
Ukuran epoch dan BatchSize sangat
mempengaruhi hasil akurasi.
