Deteksi Bahasa Isyarat Menggunakan Tensorflow Lite dan American Sign Language (ASL)
DOI:
https://doi.org/10.58982/krisnadana.v3i2.534Keywords:
Bahasa Isyarat, BISINDO, SIBI, ASL, Tensorflow LiteAbstract
Bahasa isyarat merupakan suatu bahasa yang menggunakan gerak tubuh seperti gerakan tangan dan wajah. Setiap negara memiliki Bahasa Isyarat yang berbeda di Indonesia sendiri ada 2 jenis bahasa isyarat yaitu Bahasa Isyarat Indonesia (BISINDO) serta Sistem Isyarat Bahasa Indonesia (SIBI), sedangkan di Amerika memiliki bahasa isyarat yaitu American Sign Language (ASL). Saat ini masih banyak orang yang tidak mengerti dengan bahasa isyarat dari lawan bicaranya. Hal ini disebabkan karena bahasa isyarat tidak digunakan oleh masyarakat non-disabilitas. Penelitian ini bertujuan untuk merancang sebuah sistem penerjemah bahasa isyarat berbasis Computer Vision dengan menggunakan Tensorflow lite serta dataset bahasa isyarat ASL untuk mendeteksi gerakan dari kata dan huruf alfabet ASL dengan menggunakan kamera dari laptop atau komputer yang berguna untuk mempermudah masyarakat dalam mempelajari bahasa isyarat. Hasil pengujian pertama dengan 11 data uji memperoleh nilai akurasi sistem dalam pengujian ini adalah 81%. Hasil Pengujian kedua menggunakan 26 data uji memperoleh nilai akurasi sistem dalam pengujian ini adalah 73%. Dari hasil pengujian sistem ini dapat disimpulkan bahwa sistem ini memiliki tingkat akurasi yang cukup baik dalam mendeteksi kata dan huruf abjad.
References
S. Apendi, C. Setianingsih, and M. W. Paryasto, “Deteksi Bahasa Isyarat Sistem Isyarat Bahasa Indonesia Menggunakan Metode Single Shot Multibox Detector,” eProceedings Eng., vol. 10, no. 1, 2023.
P. W. Aditama, I. G. A. S. Anggara, and I. N. Jayanegara, “Implementation of Sibi And Bisindo Letters Recognition Using Augmented Reality During Pandemic,” IJISTECH (International J. Inf. Syst. Technol., vol. 5, no. 5, pp. 602–611, 2022.
B. R. Pandapotan, S. Aulia, and S. Hadiyoso, “Perancangan Sistem Penerjemah Sign Language To Text Berbasis Image Processing,” eProceedings Appl. Sci., vol. 9, no. 1, 2023.
M. E. Al Rivan and A. G. Riyadi, “Perbandingan arsitektur lenet dan alexnet pada metode convolutional neural network untuk pengenalan american sign language,” J. Komput. Terap., vol. 7, no. 1, pp. 53–61, 2021.
A. Z. Falani, “PENGEMBANGAN APLIKASI BAHASA ISYARAT INDONESIA BERBASIS REALTIME VIDEO MENGGUNAKAN MODEL MACHINE LEARNING,” JIKA (Jurnal Inform., vol. 7, no. 1, pp. 89–96, 2023.
S. R. Dewi, “Deep Learning Object Detection Pada Video Menggunakan Tensorflow Dan Convolutional Neural Network,” 2018.
F. Marpaung, F. Aulia, and R. C. Nabila, “COMPUTER VISION DAN PENGOLAHAN CITRA DIGITAL.” PUSTAKA AKSARA, 2022.
R. H. Alfikri, M. S. Utomo, H. Februariyanti, and E. Nurwahyudi, “Pembangunan Aplikasi Penerjemah Bahasa Isyarat Dengan Metode Cnn Berbasis Android,” J. Teknoinfo, vol. 16, no. 2, pp. 183–197, 2022.
I. N. T. A. Putra, K. S. Kartini, Y. K. Suyitno, I. M. Sugiarta, and N. K. E. Puspita, “Penerapan Library Tensorflow, Cvzone, dan Numpy pada Sistem Deteksi Bahasa Isyarat Secara Real Time,” J. Krisnadana, vol. 2, no. 3, pp. 412–423, 2023.
K. Siregar, “DIGITAL IMAGE COMPRESSION USING RUN LENGTH ENCODING METHOD,” INFOKUM, vol. 7, no. 1, Desembe, pp. 28–32, 2018.
F. Rachardi, “Deteksi gambar gestur kosakata bahasa isyarat indonesia dengan convolutional neural network.” Fakultas Sains dan Teknologi UIN Syarif Hidayatullah Jakarta, 2020.
G. Zaccone and M. R. Karim, Deep Learning with TensorFlow: Explore neural networks and build intelligent systems with Python. Packt Publishing Ltd, 2018.
N. Anam, “TA: Sistem Deteksi Simbol pada SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Mediapipe dan Resnet-50.” Universitas Dinamika, 2022.
S. Raschka and V. Mirjalili, Python machine learning: Machine learning and deep learning with Python, scikit-learn, and TensorFlow 2. Packt Publishing Ltd, 2019.
Downloads
Published
Issue
Section
License
Copyright (c) 2024 Ida Bagus Adisimakrisna Peling, I Made Pasek Agus Ariawan, Gde Brahupadhya Subiksa
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
