Türk işaret dili alfabesinin derin öğrenme yöntemi ile sınıflandırılması

Abstract

Günümüzde işitme engeli olan insanların, kendi aralarında anlaşmak için kullandıkları işaret dilinin çok az insan tarafından biliniyor olmasından dolayı günlük yaşantılarında iletişim kurmak konusunda bir takım sıkıntılar yaşadıkları bilinmektedir. İşitme engeli olan insanlarla duyabilen insanların arasındaki bu iletişim engelini azaltmak için pek çok akademik çalışma yapılmıştır ve günümüzde bu konuyla ilgili çalışmalar hala sürmektedir. Son zamanlarda makine öğrenmesi, derin öğrenme alanında da bu konuda çalışmalar yapılmaktadır. Bu tez çalışmasında, 29 Türkçe işaret dili alfabesi karakterleri ve metin yazmak için tanımlanmış 3 karakterden oluşan veri seti, her bir sınıf için 1500 adet görüntü kaydedilerek oluşturulmuştur. Önceden eğitilmiş bir konvolüsyonel yapay sinir ağ modeli kullanılarak transfer öğrenme metodu ile sistem, Türkçe işaret dili alfebesinden ve özel karakterlerden oluşturulan veri seti ile eğitilmiştir. Eğitim sonrası web kamera ile seçili alanda gösterilen işaretin gerçek zamanlı olarak tanımlanması ve bu yol ile bir kelime ya da cümle oluşturup kaydedilmesi sağlanmıştır. Bu çalışmada kullanılan model, eğitim ve tanımlama işlemleri python dili kullanılarak yazılıma dönüştürülmüştür. Kullanılan önceden eğitilmiş konvolüsyonel sinir ağı modelinin başarısı test edilip yorumlanmıştır. Performans kriterlerine göre başarı %90 olarak elde edilmiştir. Today, it is known that people with hearing impairments have some difficulties while communicating in their daily lives as the sign language they use to communicate with each other is known to very few people. Many academic studies have been carried out to reduce this communication barrier between people who has hearing impairments and the ones who has not, and the studies on this issue are still ongoing. In the fields of machine learning and deep learning studies are being carried out on this subject. In this thesis, The 29 Turkish sign language alphabet characters and 3-character data set for writing text were created by recording 1500 images for each class. The system has been trained with a data set consisting of Turkish sign language alpahbet and 3 special characters by using the transfer learning method with a pre-trained convolutional neural network model. After the training, it was ensured that the signal displayed in the selected area was defined in real time and thus, creation of a word or formation of a sentence which will then be saved was made possible. The training and identification procedures and the model which has been used in this study were converted into software using Python programming language. The success of the pre-trained convolutional neural network model has been tested and interpreted.According to the performance criteria, the success rate is %90.