Ses olayı tanıma ve akustik sahne geri getirimi

Abstract

Çevresel ses olarak tanımlanan ses olayları içerisinde birçok önemli bilgiler bulunabilir. Bu çözümlenmemiş ses sinyallerinin otomatik sistemler tarafından anlamlı verilere dönüştürülmesi önemlidir. Bunun için otomatik sistemlerde ses tanıma, sınıflandırma ve geri getirimi gibi işlemlerin performanslı olması istenmektedir. Çalışma alanları bakımından; savunma sanayi, güvenlik sistemleri, çokluortam arama motorları ve nesnelerin interneti gibi popüler alanlarında bu geliştirilen sistemler kullanılabilir. Bu sinyallerin belirli bir karakteristik özellikleri bulunmaması ve ardı ardına veya örtüşen arka plan seslerine sahip olması bu problemi zorlaştıran nedenler olarak sayılabilir. Bu çalışmada; sayısal ses kayıtlarından anlamsal bilgi çıkarımı (ses olayı ve akustik sahne) ve bu bilgilerin kullanımı ile ses kayıtlarının geri getirimi problemleri ele alınmıştır. Çalışma kapsamında, başarıma katkıda bulunabileceği düşünüldüğünden ses sinyallerinden çeşitli öznitelik çıkarım yöntemleri denenmiştir. Ayrıca çeşitli derin sinir ağlar ile geliştirilmiş öğrenme modelleri incelenmiştir. Tarafımızca bilindiği kadarıyla daha önce akustik sahne sınıflandırma probleminde uygulanmamış, imgesel tanımlama problemlerinde başarılı olan uzamsal piramit veri birleştirme (SPP) yöntemi ilk defa akustik sahne sınıflandırma probleminde uygulanmıştır. Bu uygulamada, spektrogram öznitelikleri kullanılması ile başarımına katkıda bulunulduğu görülmüştür. Tanıma ve sınıflandırma çalışmalarından sonra çevresel ses kayıtlarının geri getirimi yöntemi üzerine çalışılmıştır. Sınıflandırma modelinin eklenmesi ile etkili bir örnekle sorgulama modeli geliştirilmiştir. Geliştirilen yöntem ile etiket bazlı arama sistemlerine kıyaslanacak sonuçlar elde edilmiştir. The signal of sound events, which defined in environmental sounds, may contain a lot of important information. In the computer systems, audio signals need to perform some processes such as the conversion into the meaningful data, classification and recovery of signals. The necessity of these processes is increasing day by day. It can be used in popular work areas like defense industry, security systems, multimedia search engines and internet of objects. It could be very difficult problem because sound events have no specific characteristic. Moreover in their background, there could be consecutive or overlapping sounds. In this study; we examine and develop performances of sound event identification and acoustic scenes classification. Since it is thought that it can contribute to success of study, various feature extraction methods have been tried and various deep neural network models have been used. To the best of our knowledge, method of the Spatial Pyramid Pooling (SPP), which was successful in imagery identification problems, was first applied to the acoustic scenes classification problem. In our experiments, it has been shown that it contributes to the success on spectrogram features. Moreover, in this study, we added to develop an effective Query-by-Example sound information retrieval system using acoustically and semantically similarities. We investigated; the result of effective acoustic similarity model could be compared against the result of Query-by-Keyword systems.