Derin öğrenme yöntemleri kullanarak etkin ayrık işaret dili tanıma sistemi geliştirme

Video akışlarından ayrık işaret tanıma, yerel ve küresel el özelliklerinin ve yüz hareketlerinin aynı anda değerlendirilmesi gereken işaretlerin çok modelli doğası nedeni ile zor bir problemdir. Bunlara ek olarak bilgisayarlı görüdeki aydınlatma ve arka plandaki değişiklikler gibi temel sorunlar da eklenmektedir. Bu sorun son zamanlarda derin Evrişimli Sinir Ağı (CNN) tabanlı özellikler ve Uzun Kısa Süreli Bellek (LSTM) tabanlı derin dizi modelleri kullanılarak geniş çapta incelenmiştir. Fakat, mevcut literatürde derin öznitelikleri kullanan Gizli Markov Modelleri (HMM) ile yapılmış deneysel inceleme eksikliği bulunmaktadır. Bu çalışmada işaretlere ait RGB ve derinlik videolarından paralel öznitelik çıkarmak için kullanılan bir Siyam Sinir Ağı (SNN) mimarisi kurgulanmış ve bundan elde edilen sonuçlardan yararlanılarak modelde geliştirme yapılarak ikinci bir model tasarlanmıştır ve sonrasında bu düşük başarım gösteren model iyileştirilmiştir. Bu yapıların eğitimi için üzerinde çok az ön işlem uygulanmış veriler kullarnılarak modelin en az ön işlem ile öğrenmesi sağlanmıştır. Bu sayede hem yüksek başarımlı hem de az işlem gücü gerektiren bir model oluşturulmuştur. Bunlara ek olarak HMM modelleri ile yapılmış değerlendirme eksikliğinin giderilmesi ve işaret dili tanıma problemi için farklı modellerin geliştirilmesine yardımcı olacak model geliştirme aracı oluşturulmuştur. Bu çalışmanın sonucunda HMM modelleri ile çalışılır iken derin özniteliklerin boyutlarının genellikle çok büyük gelmesi sorununa yönelik bu özniteliklerin etkin bir şekilde küçültülmesini sağlayan iki farklı CNN tabanlı mimari önerilmiştir. Derin özniteliklerle yapılan analizler ile HMM yönteminin ayrık işaret tanıma problemi için derin dizi modellerine iyi bir alternatif olarak kullanılabileceği gösterilmiştir.

Department dc:contributor.department

Fen Bilimleri Enstitüsü

Grantor dc:publisher

Ankara: Ankara Üniversitesi : Fen Bilimleri Enstitüsü : Bilgisayar Mühendisliği Ana Bilim Dalı

Year dc:date.issued

2021

Author dc:creator

• Tur, Anıl Osman

Advisor dc:contributor.advisor

• Keleş, Hacer Yalım

• İşaret dili
• Derin öğrenme yöntemleri

Language dc:language.iso

tr

Handle dc:identifier.uri

http://hdl.handle.net/20.500.12575/73662

OAI record oai:identifier

https://dspace.ankara.edu.tr/server/oai/request?verb=GetRecord&metadataPrefix=dim&identifier=oai%3Adspace.ankara.edu.tr%3A20.500.12575%2F73662