Konuşma/Metin Dönüştürme Eldiveni için Hareket: 5 Adım

2024 Yazar: John Day | [email protected]. Son düzenleme: 2024-01-30 13:17

Bu projeyi uygulamanın arkasındaki fikir/itici, konuşma yoluyla iletişim kurmakta ve el hareketlerini kullanarak veya daha popüler olarak Amerikan işaret dili (ASL) olarak bilinen kullanarak iletişim kurmakta zorluk çeken insanlara yardım etmekti. Bu proje, bu insanlara işaret dilinden anlamayan diğer insanlarla işbirlikçi bir ortamda çalışma fırsatı verme yolunda bir adım olabilir. Ayrıca bu proje, gerçek bir insan tercüman kullanmadan halka açık konuşmalar yapmalarını sağlayacaktır. Başlangıç olarak, yalnızca A, B, I, vb. alfabeler gibi daha kolay hareketlerden bazılarını tespit etmeye çalışıyordum ve ayrıca 'Merhaba', 'Günaydın' vb. gibi genel sözcüklere/tebriklere belirli hareketler atadım.

Adım 1: Devre Montajı

2. Adım: Proje Detayları

Bu Proje, küçük, orta, işaret parmakları ve başparmak için birer tane olmak üzere, eldivene takılı/gömülü 4 esnek sensörlü giyilebilir bir eldiven içerir. Arduino Uno R3'te Analog Giriş Pinlerinin kullanılabilirliği üzerindeki sınırlamalar ve genel olarak işaret dillerinde parmak tarafından gösterilen bağımsız hareket eksikliği nedeniyle yüzük parmağı için Flex sensör kullanılmadı. Elin yönünü ölçmek için avucun arkasına yapıştırılan bir MMA8452Q ivmeölçer de kullanılır. Bu sensörlerden gelen girdiler analiz edilir ve hareketi algılamak için kullanılır. Hareket algılandığında, karşılık gelen karakter/mesaj bir değişkene kaydedilir. Bu karakterler ve mesajlar, cümlenin tamamlandığını gösteren önceden belirlenmiş belirli bir hareket yapılana kadar sıralanmaya devam eder. Bu özel hareket algılandığında, kaydedilen cümle dizisi Arduino tarafından USB kablosu aracılığıyla Raspberry Pi'ye gönderilir. Raspberry Pi, daha sonra, metin biçiminde alınan cümleyi konuşma biçimine dönüştürmek için alınan dizeyi Polly adlı Amazon Bulut Hizmetine gönderir ve ardından alınan konuşmayı AUX kablosu aracılığıyla Raspberry Pi'ye bağlı Hoparlörde yayınlar.

Bu proje sadece bir kavram Kanıtıydı ve daha iyi ekipman ve planlama parçalarıyla ve birçok başka hareketi ve el hareketini algılamak için daha iyi kalibre edilmişti. Şu anda, bu projeye, temel hareket algılama ve metinden konuşmaya çıktı gibi yalnızca sınırlı işlevler programlanmıştır.

3. Adım: Kodlayın

Adım 4: Adımlar

1. Esnek sensörleri ve ivmeölçer MMA8452Q'yu verilen devre şemasına göre Arduino'ya bağlayın.

2. Final_Project.ino programını(Arduino_code.zip dosyasında bulunur) Arduino'ya atın.

3. Arduino'yu bir USB kablosuyla Raspberry Pi'ye bağlayın. (Kablo tipi A/B).

4. Raspberry Pi'yi çalıştırın, Raspberry_pi_code.zip dosyasını Raspberry Pi'ye kopyalayın ve çıkartın. Hoparlörü Raspberry Pi'ye bağlayın.

5. AWS hesabı kimlik bilgilerinizi (ör. aws_access_key_id, aws_secret_access_key ve aws_session_token) ~/.aws/credentials dosyasına kopyalayın. AWS bulutu ile iletişim kurmak ve AWS hizmetlerini kullanmak için bu adım gereklidir.

6. 4. adımda ayıklanan klasörde bulunan seria_test.py programını çalıştırın.

7. Şimdi bir cümle oluşturacak hareketleri yapın ve ardından özel hareketi yapın (Parmaklarınızı ve avucunuzu düz ve avuç içi size dönük olacak şekilde bir çizgide tutun ve ardından bileğinizi aşağı doğru döndürerek döndürün, böylece şimdi avucunuz size dönük ve parmaklarınızın ucu aşağı, ayaklarınıza doğru bakıyor.) cümlenin tamamlandığını belirtmek için.

8. Yararlı bilgiler için terminali kontrol etmeye devam edin.

9. Ve hoparlörden aktarılan dönüştürülmüş konuşmayı dinleyin.

Adım 5: Referanslar

1.

2.

3.

4.