PiTextReader - Görme Bozukluğu için Kullanımı Kolay Belge Okuyucu: 8 Adım (Resimlerle)

2024 Yazar: John Day | [email protected]. Son düzenleme: 2024-01-30 13:19

genel bakış

Güncelleme: Kısa video demosu:

PiTextReader, görme engelli birinin zarflardan, mektuplardan ve diğer öğelerden metin "okumasına" izin verir. Öğenin anlık görüntüsünü alır, OCR (Optik Karakter Tanıma) kullanarak düz metne dönüştürür ve ardından metni metinden konuşmaya kullanarak söyler.

Reader, kullanımı mümkün olduğunca basit olacak şekilde tasarlanmıştır. İnternet gerekmez, grafik arayüz yok, sadece bir düğme. Sadece okunacak öğeyi standa yerleştirin ve bir düğmeye basın. Birkaç dakika sonra, metin onlara tekrar okunacaktır.

Bunu makula dejenerasyonu gibi görme sorunları olan yaşlı bir ebeveyn için tasarladım, ancak daha geniş anlamda basılı metnin sesli konuşmaya çevrilmesini isteyen herkes için kullanılabilir.

Pek çok okuyucu mevcut olsa da, çoğu binlerce dolara mal oluyor veya internet bağlantısı ve akıllı telefon kullanımı gerektiren teknoloji konusunda bilgili biri için. Bu okuyucu, büyük bir buton dışında internet ve arayüz olmaksızın tamamen bağımsız olacak şekilde tasarlanmıştır.

Artıları

• Kontrol etmek için bir düğme
• İnternet bağlantısı gerekmez
• Gezinmek için grafiksel kullanıcı arayüzü yok
• Toplam maliyet 100 dolardan az
• Her zaman gitmeye hazır

Eksileri

• OCR, yazı tipleri, renkler, metin boyutu vb. nedenlerle sınırlandırılabilir.
• Konuşma Stephen Hawking'e benziyor
• Beyaz kağıt üzerindeki siyah metnin küçük bölümleri için en iyi sonucu verir.

Adım 1: Donanım

• Raspberry Pi 3 (beygir gücüne ihtiyaç duyar!)
• 8GB + mikro SD kart
• Raspberry için 5v 2A DC güç kaynağı
• Raspberry Pi Kamera (Normal veya NoIR)https://www.adafruit.com/product/3099
• 24” Raspberry Pi Kamera kablosuhttps://www.adafruit.com/product/1731
• Kamera montajı veya kasasıhttps://www.adafruit.com/product/3253 veyahttps://www.adafruit.com/product/1434
• Lens ayarlama aracı (kamerayı odaklamak için)https://www.adafruit.com/product/3518
• USB ile çalışan mono hoparlör (küçük boy tercih edilir!)https://www.adafruit.com/product/1363
• Büyük Basma düğmesi – Anlık LED ilehttps://www.adafruit.com/product/1440
• Yukarıdaki düğme LED'i için 330 ohm direnç
• Michaels veya diğer büyük Sanat malzemeleri mağazalarından 8”x8”x2” ahşap kutu.
• Kamera standı yapmak için ahşap hurda:
• 8”Lx1”Wx1/2”T düz şerit
• 5”Lx1”Wx1/4”T düz şerit
• Yerleştirme kılavuzu için 6”Lx1/2”x1/2” kare dübel
• Vida, tutkal, tel, lehim vb.

Adım 2: Donanım Yapısı

8”x8” kutusunu kullanarak:

1. Güç kablosu için arkaya delik açın.

2. Anlık düğme3 için sağ ön köşede delik açın. Hoparlör için delik(ler) açın. (aşağıdaki sesli adım 12'ye bakın)

4. Kamera montajı için bir parça 2”x1/4”x13” alüminyum şerit kullandım, ancak ahşap şeritler de işe yarıyor.

a. 8” düz ahşap şeridi kutu kapağının arkasına monte edin. (kutunun altına değil, KAPAK'a takılı olduğundan emin olun, aksi takdirde açamazsınız!)

B. 5" düz ahşap şeridi 8" dikeyin üzerine vidalar ve yapıştırıcı ile monte edin. NOT: Kameranın yüksekliği, belgenin boyutunu ve gereken odağı belirler. Daha geniş alan belgeleri için daha yükseğe çıkmak isteyebilirsiniz.

5. Kamera kablosunun içinden geçmesi için kutunun üst kısmında 8" dikeye yakın 1"x1/16" boyutunda bir yarık kesin.

NOT: Elektronikler için, ayarlamaları kolayca yapabilmeniz için bileşenleri henüz kalıcı olarak monte etmemenizi öneririm.

6. 24” kamera kablosunu kameraya bağlayın. Henüz RASPBERRY'YE BAĞLAMAYIN.

Adım 3: Donanım Kontr…

7. Kamerayı 5” ahşap şeridin ucundan aşağıya bakacak şekilde monte edin. Çalıştıktan sonra lensi daha kolay odaklayabilmeniz için kamerayı kutusuna yerleştirmeden önce beklemenizi öneririm!

İlk odaklama için Ayarlama aracını kullanın ve merceği saat yönünün tersine 1/4 çevirin! dönüş.

8. Kamera kablosunu yuvadan aşağı doğru geçirin ve ardından Pi'ye takın. (Pi'nin KAPALI olduğundan emin olun!)

9. Anlık düğmeyi takın ve onunla Pi GPIO pimleri 24 ve GND arasındaki kabloları bağlayın. Ve düğmenin LED'ini 220 ohm'luk bir direnç üzerinden Pi GPIO pin 18 ve GND'ye bağlayın.

10. Güç kaynağını kutuya çalıştırın ve Pi'ye takın. Kablonun dışarı çıkmaması için kutudaki deliği tıkamak için sıcakta eriyen yapıştırıcı veya benzeri bir gerilim azaltıcı kullanmanız gerekir.

Adım 4: Ses Donanımı Kurulumu…

11. Ses için USB gücü ve mini jak sesi kullanan bir mono hoparlör kullandım. Elektronik aksamı ve hoparlörü orijinal plastik kasadan çıkardım ve ses fişini Pi ses jakına ve USB kablosunu Pi USB'ye taktım. Ayrıca çok daha iyi ses kalitesi için orijinal küçük hoparlörü daha büyük bir 3” ile değiştirdim.

Hoparlörü kutunun kapağının altına monte ettiğim için hoparlör ızgarası şeklinde çok sayıda küçük delik açtım.

12. Son olarak, özellikle kamera kablosu ve GPIO bağlantıları olmak üzere bağlantıları kontrol edin.

PI YET'İ AÇMAYIN. Önce yazılım kurulumuna devam edin…

Açma/Kapama düğmesi yoktur, çünkü Pi'nin her zaman bir şeyler okumaya hazır olması için sürekli çalışması gerektiği varsayılmıştır. Yalnızca birkaç watt kullanır ve 7/24 sorunsuz çalışabilir.

Takılı değilse veya elektrik kesintisi durumunda SD kartın bozulması mümkündür, ancak bu nadirdir. Henüz başlatılamayan bir SD kartım olmadı. Ancak düzenli olarak kapatılan/açılan bir anahtarlı uzatma kablosuna takmayın.

Adım 5: İşletim Sistemi Kurulumu ve Yapılandırması

8 GB veya daha büyük bir microSD kartı Raspbian Jessie (veya Stretch) Lite ile biçimlendirin (bu proje için GUI yok).

www.raspberrypi.org/downloads/raspbian/

Raspberry'ye SSH üzerinden uzaktan erişmeniz gerekecek. Windows'ta PUTTY SSH terminal programını kullanabilirsiniz. Mac'te, sadece bir komut terminali penceresi açın. Alternatif olarak, yalnızca kurmak için geçici olarak bir klavye ve HDMI monitör takabilirsiniz, ancak SSH daha sonra çalışmayı kolaylaştırır.

Biliyor muydunuz?Raspbian Jessie'yi bir Windows PC kullanarak bir SD karta yüklerseniz, bir Raspberry'de başlatmadan önce WiFi ve SSH erişimini yapılandırmak için kartta iki dosya oluşturabilirsiniz?

Bunun için SD kartınızın şu anda PC'nizde K: olarak takılı olduğunu varsayın:

1) En son Raspbian Jessie görüntüsünü SD'ye yükleyin. Bu proje için Jessie Lite çalışmalıdır.

2) Not defteri ile sadece "ssh" adında bir dosya oluşturun ve Save As "All files" to K:\ssh'yi kullanın Dosya her şeyi içerebilir. Önemli olan dosya adıdır. “ssh.txt” OLMAMALIDIR!!!

3) Not defteri ile aşağıdakileri içeren “wpa_supplicant.conf” adlı bir dosya oluşturun:

ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdevupdate_config=1

ağ={

ssid="mySSID" psk="parolam" key_mgmt=WPA-PSK }

“Tüm dosyalar”ı K:\wpa_supplicant.conf'a Farklı Kaydet'i tekrar kullanın, Not Defteri'nin bunu “wpa_supplicant.conf.txt” olarak değiştirmesine izin vermeyin!

Ahududuyu ilk kez başlattığınızda, Jessie bunları arayacak ve Wifi'nize bağlanacaktır. Yine de, DHCP kullanılarak otomatik olarak atandığından, IP adresi için Yönlendiricinize bakmanız gerekecektir.

Şimdi Pi'nize yüklemeye hazır:

1. MicroSD kartı Pi'ye takın ve gücü şimdi takın.

2. Raspberry Pi'nize uzaktan giriş yapmak için IP adresini bulmanız gerekecektir. Deneyebilirsin:

$ ssh [email protected]

Veya Putty'den ana bilgisayar adını girin: [email protected]

Aksi takdirde, Yönlendiricinizin yerel cihazlarınızın IP adreslerini gösterip göstermediğini görmeniz gerekecektir.

Pi kullanıcısı olarak giriş yaptıktan sonra:

3. Raspbian işletim sisteminizi güncelleyin:

$ sudo uygun güncelleme

$ sudo uygun yükseltme

4. Raspberry'yi yapılandırın ve kamerayı etkinleştirin:

$ sudo raspi yapılandırması

a. Kullanıcı Şifresini Değiştir

B. Arayüz Seçenekleri -> Kamera -> Etkinleştir

C. Bitiş

NS. yeniden başlat

Adım 6: Uygulama Yazılımı Kurulumu

Şimdi Pi'nize tekrar giriş yapın ve PiTextReader uygulamasını kurmaya hazırsınız.

1. Gerekli ilk yazılımı kurun:$ sudo apt install git –y

2. Yazılımı indirin:

$ cd /ev/pi

$ git klonu

$ cd PiTextOkuyucu

$ sh kurulum.sh

Gerekirse, install.sh'yi birden çok kez güvenle yeniden çalıştırabilirsiniz.

3. Okunacak basit bir belge yerleştirin ve ses seviyesini ayarlayan, metinden konuşmaya ses çalan ve resim çeken test programını çalıştırın.

$ sh testi.sh

Herhangi bir hata mesajı alırsanız, aşağıdaki Sorun Giderme'yi kontrol edin. Gerekirse ses seviyesini ayarlamak için test.sh programını düzenleyin.

4. Test programı bir fotoğrafı “test.jpg” dosyasına kaydeder. Odağı ve görüş alanını görebilmeniz için bu görüntüyü bir PC'ye kopyalamanız gerekecektir. Bunu yapmanın hızlı ve kirli bir yolu, Pi'nizde küçük bir web sunucusu başlatmak ve bir tarayıcı kullanmaktır:

$ python -m SimpleHTTPServer 8080 &

Ardından https://{IPaddress}:8080/ adresine gidin.

test.jpg'ye tıklayın

Kamerayı odaklamak için Lens ayarlama aracını kullanın.

Test.sh programını gerektiği sıklıkta yeniden çalıştırın.

NOT: Raspistill kamera ayarlarını yapmanız gerekiyorsa yeni ayarlarla pitextreader.py programını da düzenlemeniz gerekecektir.

KAMERA = "raspistill -cfx 128:128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo yeniden başlatma

Pi otomatik olarak çalışmalı ve çalışmaya hazır olmalıdır.

7. Adım: Çalıştırma

Pi'yi başlattığınızda, bir “Tamam Hazır” duyacaksınız ve ayrıca düğme LED'inin yandığını göreceksiniz.

LED her yandığında, ünite kullanıma hazırdır.

Kameranın altına bir miktar basılı metin koyun, tercihen beyaz kağıt üzerine sadece birkaç satır siyah metin.

Kameranın çok fazla ışığa, özellikle de NoIR'ye ihtiyacı olmadığını unutmayın. Ortam oda ışığı benim için iyiydi. Çok fazla ışık düzensiz aydınlatmaya neden olur ve OCR'yi bozar.

Düğmesine basın.

LED yanmalı ve kamera klik sesinin yanı sıra “Tamam çalışıyor” konuşması da duyulmalıdır.

Birkaç saniye sonra metin okunmalıdır. Metin bozuksa, yazı tipi çok koyu veya çok açıksa, yana doğru veya baş aşağıysa, sonuç saçma sapan konuşma olur!

Dönüştürmek ve okumaya başlamak 5-30 saniye sürebilir, bu yüzden sabırlı olun. Ne kadar çok metin, o kadar uzun sürer.

Okumayı durdurmanız gerekirse, ses çalmaya devam ederken (LED kapalı) düğmeye basabilirsiniz.

Konuşma tamamlandıktan birkaç saniye sonra LED tekrar yanar ve tekrar “OK Ready” duyarsınız. Başka bir tarama yapmaya hazır.

Kameranın Raspi kamera için ve 8x10 belgenin yalnızca bir kısmı için ayarlandığına dikkat edin. Tam sayfaları dinlemek zor olabileceğinden, bir seferde bir belgenin bölümlerini okumanın en iyisi olduğunu buldum. Okunması gereken şeylerin çoğu daha küçük metinlerdir, bu nedenle kamera çok uzaktaysa çözemez.

Sorun gidermek için, özellikle TARAMA VE OCR bölümünü kontrol edin

Her şey yolundaysa, inşaatı tamamlamak için tüm bileşenleri kalıcı olarak monte edin.

8. Adım: Sorun Giderme

1. KAMERA

Kameranın şu şekilde etkinleştirildiğini doğrulayın:

$ sudo raspi yapılandırması

Arayüz Seçenekleri -> Kamera

Hassas olduğundan ve tam olarak hizalanması gerektiğinden, şerit kabloyu yeniden yerleştirin. Gerekirse, benzer sorunları aramak için google "ahududu pi kamera sorun giderme". Ayrıca test.sh programını çalıştırırken aldığınız hata mesajını da google'da aratın.

2. SES

Sesi yükselttiniz mi?

$ sudo amixer -q sset PCM, 0 %100

Ses testi çalıştır

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Hala ses yok mu? Sesi jaktan dışarı çıkmaya zorlayın:

$ sudo raspi-config Gelişmiş Seçenekler -> Ses -> Kulaklık jakını zorla

3. KONUŞMA

Yukarıdaki ses kulağa hoş geliyorsa, şunu deneyin:

$ flite -t TESTİ

Varsa, Google hata mesajları.

install.sh'yi yeniden çalıştırın

Evet, konuşma biraz Stephen Hawking'e benziyor.

4. TARAMA VE OCR

Bu, ihtiyaç duyulan en büyük ayar alanıdır. OCR'nin düzgün çalışması için kamera görüntüsünün iyi kalitede olması gerekir; belge mutlaka parlak olmasa da düzgün bir şekilde aydınlatılmalıdır.

Metin düz ve net olmalıdır. Tüm yazı tipleri okunabilir değildir.

Kaliteyi doğrulamak için iki dosyayı inceleyin:

/tmp/text.txt ve /tmp/image.jpg

Küçük web sunucusunu başlatabilir ve bir tarayıcı kullanabilirsiniz:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

Görseldeki metin sade ve okunabilir olmalıdır. Görüntü sağ tarafı yukarı, iyi kontrast ve odakta olmalıdır. Baş aşağıysa belgeyi ters çevirmeniz gerekebilir. (kullanıcıya saçma sapan bir ses duyarsa, belgeyi ters çevirmeyi deneyeceğini hatırlatın.) Görüntünün kontrastı zayıfsa, aydınlatmayı iyileştirmeniz gerekir, çok fazla veya çok az soruna neden olabilir. Düzensiz aydınlatma da metnin bazı bölümlerinin bozulmasına neden olur. Google'da "tesseract-ocr help" yazarak daha fazla yardım bulabilirsiniz.

5. HDMI MONİTÖR/KLAVYE

Evet, Pi'ye bir klavye ve monitör takabilirsiniz, esp. IP adresini bulamıyorsanız veya SSH üzerinden erişemiyorsanız. GUI arabirimi yoktur ve bu, monitörünüzde bir hoparlör olmadıkça sesi kapatabilir.

6. İNTERNET/WIFI

WIFI çalışmıyorsa, geçici olarak bir Ethernet kablosu bağlayabilir ve bunu kullanabilirsiniz.

Kurulumu ve kurulumu tamamladıktan sonra bu proje İnternet veya WiFi'ye ihtiyaç duymaz.