Zavallı Adamın Google Glass'ı/Tünel Vizyonu Olanlara Yardımı: 5 Adım (Resimlerle)

2024 Yazar: John Day | [email protected]. Son düzenleme: 2024-01-30 13:18

Soyut:

Bu proje, bir balık gözü kameradan canlı videoyu giyilebilir bir baş üstü ekrana aktarıyor. Sonuç, daha küçük bir alanda daha geniş bir görüş alanıdır (ekran, gözünüzden uzakta 4 bir ekranla karşılaştırılabilir ve 720p'de çıktı verir). Birincil amaç, tünel görüşü ile sonuçlanan dejeneratif bir göz hastalığı olan Retinitis Pigmentosa (RP olarak kısaltılır) olanlara daha fazla uzaysal farkındalık sağlamaktır (sürekli tuvalet kağıdı rulosuna bakmakla karşılaştırılabilir). Bununla birlikte, proje bir RPi'ye dayandığından, çok çeşitli olası uygulamalar vardır (bazıları sonunda tartışılacaktır).

Malzeme Listesi:

• (1) Raspberry Pi Zero (5 $) (Raspberry Pi Zero W de çalışır)

• (1) Raspberry Pi için Micro SD Kart (8 $) (sadece normal bir Micro SD kart, özel bir şey değil. Önerilen minimum 8 GB depolama alanı)

  • RPi Hariciler: (zaten sahipseniz veya başka bir RPi modeliniz varsa bunlara ihtiyacınız yoktur)

    • (1) USB Adaptörü (5 $)
    • (1) Mini HDMI - HDMI Kablosu (6 $) (yeterince iyi görüşe sahip Vufine, monitör olarak kullanılabilir, dolayısıyla bu kabloya olan ihtiyacı ortadan kaldırır)
• (1) Vufine Giyilebilir Ekran (200$)

• (1) Mikro - Mini HDMI Şerit Kablosu (10 $) (Üretimi durdurulmuştur, lütfen aşağıdaki madde işaretlerine bakın)

  • HDMI Adaptörleri

    (C tipi ve D tipi; umarım bu hafta sonu model belirleyeceğiz (bugün 3/2/2018)) (Adafruit bu konektörleri de satıyor, ancak daha pahalılar)

  • HDMI Şerit Kablo
• (2) USB Mikro Kablosu (her biri 1-5 ABD doları) (sadece 2 normal mikro USB kablosu, özel bir şey değil)
• (1) Raspberry Pi için Balık Gözü Kamera (25 $)
• (1) Raspberry Pi Kamera Kablosu (8 $)
• (1) Paket Küçük Fermuarlı Kravat (3 $)

Toplam Maliyet: ~265 USD (zaten neye sahip olduğunuza ve nakliye için ne kadar ödediğinize bağlıdır)

Araçlar Listesi:

• Tel kesiciler
• Tel Sıyırıcılar (yaklaşık 26 awg'lik tel boyutları için)
• Sıcak Tutkal Tabancası (ve söz konusu sıcak tutkal tabancası için tutkal çubuğu)
• Tuş takımı
• Ekran (HDMI uyumlu olmalıdır, ancak yine, yeterince iyi görüş ile Vufine bir monitör olarak kullanılabilir)
• Havya (ve lehim)
• X-Acto Bıçağı

Kişisel not:

Bu proje büyükannemden ilham aldı. Uzun zaman önce RP teşhisi kondu ve görme yeteneği yıllar içinde kötüleşiyor. Son zamanlarda, yaşı nedeniyle gören göz köpeği Ventura'dan (takma adı Seymour, kelime oyunu amaçlı) vazgeçmeye karar verdi. Bu, bazı açılardan hayatı kolaylaştırmış olsa da, eminim ki diğer şeyleri daha önemsiz hale getirmiştir (bir alışveriş merkezinden geçmek gibi). Bir süredir böyle bir cihaz yapmayı düşünüyordum, ancak hazır (makul fiyatlı) ekranlar yoktu. Vufine'i bulduğumda bu değişti. Harika bir ürüne sahip harika bir şirket ve hayır, bunu söylemek için para almıyorum; gerçekten iyi bir şirkettir. Büyükanneme gelince, bu cihazın görüş alanını neredeyse iki katına çıkardığını bildirdi (alan açısından değil, çap açısından).

Güncelleme:

Bunu sol göz için yapılandırılmış bir Vufine modülü ile yaptım (büyükannemin sağ gözü tamamen kör), bu yüzden bunu sağ göz için yapanlar için bazı sorunlar olabilir (büyük bir şey değil, sadece birkaçı için yön değişikliği parçalar). Bununla birlikte, Vufine bana bu projeye devam edebilmem ve bu sorunları çözebilmem için sağ göz için bir modül gönderme nezaketini gösterdi. Yaptığım anda, bu talimatı daha da güncelleyeceğim.

Adım 1: Raspberry Pi'yi Ayarlama

Pi'nin Donanımını Ayarlama:

Not: Eğer RPi Zero (W veya normal) dışında bir Raspberry Pi'niz varsa o Pi'yi kullanarak gerekli yazılım düzenlemelerini yapıp SD kartınızı Pi Zero'ya aktarabilirsiniz.

İkinci not: Aslında Pi'ye bağlanan bazı donanımları satın almadım; Onun yerine uygun bir şapkam var. Olduğu söyleniyor, yukarıdaki resim kurulumunuzun nasıl görünmesi gerektiğidir. Benim değil ve buradan alındı.

İlk önce klavyeyi takacağız. Klavyenizde A tipi bir USB konektörü (her yerde bulunan dikdörtgen) olduğundan ve Pi Zero'da bulunmadığından, USB adaptörünü kullanmamız gerekecek. USB adaptörünü, kartın ortasına en yakın USB bağlantı noktasına takın. Ardından klavyeyi USB adaptörüne takın. Diğer USB bağlantı noktası güç için kullanılacaktır. Resimdeki en üstteki iki kablo, güç sağlayan en üstteki kabloya sahip USB kablolarıdır.

İkinci olarak, HDMI kablosunu Pi üzerindeki mini HDMI bağlantı noktasına ve ekranınızdaki HDMI bağlantı noktasına takın (ekranınız olarak Vufine ekranını kullanmayı seçtiyseniz, HDMI şerit kablosunu kullanın).

Pi'nin Yazılımını Ayarlama:

Bu süreç her yerde belgelenmiştir, ancak resmi kılavuz burada. Birkaç şeye dikkat etmek önemlidir: satın aldığınız mikro SD kartı kullanacaksınız (seçtiğim kartın bir adaptörü var, böylece normal bir bilgisayarla flaş edebilirsiniz), Raspbian'ı kuracaksınız ve kamerayı etkinleştirmelisiniz. Raspberry Pi yapılandırma menüsünde. Ek olarak, "startx" yürütme eğitimini TAKİP ETMEYİN. Yaptıysanız, büyük değil, ama şimdi bir fareye ihtiyacınız olacak. Komut satırına gidin (görev çubuğunuzdaki siyah bir pencere gibi görünmelidir) ve bunu kullanın ("pi@raspberry ~ $" bu pencerede görünmelidir). Şimdi aşağıdakileri uygulayarak Raspberry Pi'yi kapatacağız:

sudo kapatma -h şimdi

2. Adım: Kamerayı Kurma

Fiziksel Bağlantılar:

Öncelikle şerit kablo bağlantılarının nasıl çalıştığını anlatayım. Şerit kabloları bağlamak ve çıkarmak için, önce yandaki tırnaklar kaldırılmalıdır (Pi Zero için bu dışa doğru bir yöndür), bu da konektörün bir dereceye kadar içeri ve dışarı katlanmasına izin verecek ve böylece şerit kablonun gelmesine izin verecektir. iç ve dış. Şerit kabloyu yerine sabitlemek (ve böylece bağlantı işlemini tamamlamak) için konektörün katlanan parçasını düz bir şekilde kabloya bastırmanız ve tırnakları yeniden takmanız gerekir. Kablo şimdi konektör içinde sabitlenmelidir. Bunun nasıl yapıldığına dair resmi bir videoyu görmek için buraya tıklayın.

Fotoğraf makinesiyle birlikte gelen beyaz kablonun Pi Zero'ya uymayacağını belirtmekte fayda var; altın şerit kablolardan biriyle değiştirdiğinizden emin olun. Ek olarak, kablonun açıkta kalan tarafının aşağı, Pi'ye ve kamera kartlarına baktığından emin olun.

Yazılım:

Yazılım tarafında kameranın kurulumu nispeten kolaydır. Videoyu doğrudan kameradan HDMI'ya aktarmak için terminalde aşağıdaki satırı çalıştırmanız yeterlidir:

Raspivid -t 0 -rot 0

Kamera şimdi ekranınıza akıyor olmalıdır. Şimdi ctrl+c tuşlarına basarak akışı durdurun. Şimdi aynı komutu uygulayacağız, ancak standart bir Vufine modülü (sağ göz için yapılandırılmış) satın aldıysanız, "-rot" dan sonraki 0'ı 90 olarak değiştirin. Aynı şekilde, sol göz için yapılandırılmış bir Vufine ekranı satın aldıysanız, "-rot" dan sonra 0, 270'e.

Şimdi, kamerayı fotoğrafta gösterilene benzer bir şekilde Vufine ekranına karşı tutarsanız, dik bir görüntü görmelisiniz (ekranınızda, Vufine'de olması gerekmez). Resminiz baş aşağı ise diğer sayıyı deneyin (daha önce 90 yaptıysanız 270, daha önce 270 yaptıysanız 90; akıştan çıkmak için yine de ctrl+c tuşlarına basmanız gerekir).

Kamera akışını doğru bir şekilde yönlendirdikten sonra (yazılım aracılığıyla), Raspberry Pi her açıldığında başladığından emin olmak isteriz. İlk adım yürütmektir:

sudo nano /etc/rc.local

Şimdi, "fi" ve "exit 0" arasındaki satırlara daha önce çalıştırdığınıza benzer bir komut yazın ("/usr/bin/raspivid -t 0 -rot 90/270") (görüldüğü gibi bir satırda tutun) Daha yüksek kare hızına sahip daha düşük çözünürlüklü bir görüntü istiyorsanız, bunun yerine "/usr/bin/raspivid -t 0 -rot 90/270 -md 6" kullanın. Bunu yazdıktan sonra, ctrl+x tuşlarına basarak, y yazarak (evet, kaydetmek istiyorsunuz) ve ardından aynı isimle kaydetmek için enter tuşuna basarak kaydetmelisiniz. Şimdi komut satırına dönmelisiniz ("pi@raspberry ~ $"). Son olarak, Raspberry Pi'yi aşağıdakilerle yeniden başlatarak her şeyin çalıştığından emin olmak için test edebilirsiniz:

sudo yeniden başlatma

Her şey işe yararsa, önyükleme işleminin sonunda HDMI çıkışına video akışı yapan kamerayı görmelisiniz.

Notlar:

• Yukarıdakilerin tümü tamamlandıktan sonra, yerinde kalmasını sağlamak için hem kameradaki hem de Pi'deki şerit kabloya/konektöre az miktarda sıcak tutkal sürmeyi düşünebilirsiniz. Bu tamamen isteğe bağlı ve aslında yapmadığım bir şey.
• Sağ göz için yapılandırılmış bir Vufine ekranınız varsa ve onu farklı şekilde yönlendirmeyi seçerseniz (Pi'nin USB bağlantı noktalarının altta olması daha uygundur), onu taktığınızda kameranın üst tarafı solda olacaktır.
• Resimdeki kamera zaten monte edilmiştir. Buna daha sonraki bir adımda geleceğiz.
• Pi'deki kamera konektörünün bir resmini göndermek istedim, ancak tekrar takamazsam Pi'yi çıkarmak istemiyorum ve tüm fermuarlarımı kaybettim (ki bunun gerekli olduğunu göreceksiniz) daha sonraki bir adımda monte etmek için) ve bir daha ne zaman daha fazla satın alabileceğimden emin değilim, bu yüzden şimdi yüklemeye ve daha sonra güncellemeye karar verdim.

Adım 3: Vfine Ekranını Şarj Etme

Vufine ekranının kendine ait bir pili var, ancak yalnızca 90 dakika sürüyor ve bu Vufine'in kullanım amacı için yeterli olsa da bizim için yetersiz. Bununla birlikte, Vufine'i kullanılırken şarj edebiliriz ve böylece pil ömrünü uzatabiliriz. Ancak, normal USB kabloları oldukça büyüktür ve ağırlığı en aza indirmek istediğimizden, birini değiştirmemiz gerekecek (işlemde daha küçük ve daha hafif hale getirerek); bir USB kablosunu en aza indireceğiz.

Not: Bu adımın geri kalanı, konektörün bir USB kablosundan nasıl alınacağını ayrıntılarıyla anlatır. Bununla birlikte, bu ucuz (maliyet açısından) USB konektörlerinden haberdar oldum. Bunları kullanmak, konektörü telden çıkarmanın tehlikeli kısmını atlamanıza izin verir. Onlarla hiçbir deneyimim yok, ancak yaptığımda bunları nasıl kullanacağıma dair bu talimatı güncelleyeceğim.

USB Kablosunu Hazırlama

Not: Bu, yapının açık ara en tehlikeli kısmıdır. Keskin bıçakların yanında çok dikkatli olunmalıdır.

USB kablosunu "en aza indirmenin" ilk adımı, mikro USB ucundan yaklaşık 5 inç (sağ göz yapılandırması için yaklaşık 7 diyebilirim) kesmektir. Kabloyu USB mikro ucuna kadar tamamen soyarak devam edin.

Şimdi, tehlikeli kısım için, X-Acto bıçağını kullanarak plastik muhafazayı kesmeniz gerekecek. Kendinizi kesme riskini en aza indirmek için, keserken fişi tutmak için bir pense seti veya masa mengenesi kullanmanızı öneririm. Bunu kesmenin en iyi yolu, resimde görüldüğü gibi yandaki dikişleri (çizgi gibi görünüyorlar) boyunca kesmektir. Bıçağı mahfazaya sokmak için makul miktarda güç kullanmalısınız. Bir süre sonra, bir taraf dışa doğru "dönebilir" ve ne kadar serbest olduğuna bağlı olarak, geri kalanını kesmek yerine bir pense kullanmayı tercih edebilirsiniz.

USB Parçasını Sonlandırma

Sadece metal parça ile kaldığınızda, ortadaki iki kabloyu (kırmızı ve siyah olmayanlar) çıkarmalısınız. Bunu, ya onları keserek ya da bağlantılarını sökmek için bir havya kullanarak ve basitçe sökerek yapabilirsiniz (yeterli tecrübeniz varsa sökmenizi öneririm). Ardından, bir yalıtkan sağlamak ve onu güvende tutmak için kabloların tabanına (Mikro USB fişiyle buluştukları yere) biraz sıcak tutkal koyun. İşiniz bittiğinde, görüntü resimdeki USB gibi görünmelidir (yine de onu henüz Pi'ye bağlamadık).

Pi'ye bağlama

Bu adım oldukça basittir. Tek yapmanız gereken kırmızı kabloyu 5v bağlantı noktasına ve siyah kabloyu RPi üzerindeki toprak (GND) pimine lehimlemek. Tam olarak hangi bağlantı noktalarını görmek için Pi'deki kırmızı dikdörtgenin bulunduğu resme bakın. Temel lehimleme ile ilgili bir video izlemek için buraya tıklayın. Telleri sabitlemek ve bir yalıtkan sağlamak için Pi'nin her iki tarafında (lehim yaptığınız yer) biraz sıcak tutkal kullanmanızı öneririm.

Adım 4: Hepsini Bağlama

Pi'nin güvenliğini sağlamak

Bu noktada, Pi'yi kamera bağlantı noktası öne yakın ve USB konektörleri (Pi'ye takılı) aşağı ve içe bakacak şekilde Vufine modülüne karşı yerleştirin. Fermuarların iki çiftini (her iki taraf için bir çift) kullanarak sabitleyin. Bunu, pastanın üst köşe deliklerinden birine bir fermuar bağlayarak, Vufine'in etrafına sararak (aşağıya doğru) ve Pi'nin aynı tarafındaki alt köşe deliğinden geçirerek yapın. Sonra başka bir fermuarlı kravat alın ve ilkine kilitleyin. Pi, Vufine'e yakın çekilecek şekilde sıkın. Her iki fermuar için de kalan fermuar gövdesini kesin (ikincisi için tümü ve birincisi için ikinci fermuardan dışarı çıkan kısım). Bu adımı Pi'nin diğer tarafında tekrarlayın.

Eşyaları Takmak

Bu belki de tüm yapının en basit adımıdır. Pi'ye lehimlediğiniz USB kablosunu Vufine ekranına takın.

Konektörün Sıcak Yapıştırılması

Manyetik Bağlantı İstasyonundaki mıknatıs, amaçlarımız için yeterince güçlü değil, bu yüzden bağlantıyı güçlendirmek için biraz sıcak tutkal ekleyeceğiz. Vufine modülünü birlikte geldiği Manyetik Yerleştirme İstasyonuna (artı değil) kayışı yukarı gelecek şekilde (resimde gösterildiği gibi) takın. Gerçek Vufine ile hemen hemen paralel olduğundan emin olun (kayışı gözlüklerin üzerinde hareket ettirerek ekranın konumunu yine de ayarlayabileceksiniz). Hem üstte hem de altta yeterli miktarda sıcak tutkal uygulayın. Katılaşmadan önce garip bir konuma gelmediğinden emin olmak için devam etmeden önce soğumasını bekleyin.

Eşyaları Takma, Devam

Bu kısım kısmen ilk Plugging Stuff kadar kolay olmasa da, çok fazla uğraşmamalısınız. HDMI şerit kablosunu hem Vufine hem de Pi'ye takmanız yeterlidir (mücadele fizikselden çok psikolojiktir; bunu yapabilirsiniz. Size inanıyorum).

Kamerayı Bağlama

Sol Göz Yapılandırması:

Bu kolay bir bölüm, ancak kameranın konumu kelimelerle anlatmayı zorlaştırıyor. Esasen, kamerayı, altında şerit kablo ilmekli olacak şekilde yanlara gelecek şekilde takacaksınız. Ne demek istediğimi görmek için resme bakın. Vufine ekranına bastırın ve hem üstüne hem de altına sıcak tutkal uygulayarak bu konumda sabitleyin. Sadece üstte ve altta yapmak onu sabitlemek için yeterli olduğundan ve yanlarda yapmak hem şeridin hem de Vufine ekranının yana doğru ayarlanmasını engelleyebileceğinden yanlara herhangi bir şey koymazdım.

Sağ Göz Yapılandırması:

Daha önce doğru göz yapılandırmasını yapmadım (yaptıktan sonra geri gelip düzenleyeceğim), ancak esasen kameranın yanlamasına ve ekranın üstünde makul bir konumda olduğundan emin olmanız gerekiyor. Üst kısım (konektörün karşısındaki taraf) sola bakmalıdır (takarken sola). Kamerayı Vufine modülündeki ekran parçasına tutturmak için sıcak tutkal kullanın. Ek olarak, herhangi bir fazla şerit kablonun sabitlendiğinden emin olmak için sıcak tutkal (veya zip bağları) kullanabilirsiniz (ayarlanabilirlik için biraz boşluk bırakın ve yüksek derecelerde dönmeye dayanması amaçlanmadığından şeridi buruşturmamaya çalışın). Fiziksel konumunda bir değişiklik nedeniyle kamera akışını yeniden yapılandırmanız gerekiyorsa, Adım 2: Kamerayı Kurma'ya da dönebilirsiniz.

Adım 5: Fin

açmak

Açmak için arkadaki gri düğmeye basarak Vufine modülünü açmanız yeterlidir. Mavi yanıp sönmeye başlamalıdır. Ardından, en sağdaki USB bağlantı noktasını (dışta ve PWR IN etiketli) kullanarak Pi Zero'yu takın. Vufine modülünde yanıp sönen mavi LED'e ek olarak sabit kırmızı ışığın yandığını görmelisiniz. Bu, Vufine'nin şarj edildiği anlamına gelir. Ek olarak, ekran başlamalı ve Pi'nin, sonunda kamera akışının gelmesiyle önyükleme sürecinden geçtiğini görmelisiniz. Ekran geldiğinde, Vufine düğmesindeki yanıp sönen mavi ışık sabit hale gelmelidir.

Not: Önce Pi'yi açarsanız (ardından Vufine), ekranınız garip görünebilir. Bunu düzeltmek için Pi'yi kapatın ve ardından tekrar açın.

kapatmak

Güç sağlayan USB'yi çıkararak RPi'yi kapatın. Vufine'i kapatmak için, ya kendi kendine kapanmasına izin verebilirsiniz (ki kısa bir süre için bir sinyal almadıktan sonra yapacaktır) ya da Vufine üzerindeki gri düğmeyi (mavi LED'li) o kadar basılı tutabilirsiniz. mavi LED söner. Kendini kapatmasına izin vermeyi tercih ederim, ama sen yapıyorsun.

Diğer İyileştirmeler

Özette belirtildiği gibi, proje bir Raspberry Pi'ye dayandığından, projenin gelişme kabiliyeti çok yüksek. Yeni başlayanlar için, işte sahip olduğum bazı fikirler:

• Head-up linux bilgisayar olarak rahat kullanım için kablosuz klavyeye bağlayabilirsiniz. Bunun gibi bir klavye (ve fare) kullanırdım ve buna benzer bir işlemle bağlardım.

  Bunun gibi el hareketi tabanlı bir arayüz eklemek de harika olurdu

• Fotoğrafları ve videoları kaydetmek ve yakınlaştırmak ve uzaklaştırmak için yan tarafa düğmeler ekleyin
• Yerel bir güç anahtarı ekleyin (yerel diyorum çünkü bazı USB kablolarında yerleşik anahtarlar bulunur)
• Her şey için 3D baskılı bir kılıf yapın.
• Bir ses çıkışı ekleyin

• Pil eki ekleyin

  Bardakların diğer tarafına koymak, bir denge eklemek için uygun bir yol olacaktır (gözlüklerin üzerindeki ağırlık şu anda biraz dengesiz)

• Kişinin ortamının sesli bir açıklaması için TTS (metinden konuşmaya) çıkışı olan bir CNN (konvolüsyonlu sinir ağı) yapın. Bu sinir ağı, daha fazla hesaplama gücü için bir Movidius Neural Compute Stick üzerinde çalışabilir.

  Acil durum manevraları için Galvanik Vestibüler Stimülasyonun olası kullanımı

Bu fikirlerin bazılarının uygulanmakta olduğunu github sayfamda görebilirsiniz.

Not:

Muhtemelen daha sonra birkaç resim daha ekleyeceğim. Özellikle herhangi bir resim istiyorsanız, lütfen bana bildirin, elimden geleni yapacağım. Aynısı açıklamalar için de geçerlidir; Bir şeye daha ayrıntılı girmemi istiyorsanız, bana bildirin, ben de halletmeye çalışırım.

Teşekkürler

• Bu topluluktan çok şey öğrendim; umarım bu, buradaki birçok kişinin bana daha önce yardım ettiği gibi başkalarına da yardımcı olur.
• Yine, bu benim ilk talimatım ve her türlü geri bildirim çok takdir edilecektir. Bununla ilgili bir şey yapan varsa lütfen bana bildirin; Topluluğun bunu nereye götürdüğünü görmek isterim.

Hayatım boyunca benim için yaptığı her şey için büyükanneme özel teşekkürler. Sana asla geri ödeyemeyeceğim, ama elimden gelenin en iyisini yapacağımdan emin olabilirsin.

Raspberry Pi Yarışması 2017'de Birincilik Ödülü