IoT: Kaşlarınızı Kullanarak HoloLens'i Kontrol Edin (EMG): 5 Adım

2024 Yazar: John Day | [email protected]. Son düzenleme: 2024-01-30 13:18

Bu proje, Nisan 2019'da NASA JSC'de sunulan ve test edilen Colorado Boulder Üniversitesi'nin NASA SUITS projesinin bir parçasıydı. O yılki proje için donanım geliştirme proje lideriydim ve bu benim katkılarımdan biriydi. NASA SUITS yarışması hakkında daha fazla bilgiyi buradan okuyun.

Bu projeyle, herkesin (bu durumda EVA Astronotlarının) yerleşik el hareketlerini veya ses girişlerini kullanmadan Microsoft HoloLens'te dağıtılan bir Heads-Up-Display (HUD) ile arayüz oluşturmasına izin vermek istedim. Bu hedefi erişilebilirlik açısından ele aldım, EVA astronotlarının yer kontrolü ile iletişim kurmadan ekranlarıyla arayüz oluşturmasına izin verecek bir çevre birimi/giyilebilir cihaz geliştirmek istedim ve yüksek basınçlı eldivenleri nedeniyle hareket arabirimi mantıksız. Bu biraz aşina olmadığım bir alan olsa da, bu çevre biriminin engelliler için yararlı olduğunu, HoloLens veya diğer AR/VR cihazlarını kullanmalarına ve dışlayıcı veya göz korkutucu arabirim girişlerinden vazgeçmelerine izin verdiğini görebiliyorum.

Bu projenin ürün listesinin kendisi istisnai olsa da (HoloLens çok pahalıdır!), çevre birimi diğer AR/VR Cihazları ile kullanılabilir.

Herhangi bir sorunuz varsa, çalışmalarımı takip etmek istiyorsanız ya da sadece fikir alışverişinde bulunmak istiyorsanız, lütfen bunu Twitter hesabımdan yapın: @4Eyes6Senses.

Gereçler

Microsoft HoloLens (veya diğer AR/VR cihazı)

parçacık fotonu

MyoWare Kas Sensörü - MyoWare sensörü, diğer EMG koparma kartlarıyla değiştirilebilir. EMG'nin ne olduğundan emin değilseniz, burada daha fazlasını okumanızı öneririm.

Biyomedikal Sensör Pedleri

Birlik (Ücretsiz)

Unity'de Proje Oluşturmada Bazı Deneyimler

Tel

Adım 1: MyoWare'i Parçacık Fotonu ile Bağlama

Particle Photon'u MyoWare kartına bağlamak oldukça basittir. Bu adım için Particle Photon ve MyoWare kartı arasındaki bağlantıları lehimlemeniz gerekecek. Cihazı takarken kabloların kopmaması için güçlü bağlantılarınız olduğundan emin olun. Kırılmaları önlemek için, kabloları Foton'a lehimlemeden önce örmenizi öneririm.

- MyoWare kartının "+" bağlantı noktasına bir kablo lehimleyin, ardından kablonun diğer ucunu Photon'un "3v3" pinine lehimleyin.

- MyoWare kartının "-" bağlantı noktasına bir kablo lehimleyin, ardından kablonun diğer ucunu Photon'un "GND" pimine lehimleyin.

- MyoWare kartının "SIG" bağlantı noktasına bir kablo lehimleyin, ardından kablonun diğer ucunu Photon'un "A0" pimine lehimleyin.

Adım 2: Parçacık Fotonuna Kod Yükleme

Particle Photon'un IDE'sini kullanarak.ino dosyasını yükleyin. MyoWare kartını bir kas grubuna yerleştirin ve cihazınızın çalıştığından emin olmak için değerleri kontrol edin. Koda baktığınızda, zaten ayarlanmış bir "eşik" değişkeni olduğunu fark edeceksiniz, bu değişken, kaşımı tamamen kaldırdığımda MyoWare'in kasımdan okuduğu minimum değerdir. Ayrıca değişkeni "600" olarak ayarladım çünkü bu, MyoWare'i takarken herhangi bir yanlış pozitif (yanlışlıkla tetikleme) oluşturmadan normal konuşmalar yapmama izin verdi, kullanımlarınız için istediğiniz eşiği bulana kadar değerlerle oynamak isteyebilirsiniz.

Adım 3: MyoWare'in Yerleştirilmesi

NASA SUITS projemiz için MyoWare Board'u kaşın üstüne yerleştirmeyi seçtim. Adafruit tarafından yapılan "Sup Brows" projesine baktıktan sonra MyoWare'i oraya yerleştirmek için ilham aldım. Bazı testlerden sonra, kaşların bu özel proje için harika bir yer olduğu anlaşıldı. Harika bir konum çünkü sensörler, EVA astronotlarının uzay yürüyüşleri sırasında yaptığı kollar, bacaklar ve gövdedeki sürekli kas hareketlerinden etkilenmeyecek.

Adım 4: MyoWare'i Unity ile Bağlama

Şimdi son adımın zamanı geldi, hadi MyoWare'i Unity ile bağlayalım! Bu Eğitilebilir Tabloya, Unity projenize dahil etmeniz gereken komut dosyası dahildir. Ama önce, koddaki birkaç şeyi değiştirmeniz gerekecek. Öncelikle projenize JSON Object Unity eklentisini eklemeniz gerekecek. Ardından, 19. satıra kendi cihaz kimliğinizi ve erişim jetonunuzu eklemeniz gerekecek: parçacıkURI = "https://api.particle.io/v1/devices/[Cihaz kimliğinizi girin]/Next?access_token=[erişim belirteci]". Particle IDE'den cihaz kimliğinizi alabilirsiniz, Şekil 2'yi takip edin, cihazlarınız sekmesine tıklayın (kırmızı kutu) ve kimliğinizi bulmak için cihaz adınızın altına bakın (mavi kutu). Ardından, erişim jetonunuzu bulmak için IDE'deki ayarlar sekmesine tıklayın.

Adım 5: Bitti

Unity projenizi bitirdikten sonra EMG kontrollü bir HoloLens'e sahip olacaksınız!

Derinlemesine sorularınız varsa, insan büyütme hakkında bilgi edinmek istiyorsanız, çalışmalarıma ayak uydurmak istiyorsanız veya sadece fikir alışverişinde bulunmak istiyorsanız, lütfen bunu Twitter hesabımdan yapın:

2019 - 2020 NASA SUITS yarışması için ekibimizle çalışmak istiyorsanız, lütfen bana e-posta gönderin:

İlk resimdeki modele, tasarımı NASA'da da test eden Darren'a özel teşekkürler. Bunun çoğunu mümkün kılan AJ projesi için programlama ortağıma bir kez daha teşekkürler.