Biofeedback Sineması: 7 Adım

2024 Yazar: John Day | [email protected]. Son düzenleme: 2024-01-30 13:20

Proje Yazarı

Jessica Ann

ortak çalışanlar

• Gregory Hough
• Salud Lopez
• Pedro Peira

Hakkında

Bir Neurosky Mindwave EEG Okuyucu Kulaklığı aracılığıyla bir katılımcının beynini kamera işlevlerine bağlayan deneysel bir video yakalama sistemi. Biofeedback Sinema sistemi, geleneksel bir görüntü yönetmeni yerine çalışır, bunun yerine kompozisyonun failliğini özel bir BEYİN - KAMERA arayüzü aracılığıyla katılımcının kendisine verir. Proje, atölye katılımcıları Gregory Hough, Salud Lopez ve Pedro Peira ile işbirliği içinde geliştirildi. Çalıştayın sonuçlarını şu adresten okuyabilirsiniz:

Prototip Yapılandırması

Biofeedback Sinema sistemi, kendisini birçok potansiyel uygulamaya borçludur. Bu talimat için, katılımcının odak/dikkat düzeyine (tek bir tam sayı) bakan ve bunu kamera konumuna (kaydırma ve eğme yoluyla) ve kamera odağına (dahili olarak OpenCV aracılığıyla) çeviren bir sistem demosu hazırladık. Tüm bunlar, Neurosky EEG Okuyucu Kulaklığı ve Raspberry Pi arasındaki bluetooth bağlantısıyla mümkün oluyor.

Raspberry Pi, katılımcının beyin aktivitesini kamera ayarlarına ve kamera konumuna bağlayan bir web kamerası ve komut dosyaları (aşağıda mevcuttur) ile donatılmış küçük bir bilgisayardır. Dinamik kamera konumu, Raspberry Pi'den sinyal alan bir Arduino mikrodenetleyicisi ile mümkün kılınmıştır. Ek beyin dalgası parametrelerini (göz kırpmalarıyla ilişkili frekanslar vb.) ve kamera işlevlerini (yani renk tonu, doygunluk, parlaklık vb.) eklemeyi hedeflediğimiz için daha fazla gelişmeyi dört gözle bekliyoruz.

Aşağıda kendi Biofeedback Sinema sisteminizi oluşturma talimatları verilmiştir.

Mutlu deneyler

Adım 1: Sarf Malzemeleri

Kendi Biofeedback Cinema prototipinizi oluşturmak için ihtiyacınız olan her şey aşağıda listelenmiştir.

1. Neurosky Mindwave Mobil EEG Kulaklığı

2. Raspberry Pi B+ (b+ daha iyidir, daha fazla USB bağlantı noktası, ancak bir USB hub'ınız varsa B Modeli de iyidir).

   1. Raspberry Pi Güç Adaptörü veya Pil Paketi
   2. Wifi Dongle -veya- Ethernet Bağlantısı (yalnızca kurulum sırasında gereklidir)
   3. Bluetooth Dongle, uyumlu dongle'lar için wiki'ye bakın
   4. NOOBS ile SD Kart (en az 8GB).

3. Arduino Any board, bu Instructable'da Uno kullanarak iyidir. Ayrıca, Pi'deki G/Ç'yi kullanabileceğinizi unutmayın.

   1. Arduino Güç Adaptörü veya Pil Paketi
   2. AB USB Kablosu
4. USB Web kamerası
5. Mini Pan-Tilt Kiti

6. HDMI Girişi ile izleyin Veya pi'nizi bilgisayarınızdan uzaktan kontrol etmek için VNC kullanın [eğitici burada]

   HDMI kablosu

7. USB Klavye ve Fare, kullanılan USB bağlantı noktalarını en aza indirmek için bluetooth klavye ve fareyi önerir.

2. Adım: Raspberry Pi'yi Kurun

1. Kurulum Donanımı

Klavye, fare, bluetooth dongle, wifi dongle (veya ethernet), web kamerası, HDMI kablosu ile monitör ve Raspberry Pi'nize güç bağlayın

2. Kurulum İşletim Sistemi

• Gücü açın ve Pi'niz başlamalıdır. Rasbpian OS'yi yükleyin, buradaki talimatlar:
• Önyüklenirse ve Raspian düzgün şekilde kurulursa, ev masaüstünü görmelisiniz [Yukarıdaki resim].

İPUÇLARI:

• Masaüstü en boy oranı kapalıysa, Raspberry Pi'nizi yeniden başlatmayı deneyin. Hala kapalıysa, en boy oranını manuel olarak güncellemek için buraya bakın.
• Bir metin düzenleyici açarsanız ve klavye özel karakterleriniz yanlış eşlenirse, klavye yapılandırmanızı güncellemek için buraya bakın.
• İnternet bağlantınızı test edin (kurulum sırasında kitaplıkları kurmak için buna ihtiyacınız olacak). Wifi kurulumunu alma konusunda yardım için buraya bakın.

3. Adım: Neurosky Kulaklığı Bağlayın

1. Bluetooth Yapılandırması

Pi'nin Neurosky'ye bağlanabilmesi için bluetooth'u kurmamız gerekiyor:

Masaüstünde "LXTerminal"i açın (bundan sonra Terminal olarak anılacaktır). Eksiklikleri gidermek ve güncellemek için bu komutu çalıştırın:

$ sudo apt-get güncellemesi

Bu komutla bluetooth'u yükleyin:

$ sudo apt-get kurulum bluetooth

Kullanışlı masaüstü araç çubuğu bluetooth yardımcı programını yükleyin:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Pi'yi Terminalden Yeniden Başlatın:

$ sudo yeniden başlatma

2. Bluetooth Bağlantısını Test Edin

• Neurosky kulaklığı açın
• Cihazlar için Terminal taramasından:

hcitool taraması

Mindwave kulaklığı listelenmelidir, kulaklığın MAC adresini not edin [yukarıdaki resim]

3. Neurosky Kitaplıklarını Kurun

Artık Neurosky Python kitaplıklarını kurmaya ve kitaplık test komut dosyasıyla veri akışını almaya başlamaya hazırız:

Terminalden github yardımcı programını kurun:

sudo apt-get install git-core

Neurosky Python kitaplığı ile github deposunu klonlayın:

sudo git klonu

MindwaveMobileRawReader.py dosyasını kulaklığınızın MAC adresi ile güncellememiz gerekiyor. Bilginize: Dosya adları büyük/küçük harf duyarlıdır

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Dosyada listelenen MAC adresini güncelleyin. Bitirmek için Ctrl-X, kaydetmek için Y, çıkmak için Enter.
• Neurosky ve Pi'yi eşleştirin ve PIN'in "0000" kullanılması istenirse otomatik bağlantı özelliğine izin verin:

$ sudo bluez-simple-agent hci0 XX:XX:XX:XX:XX:XX

$ sudo bluez-test cihazı güvenilir XX:XX:XX:XX:XX:XX evet

Python Bluetooth kitaplığını kurun:

sudo apt-get install python-bluez

Pi'nin veri akışını önizleyebilmesini sağlamak için kitaplık test komut dosyasını çalıştırın. Veri akışını görmelisiniz [yukarıdaki resim]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Adım 4: USB Web Kamerasını Açık CV ile Bağlayın

1. OpenCV'yi yükleyin

Terminalden:

$ sudo apt-get kurulum libopencv-dev python-opencv

Bittiğinde, devam edin:

$ sudo apt-get -f kurulumu

İyi bir önlem için:

$ sudo apt-get kurulum libopencv-dev python-opencv

Kitaplığı içe aktarmayı deneyerek yüklemeyi test edin:

$ piton

> cv2'yi içe aktar

2. OpenCV'yi Python'da USB Web Kamerasıyla Test Edin

• Masaüstünde "IDLE"ı açın (IDLE3'ü açmayın!)
• Dosya menüsünden Yeni Pencere'yi seçin. Cv-Blur-Test betiğimizi yeni pencereye kopyalayın ve kaydedin. Komut dosyası burada mevcut:
• Çalıştır menüsünden Modülü Çalıştır'ı seçin (veya F5'e basın). Başlamak birkaç saniye sürebilir, ancak canlı web kamerası yayınınızda küçük bir çerçevenin göründüğünü görmelisiniz ve video bulanık olmalıdır. Tebrikler, OpenCV kuruldu ve web kameranızla başarılı bir şekilde çalışıyor [Yukarıdaki resim].

Adım 5: Arduino'yu Bağlayın

1. Arduino IDE'yi indirin

Terminalden:

sudo apt-get kurulum arduino

2. Arduino'yu Bağlayın ve Çizimi Yükleyin

• Arduino'yu A-B USB kablosuyla Pi'ye takın.
• Masaüstü başlat menüsünden Elektronik'e gidin ve Arduino IDE'yi açın. Arduino-serial-pi taslağımızı IDE'ye kopyalayın [Aşağıdaki bağlantı]. Servo motorları seri üzerinden gelen girdiye göre hareket ettirecek çok basit bir çizimdir. Her şeyi bir araya getirdiğimizde son adımda bir Python taslağı kullanarak beyin dalgası çıktısına göre seri üzerinden veri göndereceğiz.

Arduino-serial-pi kroki burada çevrimiçi:

Arduino IDE'de Araçlar menüsüne gidin, Seri Bağlantı Noktasını seçin ve listelenen Arduino bağlantı noktasını seçin, muhtemelen /dev/ttyACM0 gibi bir şey. Limanı not edin

3. Seri Konsolu Devre Dışı Bırak

USB seri bağlantısının sorunsuz çalışabilmesi için seri konsolu devre dışı bırakmak için bir komut dosyası indirin ve çalıştırın:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode-setup.tar.gz

$ cd alamode kurulumu

$ sudo./kurulum

$ sudo yeniden başlatma

Bilginize:

B+ kullanıyorsanız, servoları desteklemek için yeterli G/Ç olabilir (GPIO'yu kurmak ve kullanmak için buraya bakın). Ancak, gelecekteki beyinden elektroniğe deneyler için ek bileşenler eklemekle ilgileniyorum. Bu nedenle, ilk prototipi bir arduino ile kurmak, çok sayıda elektronik olanak sağlar.

Adım 6: Hepsini Bir Araya Getirmek

1. Son Python betiği

Son python betiğini "python-mindwave-mobile" klasörüne ekleyebilmemiz için klasör izinlerini değiştirmemiz gerekiyor. Terminalden:

$ chmod a=rwx /home/pi/python-mindwave-mobile

• IDLE'yi açın ve burada çevrimiçi olarak bulunan son Python betiğimizi çalıştırın: https://github.com/PrivateHQ/biofeedback-cinema/ python-mindwave-mobile klasöründe bulunduğundan emin olun. Bilginize: Python betiğimizi gerçek Arduino bağlantı noktası adresinizle güncellemeniz gerekecek.
• Bu betiği çalıştırdığınızda, yapmanız gereken üç şey vardır: 1) Dikkat seviyeniz Python Kabuğu'nda listelenir, 2) Dikkat düzeyine bağlı olarak değişen bulanıklık ile web kamerası canlı yayınını gösteren küçük bir çerçeve görünür, 3) motor(s) dikkat seviyesi seri [yukarıdaki video] üzerinden arduinoya aktarılırken hareket edin.

7. Adım: İyileştirmeler ve Geliştirme

Raspberry Pi'nin işlem gücü sınırlıdır ve OpenCV işlevlerini sorunsuz bir şekilde çalıştırmakta zorlanır. Bu geliştirmeye ve geliştirmeye devam edeceğim bir şey. Ek olarak, gelecekteki yinelemelere ek beyin dalgası parametreleri (göz kırpma ile ilişkili frekanslar vb.) ve kamera işlevlerini (yani renk tonu, doygunluk, parlaklık vb.) dahil etmeyi planlıyorum.