Bioterugvoerbioskoop: 7 stappe

2024 Outeur: John Day | [email protected]. Laas verander: 2024-01-30 07:27

Skrywer van die projek

Jessica Ann

Medewerkers

• Gregory Hough
• Salud Lopez
• Pedro Peira

Ongeveer

'N Eksperimentele video -opnamestelsel wat die brein van 'n deelnemer met kamerafunksies verbind via 'n Neurosky Mindwave EEG Reader Headset. Die Biofeedback Cinema -stelsel werk in plaas van 'n tradisionele kinematograaf, en gee in plaas daarvan die komposisie self aan die deelnemer via 'n persoonlike BRAIN to CAMERA -koppelvlak. Die projek is ontwikkel in samewerking met werkswinkelgangers Gregory Hough, Salud Lopez en Pedro Peira. U kan meer lees oor die resultate van die werkswinkel op:

Prototipe -opset

Die Biofeedback Cinema -stelsel is geskik vir baie moontlike toepassings. Vir hierdie instruksies het ons 'n demo van die stelsel opgestel wat kyk na die fokus/aandag van die deelnemer ('n enkele heelgetal) en dit vertaal na kameraposisie (via pan en kantel) en kamerafokus (intern via OpenCV). Dit word alles moontlik gemaak deur 'n bluetooth -verbinding tussen 'n Neurosky EEG Reader Headset en 'n Raspberry Pi.

Die Raspberry Pi is 'n klein rekenaar wat toegerus is met 'n webkamera en skrifte (hieronder beskikbaar) wat die deelnemer se breinaktiwiteit oorbrug na kamera -instellings en kameraposisie. Die dinamiese kameraposisie word moontlik gemaak deur 'n Arduino -mikrobeheerder wat seine van die Raspberry Pi ontvang. Ons sien uit na verdere ontwikkeling, aangesien ons daarna streef om addisionele breingolfparameters (frekwensies wat verband hou met oogknippies, ens.) En kamerafunksies (dws kleur, versadiging, helderheid, ens.) In te sluit.

Hieronder is die instruksies om u eie Biofeedback Cinema -stelsel te bou.

Lekker eksperimenteer

Stap 1: Voorrade

Alles wat u nodig het om u eie prototipe van Biofeedback Cinema te bou, word hieronder gelys.

1. Neurosky Mindwave mobiele EEG -headset

2. Framboos Pi B+ (b+ is beter, meer USB -poorte, maar 'n B -model is ook goed as jy 'n USB -hub het).

   1. Raspberry Pi -kragadapter of battery
   2. Wifi Dongle -of- Ethernet -verbinding (slegs nodig tydens opstelling)
   3. Bluetooth Dongle sien wiki vir versoenbare dongles
   4. SD -kaart (ten minste 8 GB) met NOOBS.

3. Arduino Enige bord is goed, met Uno in hierdie instruksies. Let ook daarop dat u net die I/O op die Pi kan gebruik.

   1. Arduino -kragadapter of battery
   2. A-B USB-kabel
4. USB -webkamera
5. Mini pan-kantelstel

6. Monitor met HDMI -invoer of gebruik VNC om u pi vanaf u rekenaar op afstand te beheer [tutoriaal hier]

   HDMI -kabel

7. USB -sleutelbord en muis beveel Bluetooth -sleutelbord en muis aan om die gebruikte USB -poorte te verminder.

Stap 2: Stel Raspberry Pi op

1. Stel hardeware op

Koppel die sleutelbord, die muis, die bluetooth -dongle, die wifi -dongle (of ethernet), die webkamera, die monitor via die HDMI -kabel en die krag van u Raspberry Pi

2. Stel bedryfstelsel op

• Skakel die krag aan en u Pi moet begin. Installeer Rasbpian OS, instruksies hier:
• As u opstart en Raspian behoorlik geïnstalleer is, moet u die tuisskerm (prent hierbo) sien.

WENKE:

• As u die aspekverhouding van die lessenaar af is, herlaai u Raspberry Pi. As dit nog af is, kyk hier om die aspekverhouding handmatig op te dateer.
• As u 'n teksredakteur oopmaak en die spesiale karakters van u sleutelbord verkeerd is, kyk hier om u sleutelbordkonfigurasie op te dateer.
• Toets u internetverbinding (u benodig dit om biblioteke tydens die opstelling te installeer). Soek hier hulp vir die opstel van wifi.

Stap 3: Koppel Neurosky Headset aan

1. Bluetooth -opstelling

Voordat die Pi aan die Neurosky kan koppel, moet ons bluetooth instel:

Maak "LXTerminal" op die lessenaar oop (van hier af na verwys as Terminal). Voer hierdie opdrag uit om tekorte op te los en op te dateer:

$ sudo apt-get update

Installeer bluetooth met hierdie opdrag:

$ sudo apt-get installeer bluetooth

Installeer handige Bluetooth-nutsbalk op die werkbalk:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Herlaai Pi vanaf Terminal:

$ sudo herlaai

2. Toets Bluetooth -verbinding

• Skakel Neurosky -headset aan
• Van die terminale soek na toestelle:

hcitool skandering

Die Mindwave -headset moet gelys word, let op die MAC -adres van die headset [prent hierbo]

3. Installeer Neurosky Libraries

Nou is ons gereed om die Neurosky Python -biblioteke te installeer en die datastroom daarvan op te tel met die biblioteek -toetsskrif:

Installeer die github -nut vanaf die Terminal:

sudo apt-get install git-core

Kloon github -bewaarplek met Neurosky Python -biblioteek:

sudo git kloon

Ons moet MindwaveMobileRawReader.py -lêer opdateer met die MAC -adres van u headset. Ter info: lêernaam is hooflettergevoelig

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Dateer die MAC -adres in die lêer op. Ctrl-X om te voltooi, Y om te stoor, Enter om te verlaat.
• Koppel die Neurosky en die Pi en laat die outomatiese verbindingsfunksie toe, as u 'n PIN vra, gebruik "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-toets-toestel vertrou XX: XX: XX: XX: XX: XX ja

Installeer Python Bluetooth -biblioteek:

sudo apt-get install python-bluez

Begin die biblioteek -toetsskrif om te verseker dat die Pi 'n voorbeeld van die datastroom kan kry. U moet die datastroom [prent hierbo] sien:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Stap 4: Koppel USB -webkamera aan/maak CV oop

1. Installeer OpenCV

Vanaf die terminale:

$ sudo apt-get installeer libopencv-dev python-opencv

As jy klaar is, gaan voort:

$ sudo apt -get -f installeer

Vir goeie maatreëls:

$ sudo apt-get installeer libopencv-dev python-opencv

Toets die installasie deur die biblioteek te probeer invoer:

$ luislang

> voer cv2 in

2. Toets OpenCV in Python met USB -webkamera

• Maak "IDLE" op die lessenaar oop (moenie IDLE3 oopmaak nie!)
• Kies New Window in die File menu. Kopieer ons Cv-Blur-Test-script na die nuwe venster en stoor. Script beskikbaar hier:
• Kies in die menu Uitvoering Uitvoermodule (of druk F5). Dit kan 'n paar sekondes neem om aan die gang te kom, maar u moet 'n klein raam met u lewendige webcam -feed sien verskyn, en die video moet vaag wees. Baie geluk, OpenCV is geïnstalleer en werk suksesvol met u webcam [prent hierbo].

Stap 5: Koppel Arduino

1. Laai Arduino IDE af

Vanaf die terminale:

sudo apt-get install arduino

2. Verbind Arduino & Load Sketch

• Koppel die arduino in die Pi met die AB-USB-kabel.
• Gaan na die beginmenu van die lessenaar na Electronics en maak Arduino IDE oop. Kopieer ons arduino-serial-pi-skets in die IDE [skakel hieronder]. Dit is 'n baie basiese skets wat servomotors sal verskuif, gebaseer op insette wat oor die reeks kom. Ons sal data oor die reeks stuur, gebaseer op breingolwe -uitset, met behulp van 'n Python -skets in die laaste stap wanneer ons alles saamvoeg.

Arduino-serial-pi skets aanlyn hier:

Gaan in die Arduino IDE na die menu Tools, kies Serial Port en kies die Arduino -poort, waarskynlik iets soos /dev /ttyACM0. Teken die poort aan

3. Skakel Serial Console uit

Laai die script af en voer dit uit om die seriële konsole uit te skakel sodat die seriële USB -verbinding glad kan verloop:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-opstelling

$ sudo./setup

$ sudo herlaai

FYI:

As u die B+ gebruik, is daar moontlik genoeg I/O om die servo's te ondersteun (kyk hier om die GPIO op te stel en te gebruik). Ek is egter geïnteresseerd in die toevoeging van addisionele komponente vir toekomstige brein-tot-elektroniese eksperimentering. Die opstel van die aanvanklike prototipe met 'n arduino verseker dus baie elektroniese moontlikhede.

Stap 6: Alles saamvoeg

1. Finale Python -skrif

Voordat ons die finale python-script by die "python-mindwave-mobile" -map kan voeg, moet ons die vouerpermitte verander. Vanaf die terminale:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Maak IDLE oop en voer ons laaste Python-script uit, aanlyn hier beskikbaar: https://github.com/PrivateHQ/biofeedback-cinema/ Maak seker dat dit in die python-mindwave-mobiele gids geleë is. Ter info: u moet ons Python -script opdateer met u werklike Arduino -poortadres.
• As u hierdie skrip uitvoer, moet u drie dinge doen: 1) U aandagvlak word in die Python -omhulsel gelys, 2) 'n Klein raam verskyn met die lewendige stroom van die webcam, met die vervaag wat verander word op grond van die aandagvlak, 3) die motor (s) beweeg terwyl die aandagvlak via die reeks na die arduino oorgedra word [Video hierbo].

Stap 7: Verbeterings en ontwikkeling

Die Raspberry Pi het 'n beperkte verwerkingskrag en sukkel om OpenCV -funksies glad te laat verloop. Dit is iets wat ek sal aanhou ontwikkel en verbeter. Boonop is ek van plan om bykomende breingolfparameters (frekwensies wat verband hou met oogknippies, ens.) En kamerafunksies (dws kleur, versadiging, helderheid, ens.) In toekomstige herhalings op te neem.