Handbewegingsherkenning: 5 stappe

2024 Outeur: John Day | [email protected]. Laas verander: 2024-01-30 07:24

Oorsig

In hierdie projek maak ons 'n handskoen wat basiese handbewegings kan herken met behulp van 'n MicroBit en 'n paar sensors. Ons gebruik die Bluetooth -vermoëns op die MicroBit, saam met 'n Android -app en 'n webbediener om 'n masjienleermodel op te lei om handbewegings te identifiseer.

Aan die gang kom

Die meerderheid van die moeite wat by hierdie projek betrokke is, is aan die sagtewarekant, en al die kode wat nodig is om hierdie projek uit te voer, is beskikbaar op GitHub. Die kodebasis behels 3 komponente, die kode om 'n HEX -lêer vir die MicroBit te genereer, die Android App -kodebasis wat sterk gebaseer is op die MicroBit Foundation se MicroBit Blue -app, met aanpassings vir hierdie spesifieke gebruik, en 'n webbediener met kode vir opleiding van 'n Tensorflow -gebaseerde model om handbewegings te identifiseer.

Ons sal sien hoe om die handskoen te bou en dit vervolgens met die app en webbediener te koppel.

Voorrade

• 1 BBC -mikrobit
• 1 batteryhouer met 2 AAA -batterye
• 1 Handskoen
• 'N Stel springdrade, krokodilleklemme
• 'N Buigsensor
• 'N Kragsensor
• Klittenband
• Elektriese band
• 'N Android -selfoon
• 'N Rekenaar/skootrekenaar

Stap 1: Stap 1: Die opstel van die MicroBit en die battery

• Bevestig die batteryhouer aan 'n stuk klittenband soos in die eerste prent getoon. Gebruik die elektriese band om die batteryhouer stewig aan die klittenband vas te maak.
• Maak dan 'n lus met elektriese band sodat dit aan albei kante klewerig is, en plak dit bo -op die battery.
• Plak die MicroBit op die band om die MicroBit stewig aan die batteryhouer vas te maak, soos in die tweede prentjie getoon.

Stap 2: Sluit sensors aan

• Volg die kringsdiagram wat in die prentjie getoon word om u buigsensor aan te sluit op pen 1 van die MicroBit, en dwing die sensor aan pen 0 van die MicroBit.
• Bevestig die sensors op die handskoen met behulp van elektriese band soos op die foto's getoon.

Stap 3: Voltooi die hardeware

• Gebruik die punte van die klittenbandbande om 'n lus te vorm en skuif die lus oor die vingers van die handskoen, soos in die prentjie getoon.
• U kan draadbande gebruik om die drade op die handskoen vas te maak om te voorkom dat hulle te veel beweeg.

In die volgende afdeling kyk ons na hoe u die sagteware instel.

Stap 4: sagteware -opstelling

Koppel jou foon aan jou MicroBit

1. Maak eers seker dat Bluetooth op u telefoon aangeskakel is om u telefoon te koppel.
2. Skakel u MicroBit aan en hou beide A- en B -knoppies ingedruk. Druk terselfdertyd die resetknoppie los terwyl u die A- en B -knoppies ingedruk hou. Die mikrobit moet nou in die paringsmodus gaan.
3. Soek u MicroBit op u telefoon onder die lys met Bluetooth -toestelle, waar u gewoonlik 'n nuwe Bluetooth -toestel byvoeg en begin koppel. Op u MicroBit sien u 'n pyl wat na die A -knoppie wys. As u hierop druk, sal die MicroBit 'n reeks getalle vertoon, wat die paringskode is wat u op u telefoon moet invoer. Sodra u die kode op u telefoon ingevoer het en 'n paar gekies het, moet 'n vinkje op die MicroBit verskyn.
4. Druk die reset -knoppie op u MicroBit.

Die opstel van die sagteware

Volg die ReadMe -gidse in elke submap op die GitHub Repository om die Android App -projek in Android Studio op te stel, om die HEX -lêer na u MicroBit te bou en te flits en die webbediener uit te voer om die Machine Learning Models uit te voer.

Stap 5: Gebruik

Webbediener

Open 'n terminale in die projekgids van die webbediener en voer 'python server.py' uit om die bediener te begin nadat u die instruksies in die ReadMe gevolg het om afhanklikes te installeer

Android App

1. Bou en maak 'n APK vir die Android -app van Android Studio. Begin die app nadat u u telefoon met die MicroBit gekoppel het (sien vorige stap).
2. Op die versnellingsmeterbladsy kan u die webbediener -URL instel met behulp van die instellingsmenu in die regter boonste hoek. Maak seker dat u dit verander na die IP -adres van u webbediener.
3. Wag totdat die versnellingsmeterlesings vanaf die MicroBit begin invul. U sal die lesings met verskillende frekwensies sien verander. Druk B op die MicroBit om die frekwensie te verander. Ideaal gesproke kan u 'n frekwensiewaarde van 10 gebruik (wat elke 10 ms lesings meet)
4. Nadat die lesings ingevul is, noem u u gebaar met behulp van die tekskassie met die naam 'Gebaar:' en druk die opname -knoppie. Sodra u op die opname -knoppie druk, beweeg u hand herhaaldelik totdat die knoppie weer aangeskakel word.
5. Herhaal stap 3 om verskeie gebare op te neem.
6. Druk die treinknoppie om die modelopleiding op die bediener te begin. Sodra die opleiding voltooi is (ongeveer 15 sekondes), kan u voortgaan met voorspellings.
7. Druk die voorspellingsknoppie en maak u beweging/gebaar. Die app probeer dit so goed as moontlik by een van die opgeleide bewegings pas.