Gebaar na spraak-/teksomskakelhandskoen: 5 stappe

2024 Outeur: John Day | [email protected]. Laas verander: 2024-01-30 07:24

Die idee/stoot agter die implementering van hierdie projek was om mense te help wat sukkel om te kommunikeer met behulp van spraak en te kommunikeer met handgebare of meer algemeen bekend as Amerikaanse gebaretaal (ASL). Hierdie projek kan 'n stap wees om hierdie mense 'n geleentheid te bied om saam met ander mense wat die gebaretaal nie verstaan nie, in 'n samewerkende omgewing te werk. Hierdie projek sal hulle ook in staat stel om openbare toesprake te hou sonder die gebruik van 'n werklike menslike vertaler. In die begin probeer ek net 'n paar van die makliker gebare, soos alfabet A, B, I, ens.

Stap 1: Kringloop

Stap 2: Projekbesonderhede

Hierdie projek bevat 'n draagbare handskoen met 4 buigsensors wat in die handskoen vasgemaak/ingebed is - een elk vir klein-, middel-, wysvingers en duim. Flex -sensor is nie vir ringvinger gebruik nie weens die beperkinge op die beskikbaarheid van analoge invoerpenne op Arduino Uno R3 en oor die algemeen as gevolg van 'n gebrek aan onafhanklike beweging wat deur die vinger in gebaretale vertoon word. 'N MMA8452Q versnellingsmeter word ook gebruik wat aan die agterkant van die handpalm vasgesteek word om die oriëntasie van die hand te meet. Insette van hierdie sensors word ontleed en gebruik om die gebaar te voel. Sodra die gebaar waargeneem is, word die ooreenstemmende karakter/boodskap in 'n veranderlike gestoor. Hierdie karakters en boodskappe bly verbind totdat 'n sekere voorafbepaalde gebaar gemaak word wat dui op die voltooiing van die sin. Sodra daardie spesiale gebaar opgespoor is, word die gestoorde sinstring deur die Arduino via die USB -kabel na die Raspberry Pi gestuur. Raspberry Pi stuur die ontvangde string dan na die Amazon Cloud Service met die naam Polly om die sin wat in teksformaat ontvang is, om te skakel in spraakformaat en stroom dan die ontvangde toespraak op die luidspreker wat via die AUX -kabel aan die Raspberry Pi gekoppel is.

Hierdie projek was slegs 'n bewys van die konsep en met beter toerusting en beplanning en beter gekalibreer om baie ander gebare en handbewegings op te spoor. Tans word slegs beperkte funksionaliteit in hierdie projek geprogrammeer, soos vir basiese gebaaropsporing en teks na spraakuitset.

Stap 3: Kodeer

Stap 4: stappe

1. Sluit die buigsensors en versnellingsmeter MMA8452Q aan op die Arduino volgens die stroomdiagram.

2. Gooi die program Final_Project.ino (wat in die Arduino_code.zip -lêer voorkom) na die Arduino.

3. Koppel Arduino aan die Raspberry Pi met 'n USB -kabel. (Kabeltipe A/B).

4. Skakel die Raspberry Pi aan, kopieer die Raspberry_pi_code.zip -lêer in die Raspberry Pi en pak dit uit. Koppel die luidspreker aan die Raspberry Pi.

5. Kopieer u AWS -rekeningbewyse, dit wil sê aws_access_key_id, aws_secret_access_key en aws_session_token in die ~/.aws/credentials -lêer. Hierdie stap is nodig om met die AWS -wolk te kommunikeer en om AWS -dienste te gebruik.

6. Begin die seria_test.py -program wat in stap 4 in die uitgepakte gids gevind is.

7. Maak nou die gebare om 'n sin te vorm en doen dan die spesiale gebaar (Hou u vingers en handpalm reguit en in 'n lyn met die palm van u af weggedraai, en draai dan die pols sodat dit 'n afwaartse draai is sodat u handpalm nou kyk na u toe en die punt van u vingers wys afwaarts na u voete.) om die voltooiing van die sin aan te dui.

8. Gaan voort na die terminale vir nuttige inligting.

9. En luister na die bekeerde toespraak wat op die spreker gestroom word.

Stap 5: Verwysings

1.

2.

3.

4.