Sprekersbewuste Camara-stelsel (SPACS): 8 stappe

2024 Outeur: John Day | [email protected]. Laas verander: 2024-01-30 07:25

Stel jou 'n konferensieoproep voor waarin verskeie luidsprekers een kamera omring. Ons kom gereeld teë waar die beperkte kykhoek van 'n kamera dikwels nie na die persoon wat praat, kyk nie. Hierdie beperking op hardeware verswak die gebruikerservaring aansienlik. As die kamera na aktiewe luidsprekers kan kyk, is die afgeleë gehoor meer betrokke by 'n gesprek tydens die oproep. In hierdie projek stel ons 'n (prototipe) kamerastelsel voor wat die aktiewe luidspreker opspoor en volg deur die kamera na die luidspreker te draai. Die stelsel gebruik beide visuele en klankgebaseerde benadering. As gesigte vanaf die kamera bespeur word, bepaal dit die persoon wat praat en bereken die hoek om te draai. As die gesigte nie op die huidige hoek bespeur word nie, soek die stelsel na die luidspreker op grond van die rigting van die aankoms -klankseine.

Stap 1: materiaal

Adafruit Feather nRF52840 Express X 1

www.adafruit.com/product/4062

Electret -mikrofoonversterker - MAX4466 X 2

www.adafruit.com/product/1063

Mikro servomotor X 1

www.adafruit.com/product/169

Android -slimfoon X 1

Stap 2: Hardeware - 3D -drukwerk

Vir 'n vinnige implementering het ons besluit om die kaste wat ons benodig, in 3D te druk. Daar is twee hoofkomponente vir omhulsels; 'n draaitafel en 'n slimfoonstaander. Ons het die draaitafel gebruik vanaf hierdie skakel (https://www.thingiverse.com/thing:141287), waar dit 'n Arduino -omhulsel onderaan en 'n roterende tafel bied wat met 'n servomotor verbind kan word. Ons het 'n slimfoonstaander gebruik vanaf hierdie skakel (https://www.thingiverse.com/thing:2673050), wat opvoubaar en hoekverstelbaar is sodat ons die hoek gemaklik kan kalibreer. Die onderstaande figuur toon die 3D -gedrukte onderdele aanmekaar.

Stap 3: Hardeware - elektroniese komponente

Daar is vier bedrade komponente; Adafruit Feather, twee mikrofone en 'n motor. Vir die kompakte verpakking het ons die drade (grys sirkels) gesoldeer sonder om 'n broodbord te gebruik. Hieronder beskryf die kringdiagram en die werklike artefak.

Stap 4: sagteware

Ons stelsel gebruik hoofsaaklik die visuele inligting van die gesigsherkenning om die spreker te volg, aangesien dit meer akkuraat is. Om die Feather visuele inligting uit die Android -app te kry, gebruik ons Bluetooth Low Energy as die belangrikste kommunikasiemetode.

As enige gesig bespeur word, bereken die app die hoek wat die motor moet draai om die luidspreker in die middel van die raam te fokus. Ons het die moontlike scenario's ontbind en soos volg hanteer:

1. As gesig (e) opgespoor en gepraat word, bereken dit die middelpunt van die luidsprekers en gee die relatiewe hoek na die veer terug.
2. As gesig (te) opgespoor word, maar nie een van hulle praat nie, bereken dit ook die middelpunt van die vlakke en gee die hoek dienooreenkomstig terug.
3. As enige gesig nie opgespoor word nie, verander die stelsel die logika van die spoorsnyer van die visuele na die klank.

SPACS-sagteware is geleë op

Stap 5: sagteware - klank

Klank (YH)

Om die bron van inkomende klank op te spoor, het ons eers probeer om die tydsverskil tussen die twee mikrofone te gebruik. Maar dit was nie so akkuraat as wat ons verwag het nie, aangesien die bemonsteringssnelheid (~ 900Hz) van Arduino Leopard, waar ons die klankseine getoets het, stadig was, sodat dit nie die tydsverskil tussen mikrofone met 'n afstand van 10 cm kon haal nie.

Ons het die plan verander om die intensiteitsverskil tussen die twee ingangsklanke te gebruik. As gevolg hiervan neem die veer twee klankseine en verwerk dit om te bepaal waar die geluid vandaan kom. Die verwerking kan deur die volgende stappe beskryf word:

1. Neem die insette van twee mikrofone en trek die offset af om die amplitudes van die seine te kry.
2. Versamel die absolute waardes van die amplitudes per MIC vir 500 bakkies.
3. Stoor die verskil tussen die opgehoopte waardes in die ry met 5 gleuwe.
4. Gee die som van die toue terug as die finale verskilwaarde.
5. Vergelyk die finale waarde met drempels om te besluit waar die geluid vandaan kom.

Ons het die drumpel gevind deur die finale waarde in verskillende omstandighede in te teken, insluitend klank wat van links en regs kom. Bo en behalwe die drempels vir die finale waarde, stel ons ook 'n ander drempel vir die gemiddelde van die opgehoopte amplitudes in stap 2 om die geluide uit te filter.

Stap 6: sagteware - gesig- en spraakopsporing

Vir die gesigsherkenning gebruik ons ML Kit for Firebase wat deur Google vrygestel is (https://firebase.google.com/docs/ml-kit). ML Kit bied die gesigdeteksie -API wat die omhulsel van elke gesig en sy bakens terugbring, insluitend oë, neus, ore, wange en verskillende punte op 'n mond. Sodra gesigte opgespoor is, volg die app die mondbeweging om te bepaal of die persoon praat. Ons gebruik 'n eenvoudige drumpelgebaseerde benadering wat betroubare prestasie lewer. Ons maak gebruik van die feit dat die mondbeweging horisontaal en vertikaal groter word as 'n persoon praat. Ons bereken die vertikale en horisontale afstand van die mond en bereken die standaardafwyking vir elke afstand. Afstand word genormaliseer tot die grootte van die gesig. Groter standaardafwyking dui op praat. Hierdie benadering het die beperking dat elke aktiwiteit die mondbeweging behels, insluitend eet, drink of gaap, erken kan word as spreek. Dit het egter 'n lae vals negatiewe koers.

Stap 7: sagteware - roterende motor

Die motorrotasie was nie so eenvoudig as wat ons verwag het nie, as gevolg van die beheer van die rotasiesnelheid. Om die spoed te beheer, verklaar ons 'n globale teenveranderlike, sodat die motor slegs kan draai wanneer die veranderlike 'n sekere waarde bereik. Ons het ook 'n ander globale veranderlike verklaar wat aandui of die motor beweeg om mikrofone te laat weet, sodat dit die geluid van die motorrotasie kan vermy.

Stap 8: Toekomstige verbeterings

Een van die beperkings is dat die motor onder sekere hoeke wankel. Dit lyk asof die motor nie sterk genoeg is om die wringkrag wat deur die draai van die slimfoon veroorsaak word, te oorkom nie. Dit kan opgelos word deur 'n kragtiger motor te gebruik of die posisie van die slimfoon in die middel van die rotasie aan te pas om die wringkrag te verminder.

Met 'n meer gesofistikeerde metode kan klankrigtingopsporing op klank gebaseer word. Ons wil 'n akoestiese bundelvormende benadering probeer om die rigting van die inkomende klank te bepaal. Ons het probeer met die tyd van aankoms van die klankseine. Die bemonsteringsnelheid van die veer is egter beperk om die tydsverskil op te spoor wanneer die mikrofone slegs ongeveer 10 cm weg is.

Die laaste ontbrekende deel van hierdie prototipe is die bruikbaarheidsevaluering. Een belowende manier om dit te evalueer, is om die stelsel te integreer met die bestaande video -oproepplatform en die reaksies van gebruikers na te sien. Hierdie antwoorde sal help om die stelsel te verbeter en die volgende herhaling van hierdie prototipe te maak.