Outonome hommeltuig met infrarooi kamera om eerste reageerders te help: 7 stappe

2024 Outeur: John Day | [email protected]. Laas verander: 2024-01-30 07:25

Volgens 'n verslag van die Wêreldgesondheidsorganisasie maak jaarliks ongeveer 90 000 mense dood deur natuurrampe en raak daar byna 160 miljoen mense wêreldwyd. Natuurrampe sluit in aardbewings, tsoenami's, vulkaniese uitbarstings, grondstortings, orkane, vloede, veldbrande, hittegolwe en droogtes. Tyd is belangrik, want die kans op oorlewing begin daal met elke minuut wat verbygaan. Eerste responders kan probleme ondervind om oorlewendes in huise wat beskadig is op te spoor en hul lewe in gevaar te stel terwyl hulle na hulle soek. Deur 'n stelsel te hê wat mense op afstand kan opspoor, sal die spoed waarmee eerste respondente hulle uit geboue kan ontruim, aansienlik verhoog. Nadat ek ander stelsels ondersoek het, het ek gevind dat sommige maatskappye robotte geskep het wat op die land gebaseer is, of dat hulle hommeltuie geskep het wat mense kan opspoor, maar slegs buite die gebou funksioneer. Die kombinasie van diepte -kameras en spesiale infrarooi kameras kan die binnenshuise gebied akkuraat opspoor en temperatuurveranderinge wat vuur, mense en diere verteenwoordig, opspoor. Deur sensors met 'n pasgemaakte algoritme op 'n onbemande vliegtuig (UAV) te implementeer, sal dit moontlik wees om huise outonoom te inspekteer en die ligging van mense en diere te identifiseer om dit so vinnig as moontlik te red.

Stem asseblief vir my in die Optics -wedstryd!

Stap 1: Ontwerpvereistes

Nadat ek die beskikbare tegnologieë ondersoek het, het ek moontlike oplossings bespreek met masjienvisie -kenners en 'n eerste reageer om die beste metode te vind om oorlewendes in gevaarlike gebiede op te spoor. Die onderstaande inligting bevat 'n lys van die belangrikste funksies en ontwerpelemente vir die stelsel.

• Visieverwerking - Die stelsel moet 'n vinnige verwerkingsnelheid bied vir die uitruil van inligting tussen die sensors en die reaksie van Artificial Intelligence (AI). Die stelsel moet byvoorbeeld mure en hindernisse kan opspoor om dit te vermy, terwyl dit ook mense in gevaar kan vind.
• Outonoom - Die stelsel moet kan funksioneer sonder die insette van 'n gebruiker of 'n operateur. Personeel met minimale ervaring met UAV -tegnologie moet op een of 'n paar knoppies kan druk om die stelsel self te begin skandeer.
• Bereik - Die afstand is die afstand tussen die stelsel en alle ander voorwerpe in die omgewing. Die stelsel moet gange en ingange van ten minste 5 meter weg kan opspoor. Die ideale minimum afstand is 0,25 m sodat nabye voorwerpe opgespoor kan word. Hoe groter die opsporingsreeks, hoe korter is die opsporingstyd vir oorlewendes.
• Navigasie en akkuraatheid van opsporing - Die stelsel moet alle ingange akkuraat kan vind en geen voorwerpe kan raak nie, terwyl dit ook die skielike voorkoms van voorwerpe kan opspoor. Die stelsel moet deur verskillende sensors die verskil tussen mense en nie-lewende voorwerpe kan vind.
• Duur van werking - Die stelsel moet 10 minute of langer kan duur, afhangende van hoeveel kamers dit nodig het om te skandeer.
• Spoed - Dit behoort die hele gebou in minder as 10 minute te kan skandeer.

Stap 2: Keuse van toerusting: Mobiliteitsmetode

Die quadcopter is gekies bo 'n motor met 'n afstandsbediening, want hoewel die quadcopter broos is, is dit makliker om te beheer en in hoogte te verander om hindernisse te vermy. Die quadcopter kan al die sensors vashou en stabiliseer sodat hulle meer akkuraat is terwyl hulle in verskillende kamers inbeweeg. Die skroewe is gemaak van koolstofvesel wat hittebestand is. Die sensors loop weg van die mure om ongelukke te voorkom.

• Afstandsbediening Landvoertuig

  • Voordele - kan vinnig beweeg sonder om te val en word nie deur temperatuur beïnvloed nie
  • Nadele - die voertuig sit die sensors laag op die grond wat minder oppervlakte bedek en kan deur hindernisse geblokkeer word

• Quadcopter

  • Voordele - lig sensors in die lug om 'n 360 -beeld van die omgewing te kry
  • Nadele - as dit teen 'n muur vasloop, kan dit val en nie herstel nie

Stap 3: Keuse van toerusting: Mikrobeheerders

Die belangrikste twee vereistes vir die mikrobeheerders is die klein grootte om die lading op die quadcopter te verminder en die spoed om die inligtinginvoer vinnig te verwerk. Die kombinasie van die Rock64 en die DJI Naza is die perfekte kombinasie van mikrobeheerders, aangesien die Rock64 voldoende verwerkingskrag het om mense vinnig op te spoor en te voorkom dat die quadcopter teen mure en hindernisse vasloop. Die DJI Naza komplimenteer dit goed deur al die stabilisering en motoriese beheer uit te voer wat die Rock64 nie kan doen nie. Die mikrobeheerders kommunikeer deur middel van 'n seriële poort en laat gebruikersbeheer toe indien nodig. Die Raspberry Pi sou 'n goeie alternatief gewees het, maar aangesien die Rock64 'n beter verwerker en beter verbinding met die sensors in die volgende tabel gehad het, is die Pi nie gekies nie. Die Intel Edison en Pixhawk is nie gekies nie weens die gebrek aan ondersteuning en konneksie.

• Framboos Pi

  • Voordele - Kan mure en vaste voorwerpe opspoor
  • Nadele - sukkel om tred te hou met data van alle sensors, sodat ek nie vinnig genoeg ingange kan sien nie. Kan nie motorsignale uitvoer nie en het geen stabiliserende sensors vir die quadcopter nie

• Rock64

  • Voordele - kan mure en ingange met min vertraging opspoor.
  • Nadele - is ook in staat om die stelsel deur die hele huis te lei sonder om enigiets raak te loop met al die sensors. Kan nie vinnig genoeg seine stuur om die motorsnelheid te beheer nie en het geen stabiliserende sensors vir die quadcopter nie

• Intel Edison

  • Voordele - kan mure en ingange met 'n bietjie vertraging opspoor
  • Nadele - Ouer tegnologie, baie van die sensors benodig nuwe biblioteke, wat baie tydrowend is om te skep
• DJI Naza
  • Voordele - het 'n geïntegreerde gyroscoop, versnellingsmeter en magnetometer, sodat die quadcopter stabiel in die lug kan wees met mikro -aanpassings in die motorsnelheid
  • Nadele - kan geen visuele verwerking uitvoer nie

• Pixhawk

  • Voordele - kompak en versoenbaar met sensors wat in die projek gebruik word deur die algemene uitvoerinvoer (GPIO) te gebruik
  • Nadele - kan geen visuele verwerking uitvoer nie

Stap 4: Keuse van toerusting: Sensors

'N Kombinasie van verskeie sensors word gebruik om al die inligting te verkry wat nodig is om mense in gevaarlike gebiede te vind. Die twee hoofsensors wat gekies is, is onder meer die stereo -infrarooi kamera langs die SOUND Navigation And Ranging (SONAR). Na 'n paar toetse het ek besluit om die Realsense D435 -kamera te gebruik, want dit is klein en kan afstande tot 20 meter verder akkuraat volg. Dit loop met 90 rame per sekonde, wat dit moontlik maak om baie metings te neem voordat u 'n besluit neem oor waar voorwerpe is en in watter rigting u die quadcopter wil wys. SONAR -sensors word bo en onder op die stelsel geplaas sodat die quadcopter kan weet hoe hoog of laag dit mag gaan voordat dit met 'n oppervlak in aanraking kom. Daar is ook een wat na vorentoe geplaas word sodat die stelsel voorwerpe soos glas kan opspoor wat die stereo -infrarooi kamerasensor nie kan opspoor nie. Mense en diere word opgespoor met behulp van algoritmes vir beweging en voorwerpherkenning. FLIR -kamera sal geïmplementeer word om die stereo -infrarooi kamera te help om te kyk wat leef en wat nie om die doeltreffendheid van skandering in ongunstige toestande te verhoog nie.

• Kinect V1

  • Voordele - kan 3D -voorwerpe maklik tot 6 meter verder opspoor
  • Nadele -het slegs 1 infrarooi sensor en is te swaar vir 'n quadcopter

• Realsense D435

  • Voordele - het 2 infrarooi kameras en 'n rooi, groen, blou, diepte (RGB -D) kamera vir hoë presisie 3D voorwerpopsporing tot 25 meter verder. Dit is 6 cm breed, sodat dit maklik in die quadcopter pas
  • Nadele - kan verhit word en kan 'n waaier nodig hê

• LIDAR

  • Voordele - 'n balk wat liggings tot 40 meter ver in sy siglyn kan opspoor
  • Nadele - hitte in die omgewing kan die akkuraatheid van die meting beïnvloed

• SONAR

  • Voordele - balk wat 15 m ver kan volg, maar deursigtige voorwerpe soos glas en akriel kan opspoor
  • Nadele - Slegs punte in een siglyn, maar kan deur die quadcopter na die skandering gebied word

• Ultrasoon

  • Voordele - het 'n reikafstand van tot 3 m en is baie goedkoop
  • Nadele - Slegs punte in een siglyn en kan baie maklik buite bereik wees
• FLIR kamera
  • Voordele - In staat om dieptefoto's deur middel van rook te neem sonder inmenging en kan lewende mense opspoor deur middel van hitte -handtekeninge
  • Nadele - As iets met die sensors inmeng, kan die afstandberekeninge verkeerdelik bereken word

• PIR sensor

  • Voordele - in staat om temperatuurverandering op te spoor
  • Nadele - kan nie vasstel waar die temperatuurverskil is nie

Stap 5: Keuse van toerusting: sagteware

Ek het die Realsense SDK saam met die Robot Operating System (ROS) gebruik om 'n naatlose integrasie tussen al die sensors met die mikrobeheerder te skep. Die SDK het 'n bestendige stroom van die puntwolkdata verskaf, wat ideaal was om al die voorwerpe en die grense van die quadcopter op te spoor. ROS het my gehelp om al die sensordata na die program te stuur wat ek geskep het wat kunsmatige intelligensie implementeer. Die AI bestaan uit voorwerpopsporingsalgoritmes en bewegingsopsporingsalgoritmes waarmee die quadcopter beweging in sy omgewing kan vind. Die beheerder gebruik Pulse Width Modulation (PWM) om die posisie van die quadcopter te beheer.

• Freenect

  • Voordele - Het 'n laer vlak van toegang om alles te beheer
  • Nadele - Ondersteun slegs die Kinect V1

• Realsense SDK

  • Voordele - kan maklik die puntwolkdata uit die inligtingstroom vanaf die Realsense -kamera skep
  • Nadele - Ondersteun slegs Realsense D435 -kamera

• FLIR Linux bestuurder

  • Voordele - Kan datastroom vanaf FLIR -kamera ophaal
  • Nadele - Dokumentasie is baie beperk

• Robotbedryfstelsel (ROS)

  • Voordele - Bedryfstelsel ideaal vir die programmering van kamerafunksies
  • Nadele - Moet op 'n vinnige SD -kaart geïnstalleer word vir doeltreffende data -insameling

Stap 6: Stelselontwikkeling

Die "oë" van die toestel is die Realsense D435 stereo infrarooi sensor, wat 'n sensor op die rak is wat hoofsaaklik gebruik word vir robotiese toepassings soos 3D-kartering (Figuur 1). As hierdie sensor op die quadcopter geïnstalleer is, kan die infrarooi kamera die quadcopter outonoom laat beweeg en toelaat. Die data wat deur die kamera gegenereer word, word 'n puntwolk genoem wat bestaan uit 'n reeks punte in 'n ruimte wat inligting bevat oor die posisie van 'n sekere voorwerp in die visie van die kamera. Hierdie puntwolk kan omgeskakel word na 'n dieptekaart wat kleure as verskillende dieptes toon (figuur 2). Rooi is verder weg, terwyl blou nader meter is.

Om te verseker dat hierdie stelsel naatloos is, is 'n open-source bedryfstelsel genaamd ROS, wat tipies op robotte gebruik word, gebruik. Dit maak dit moontlik om toestelle op lae vlak uit te voer en toegang tot alle sensors te verkry en data op te stel wat deur ander programme gebruik kan word. ROS sal kommunikeer met die Realsense SDK waarmee verskillende kameras aan- en uitgeskakel kan word om te sien hoe ver voorwerpe van die stelsel af is. Die skakel tussen albei gee my toegang tot die datastroom vanaf die kamera wat 'n puntwolk skep. Die puntwolkinligting kan bepaal waar grense en voorwerpe binne 30 meter en 'n akkuraatheid van 2 cm is. Die ander sensors, soos die SONAR -sensors en die ingebedde sensors in die DJI Naza -kontroleerder, sorg vir 'n meer akkurate posisionering van die quadcopter. My sagteware gebruik AI -algoritmes om toegang tot die puntwolk te verkry en deur lokalisering 'n kaart te maak van die hele ruimte rondom die toestel. Sodra die stelsel begin is en begin skandeer, sal dit deur die gange reis en ingange na ander kamers vind, waarna dit in die kamer kan vee wat spesifiek op soek is na mense. Die stelsel herhaal hierdie proses totdat al die kamers geskandeer is. Tans kan die quadcopter ongeveer 10 minute vlieg, wat genoeg is om 'n volledige sweep te doen, maar kan verbeter word met verskillende batterye. Die eerste respondente sal kennisgewings ontvang wanneer mense opgemerk word, sodat hulle hul pogings kan toespits op uitgesoekte geboue.

Stap 7: Bespreking en gevolgtrekking

Na baie proewe het ek 'n werkende prototipe geskep wat voldoen aan die vereistes in Tabel 1. Deur die Realsense D435 stereo infrarooi kamera met die Realsense SDK te gebruik, is 'n dieptekaart met 'n hoë resolusie van die voorkant van die quadcopter gemaak. Ek het eers probleme ondervind met die infrarooi kamera wat sekere voorwerpe soos glas nie kon opspoor nie. Deur 'n SONAR -sensor by te voeg, kon ek hierdie probleem oorkom. Die kombinasie van die Rock64 en DJI Naza was suksesvol, aangesien die stelsel die quadcopter kon stabiliseer terwyl dit voorwerpe en mure kon opspoor deur pasgemaakte rekenaarvisie -algoritmes met behulp van OpenCV. Alhoewel die huidige stelsel funksioneel is en aan die vereistes voldoen, kan dit baat by 'n paar toekomstige prototipes.

Hierdie stelsel kan verbeter word deur kameras van hoër gehalte te gebruik om mense meer akkuraat op te spoor. Sommige van die duurder FLIR -kameras het die vermoë om hitte -handtekeninge op te spoor wat 'n meer akkurate opsporing moontlik maak. Die stelsel kan ook in verskillende omgewings funksioneer, soos kamers wat stowwerig en vol rook is. Met nuwe tegnologie en vuurvastheid kan hierdie stelsel in huise gestuur word wat brand en vinnig opspoor waar die mense is, sodat die eerste respondente die oorlewendes uit gevaar kan haal.

Dankie vir die lees! Moenie vergeet om vir my te stem in die Optics -wedstryd nie!