Vision 4all - Sistema Visão Assistida Para Deficientes Visuais Usando OpenCV, Dragonboard 410c E Aplicativo for Android: 6 Stappe

2024 Outeur: John Day | [email protected]. Laas verander: 2024-01-30 07:24

BESKRYWING

Ons kan ook 'n selfstandige ontbinding vir ons bied om binne die binnenshuise winkels of winkelsentrums te vlieg.

'N Plaaslike omskrywing van die probleme kan ook opgelos word. Dit is ook moontlik om die App Store beskikbaar te stel vir drie funksies, sowel as LowViz -gids. Além do limitado número de locais, tal aplicativo não detecta possíveis obstáculos and pessoas que possam estar no caminho do usuário. Ons kan ook 'n rekordberekening of 'n rekenkundige rekord of 'n onafhanklike en funksionele funksie vir ons gee. In die praktyk kan ons dit ook nie voltooi nie, maar kan ook 'n integrale deel van die submeter of 'n plaaslike belangstelling in die plaaslike belang plaas, of om te koop. Com a placa integrada a uma câmera na cintura do usuário, e um fone de ouvido, o aplicativo calcula a posição no ambiente e permite o usuário definir para onde quer ir e dá comandos de voz para movimentação. A câmera, quando detecta um obstáculo a frente, pode recalcular o caminho do usuário. In Hugh Herr: "Ons kan nie meer 'n tesnológico para capacitar e nos tornar iguais" hê nie.

Ons kan ook 'n gebruik maak van Dragonboard 410c, met 'n akkurate porositeit van hardeware, wat ons in staat stel om die regte tempo te verwerk (as 'n kompetisie met ander programme as 'n selfoon) en 'n vinnige tempo wat ons kan gebruik.

Stap 1: Materiais

Vir die volgende kan u die volgende gebruik:

- uma placa Qualcomm Dragonboard 410c;

- biblioteca de processamento de imagem OpenCV (vers 3.1);

- câmera que se comunique com a placa (usaremos and verdade um celular android com or aplicativo IP Webcan);

- selfoonkombinasie vir Android;

Stap 2: Installeer OpenCV Na Dragonboard

Met Linux se installasie en installasie, kan ons ook prosedures vir die installering van 'n Bybelse verwerkingsproses installeer - OpenCV - geen toestel nie. Die instruksies vir die skakel:

docs.opencv.org/3.0-beta/doc/tutorials/intr…

Stap 3: Conectar a Câmera Com a Dragonboard

Presiesamos conectar a câmera que serão os olhos do deficiente com a placa de desenvolvimento Dragonboard 410c. Existem vários jeitos de fazer isso. 'N Dragonboard kan ingeskryf word vir platkabels, of u kan dit ook as 'n kombinasie van 'n framboos pi gebruik.

Ons kan ook gebruik maak van 'n G -kamera met 'n IP -kamera (beskikbaar op Google Play), sodat ek 'n internetverbinding vir wifi kan gebruik.

Ons kan ook 'n eenvoudige voorbeeld van 'n biblioteca opencv gebruik. As u ook 'n skakel kan gebruik, kan u nie 'n video -opname of 'n IP doen nie (nie 'n aanduiding nie) + "/videofeed". Ons kan ook 'n ander IP -adres gebruik.

'N Verskeidenheid wat ons in die anteriores kan gebruik, is 3.1. As ons 'n woord kan gebruik, kan u die dragonboard as 'n nul ("0") gebruik, en dit kan ook 'n standaardwaarde wees.

Stap 4: Ontwikkelingsprogrammatuur vir verwerking van afbeeldings

Ons kan hierdie programme an anexo, identifiseerderDeObstáculos.cpp, of MostraContornoWebcam.cpp e o VídeoCadeiraSlavo.cpp (estes dois últimos para teste and entendimento da técnica do software).

Verklaring: 'n Identifikasie van 'n identifikasie van die obstakels van die bepalings van die dinge wat ons kan sien, kan ons ook 'n beeld gee, of dit is 'n identifikasie van 'n kern van die kern en 'n gevolgtrekking dat ons die meeste kan sien. stap). Estando a câmera na barriga do usuário, levemente inclinada para o chão, conforme of usuário se locomove, o programa identifiera a existência de um objeto (seja uma pessoa ou uma cadeira por exemplo) e manda o sinal de parada caso o objeto seja encontr região especificada (caminho do usuário) (sien afbeeldings van die cadéra - caso o usuário se aproxime da cadeira haverá pixels brancos na região verde que determinam condição de parada). Dessa forma, as a adição de filtros ao tipo de chão, para o funcionamento dessa versão simplificada, é needsário um chão razoavelmente homogêneo, de forma que os detalhes do chão não sejam considerados contornos.

Obs. é possível ajustar a variável lowThreshold do código para um valor de 0 (mais sensitivo) e 100 (menos sensitivo ao contorno). O valor sugerido é 60 para chão em geral.

Funksie: o identifiseerderDeObstáculos.cpp bied 'n video -opname aan wat gebruik kan word om die funksies van die telefoon op te laai. Dit is 'n goeie idee om die toestand van ons te gebruik. Ideaal vir ons.

Let op: 'n Aanduiding van 'n spesifieke woord kan spesifiek vir ons weergawes gedoen word, sowel as vir Android as inligting oor encaminhadas. Ons tipos de alterações são especificadas no próprio código (assim como nos programas de teste) comentados no início do programa.

Para saber mais sobre bordas de Canny e limiarização, além de outros tópicos de visão computacional, recomenda-se procurar a documentação official of OpenCV.

Stap 5: Fazer Aplicativo Que Repassa As Informationa Para O Deficiente Visual

Vir reproduksie is dit noodsaaklik dat ons geen webwerf data.sparkfun.com kan gebruik nie, maar ook 'n verwerkingsproses wat nie meer 'n eksplisiete manier kan wees nie, maar ook 'n skakel na 'n skakel om 'n skakel te kan doen ().

Ons kan ook 'n rekord van 'n draakbord opspoor wat 'n gegewe inligting kan verskaf. A aplicativo faz uma consulta a este banco com o auxílio da classe okhttp3 obtendo as informações como um Json. Então fazemos um parser desse json para encontrarmos o último dado enviado. As ons 'n goeie idee het, kan ons dit nie in 'n sekere sin gebruik nie. Se o caminho está livre o aplicativo emite um sinal para prosseguir continuamente.

Gee dit anekso as klasse en Interfaces wat vir ons gebruik kan word:

GetJson: 'n gebruik vir fazer om geen data te doen nie.

JsonDownloader: 'n enkele geramos vir 'n asynktask vir 'n fatale gebruik in 'n klas GetJson, 'n belangrike taak vir ons om 'n koppelvlak te gebruik en 'n koppelvlak te gebruik, is ook presies 'n uiteenlopende draad vir 'n ander toepassing.

Hoofaktiwiteit: nesta class implementamos a lógica da aplicação que continuamente consulta o banco de dados, e informationa us usário por meio de um audio se ele precisa para ou pode continuar caminhando.

RequestListener: 'n unieke koppelvlak wat gebruik kan word vir die hoofaktiwiteit van hoofaktiwiteite.

SdmSoundPlayer: esta classe é usada para gerenciar os comandos de voz da aplicação, caso você queira inserir as suas próprias gravações você deve criar uma pasta raw dentro da pasta res e incluir os arquivos de audio lá. Feito isso dentro do método initSoundHash () você deve colocar esses arquivos dentro de mSoundHash que é uma tabela Hash. Vir meer inligting, gebruik ons PlayMusic (int key) en dit is ook geskik vir 'n chave escolhida para o sinal de voz.

Waarskuwings: hierdie klas kan gebruik word vir die ontleding van 'n terugbetaalde terugvoering.

Ons kan dit ook gebruik om ons te help.

U kan die funksie van die funksionele funksie van die aktiwiteit verlaat, maar u kan ook 'n eenvoudige oplossing vir 'n konsultasie doen.

Qualquer dúvida adicional ou sugestão basta entrar em contato com o author. Sugestões são semper bem-vindas =).

Ons kan 'n kommentaar lewer, maar dit kan as 'n verduideliking vir ons toegepas word om vir ons 'n antwoord te gee.

Stap 6: Sugestões De Continuação

Poderiamos integrar um localaização. Daar bestaan ook 'n Qualcomm iZat SDK vir die plaaslike stelsel van GNSS, acelerômetro, magnetrômetro entre outros, en ons kan ook nie 'n verwerkingsprosessor van Qualcomm Snapdragon (wat vandag in die vorm van 'n selfoon is nie) verskaf. Geen entanto, havia pouca documentação e necessitava de testes mais demorados.

Ons kan hierdie sensor vir verskillende ultraklank gebruik, maar ons kan ook probleme met 'n kombinasie van 'n draakbord, of 'n resolusie vir meer as een kwartaal, oplos. As 'n ander tempo, verkry as bibliotecas ja presentes no kit de desenvolvimento, elas possuem diversos exemplos para cada tipo de sensor.

Geen webwerfontwikkelaars Qualcomm bestaan vir ons e tutoriais que podem ajudar, and ainda há os tutoriais da 96Boards no you tube.