See2022A en pt

Prévia do material em texto

<p>aplicado</p><p>ciências</p><p>Artigo</p><p>Um assistente de mobilidade baseado em smartphone usando imagens de</p><p>profundidade para deficientes visuais e cegos</p><p>Aaron Raymond See*, Bien Grenier Sasing e Welsey Daniel Advincula</p><p>Departamento de Engenharia Elétrica, Universidade de Ciência e Tecnologia do Sul de Taiwan,</p><p>Tainan 71005, Taiwan; ma82b209@stust.edu.tw (BGS); ma82b208@stust.edu.tw (WDA)</p><p>* Correspondência: aaronsee@stust.edu.tw</p><p>Abstrato:Os meios de atendimento aos deficientes visuais e cegos (VIB) em viagens geralmente dependem de</p><p>outras pessoas. Dispositivos assistivos foram desenvolvidos para auxiliar na navegação cega, mas muitas</p><p>tecnologias exigem que os usuários comprem mais dispositivos e carecem de flexibilidade, tornando-os</p><p>inconvenientes para os usuários do VIB. Nesta pesquisa, utilizamos um celular com função de câmera de</p><p>profundidade para evitar obstáculos e reconhecer objetos. Inclui um aplicativo móvel que é controlado por meio</p><p>de controles simples de voz e gestos para auxiliar na navegação. O sistema proposto reúne valores de</p><p>profundidade de 23 pontos de coordenadas que são analisados para determinar se um obstáculo está</p><p>presente na área da cabeça, do tronco ou do solo, ou se é um obstáculo de corpo inteiro. Para fornecer um</p><p>sistema de alerta confiável, a pesquisa detecta objetos externos a uma distância de 1,6 m. Posteriormente, a</p><p>função de detecção de objetos inclui um recurso interativo exclusivo que permite a interação com o usuário e o</p><p>dispositivo na localização de objetos internos, fornecendo feedback de áudio e vibração, e os usuários foram</p><p>capazes de localizar os objetos desejados em mais de 80% das vezes. Concluindo, foi desenvolvido um sistema</p><p>flexível e portátil utilizando um telefone celular com câmera de profundidade para uso na detecção de</p><p>obstáculos sem a necessidade de aquisição de dispositivos de hardware adicionais.</p><p>- - - -</p><p>- - -</p><p>Palavras-chave:deficiente visual e cego (VIB); aplicativo móvel; análise de imagens em profundidade; detecção de</p><p>obstáculos; detecção de objetos</p><p>Citação:Veja, AR; Sasing, BG; Advincula, WD</p><p>Um assistente de mobilidade baseado em</p><p>smartphone que usa imagens de</p><p>profundidade para deficientes visuais e</p><p>cegos.Apl. Ciência.2022,12, 2802. https://</p><p>doi.org/10.3390/</p><p>aplicativo12062802</p><p>1. Introdução</p><p>O número de pessoas com deficiência visual e cega (VIB) tem aumentado a um ritmo</p><p>alarmante, com a Organização Mundial de Saúde (OMS) a destacar esta preocupação. Para as</p><p>próximas três décadas, prevê-se que os indivíduos com deficiência visual moderada a grave</p><p>aumentarão para mais de 550 milhões de pessoas, contra aproximadamente 200 milhões de</p><p>indivíduos em 2020 [1,2]. Existem inúmeras causas para o aumento da deficiência visual e da</p><p>cegueira, que podem ser atribuídas a diferentes fontes ou instâncias, como a genética, acidentes,</p><p>doenças ou a tendência para o envelhecimento da população, tanto dos países em</p><p>desenvolvimento como dos desenvolvidos. O nível de gravidade da deficiência visual e da cegueira</p><p>varia entre os géneros, e o rendimento económico de um indivíduo e do seu país contribui para a</p><p>forma como responde a tal crise, seja através do acesso às pesquisas mais recentes em correcção</p><p>da visão ou de medicamentos que possam prevenir ou reduzir os piores cenários desta deficiência</p><p>de antemão [3,4].</p><p>Pessoas com deficiência visual e cegas enfrentam dificuldades em suas vidas diárias, pois não têm</p><p>a capacidade de perceber informações visuais. Isto limita a sua capacidade de processar o seu entorno e</p><p>interagir com a sociedade, dificultando as suas atividades diárias, o que diminui a sua qualidade de vida</p><p>(QV) [5]; assim, as pessoas VIB são as que mais necessitam de assistência para as suas restrições de</p><p>mobilidade, o que requer a adaptação de dispositivos de assistência e infra-estruturas acessíveis [6]. A</p><p>evolução das tecnologias de apoio para pessoas VIB aumentou gradualmente ao longo dos anos, e os</p><p>auxílios electrónicos de viagem para cegos foram desenvolvidos por investigadores a nível mundial em</p><p>resposta às suas complicações. No entanto, usando o</p><p>Editor Acadêmico: Liang-Bi Chen</p><p>Recebido: 7 de fevereiro de 2022</p><p>Aceito: 3 de março de 2022</p><p>Publicado: 9 de março de 2022</p><p>Nota do editor:O MDPI permanece neutro</p><p>em relação a reivindicações jurisdicionais em</p><p>mapas publicados e afiliações institucionais.</p><p>Direito autoral:© 2022 pelos autores.</p><p>Licenciado MDPI, Basileia, Suíça. Este</p><p>artigo é um artigo de acesso aberto</p><p>distribuído sob os termos e condições</p><p>da licença Creative Commons</p><p>Attribution (CC BY) (https://</p><p>creativecommons.org/licenses/by/</p><p>4.0/).</p><p>Apl. Ciência.2022,12, 2802. https://doi.org/10.3390/app12062802 https://www.mdpi.com/journal/applsci</p><p>Traduzido do Inglês para o Português - www.onlinedoctranslator.com</p><p>https://doi.org/10.3390/app12062802</p><p>https://doi.org/10.3390/app12062802</p><p>https://creativecommons.org/</p><p>https://creativecommons.org/licenses/by/4.0/</p><p>https://creativecommons.org/licenses/by/4.0/</p><p>https://www.mdpi.com/journal/applsci</p><p>https://www.mdpi.com</p><p>https://orcid.org/0000-0003-4927-8778</p><p>https://orcid.org/0000-0002-0143-2900</p><p>https://doi.org/10.3390/app12062802</p><p>https://www.mdpi.com/journal/applsci</p><p>https://www.mdpi.com/article/10.3390/app12062802?type=check_update&version=1</p><p>https://www.onlinedoctranslator.com/pt/?utm_source=onlinedoctranslator&utm_medium=pdf&utm_campaign=attribution</p><p>Apl. Ciência.2022,12, 2802 2 de 14</p><p>as tecnologias assistivas atuais apresentam desafios, pois o aspecto da flexibilidade e da</p><p>portabilidade permanece um problema devido às limitações de hardware e usabilidade [7].</p><p>Dispositivos auxiliares tradicionais, como óculos, símbolos táteis, lupas, bengalas, etc., são</p><p>utilizados por deficientes visuais e cegos, pois permitem-lhes realizar tarefas diárias básicas. No</p><p>entanto, esses dispositivos podem ser expandidos ainda mais explorando e aplicando tecnologias</p><p>de detecção inteligente [8].</p><p>Neste artigo, os pesquisadores desenvolveram um aplicativo que atende à consciência cognitiva e espacial</p><p>usando uma câmera de profundidade 3D incorporada em um smartphone, que analisa imagens de</p><p>profundidade para processar e calcular distâncias para detecção de obstáculos e objetos. Uma interface de</p><p>usuário inclusiva foi desenvolvida para que os usuários do VIB naveguem com facilidade usando gestos e um</p><p>recurso de comando de voz.</p><p>2. Estudos Relacionados</p><p>A inconveniência dos atuais dispositivos assistivos para pessoas VIB sempre foi um grande</p><p>interesse de desenvolvimento para vários pesquisadores ao redor do mundo, mas algumas dessas</p><p>tecnologias não são portáteis, são muito técnicas ou impraticáveis de usar. Os avanços na</p><p>tecnologia permitem a melhoria destas limitações, e os estudos existentes sobre diferentes</p><p>aspectos do problema em termos de consciência espacial, consciência cognitiva e design inclusivo</p><p>da interface do utilizador são discutidos nesta secção.</p><p>2.1. Percepção espacial</p><p>Os dispositivos assistivos estão em constante evolução e expansão com o rápido desenvolvimento</p><p>de tecnologias e a extensa pesquisa para melhorar a qualidade de vida das pessoas com VIB. As</p><p>pesquisas anteriores sobre tecnologias assistivas concentraram-se principalmente na mobilidade e</p><p>orientação, consciência cognitiva e contextual, detecção de obstáculos, etc. A navegação é uma grande</p><p>preocupação para o VIB, uma vez que surgem preocupações de segurança com a falta de informação</p><p>visual. Obstáculos, terreno e inconsistências ambientais gerais devem ser levados em consideração ao</p><p>viajar de um destino para outro [9]. Pessoas com visão percebem a consciência espacial por meio de</p><p>direção, adquirindo sua localização específica e posição relativa [10]. No entanto, as pessoas do VIB não</p><p>têm capacidade para o fazer, pelo que foram desenvolvidas tecnologias de assistência à navegação para</p><p>consciência espacial. Os estudos a seguir foram realizados para aliviar esses desafios.</p><p>Um estudo anterior de See et al. desenvolveu um dispositivo auxiliar pessoal vestível com</p><p>arquitetura modular</p><p>baseado em um sistema operacional de robô que detecta e avisa sobre obstáculos</p><p>usando a câmera Intel RealSense para cenários de navegação externa [11]. Um estudo semelhante</p><p>realizado por Fernandes et al. desenvolveu um assistente de navegação multimódulo para cegos que</p><p>gera pontos de referência através da implementação de diversos pontos de interesse, que se ajustam de</p><p>acordo com o ambiente. A orientação e a localização são fornecidas ao usuário por meio de feedback de</p><p>áudio e atuadores vibratórios, permitindo uma navegação não intrusiva e confiável. No entanto, a</p><p>pesquisa ainda está em andamento e os testes reais ainda não foram realizados [12]. Outra abordagem</p><p>utilizou um eBox 2300 TM equipado com câmera USB, sensor ultrassônico e fone de ouvido para</p><p>detecção de obstáculos de até 300 cm por meio da implementação de medição de distância baseada em</p><p>ultrassom. Também inclui um algoritmo adicional de presença humana programado para detectar rosto,</p><p>pele e tecido em um raio de 120 cm [13]. O módulo desenvolvido demonstrou ter resultado promissor,</p><p>pois detecta obstáculos com 95,45% de precisão, mas é montado em um capacete como unidade sensora</p><p>e carrega a eBox 2300 TM com peso aproximado de 500 g, o que compromete o aspecto de portabilidade</p><p>e flexibilidade. Pesquisa de Li et al. desenvolveu um aplicativo chamado ISANA no tablet Google Tango</p><p>aproveitando a câmera RGB-D incorporada que fornece informações detalhadas, permitindo a</p><p>navegação e uma nova localização de caminhos de pontos de referência. Ele também possui uma</p><p>bengala inteligente que controla a interação do tablet com o usuário, que emite feedback de vibração e</p><p>entrada tátil sempre que um obstáculo é detectado [14]. A aplicação desenvolvida é um sistema robusto</p><p>que também implementa a construção de mapas semânticos e uma interface de usuário multimodal; no</p><p>entanto, o suporte para o tablet Google Tango já foi encerrado em 2018 devido a um sistema de</p><p>realidade aumentada mais recente [15].</p><p>Apl. Ciência.2022,12, 2802 3 de 14</p><p>2.2. Consciência Cognitiva</p><p>As pessoas com deficiência visual e cegas têm dificuldade em participar na educação devido à</p><p>falta de informação visual, embora existam materiais educativos especializados para a</p><p>aprendizagem. Materiais táteis, como livros em braille, audiolivros, leitores de tela, displays</p><p>atualizáveis e muitos outros, são usados para ensinar em escolas para cegos [16]. Porém,</p><p>perceber e adquirir por conta própria objetos comuns do cotidiano é uma limitação que os torna</p><p>dependentes de outras pessoas. A independência para a pessoa VIB é um aspecto valioso, pois</p><p>reduz o estigma social, como indivíduos excessivamente prestativos e outros equívocos que a</p><p>sociedade assume [17]. A consciência cognitiva permite estar consciente do ambiente circundante</p><p>e permite a interação com objetos, utilizando diferentes sentidos e raciocínio.18]. Este é um trunfo</p><p>que o pessoal do VIB luta para alcançar por conta própria; no entanto, com uma tecnologia</p><p>assistiva adaptativa que se concentra na solução cognitiva, a independência pode ser alcançada.</p><p>Joshi et al. desenvolveu um método eficiente de detecção de múltiplos objetos treinado em um modelo de</p><p>aprendizagem profunda com um conjunto de dados personalizado em uma estrutura YOLO v3 instalada em um</p><p>processador DSP com uma câmera e sensor de distância que captura imagens de diferentes ângulos e</p><p>condições de iluminação e alcança uma detecção em tempo real precisão de 99,69% [19]. O sistema</p><p>desenvolvido é um dispositivo robusto de detecção assistiva que oferece ampla capacidade com a integração de</p><p>inteligência artificial, embora a manutenção do sistema pareça ser difícil, pois cada objeto tem que ser</p><p>estabelecido manualmente no sistema. Pesquisa de Rahman et al. desenvolveu um reconhecimento</p><p>automatizado de objetos por meio de dispositivos habilitados para Internet das Coisas, como uma câmera Pi,</p><p>módulo GPS, Raspberry Pi, acelerômetro e muito mais. Os objetos são detectados através dos sensores laser</p><p>instalados com um modelo de detector de disparo único, que são definidos por diferentes direções, como</p><p>frontal, esquerda, direita e solo [20]. O sistema desenvolvido possui uma precisão de 99,31% na detecção de</p><p>objetos e 98,43% no reconhecimento do seu tipo, embora atualmente esteja limitado a cinco tipos de objetos e</p><p>seu tamanho e peso possam ser ainda mais reduzidos em trabalhos futuros.</p><p>2.3. Design de interface de usuário inclusivo</p><p>A procura pela integração da usabilidade inclusiva nas tecnologias aumentou à medida que estes</p><p>gadgets se tornaram um meio diário necessário de comunicação, trabalho e entretenimento para a</p><p>sociedade. Além disso, de acordo com a OMS, espera-se que o número de pessoas com deficiência</p><p>aumente ao longo dos anos devido, em parte, ao envelhecimento da população e ao aumento das</p><p>condições crónicas de saúde [21]. Um meio de adaptabilidade pode colmatar as complicações que as</p><p>pessoas com deficiência enfrentam na utilização da tecnologia existente através da utilização de</p><p>funcionalidades de acessibilidade. Os recursos de acessibilidade já existem há muito tempo e não se</p><p>destinam necessariamente apenas a pessoas com deficiência. Os recursos de acessibilidade são um</p><p>conjunto de opções que podem ser ativadas por conveniência, preferência ou como forma de facilitar a</p><p>navegação para quem não consegue utilizar o smartphone na configuração padrão [22]. Em um artigo de</p><p>Kriti, ela afirmou que um design acessível é capitalizar a facilidade de uso para todos os níveis de</p><p>habilidade para um objetivo específico de inclusão para todos os tipos de usuários [23]. Diferentes</p><p>formas de acessibilidade, como toque, visual, audição e fala, estão disponíveis, independentemente de</p><p>ser uma solução permanente, temporária ou situacional. Exemplos de acessibilidade por toque podem</p><p>ser o leitor de impressão digital, toque assistido ou até mesmo a capacidade de ajustar o tamanho dos</p><p>botões. Quando se trata de recursos visuais, aumentar o contraste, reduzir o movimento, ajustar um</p><p>texto maior, usar lupa, inverter cores, ativar legendas e legendas legendadas são opções acessíveis, e até</p><p>um acesso guiado está disponível para uso pessoal. Para ouvir e falar, acessibilidades como VoiceOver ou</p><p>Text-To-Speech são exemplos populares [24]. Esses recursos estão disponíveis principalmente para</p><p>smartphones e outros dispositivos semelhantes.</p><p>Uma interface de usuário inclusiva pode ser construída através do design de uma interface</p><p>unificada que acomoda as necessidades especiais do usuário VIB, exigindo extensa pesquisa,</p><p>especialmente no design da experiência do usuário, para fornecer a melhor experiência e usabilidade do</p><p>usuário. Os aplicativos móveis assistenciais existentes para o VIB incluem um estudo de Nayak et al. que</p><p>oferece uma solução para a dificuldade de marcar horários, escrever e-mails e ler SMS em um</p><p>smartphone totalmente baseado em comandos de voz [25]. No entanto, a usabilidade do</p><p>Apl. Ciência.2022,12, 2802 4 de 14</p><p>a aplicação é limitada por ser apenas uma navegação completa baseada em comandos de voz, criando a</p><p>possibilidade de complicações com a pronúncia e audibilidade dos referidos comandos. Portanto, o</p><p>desenvolvimento do sistema necessita de um planejamento rigoroso que alinhe as necessidades do usuário e a</p><p>tecnologia [26].</p><p>3. Materiais e Métodos</p><p>O objetivo desta pesquisa é desenvolver uma solução de navegação portátil e flexível que</p><p>atenda tanto à consciência cognitiva quanto espacial das pessoas VIB, para isso, é utilizado um</p><p>smartphone com câmera de profundidade. O smartphone escolhido para a pesquisa é o Samsung</p><p>Galaxy A80 (Samsung Corporation em Seul, Coreia do Sul) rodando sistema operacional Android</p><p>v11 com processador Qualcomm Snapdragon 730 G, 8 GB de RAM, tela infinita de 6,7”, traseira</p><p>giratória de 48 MP + 8 MP. câmera que suporta estimativa de profundidade 3D com um sensor</p><p>Time-of-Flight (ToF) integrado. A câmera de profundidade 3D tem um tamanho de pixel de 10μm</p><p>com um campo de visão de</p><p>72◦capaz de calcular distâncias de até 10 m com precisão constante de</p><p><1%. A interface de usuário desenvolvida para o aplicativo móvel é uma combinação de diferentes</p><p>recursos de acessibilidade de um smartphone que auxilia usuários com deficiência visual através</p><p>do uso de diferentes gestos e comandos de voz. O principal fluxo de trabalho do sistema é</p><p>mostrado na Figura1onde o processo começa com comandos de voz específicos para abrir os</p><p>recursos. A área cinza mostra os 2 componentes principais, que são os recursos de detecção de</p><p>objetos e detecção de obstáculos com saída de vibração e feedback de áudio.</p><p>Figura 1.O aplicativo móvel de fluxo de trabalho do sistema proposto usando comando de voz (esquerda),</p><p>interface e recursos do aplicativo móvel (meio) e feedback aos usuários (certo).</p><p>O recurso de detecção de objetos utiliza a estrutura TensorFlow Lite com um modelo COCO</p><p>SSD MobileNet v2 personalizado e treinado e um recurso interativo exclusivo adicional para uso do</p><p>pessoal do VIB. A detecção de obstáculos aproveita o mapa de profundidade gerado no ARCore</p><p>pelo Google, que é sobreposto com diferentes coordenadas em várias direções para localizar</p><p>obstáculos próximos. A saída para ambos os recursos será um feedback de vibração e áudio. O</p><p>aplicativo requer Android versão 7 como versão mínima do SDK. Figura2mostra o sistema vestível</p><p>proposto. O smartphone é inserido em uma bolsa de tecido portátil e dobrável que fica pendurada</p><p>no pescoço do usuário.</p><p>Apl. Ciência.2022,12, 2802 5 de 14</p><p>Figura 2.Proposta de sistema auxiliar de mobilidade vestível usando smartphone Android (certo) e bolsa tipo estilingue</p><p>(esquerda).</p><p>3.1. Integração de detecção de obstáculos</p><p>O módulo de detecção de obstáculos é obtido pela geração de mapas de profundidade 3D da API ARCore</p><p>Depth Lab do Google, que é uma biblioteca de software que inclui vários paradigmas UI/UX baseados em</p><p>profundidade. Inclui renderização de oclusão, sombras, colisões, física, âncoras e outros recursos de realidade</p><p>aumentada necessários, que permitem que objetos 3D interajam dinamicamente no ambiente da vida real. O</p><p>Depth Lab consiste em 39 recursos de AR com reconhecimento de geometria que vão desde fins de</p><p>entretenimento até fins educacionais. Utilizamos suas funções de rastreamento e as informações de</p><p>profundidade geradas para análise. A geração do mapa de profundidade requer apenas uma câmera RGB capaz</p><p>de calcular a distância de cada pixel na tela; no entanto, o sensor ToF pode melhorar o desempenho. Começa</p><p>adquirindo o mapa de profundidade bruto da imagem original. O mapa de profundidade bruto é uma</p><p>renderização de profundidade não processada que se concentra na estimativa precisa da maioria dos pixels, em</p><p>vez da velocidade de processamento, o que resulta em bordas distorcidas e pontos pretos óbvios. Para evitar os</p><p>pontos pretos, é gerado um mapa de profundidade total, que subestima alguma precisão e calcula a estimativa</p><p>de profundidade por pixel para acelerar a velocidade de processamento que cobre toda a imagem. O filtro</p><p>bilinear é aplicado para suavizar as bordas, mas as partes com alias ainda são visíveis. Conseqüentemente, um</p><p>anti-aliasing aproximado rápido e guiado por profundidade é proposto pelos pesquisadores para limpar ainda</p><p>mais as bordas com serrilhado [27]. A geração do mapa de profundidade é visualizada na Figura3.</p><p>Figura 3.Processamento de visualização da geração do mapa de profundidade total, começando da imagem original até o mapa de profundidade bruto,</p><p>até o mapa de profundidade total (filtrado bilinearmente) e, por último, mapa de profundidade total (FXAA guiado por profundidade).</p><p>Apl. Ciência.2022,12, 2802 6 de 14</p><p>Para extrair a distância de uma imagem de profundidade, é utilizada uma função do ARCore que é</p><p>ogetMilimetrosDepthfunção. São necessárias variáveis como a imagem de profundidade iniciada e a</p><p>profundidade desejada.xesimcoordenadas. Seu conceito afirma que cada pixel contém o valor da</p><p>distância em milímetros paralelo ao plano da câmera, do qual a proporção da imagem de profundidade</p><p>depende do dispositivo [28]. No caso do modelo de telefone utilizado, uma estimativa de 260×Resolução</p><p>120 foi usada. Depois que as distâncias são adquiridas, as coordenadas interconectadas são sobrepostas</p><p>em diferentes locais, conforme mostrado na imagem à direita da Figura4para cobrir a maioria das áreas</p><p>desejadas. Um limite de 1,6 m é definido para a distância para reduzir falsas detecções e fornecer o</p><p>alcance ideal para os usuários.</p><p>Figura 4.Imagem original (esquerda), gerou mapa de profundidade a 1,6 m (meio), mapa de profundidade com coordenadas de</p><p>pontos sobrepostos em diferentes locais (certo).</p><p>As coordenadas do ponto trabalham juntas na detecção da distância de um obstáculo. O número</p><p>de coordenadas de ponto para cada direção está listado na Tabela1e é necessário um único ponto em</p><p>qualquer direção para ativar o aviso. Além disso, uma combinação de coordenadas de ponto ativa avisos</p><p>para obstruções totalmente à direita, totalmente à esquerda, totalmente no solo e em todo o corpo. A</p><p>saída para detectar obstáculos é o feedback de áudio baseado na direção do obstáculo.</p><p>Tabela 1.Lista de regiões onde são detectados obstáculos, número de coordenadas de pontos por direção e</p><p>feedbacks de aviso sonoro.</p><p>Região onde estão os obstáculos</p><p>Detectou</p><p>Nível da cabeça</p><p>Torso esquerdo</p><p>Torso direito</p><p>Chão esquerdo</p><p>Terreno certo</p><p>Obstrução total à direita</p><p>Obstrução esquerda completa</p><p>Obstrução total do solo</p><p>Obstrução de corpo inteiro</p><p>Nº de coordenadas de ponto Feedback de aviso de áudio</p><p>3</p><p>8</p><p>8</p><p>2</p><p>2</p><p>(Torso Direito + Chão Direito) 10</p><p>(Torso Esquerdo + Chão Esquerdo)</p><p>10 (Chão Direito + Chão Esquerdo) 4</p><p>(Todas as direções) 23</p><p>“Nível da cabeça”</p><p>“Torso Esquerdo”</p><p>“Torso direito”</p><p>“Terreno Esquerdo”</p><p>“Terreno Certo”</p><p>“Total Direito”</p><p>“Totalmente à Esquerda”</p><p>“Terreno Cheio”</p><p>"Corpo todo"</p><p>Como afirmado anteriormente, a geração do mapa de profundidade requer apenas uma única câmera</p><p>RGB em movimento, embora a melhoria de desempenho possa ser alcançada inicializando uma tecnologia de</p><p>detecção de profundidade dedicada, como o sensor ToF, que fornece instantaneamente o mapa de</p><p>profundidade sem calibrar o movimento da câmera. O ToF funciona calculando o tempo de viagem da fonte de</p><p>luz emitida em um determinado objeto e depois retorna para a câmera, conforme mostrado em</p><p>Figura5, formulando uma equação matemática como distância =Velocidade da luz×Tempo[29].2</p><p>Apl. Ciência.2022,12, 2802 7 de 14</p><p>Figura 5.Conceito de tempo de voo. Medir a distância do tempo de viagem da luz infravermelha até o alvo e de volta à</p><p>câmera [29].</p><p>3.2. Integração de detecção de objetos</p><p>O módulo de detecção de objetos utiliza a estrutura TensorFlow Lite, que é uma inferência no</p><p>dispositivo para diferentes tipos de modelos de aprendizado de máquina normalmente aplicados em</p><p>dispositivos IoT. Para o sistema proposto, um modelo COCO SSD MobileNet v2 personalizado é treinado</p><p>especificamente para fornecer relevância para a luta diária de uma pessoa VIB para encontrar os objetos</p><p>desejados, permitindo mais de 90 classes diferentes de objetos, como bengala, bolsa, guarda-chuva,</p><p>gravata, óculos, chapéu, etc. Também inclui ativos de rua, como sinalização, semáforos, bancos, faixa de</p><p>pedestres e muito mais para futura implementação de uso externo. Figura6 mostra a interface do</p><p>usuário para o comando de voz na imagem à esquerda e o resultado da detecção de objetos com valores</p><p>de confiança na imagem à direita.</p><p>Figura 6.Módulo de detecção de objetos com interface de comando de voz (esquerda) e resultado de detecção de</p><p>objeto de amostra (certo).</p><p>Um recurso interativo exclusivo é desenvolvido no módulo de detecção de objetos. Uma vez</p><p>ativado, ele inicia a câmera, um prompt de conversão de texto em fala e uma função de vibração</p><p>tátil sempre que o gesto do usuário estiver dentro dos limites do objeto detectado. Este recurso</p><p>dará ao pessoal do VIB a capacidade de selecionar os objetos desejados e saber sua localização, o</p><p>que fornece</p><p>feedback tátil. Figura7mostra o conceito do recurso interativo onde a borda da caixa</p><p>delimitadora é comparada com as coordenadas dos eixos x e y quando um gesto é detectado. Na</p><p>tabela2, é mostrada uma lista completa de comandos de voz e gestos de toque com funções e</p><p>feedbacks correspondentes.</p><p>Apl. Ciência.2022,12, 2802 8 de 14</p><p>Figura 7.Recurso interativo exclusivo de detecção de objetos que é ativado sempre que uma entrada de gesto é</p><p>detectada dentro da caixa delimitadora.</p><p>Mesa 2.Lista de diferentes gestos de toque e comandos de voz com sua função e feedback.</p><p>Gestos de toque/comandos de voz Função Feedback de aviso de áudio</p><p>• Efeito sonoro de bipe após tocar</p><p>• Se o comando estiver errado: fala “não é possível</p><p>reconhecer a entrada de voz. Por favor, tente novamente"</p><p>Toque único na interface principal Ativar comandos de voz</p><p>Fala “Abrindo Câmera” e depois muda</p><p>a visualização de superfície da tela para Camera1.</p><p>Comando de voz “abrir câmera” Abre a câmera</p><p>• Ativa o nó de detecção de objetos na</p><p>visualização</p><p>• Desativa o nó de detecção</p><p>de obstáculos</p><p>Comando de voz “detecção de objetos” Fala “ativando a detecção de objetos”</p><p>• Ativa o nó de detecção de</p><p>obstáculos na visualização</p><p>• Desativa o objeto</p><p>nó de detecção</p><p>Comando de voz</p><p>“detecção de obstáculos”</p><p>Fala “Ativando Detecção de Obstáculos”</p><p>• Fala “fechando a câmera”</p><p>• Retorna à UI principalComando de voz “fechar câmera” Interrompe qualquer atividade da câmera</p><p>4. Resultados e Discussões</p><p>O conceito do estudo gira em torno da integração da detecção de obstáculos e objetos em</p><p>um aplicativo para fornecer uma solução de assistência à mobilidade portátil e flexível para</p><p>pessoas VIB no futuro. Para testar as funções do sistema, testamos os módulos com diferentes</p><p>configurações. Participaram dos experimentos cinco indivíduos vendados, com idades entre 21 e</p><p>26 anos. Devido às limitações durante a pandemia, apenas um número limitado de participantes</p><p>conseguiu realizar os experimentos. Futuramente, mais testes poderão ser implementados.</p><p>4.1. Avaliação do dispositivo de hardware</p><p>O Samsung Galaxy A80 é classificado como um dispositivo intermediário que carrega uma bateria</p><p>com capacidade de 3700 mAh, durando longas horas ao executar o aplicativo, embora dependendo das</p><p>conexões ativadas a duração da bateria possa ser reduzida conforme visto na Tabela3. O smartphone</p><p>está equipado com um carregador supercharger de 25 W e um cabo que é conveniente de usar, pois leva</p><p>apenas algumas horas para carregar totalmente o telefone. A maioria dessas conexões, como Bluetooth,</p><p>Internet e serviços de localização, só são opcionais se outros recursos do telefone não forem usados. O</p><p>único requisito para executar o aplicativo é a permissão para abrir a câmera.</p><p>Apl. Ciência.2022,12, 2802 9 de 14</p><p>Tabela 3.Avaliação da duração da bateria com base nas funções ativadas durante a execução do</p><p>aplicativo móvel.</p><p>Funções ativadas</p><p>Somente câmera</p><p>Câmera + Bluetooth</p><p>Câmera + Bluetooth + Internet</p><p>Câmera + Bluetooth + Internet + Serviços de localização</p><p>Duração da vida útil da bateria</p><p>8h 43 minutos</p><p>7h 17 minutos</p><p>4h 11 minutos</p><p>3h 26 minutos</p><p>4.2. Avaliação do Módulo de Detecção de Obstáculos</p><p>O módulo de detecção de obstáculos calcula distâncias por pixel de 0 m a 8 m de distância por meio de</p><p>estimativa de profundidade e são representados em cores diferentes conforme mostrado na Figura8. As áreas</p><p>vermelhas e laranja significam mais perto da câmera com alcance inferior a 1,7 m, as áreas amarelas e verdes</p><p>são maiores que 1,7 m e, por último, as áreas azuis são maiores ou iguais a 2 m.</p><p>Figura 8.Representações de distância colorida do mapa de profundidade com distância vermelha como <1,7 m,</p><p>amarelo ou verde> 1,7 m e azul≥2 metros.</p><p>Embora o aplicativo seja capaz de detectar distâncias de até 8 m, uma distância inferior</p><p>a 2 m é considerada e testada, pois foi observado que uma distância superior a 2 m não é</p><p>prática para detecção e evasão para pessoas VIB e cria complicações na navegação. Na figura</p><p>9, distâncias de imagem de profundidade de <1,7 m, >1,7 m, e≥2 m são exibidos e avaliados.</p><p>Foi observado que a uma distância de 1,6 m, a capacidade de detecção é forte e foi</p><p>confirmada como um alcance ideal para o VIB detectar o obstáculo, pois a bengala estava a</p><p>poucos centímetros do objeto, permitindo a confirmação do obstáculo detectado em um</p><p>intervalo seguro.</p><p>Apl. Ciência.2022,12, 2802 10 de 14</p><p>Figura 9.Comparação do mapa de profundidade do obstáculo do ventilador em diferentes distâncias.</p><p>O smartphone é colocado com a parte traseira voltada para fora e colocado verticalmente dentro</p><p>de uma bolsa tipo estilingue. Durante o teste, os participantes foram vendados e receberam uma</p><p>bengala, pois é recomendado usá-la em conjunto com o aplicativo para determinar sua direção e o</p><p>terreno do ambiente com segurança, conforme visto na Figura10. A pista de obstáculos apresentava</p><p>alguns obstáculos naturais como postes de luz, áreas elevadas, árvores, entre outros. Também incluímos</p><p>obstáculos colocados aleatoriamente ao longo do caminho para testar ainda mais o sistema.</p><p>Figura 10.Participante vendado (esquerda) com bengala andando pela pista de obstáculos (certo) com</p><p>obstáculos colocados aleatoriamente ao longo do caminho.</p><p>Os resultados do teste de detecção de obstáculos estão listados na Tabela4. Isto inclui o tempo de</p><p>chegada, o número de obstáculos detectados e evitados com sucesso e o número de obstáculos que não</p><p>foram detectados pelo aplicativo. Os cinco participantes foram convidados a navegar em seu próprio</p><p>ritmo. Observou-se que quando a pessoa caminhava muito rápido, o tempo de processo do aplicativo</p><p>não conseguia acompanhar a movimentação rápida do usuário, pois algumas partes da área demoram</p><p>para focar e atualizar o cálculo da distância.</p><p>Apl. Ciência.2022,12, 2802 11 de 14</p><p>Tabela 4.Avaliação de detecção de obstáculos com pontuação final, detectada e evitada com sucesso, e</p><p>falha de detecção da aplicação.</p><p>Nº de obstáculos com sucesso</p><p>Detectado e evadido</p><p>8</p><p>7</p><p>3</p><p>6</p><p>7</p><p>Nº de obstáculos do APP</p><p>Falha ao detectar</p><p>2</p><p>4</p><p>6</p><p>3</p><p>3</p><p>Resultados do teste de detecção de obstáculos Hora de término</p><p>Participante 1</p><p>Participante 2</p><p>Participante 3</p><p>Participante 4</p><p>Participante 5</p><p>4:57 minutos</p><p>6:53 minutos</p><p>4:08 minutos</p><p>5:58 minutos</p><p>5:15 minutos</p><p>4.3. Avaliação do Módulo de Detecção de Objetos</p><p>O experimento de detecção de objetos ocorreu em ambientes fechados, onde objetos comuns</p><p>selecionados foram colocados aleatoriamente na mesa para os participantes vendados encontrarem usando o</p><p>recurso interativo exclusivo. Diferentes ângulos, iluminação, formas e outras variáveis de um objeto foram</p><p>observados durante o teste, o que afetou a capacidade de detecção, conforme visto na Tabela5onde a</p><p>pontuação média de confiança e as contagens de captura bem-sucedidas para cada objeto são listadas. A</p><p>pontuação de confiança e a contagem de garras para a garrafa e o copo tiveram a pontuação mais alta, pois sua</p><p>posição e sua visibilidade geral foram consistentes durante todo o teste. Ele foi seguido pelo mouse e pelo</p><p>controle remoto AC, que teve pontuação mais baixa por ser um objeto bastante plano, resultando em um objeto</p><p>mal interpretado. Observou-se que a tesoura teve a pontuação mais baixa com um índice de confiança médio</p><p>de 65,23%, e observou-se que além de ficar plana sobre a mesa a parte metálica também refletia luz resultando</p><p>em uma complicação durante a detecção. Essa limitação pode ser corrigida treinando um modelo de detecção</p><p>de objetos mais robusto que possa considerar as diferentes variáveis de uma imagem, como ângulo e</p><p>iluminação.</p><p>Tabela 5.Avaliação de detecção de objetos com pontuação média de confiança e contagens de captura bem-sucedidas para cada</p><p>objeto.</p><p>Contagens de capturas bem-sucedidas</p><p>para cada participante (máximo de 5)</p><p>4</p><p>5</p><p>5</p><p>2</p><p>4</p><p>Objetos Pontuações médias de confiança</p><p>Controle remoto CA</p><p>Garrafa</p><p>Xícara</p><p>Tesoura</p><p>Rato</p><p>72,31%</p><p>96,59%</p><p>92,01%</p><p>65,23%</p><p>86,72%</p><p>4.4. Experiência de usabilidade do aplicativo móvel</p><p>Após o experimento,</p><p>os participantes foram solicitados a avaliar a experiência no uso do</p><p>aplicativo assistivo, e os resultados da pesquisa podem ser vistos na Tabela6. O feedback para o</p><p>experimento de detecção de obstáculos inclui que o dispositivo era muito leve e confortável de</p><p>usar. O aviso de áudio foi útil, mas alguns usuários às vezes achavam o aviso de áudio em loop</p><p>irritante de ouvir. A capacidade geral de assistência à detecção de obstáculos foi relativamente</p><p>segura, mas recomenda-se sempre cautela e uso da bengala, pois ainda existem pontos cegos</p><p>com limitação de alcance de detecção. O feedback sobre a detecção de objetos afirma que é um</p><p>recurso confiável, mas requer algumas práticas e aprendizado para ser usado de forma eficaz.</p><p>Apl. Ciência.2022,12, 2802 12 de 14</p><p>Tabela 6.Experiência geral de usabilidade do aplicativo móvel.</p><p>Questões de pesquisa Classificação média</p><p>Detecção de Obstáculos</p><p>1. Achei o sistema confortável de transportar</p><p>2. Achei o áudio bastante legível em um local lotado</p><p>3. Achei os avisos sonoros úteis</p><p>4. Achei o loop para avisos de áudio irritante</p><p>5. Achei que o aplicativo geral é seguro o suficiente para navegação cega</p><p>Detecção de objetos</p><p>1. Foi fácil navegar no aplicativo</p><p>2. Achei o comando de voz útil</p><p>3. Achei que os gestos eram responsivos</p><p>4. Achei que procurar objetos com este aplicativo era fácil</p><p>5. Descobri que o aplicativo geral precisa de uma alta curva de aprendizado para ser usado</p><p>4.8</p><p>4.2</p><p>4.8</p><p>3</p><p>4</p><p>4.2</p><p>5</p><p>4.4</p><p>3</p><p>3.6</p><p>Nota: Cada item é classificado como 1 = Discordo totalmente, 5 = Concordo totalmente.</p><p>Durante o desenvolvimento do sistema, um espectro de perda de visão foi extensivamente</p><p>pesquisado onde se descobriu que existe uma diferença na percepção e adaptação da informação</p><p>dependendo da gravidade da cegueira [30]. Por exemplo, indivíduos que nascem cegos não têm</p><p>percepção de cores e conceitos básicos de formas a princípio. Assim, eles precisam de mais supervisão</p><p>em comparação com aqueles cuja visão foi gradualmente perdida ou piorada ao longo do tempo, pois já</p><p>possuem os conceitos básicos em mente. Inúmeras pesquisas exploraram diferentes abordagens de</p><p>tecnologias e métodos para alcançar um auxílio à navegação inclusivo, como os trabalhos relacionados</p><p>mencionados anteriormente. A maioria dos estudos mencionados requer todos os tipos de sensores,</p><p>fiação ou mecanismos externos para funcionar bem ao seu propósito. Embora isso não signifique uma</p><p>desvantagem para o sistema, às vezes é apenas inconveniente de configurar, pois requer conhecimento</p><p>ou compreensão do sistema desenvolvido, ao passo que utilizar um aplicativo de detecção de</p><p>profundidade com uma interface de usuário inclusiva apenas em um smartphone é uma opção mais</p><p>acessível. . Os auxílios à navegação baseados em smartphones já existem há muito tempo, com</p><p>exemplos como um sistema de detecção e classificação de obstáculos usando pontos de interesse [31],</p><p>detecção de colisão de obstáculos usando sinal acústico emitido por um microfone em um smartphone [</p><p>32], evitar obstáculos usando câmera de smartphone e triangulação de luz laser emitida [33], e muitos</p><p>mais. Esses estudos fornecem resultados promissores como auxílio à navegação para pessoas VIB;</p><p>entretanto, essas implementações apresentam inconsistências devido a limitações de hardware e</p><p>software. A melhoria atual significa que o uso de um telefone celular com câmera de profundidade 3D</p><p>oferece portabilidade e não exige custos adicionais para adquirir hardware caro e sobrecarregar o</p><p>usuário com dispositivos extras.</p><p>5. Limitações</p><p>A atual capacidade de navegação do aplicativo móvel é limitada a localizar e calcular qualquer</p><p>material sólido próximo apenas como um obstáculo geral; atualmente é incapaz de identificar o nome e</p><p>o tipo do objeto próximo. Assim, uma implementação síncrona de detecção de objetos e detecção de</p><p>obstáculos pode ser integrada para trabalhos futuros. A detecção de objetos está atualmente limitada ao</p><p>número de objetos treinados e um modelo de aprendizagem profunda mais robusto pode ser treinado</p><p>para incluir os objetos necessários que o pessoal do VIB deve reconhecer. O aplicativo é desenvolvido</p><p>como um sistema aberto que pode integrar novos recursos com bastante facilidade conforme o</p><p>desenvolvedor desejar, o que permite um acesso mais fácil para futuras correções e melhorias.</p><p>6. conclusões</p><p>Foi desenvolvida com sucesso uma aplicação móvel para assistência à mobilidade que fornece aos</p><p>usuários um dispositivo de assistência à navegação portátil e flexível, com detecção de obstáculos e detecção</p><p>de objetos em um único aplicativo. Ele pode ser controlado por meio de gestos e uma interface de usuário</p><p>habilitada para comando de voz. A detecção de obstáculos utiliza valores de profundidade de múltiplos</p><p>Apl. Ciência.2022,12, 2802 13 de 14</p><p>coordenadas para gerar um mapa de obstrução e avisa os usuários sobre perigo iminente.</p><p>Verificou-se também que a distância de detecção escolhida foi suficiente para alertar os usuários e</p><p>a detecção de objetos é capaz de detectar objetos relevantes para auxiliar as pessoas VIB no seu</p><p>dia a dia. Além disso, a expansão da plataforma é possível devido à implementação versátil do</p><p>sistema Android, especialmente nos componentes de software e hardware. À medida que os</p><p>smartphones continuam a evoluir ao longo do tempo, a capacidade da plataforma para ajudar as</p><p>pessoas com deficiência será melhorada ainda mais, possivelmente levando a uma nova geração</p><p>de dispositivos de assistência. A plataforma também pode ser melhorada com o uso de diferentes</p><p>tecnologias, como imagem estéreo [34], radar [35] e LiDAR [36], mas alguns deles são caros ou</p><p>levarão a uma implementação mais complicada.</p><p>Contribuições do autor:Conceituação, ARS; metodologia, ARS e BGS; software, BGS; validação,</p><p>WDA, BGS e ARS; análise formal, ARS e BGS; investigação, BGS; curadoria de dados, BGS e WDA;</p><p>redação – preparação do rascunho original, ARS, BGS e WDA; redação, revisão e edição, ARS;</p><p>supervisão, ARS; administração de projetos, ARS; aquisição de financiamento, ARS Todos os</p><p>autores leram e concordaram com a versão publicada do manuscrito.</p><p>Financiamento:Este trabalho foi apoiado em parte pelo Ministério da Ciência e Tecnologia (MOST), ROC Taiwan,</p><p>sob a concessão MOST 109-2222-E-218-001 – MY2, e pelo Ministério da Educação, ROC Taiwan, sob a concessão</p><p>MOE 1300-108P097 .</p><p>Declaração do Conselho de Revisão Institucional:Não aplicável.</p><p>Declaração de disponibilidade de dados:Não aplicável.</p><p>Agradecimentos:Gostaríamos de agradecer à Escola Nacional de Educação Especial de Taichung para</p><p>Deficientes Visuais, Recursos para Cegos nas Filipinas e à Associação de Deficientes Visuais You Ming da</p><p>cidade de Tainan que nos deram ideias e inspiração para o projeto.</p><p>Conflitos de interesse:Os autores declaram não haver conflito de interesses.</p><p>Referências</p><p>1. Organização Mundial da Saúde. Cegueira e deficiência visual. Disponível:https://www.who.int/news-room/fact-sheets/detail/</p><p>blindness-and-visual-impairment(acessado em 6 de janeiro de 2022).</p><p>2. Steinmetz, JD; Bourne, RR; Briant, PS; Flaxman, SR; Taylor, RH; Jonas, JB; Abdoli, AA; Abrha, WA; Abualhasan, A.; Abu-Gharbieh, EG Causas</p><p>de cegueira e deficiência visual em 2020 e tendências ao longo de 30 anos, e prevalência de cegueira evitável em relação à VISÃO</p><p>2020: O Direito à Visão: Uma análise para o Estudo Global Burden of Disease.Lanceta Globo. Saúde 2021,9, e144–e160. [Referência</p><p>Cruzada]</p><p>3. Conferência das Nações Unidas sobre Comércio e Desenvolvimento.O Impacto da Rápida Mudança Tecnológica no Desenvolvimento Sustentável;</p><p>Nações Unidas: Nova York, NY, EUA, 2020.</p><p>4. Wang, W.; Yan, W.; Muller, A.; Quilha, S.; Ele, M. Associação de Socioeconomia com Prevalência de Deficiência Visual e Cegueira. JAMA</p><p>Oftalmol.2017,135, 1295–1302. [Referência Cruzada] [PubMed]</p><p>5. Khorrami-Nejad, M.; Sarabandi, A.; Akbari, M.-R.; Askarizadeh, F. O impacto da deficiência visual na qualidade de vida.Med.</p><p>Hipótese Descoberta. Inovar. Oftalmol.2016,5, 96. [PubMed]</p><p>6. Litman, T.Avaliando</p><p>a acessibilidade para o planejamento de transportes; Victoria Transport Policy Institute: Victoria, CA, EUA, 2007.</p><p>7. Hoenig, H.; Donald, H.; Taylor, J.; Sloan, FA A tecnologia assistiva substitui a assistência pessoal entre os idosos com deficiência?Sou. J.</p><p>Saúde Pública2003,93, 330–337. [Referência Cruzada]</p><p>8. Senjam, SS Tecnologia Assistiva para Pessoas com Perda Visual.Desligado. Ciência. J. Delhi Oftalmol. Soc.2020,30, 7–12. [Referência Cruzada]</p><p>9. Pfeiffer, K. Estresse experimentado ao viajar sem visão.Perceba. Mot. Esqui.1995,81, 411–417. [Referência Cruzada]</p><p>10. Cognifit. O que é percepção espacial? Habilidade cognitiva. Disponível:https://www.cognifit.com/science/cognitive-skills/percepção</p><p>espacial(acessado em 8 de janeiro de 2022).</p><p>11. Veja, AR; Advíncula, W.; Costillas, LV; Carranza, KA Usando o modelo McCall para avaliar dispositivos de assistência pessoal baseados em ROS</p><p>para deficientes visuais.J. Sul. Universidade de Taiwan. Ciência. Tecnologia.2016,6, 10–25.</p><p>12. Fernandes, H.; Costa, P.; Filipe, V.; Hadjileontiadis, L.; Barroso, J. Visão estéreo na assistência à navegação para cegos. Em Anais do Congresso</p><p>Mundial de Automação de 2010, Kobe, Japão, 12–23 de setembro de 2010; páginas 1–6.</p><p>13. Kumar, A.; Patra, R.; Manjunatha, M.; Mukhopadhyay, J.; Majumdar, AK Um auxílio eletrônico de viagem para navegação de pessoas com</p><p>deficiência visual. Em Anais da Terceira Conferência Internacional sobre Sistemas e Redes de Comunicação de 2011 (COMSNETS 2011),</p><p>Bangalore, Índia, 4–8 de janeiro de 2011; páginas 1–5.</p><p>14. Li, B.; Muñoz, JP; Rong, X.; Chen, Q.; Xiao, J.; Tian, Y.; Arditi, A.; Yousuf, M. Auxílio de navegação assistiva móvel interno baseado em visão para pessoas</p><p>cegas.IEEE Trans. Multidão. Computação.2018,18, 702–714. [Referência Cruzada] [PubMed]</p><p>https://www.who.int/news-room/fact-sheets/detail/blindness-and-visual-impairment</p><p>https://www.who.int/news-room/fact-sheets/detail/blindness-and-visual-impairment</p><p>http://doi.org/10.1016/S2214-109X(20)30489-7</p><p>http://doi.org/10.1001/jamaophthalmol.2017.3449</p><p>http://www.ncbi.nlm.nih.gov/pubmed/29049446</p><p>http://www.ncbi.nlm.nih.gov/pubmed/28293655</p><p>http://doi.org/10.2105/AJPH.93.2.330</p><p>http://doi.org/10.7869/djo.496</p><p>http://doi.org/10.1177/003151259508100210</p><p>https://www.cognifit.com/science/cognitive-skills/spatial-perception</p><p>https://www.cognifit.com/science/cognitive-skills/spatial-perception</p><p>http://doi.org/10.1109/TMC.2018.2842751</p><p>http://www.ncbi.nlm.nih.gov/pubmed/30774566</p><p>Apl. Ciência.2022,12, 2802 14 de 14</p><p>15. Express, TI Google Kills Project Tango AR Platform, conforme o foco muda para ARCore. Disponível:https://indianexpress.com/article/</p><p>technology/mobile-tabs/google-kills-project-tango-ar-project-as-focus-shifts-to-arcore/(acessado em 8 de janeiro de 2022).</p><p>16. Rony, MR Tecnologia de Informação e Comunicação para Apoiar e Incluir Alunos Cegos em uma Escola para Todos Um Estudo de Entrevista</p><p>sobre Experiências de Professores e Alunos com Inclusão e Apoio de TIC para Alunos Cegos. Dissertação de mestrado, Universidade de Oslo,</p><p>Oslo, Noruega, 2017.</p><p>17. Brady, E.; Morris, Sr.; Zhong, Y.; Branco, S.; Bigham, JP Desafios visuais na vida cotidiana de pessoas cegas. Em Anais da Conferência</p><p>SIGCHI sobre Fatores Humanos em Sistemas Computacionais, Paris, França, 27 de abril a 3 de março de 2013; pp.</p><p>18. lumencandela. O que é cognição? Introdução à Psicologia. Disponível:https://courses.lumenlearning.com/wmopenpsychology/</p><p>chapter/what-is-cognition/(acessado em 12 de janeiro de 2022).</p><p>19. Joshi, RC; Yadav, S.; Dutta, MK; Travieso-Gonzalez, CM Detecção eficiente de múltiplos objetos e navegação inteligente usando inteligência</p><p>artificial para pessoas com deficiência visual.Entropia2020,22, 941. [Referência Cruzada] [PubMed]</p><p>20.Rahman, MA; Sadi, MS IoT habilitou reconhecimento automatizado de objetos para deficientes visuais.Computação. Métodos Prog. Biomédica. Atualizar2021</p><p>,1, 100015. [Referência Cruzada]</p><p>21. Organização Mundial da Saúde. Deficiência e Saúde. Disponível:https://www.who.int/news-room/fact-sheets/detail/disability-</p><p>and-health(acessado em 12 de janeiro de 2022).</p><p>22. Newell, AF; Gregor, P. Design para pessoas idosas e deficientes – para onde vamos a partir daqui?Universo. Informações de acesso Soc.2002,2, 3–7. [Referência Cruzada]</p><p>23. Krishan, K. Acessibilidade em UX: O Caso da Empatia Radical. Disponível:https://uxmag.com/articles/accessibility-inux-the-case-</p><p>for-radical-empathy(acessado em 12 de janeiro de 2022).</p><p>24. Nelson, B. 25 Configurações de acessibilidade do smartphone que você precisa conhecer. Disponível:https://www.rd.com/article/acessibilidade-</p><p>configurações/(acessado em 17 de janeiro de 2022).</p><p>25. Nayak, S.; Chandrakala, C. Aplicativo móvel de apoio para pessoas com deficiência visual.Internacional J. Interagir. Multidão. Tecnologia.2020,14, 52–69. [Referência</p><p>Cruzada]</p><p>26. Patnayakuni, R.; Rai, A.; Tiwana, A. Melhoria do processo de desenvolvimento de sistemas: uma perspectiva de integração de conhecimento.IEEE Trans. Eng.</p><p>Gerenciar.2007,54, 286–300. [Referência Cruzada]</p><p>27.Du, R.; Turner, E.; Dzitsiuk, M.; Prasso, L.; Duarte, I.; Dourgarian, J.; Afonso, J.; Pascoal, J.; Gladstone, J.; Cruces, N. DepthLab: Interação 3D</p><p>em tempo real com mapas de profundidade para realidade aumentada móvel. Nos Anais do 33º Simpósio Anual ACM sobre Software</p><p>e Tecnologia de Interface de Usuário, Virtual, 20–23 de outubro de 2020; pp.</p><p>28. ARCore. Use profundidade em seu aplicativo Android: extraia a distância de uma imagem de profundidade. Disponível:https://developers.google. com/ar/</p><p>develop/java/profundidade/developer-guide#extract_distance_from_a_profundidade_image(acessado em 17 de janeiro de 2022).</p><p>29. Imagens, S. Câmeras 3D de tempo de voo. Disponível:https://www.stemmer-imaging.com/en-ie/knowledge-base/cameras-3d-time-of-</p><p>flight-cameras/(acessado em 17 de janeiro de 2022).</p><p>30. Escola Perkins para Cegos. Quatro tipos diferentes e prevalentes de cegueira. Disponível:https://www.perkins.org/fourprevalent-</p><p>diferentes-tipos-de-cegueira/(acessado em 17 de janeiro de 2022).</p><p>31. Tapu, R.; Mocanu, B.; Bursuc, A.; Zaharia, T. Um sistema de detecção e classificação de obstáculos baseado em smartphone para auxiliar pessoas</p><p>com deficiência visual. Em Anais da Conferência Internacional IEEE sobre Workshops de Visão Computacional, Sydney, Austrália, 2–8 de</p><p>dezembro de 2013; págs. 444–451.</p><p>32. Wang, Z.; Tan, S.; Zhang, L.; Yang, J. ObstacleWatch: Detecção de colisão de obstáculos com base acústica para pedestres usando smartphone. Processo.</p><p>ACM Interagir. Tecnologia onipresente móvel e vestível.2018,2, 1–22. [Referência Cruzada]</p><p>33. Saffoury, R.; Em branco, P.; Sessner, J.; Groh, BH; Martindale, CF; Dorschky, E.; Franke, J.; Eskofier, BM Detector de obstáculos de caminho cego</p><p>usando câmera de smartphone e emissor de laser de linha. In Proceedings of the 2016 1st International Conference on Technology and</p><p>Innovation in Sports, Health and Wellbeing (TISHW), Vila Real, Portugal, 1–3 de dezembro de 2016; páginas 1–7.</p><p>34. Kazmi, W.; Foix, S.; Alenya,G.; Andersen, HJ Imagens de profundidade de folhas internas e externas com sensores de tempo de voo e visão</p><p>estéreo: análise e comparação.ISPRS J. Fotograma. Sensor remoto.2014,88, 128–146. [Referência Cruzada]</p><p>35. Nobis, F.; Geisslinger, M.; Weber, M.; Betz, J.; Lienkamp, M. Uma arquitetura de fusão de radar e sensor de câmera baseada em aprendizado profundo para</p><p>detecção de objetos. Em Proceedings of the 2019 Sensor Data Fusion: Trends, Solutions, Applications (SDF), Bonn, Alemanha, 15–17 de outubro de 2019;</p><p>páginas 1–7.</p><p>36. Tonelada, C.; Omar, A.; Szedenko, V.; Tran, VH; Aftab, A.; Perla, F.; Bernstein, MJ; Yang, Y. LIDAR auxilia na detecção espacial para deficientes</p><p>visuais e na análise de desempenho.IEEE Trans. Sistema Neural. Reabilitar. Eng.2018,26, 1727-1734. [Referência Cruzada] [PubMed]</p><p>https://indianexpress.com/article/technology/mobile-tabs/google-kills-project-tango-ar-project-as-focus-shifts-to-arcore/</p><p>https://indianexpress.com/article/technology/mobile-tabs/google-kills-project-tango-ar-project-as-focus-shifts-to-arcore/</p><p>https://courses.lumenlearning.com/wmopen-psychology/chapter/what-is-cognition/</p><p>https://courses.lumenlearning.com/wmopen-psychology/chapter/what-is-cognition/</p><p>http://doi.org/10.3390/e22090941</p><p>http://www.ncbi.nlm.nih.gov/pubmed/33286711</p><p>http://doi.org/10.1016/j.cmpbup.2021.100015</p><p>https://www.who.int/news-room/fact-sheets/detail/disability-and-health</p><p>https://www.who.int/news-room/fact-sheets/detail/disability-and-health</p><p>http://doi.org/10.1007/s10209-002-0031-9</p><p>https://uxmag.com/articles/accessibility-in-ux-the-case-for-radical-empathy</p><p>https://uxmag.com/articles/accessibility-in-ux-the-case-for-radical-empathy</p><p>https://www.rd.com/article/accessibility-settings/</p><p>https://www.rd.com/article/accessibility-settings/</p><p>http://doi.org/10.3991/ijim.v14i16.15295</p><p>http://doi.org/10.1109/TEM.2007.893997</p><p>https://developers.google.com/ar/develop/java/depth/developer-guide#extract_distance_from_a_depth_image</p><p>https://developers.google.com/ar/develop/java/depth/developer-guide#extract_distance_from_a_depth_image</p><p>https://www.stemmer-imaging.com/en-ie/knowledge-base/cameras-3d-time-of-flight-cameras/</p><p>https://www.stemmer-imaging.com/en-ie/knowledge-base/cameras-3d-time-of-flight-cameras/</p><p>https://www.perkins.org/four-prevalent-different-types-of-blindness/</p><p>https://www.perkins.org/four-prevalent-different-types-of-blindness/</p><p>http://doi.org/10.1145/3287072</p><p>http://doi.org/10.1016/j.isprsjprs.2013.11.012</p><p>http://doi.org/10.1109/TNSRE.2018.2859800</p><p>http://www.ncbi.nlm.nih.gov/pubmed/30047892</p><p>Introduction</p><p>Related Studies</p><p>Spatial Awareness</p><p>Cognitive Awareness</p><p>Inclusive User Interface Design</p><p>Materials and Methods</p><p>Obstacle Detection Integration</p><p>Object Detection Integration</p><p>Results and Discussions</p><p>Evaluation of the Hardware Device</p><p>Evaluation of Obstacle Detection Module</p><p>Evaluation of Object Detection Module</p><p>Usability Experience of the Mobile Application</p><p>Limitations</p><p>Conclusions</p><p>References</p>