Logo Passei Direto
Buscar
Material
páginas com resultados encontrados.
páginas com resultados encontrados.

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Prévia do material em texto

<p>W</p><p>BA</p><p>08</p><p>72</p><p>_V</p><p>1.</p><p>0</p><p>DESENVOLVIMENTO DE APLICAÇÕES</p><p>IA – ROBÓTICA, IMAGEM E VISÃO</p><p>COMPUTACIONAL</p><p>2</p><p>Yuri Vasconcelos de Almeida Sá</p><p>São Paulo</p><p>Platos Soluções Educacionais S.A</p><p>2021</p><p>DESENVOLVIMENTO DE APLICAÇÕES IA –</p><p>ROBÓTICA, IMAGEM E VISÃO COMPUTACIONAL</p><p>1ª edição</p><p>3</p><p>2021</p><p>Platos Soluções Educacionais S.A</p><p>Alameda Santos, n° 960 – Cerqueira César</p><p>CEP: 01418-002— São Paulo — SP</p><p>Homepage: https://www.platosedu.com.br/</p><p>Diretor Presidente Platos Soluções Educacionais S.A</p><p>Paulo de Tarso Pires de Moraes</p><p>Conselho Acadêmico</p><p>Carlos Roberto Pagani Junior</p><p>Camila Braga de Oliveira Higa</p><p>Camila Turchetti Bacan Gabiatti</p><p>Giani Vendramel de Oliveira</p><p>Gislaine Denisale Ferreira</p><p>Henrique Salustiano Silva</p><p>Mariana Gerardi Mello</p><p>Nirse Ruscheinsky Breternitz</p><p>Priscila Pereira Silva</p><p>Tayra Carolina Nascimento Aleixo</p><p>Coordenador</p><p>Henrique Salustiano Silva</p><p>Revisor</p><p>Gustavo de Lins e Horta</p><p>Editorial</p><p>Alessandra Cristina Fahl</p><p>Beatriz Meloni Montefusco</p><p>Carolina Yaly</p><p>Mariana de Campos Barroso</p><p>Paola Andressa Machado Leal</p><p>Dados Internacionais de Catalogação na Publicação (CIP)_________________________________________________________________________________________</p><p>Sá, Yuri Vasconcelos de Almeida</p><p>S111d Desenvolvimento de aplicações IA – robótica, imagem e</p><p>visão computacional / Yuri Vasconcelos de Almeida Sá, –</p><p>São Paulo: Platos Soluções Educacionais S.A., 2021.</p><p>44 p.</p><p>ISBN 978-65-89881-68-1</p><p>1. Robótica. 2. Imagem. 3. Visão computacional. I. Título.</p><p>CDD 004</p><p>____________________________________________________________________________________________</p><p>Evelyn Moraes – CRB: 010289/O</p><p>© 2021 por Platos Soluções Educacionais S.A.</p><p>Todos os direitos reservados. Nenhuma parte desta publicação poderá ser</p><p>reproduzida ou transmitida de qualquer modo ou por qualquer outro meio,</p><p>eletrônico ou mecânico, incluindo fotocópia, gravação ou qualquer outro tipo de</p><p>sistema de armazenamento e transmissão de informação, sem prévia autorização,</p><p>por escrito, da Platos Soluções Educacionais S.A.</p><p>https://www.platosedu.com.br/</p><p>4</p><p>SUMÁRIO</p><p>Introdução à Visão Computacional, Elementos e processamento</p><p>de imagens digitais ___________________________________________ 05</p><p>Manipulação de imagens digitais ____________________________ 21</p><p>Segmentação e classificação de imagens digitais ____________ 36</p><p>Métodos inteligentes em processamento de imagens _______ 51</p><p>DESENVOLVIMENTO DE APLICAÇÕES IA – ROBÓTICA,</p><p>IMAGEM E VISÃO COMPUTACIONAL</p><p>5</p><p>Introdução à Visão</p><p>Computacional, Elementos e</p><p>processamento de imagens</p><p>digitais</p><p>Autoria: Yuri Vasconcelos de Almeida Sá</p><p>Leitura crítica: Gustavo de Lins e Horta</p><p>Objetivos</p><p>• Apresentar os conceitos introdutórios de imagens</p><p>digitais e da visão computacional.</p><p>• Conceitualizar métricas e técnicas estatísticas para</p><p>tratamento de imagens digitais</p><p>• Exemplificar e contextualizar as aplicações de visão</p><p>computacional e visão robótica.</p><p>6</p><p>1. Introdução</p><p>Nesta disciplina, apresentaremos os conceitos introdutórios ao</p><p>processamento de imagens, começando na aquisição até as ferramentas</p><p>utilizadas para o processamento e a manipulação de imagens.</p><p>O processamento de imagens digitais é a base da visão computacional,</p><p>ou seja, a forma que sistemas computacionais interpretam e processam</p><p>imagens. Por ser algo totalmente natural aos seres humanos, não se</p><p>percebe como as imagens são ricas em volume de dados e como a</p><p>manipulação delas podem gerar soluções e simplificar processos em</p><p>computação e robótica.</p><p>2. Formação de imagens</p><p>As imagens são uma composição de cores e intensidade que</p><p>representam uma cena, que pode ser interpretada pelo olho humano.</p><p>Conforme Queiroz (2006), o olho humano capta os raios de luz que estão</p><p>no ambiente, sejam eles originados por alguma fonte, refletidos ou</p><p>filtrados em outros objetos, muitas vezes, trata-se de uma combinação</p><p>dessas formas.</p><p>O olho humano processa a imagem de forma óptica, adaptando as</p><p>condições de visualização como brilho e foco, gerando uma série de</p><p>sinais para o cérebro interpretar e formar a imagem que percebemos.</p><p>2.1 Luz e cores</p><p>O que chamamos de luz é a radiação eletromagnética, originados por</p><p>uma onda eletromagnética de determinadas frequências (QUEIROZ,</p><p>2006, p. 15).</p><p>7</p><p>Embora o espectro total dessas ondas nos rodeie, apenas uma pequena</p><p>parcela delas é visível, formando as cores (Figura 1).</p><p>Figura 1 – O espectro eletromagnético</p><p>Fonte: ttsz/iStock.com.</p><p>Por sua vez, essa pequena porção do espectro eletromagnético que os</p><p>humanos têm a capacidade de captar é chamada de espectro visível.</p><p>Embora cada pessoa possua capacidades visuais diferentes, no geral,</p><p>os limites do espectro visível são bastante similares entre as pessoas,</p><p>variando de 380 nm (Violeta) a 700 nm (Vermelho), em que cada cor</p><p>pode ser associada a um comprimento de onda dentro dessa escala.</p><p>Geralmente, o espectro é descrito em duas direções em relação ao</p><p>tamanho do seu comprimento de onda, comprimentos de onda maiores</p><p>do que 700 nm são descritos como infravermelho, já os menores do que</p><p>380 nm como ultravioleta.</p><p>Nesse sentido, é importante observar que o olho humano, embora seja</p><p>capaz de observar somente o espectro visível (QUEIROZ, 2006), pode</p><p>gerar imagens a partir de espectros não visíveis, como imagens geradas</p><p>por calor (ex.: infravermelho) ou por absorção (ex.: raio X). Há uma</p><p>8</p><p>infinidade de aplicações para esse tipo de imagens, como medicina ou</p><p>geoprocessamento, que serão apresentadas a seguir.</p><p>Todas essas formas de formação de imagens utilizam ondas</p><p>eletromagnéticas para formação de imagens, porém, existem outras</p><p>maneiras de se criar e interpretar sinais não visuais e formar imagens.</p><p>Nesse caso, temos o ultrassom, em que um emissor de onda mecânica</p><p>é direcionado a um objeto e um receptor que os converte em uma</p><p>imagem.</p><p>Os métodos de formação de imagens têm seu uso restrito e exige um</p><p>grande processamento, conversão e interpretação dos sinais gerados</p><p>em imagem, onde o resultado pode ter uma grande redução de</p><p>atributos, como cor e profundidade.</p><p>2.2 Captura e armazenamento de imagens analógicas</p><p>Ao longo dos séculos, o registro de imagens era feito por meio de</p><p>pigmentos depositados em uma tela, processo chamado de pintura, em</p><p>que um artista manualmente criava representações de sua percepção</p><p>em um formato de duas dimensões.</p><p>Segundo Oliveira (2005), a captura e registro direto ocorreu somente</p><p>em 1826, na França, por Joseph Nicéphore Niépce, recobrindo uma placa</p><p>com um tipo de betume que se endurecia quando atingido pela luz. O</p><p>processo demorava aproximadamente 8 horas em uma câmara escura.</p><p>A evolução desse processo substituiu o betume por um filme plástico</p><p>recoberto por um material fotossensível, segundo o autor, composto por</p><p>cristais de sais de prata capazes de recriar cenas com incrível fidelidade</p><p>de cores e definição (OLIVEIRA, 2005).</p><p>O filme pode armazenar as imagens para sua posterior reprodução em</p><p>diversos formatos e tamanhos. Desde essa época, o armazenamento de</p><p>9</p><p>imagens é feito em duas dimensões, portanto, um espaço bidimensional</p><p>que pode ser descrito por sua altura e largura em um plano. Essa</p><p>característica é chave para a criação de um modelo matemático para</p><p>geração e criação de uma representação digital de imagens.</p><p>2.3 Modelo de imagem digital</p><p>O termo imagem refere-se a uma função de intensidade luminosa</p><p>bidimensional, denotada por f(x, y), em que o valor ou amplitude f nas</p><p>coordenadas (x, y) dá a intensidade (brilho) da imagem naquele ponto.</p><p>(GONZALES; WOODS, 2000, p. 21)</p><p>A definição formal é muito útil durante o processamento matemático</p><p>das imagens, mas não faz jus ao contexto matricial e computacional que</p><p>uma imagem representa.</p><p>Na prática, uma imagem digital pode ser representada por uma matriz</p><p>de valores indexados por sua posição vertical e horizontal em relação a</p><p>uma origem arbitrária (Figura 2).</p><p>Figura 2 – Representação de uma imagem em uma matriz numérica</p><p>0 1 1 1 0</p><p>1 0 1 0 1</p><p>1 0 1 0 1</p><p>1 1 0 1 1</p><p>1 1 0 1 1</p><p>1 1 0 1 1</p><p>1</p><p>Acesso em: 24 jun.</p><p>2021.</p><p>CONCEIÇÃO, Valdir Silva; NUNES, Edna Maria; ROCHA, Angela Machado. O</p><p>Reconhecimento Facial como uma das Vertentes da Inteligência Artificial (IA):</p><p>um estudo de prospecção tecnológica. Cadernos de Prospecção, [s. l.], v. 13, n.</p><p>3, p. 745, 2020. Disponível em: https://periodicos.ufba.br/index.php/nit/article/</p><p>view/32818. Acesso em: 24 jun. 2021.</p><p>MACK, Chris A. Fifty years of Moore’s law. IEEE Transactions on semiconductor</p><p>manufacturing, [s. l.], v. 24, n. 2, p. 202-207, 2011.</p><p>https://www.semanticscholar.org/paper/Image-Segmentation-Using-Computational-Intelligence-Chouhan-Kaul/dd2ba570f553659080e2433461f11696f8c9a722</p><p>https://www.semanticscholar.org/paper/Image-Segmentation-Using-Computational-Intelligence-Chouhan-Kaul/dd2ba570f553659080e2433461f11696f8c9a722</p><p>https://www.semanticscholar.org/paper/Image-Segmentation-Using-Computational-Intelligence-Chouhan-Kaul/dd2ba570f553659080e2433461f11696f8c9a722</p><p>https://periodicos.ufba.br/index.php/nit/article/view/32818</p><p>https://periodicos.ufba.br/index.php/nit/article/view/32818</p><p>64</p><p>REDMON, Joseph et al. You only look once: unified, real-time object detection.</p><p>In: IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. 2016.</p><p>Las Vegas. Anais […] Las Vegas: IEE, 2016. p. 779-788.</p><p>SHRIVASTAVA, Parth. A must-read seminal paper on computer vision. Disponível</p><p>em: https://www.programmersought.com/article/37094515578/. Acesso em: 3 maio</p><p>2021.</p><p>ZHAO, Zhong-Qiu et al. Object detection with deep learning: A review. IEEE</p><p>transactions on neural networks and learning systems, [s. l.], v. 30, n. 11, p.</p><p>3212-3232, 2019.</p><p>https://www.programmersought.com/article/37094515578/</p><p>65</p><p>BONS ESTUDOS!</p><p>Sumário</p><p>Introdução à Visão Computacional, Elementos e processamento de imagens digitais</p><p>Objetivos</p><p>1. Introdução</p><p>2. Formação de imagens</p><p>3. Elementos fundamentais da imagem digital</p><p>4. Espaço e canais de cores</p><p>5. Brilho e contraste</p><p>6. Aplicações de visão computacional e visão robótica</p><p>7. OpenCV</p><p>Referências</p><p>Manipulação de imagens Digitais</p><p>Objetivos</p><p>1. Introdução</p><p>2. Filtros</p><p>3. Principais tipos e aplicações de kernels</p><p>4. Morfologia digital (ou matemática)</p><p>5. Utilização em OpenCV</p><p>Referências</p><p>Segmentação e classificação de imagens Digitais</p><p>Objetivos</p><p>1. Introdução</p><p>2. Segmentação</p><p>3. Detecção de características (feature detection)</p><p>4. Classificação de imagens</p><p>Referências</p><p>Métodos inteligentes em processamento de imagens</p><p>Objetivos</p><p>1. Introdução</p><p>2. Métodos computacionais inteligentes</p><p>3. Segmentação de imagens</p><p>4. Visão computacional com aprendizado de máquina</p><p>5. Visão robótica</p><p>6. Detecção de objetos</p><p>7. Reconhecimento facial inteligente</p><p>8. YOLO</p><p>Referências</p><p>1 0 1 1</p><p>Fonte: elaborada pelo autor.</p><p>10</p><p>Nessa figura é possível perceber a transformação de uma imagem em</p><p>uma matriz numérica, ainda que não esteja definida matematicamente.</p><p>Trata-se de uma imagem binária, onde o preto é representado por 0</p><p>e o branco representado por 1. Essa representação é conhecida como</p><p>binária (1 bit, 21), pois só admite dois valores de níveis de cinza (0 e 1).</p><p>3. Elementos fundamentais da imagem digital</p><p>As imagens digitais contêm elementos próprios para sua definição</p><p>e representação. Segundo Gonzales e Woods (2000, p. 21): “Para ser</p><p>adequada para processamento computacional, uma função f(x, y)</p><p>precisa ser digitalizada tanto espacialmente quanto em amplitude.”</p><p>3.1 Amostragem</p><p>A amostragem é a digitalização das coordenadas espaciais em intervalos</p><p>regulares, trata-se do processo de se criar uma matriz capaz de</p><p>armazenar os dados de amplitude.</p><p>3.2 Quantização</p><p>A quantização é a digitalização da amplitude, sendo feita somente em níveis</p><p>de cinza e exprime um valor numérico para cada elemento da matriz.</p><p>3.3 Níveis de intensidade</p><p>Para Gonzales e Woods (2000), cada imagem precisa ser representada</p><p>com mais ou menos níveis de precisão e detalhamento, para isso, são</p><p>utilizados níveis de cinza (presença de mais ou menos luz). Como o</p><p>processamento é feito por computadores, esse nível de cinza é expresso</p><p>em potências binárias (2n). Assim, temos a quantidade de bits por</p><p>11</p><p>elemento discreto da matriz. Uma imagem de 2 bits é capaz de produzir</p><p>branco, preto e mais dois tons de cinza intermediários (22 = 4).</p><p>O mais usual é armazenar imagens com 8 bits, portanto, 256 níveis de cinza.</p><p>3.4 Pixel</p><p>Pixel é cada elemento da matriz formada e pode ser descrito como</p><p>a menor divisão da imagem em um único valor. Cada Pixel tem uma</p><p>coordenada fixa na matriz, descrita por seu valor em x e y.</p><p>3.5 Resolução</p><p>A resolução determina em quantas partições a amostragem deve</p><p>ser feita, sendo descrita em valores por área, por exemplo: Pixel por</p><p>Polegada (PPP) ou em valores absolutos, omitindo o componente</p><p>dimensional, como: Megapixel (1 milhão de pixels), que pode ser</p><p>descrito como a densidade de pixels (partições) em uma determinada</p><p>imagem. Segundo Scuri (1999, p. 15):</p><p>Ao ser digitalizada a imagem assume um tamanho adimensional, em</p><p>pixels. Mas, pode-se conhecer uma medida de qualidade da amostragem,</p><p>conhecendo-se a razão entre o número de pixels obtido e o tamanho da</p><p>imagem real no filme ou equivalente. A isso chama-se de Resolução.</p><p>Como o modelo básico tem duas dimensões, pode-se definir dois valores</p><p>distintos de resolução: horizontal e vertical, caso omitido se assume igual.</p><p>3.6 Canais de cores</p><p>Até agora falamos somente de representações em escalas de cinza e</p><p>não em cores. O modelo digital de imagem não admite cores, somente</p><p>valores discretos de sua amostragem e quantização.</p><p>12</p><p>Então, para descrever cores, uma imagem precisa ser digitalizada em</p><p>outras matrizes que representam as cores. Nesse contexto, o padrão</p><p>mais utilizado para armazenar cores em imagens digitais é o CIE-RGB–R</p><p>(Red–Vermelho), G (Green–Verde) e B (Blue–Azul).</p><p>O primeiro padrão baseado nesses conceitos foi estabelecido em 1931</p><p>pelo comitê CIE (Comission Internacionale de l’Éclairage). Foi chamado de</p><p>CIE-RGB pois define as primárias Pr(λ), Pg(λ) e Pb(λ) do emissor como</p><p>sendo 3 cores espectrais. O padrão também define o branco como W(λ) =1,</p><p>e com isso foi realizado um experimento de cor para definir o Observador</p><p>Padrão, ou seja, obter as funções de reconstrução de cor para esse</p><p>sistema. (SCURI, 1999, p. 27)</p><p>Portanto, nesse modelo temos 3 matrizes representando as cores</p><p>padrão (RGB) em níveis de intensidade (Figura 3).</p><p>Figura 3 – Representação do armazenamento de uma imagem</p><p>colorida</p><p>88 162 22 0 69 34</p><p>217 115 75 178 18 115 217</p><p>253 11 34 69 62 32 55 4</p><p>1 61 217 115 75 178 18 255</p><p>77 121 4 55 29 255 0 22</p><p>61 98 255 18 68 54 24 73</p><p>88 162 22 0 8 90 70</p><p>74 35 73 24 43 59</p><p>Fonte: elaborada pelo autor.</p><p>Assim, no espaço de cores CIE-RGB, cada imagem colorida é uma</p><p>composição de três imagens distintas, armazenadas em matrizes</p><p>diferentes e compostas para exibição. Essa característica adiciona uma</p><p>13</p><p>dimensão no modelo, onde cada imagem colorida pode ser descrita com</p><p>a expressão: X, Y e C, para o canal.</p><p>O mesmo processo pode ser invertido (decomposição), de uma imagem</p><p>colorida e composta, em que podemos separar os canais de cores</p><p>(Figura 4), esse processo é utilizado até hoje em aplicações gráficas</p><p>como a serigrafia no qual uma imagem é decomposta em suas cores e</p><p>transferidas para as telas para aplicação de tinta.</p><p>Figura 4 – Decomposição de uma imagem colorida em canais RGB</p><p>Fonte: https://commons.wikimedia.org/wiki/File:Beyoglu_4671_tricolor.png. Acesso em: 3</p><p>abr. 2021.</p><p>4. Espaço e canais de cores</p><p>O modelo CIE-RGB, e suas variantes, é o mais utilizado em aplicações</p><p>computacionais, devido a sua simplicidade (o modelo consegue</p><p>descrever qualquer cor visível com apenas três canais). Para cada</p><p>aplicação ou mídia de utilização, existe um modelo específico que pode</p><p>atender melhor os requisitos do objeto.</p><p>https://commons.wikimedia.org/wiki/File:Beyoglu_4671_tricolor.png</p><p>14</p><p>A esses modelos é atribuído o nome de espaço de cores, que</p><p>são modelos matemáticos organizados para serem utilizados</p><p>em aplicações específicas. Esses modelos podem ser abertos ou</p><p>comerciais, dependendo de sua sistematização e registro.</p><p>Assim como o CIE-RGB é o mais utilizado para aplicações digitais,</p><p>Scuri (1999) descreve o modelo CMYK (Cyan Magenta Yellow Black), que</p><p>é o mais utilizado para aplicações gráficas, uma vez que a formação</p><p>de cor subtrativa (por pigmentação) necessita desses quatro canais.</p><p>Nos espaços computacionais, ainda, é importante notar uma variante</p><p>do RGB que adiciona um canal de transparência, chamado de alpha</p><p>onde o quarto canal é definido o nível de transparência do Pixel,</p><p>chamado de RGBA, presente em definições de arquivos PNG e, até</p><p>mesmo, em navegadores Web.</p><p>Embora o espaço RGB seja suficiente para armazenamento e</p><p>operações em imagens digitais, ele é difícil de fazer manipulações</p><p>diretas, principalmente a descrição de cores próximas quando está se</p><p>desenvolvendo software.</p><p>Para essas manipulações, o sistema HSV/HSL (Hue-Saturation-Value/</p><p>Hue-Saturation-Lightness) pode ser utilizado, que se trata de modelos</p><p>que manipulam a Matiz e a Saturação. Segundo Martins (2014), esses</p><p>modelos definem a matiz numericamente em graus variando de 0 a</p><p>360 (coordenadas polares), iniciando no Vermelho e terminando no</p><p>Violeta, seguindo a ordem no espectro visível, selecionando assim a</p><p>cor pura. A saturação define o grau de pureza do matiz, no HSL varia</p><p>da cor pura para o cinza e no HSB varia da cor pura para o branco. Já</p><p>o brilho (HSV) e a luminância (HSL) definem outro parâmetro de cor.</p><p>15</p><p>Figura 5 – Esquema de cor HSV</p><p>Fonte: Martins (2014, p. 8).</p><p>Do ponto de vista prático, é muito mais fácil gerar cores próximas na</p><p>matiz utilizando esse espaço de cores. Em RGB, é difícil variar cores e</p><p>iluminação diretamente nos valores RGB, por exemplo, digamos que</p><p>eu queira mudar do verde para o azul, basta alterar o valor do matiz de</p><p>120º para 250º mantendo os mesmos valores para iluminação e brilho.</p><p>Em RGB é mais difícil fazer essa operação.</p><p>Embora esses espaços sejam bastante precisos e amplos, o modelo</p><p>que mais se aproxima de descrever todas as cores do espectro visível</p><p>é o CIELAB (L = Luminosidade, a = Coordenada vermelho/verde, b =</p><p>coordenada amarelo/azul), mais utilizado no contexto de fotografia</p><p>profissional e aplicações de precisão (como espectrofotômetros, entre</p><p>outros). Nesse modelo são utilizadas três coordenadas para descrever</p><p>uma cor, definidas, portanto, em um espaço tridimensional.</p><p>Utilizando o conceito de eixos de cor (matiz), pode-se definir mais</p><p>claramente as propriedades luminosas de objetos e imagens.</p><p>16</p><p>5. Brilho e contraste</p><p>O brilho em uma imagem digital é a intensidade que o pixel é</p><p>preenchido, assim, quanto maior o valor maior o brilho.</p><p>Uma boa</p><p>métrica para se determinar o brilho total é a média dos valores de cada</p><p>pixel, quanto mais alto, maior o brilho.</p><p>Por sua vez, o contraste é a diferença de brilho entre os pixels, quanto</p><p>maior essa diferença, maior o contraste.</p><p>Essa é uma característica computacional muito importante que pode</p><p>orientar o processamento das imagens dependendo do objetivo.</p><p>Contudo, a visualização dessas características é simplificada por meio de</p><p>histogramas.</p><p>Os histogramas de imagens são gráficos cujas colunas representam uma</p><p>contagem de pixels com determinado valor. Segundo Martins (2014, p.</p><p>11): “O histograma mostra a frequência dos valores de brilho da imagem,</p><p>ou seja, a quantidade deluz presente na imagem”.</p><p>A Figura 6 representa uma imagem com brilho e contraste bem</p><p>equilibrados, conforme seu histograma da Figura 7. As Figura 6, 8 e 10</p><p>possuem 425 pixels de largura por 260 pixels de altura, portanto, um</p><p>total de 110.500 pixels.</p><p>Já na Figura 8 é possível observar a diminuição de contraste aplicada</p><p>à Figura 6, e na Figura 9 o seu histograma é possível observar uma</p><p>concentração muito maior em relação ao seu original, porém,</p><p>conservando-se a forma original.</p><p>Na Figura 10 temos a mesma imagem da Figura 6 manipulada para a</p><p>diminuição do contraste e aumento do brilho, seu histograma na Figura 11</p><p>revela o mesmo padrão encontrado da Figura 9, porém, com o volume se</p><p>deslocando para os valores mais elevados, conservando a mesma forma.</p><p>17</p><p>Figura 6 – Imagem em escalas de</p><p>cinza para estudo</p><p>Figura 7- Histograma Associado</p><p>Fonte: NAKphotos/iStock.com. Fonte: elaborada pelo autor.</p><p>Figura 8 – Figura com baixo</p><p>contraste</p><p>Figura 9 - Histograma Associado</p><p>Fonte: NAKphotos/iStock.com. Fonte: elaborada pelo autor.</p><p>Figura 10 – Figura 6 com baixo</p><p>contraste e alto brilho</p><p>Figura 11 – Histograma</p><p>associado</p><p>Fonte: NAKphotos/iStock.com. Fonte: elaborada pelo autor.</p><p>18</p><p>Observando os histogramas apresentados e suas imagens originárias,</p><p>é possível verificar que a melhor adaptação de contraste e brilho</p><p>depende de uma boa distribuição dos valores ao longo dos valores de</p><p>intensidade. Um processamento simples para se melhorar o contraste é</p><p>normalizar a imagem, processo que consiste em transpor o menor valor</p><p>de intensidade de sua imagem em preto (zero) e o maior valor na matiz</p><p>pura (255 em uma imagem 8 bits), e distribuir o conteúdo ao longo do</p><p>eixo de valores.</p><p>6. Aplicações de visão computacional e visão</p><p>robótica</p><p>Como você pôde aprender, cada imagem gera uma quantidade enorme</p><p>de dados, que pode ser analisada e estudada. Em algumas situações,</p><p>esse volume enorme de dados pode ser difícil de analisar e interpretar.</p><p>Nos últimos anos, experimentamos um grande aumento da capacidade</p><p>computacional e a análise de imagens se popularizou de forma</p><p>exponencial, e suas aplicações estão em todos os locais.</p><p>As técnicas processamento digital de imagens fazem parte da medicina</p><p>moderna, ensejando diagnósticos e automatizando o processo.</p><p>Como o olho humano é limitado em relação à percepção de alguns</p><p>padrões em imagens e na detecção de imagens com ruídos ou contraste</p><p>muito baixo, muitas vezes interpretando-as de forma diferente, o uso de</p><p>recursos computacionais pode ajudar neste reconhecimento, servindo, por</p><p>exemplo, como um auxiliar no diagnóstico de algumas doenças, evitando</p><p>um diagnóstico impreciso ou equivocado. (MILANO, 2014, p. 5)</p><p>Ainda segundo Milano (2014), na robótica, a visão computacional</p><p>tem sido aplicada em diversas ocasiões, como exploração de terreno,</p><p>19</p><p>análise de solo, montagem industrial (veículos), biometria (identificação</p><p>automática de pessoas através de imagens) e diversas outras aplicações.</p><p>Dentre elas, uma que usa exclusivamente e ostensivamente a análise</p><p>de imagens é o geoprocessamento, que utiliza imagens multiespectrais</p><p>para detecção de queimadas, gerenciamento de bacias hidrográficas,</p><p>manejo de agricultura de precisão, entre outros.</p><p>O campo da robótica tem abandonado sensores especializados ou</p><p>tem favorecido o uso de câmeras para determinação de distâncias</p><p>e volumes, devido sua capacidade múltipla, com uma câmera</p><p>multiespectral é possível determinar temperatura, distância, medidas</p><p>e muito mais. Por exemplo, carros autônomos estão cada vez mais</p><p>utilizando câmeras para o reconhecimento de padrões de rodovias e</p><p>guiando seu curso.</p><p>7. OpenCV</p><p>Há diversas bibliotecas e módulos para processamento digital de</p><p>imagens, porém, uma delas se destaca pela onipresença, a OpenCV (Open</p><p>Source Computer Vision Library), para Gollapudi (2019), devido à ausência</p><p>de licença comercial e seu alto número de recursos. ela é bastante</p><p>popular. Também creditado a sua licença de código aberto está a</p><p>versatilidade e extensibilidade, podendo funcionar em diversos sistemas</p><p>operacionais. Ela é escrita em C++, uma linguagem base de muitas</p><p>outras linguagens, também muito conhecida no mercado.</p><p>Segundo o autor, ainda que a biblioteca seja escrita em C++ e esteja</p><p>diretamente disponível, ela contém laços para o desenvolvimento em</p><p>Python, Java e MATLAB/OCTAVE, portando-se assim como um back-end</p><p>para as aplicações nessa linguagem (GALLAPUDI, 2019).</p><p>20</p><p>Referências</p><p>GOLLAPUDI, Sunila. Learn computer vision using OpenCV. Nova Iorque: Apress,</p><p>2019.</p><p>GONZALEZ, Rafael C.; WOODS, Richard E. Processamento de imagens digitais. São</p><p>Paulo: Blucher, 2000.</p><p>MARTINS, Samuel Botter. Introdução ao processamento digital de imagens:</p><p>definições básicas, espaço de cores e histogramas. Campinas: Universidade</p><p>Estadual de Campinas, 2014. Disponível em: https://www.ic.unicamp.br/~ra144681/</p><p>misc/. Acesso em: 13 abr. 2021.</p><p>MILANO, Danilo de; HONORATO, Luciano Barrozo. Visão computacional. Limeira:</p><p>Unicamp, 2014.</p><p>OLIVEIRA, Erivam Morais do. Da fotografia analógica à ascensão da fotografia digital.</p><p>Communicare, São Paulo, v. 5, n. 1, p. 159-165, 2005. Disponível em: http://www.</p><p>bocc.ubi.pt/pag/oliveira-erivam-fotografia-analogica-fotografia-digital.pdf. Acesso</p><p>em: 23 jun. 2021.</p><p>QUEIROZ, José Eustáquio Rangel; GOMES, Herman Martins. Introdução ao</p><p>processamento digital de imagens. Revista RITA, [s. l.], v. 13, n. 2, p. 11-42, 2006.</p><p>Disponível em: http://www.dsc.ufcg.edu.br/~hmg/disciplinas/graduacao/vc-2016.2/</p><p>Rita-Tutorial-PDI.pdf. Acesso em: 23 jun. 2021.</p><p>SCURI, Antonio Escaño. Fundamentos da imagem digital. Rio de Janeiro: Pontifícia</p><p>Universidade Católica do Rio de Janeiro, 1999.</p><p>https://www.ic.unicamp.br/~ra144681/misc/</p><p>https://www.ic.unicamp.br/~ra144681/misc/</p><p>http://www.bocc.ubi.pt/pag/oliveira-erivam-fotografia-analogica-fotografia-digital.pdf</p><p>http://www.bocc.ubi.pt/pag/oliveira-erivam-fotografia-analogica-fotografia-digital.pdf</p><p>http://www.dsc.ufcg.edu.br/~hmg/disciplinas/graduacao/vc-2016.2/Rita-Tutorial-PDI.pdf</p><p>http://www.dsc.ufcg.edu.br/~hmg/disciplinas/graduacao/vc-2016.2/Rita-Tutorial-PDI.pdf</p><p>21</p><p>Manipulação de imagens digitais</p><p>Autoria: Yuri Vasconcelos de Almeida Sá</p><p>Leitura crítica: Gustavo de Lins e Horta</p><p>Objetivos</p><p>• Definir a aplicação de filtros convolucionais.</p><p>• Conceituar operações morfológicas.</p><p>• Manipular imagens utilizando OpenCV.</p><p>• Demonstrar aplicações em código.</p><p>22</p><p>1. Introdução</p><p>Nesta disciplina, conceituaremos e exemplificaremos como manipular</p><p>uma imagem digital na prática. Para isso, precisamos estabelecer os</p><p>conceitos de convolução, kernel (módulo), morfologia, entre outros.</p><p>Essas habilidades são utilizadas em todos os níveis de manipulação</p><p>de imagens e são utilizadas para a manipulação básica, extração de</p><p>características e pré-processamento antes de aplicar modelos de</p><p>inteligência artificial, reconhecimento de padrões e visão robótica em</p><p>geral.</p><p>2. Filtros</p><p>Devido a característica numérica das imagens (matriz de valores) é</p><p>possível utilizar técnicas algébricas para a sua manipulação. Contudo,</p><p>a principal delas é a aplicação de uma convolução entre a imagem</p><p>principal e um núcleo. Dentro do contexto de processamento de</p><p>imagens, o núcleo assume muitos nomes, todos relacionados à prática,</p><p>assim, muitas vezes, ele é chamado de kernel, matriz convolucional,</p><p>elemento estruturante ou máscara. Porém, a melhor descrição para o</p><p>núcleo é que ele é uma pequena matriz.</p><p>Os elementos do kernel podem conter qualquer valor, inclusive</p><p>fracionais e negativos, no entanto, o que determina o resultado de um</p><p>filtro é sua aplicação.</p><p>O processo de convolução, embora pareça complexo (Figura 1), as</p><p>operações que são feitas são operações aritméticas simples. O símbolo</p><p>utilizado para descrever a convolução é um X ou * (asterisco).</p><p>23</p><p>Figura 1 – Diagrama da convolução entre uma Matriz e um Núcleo</p><p>Kernel (3x3) Matriz (10x10)</p><p>A B C h[i, j]</p><p>C E F</p><p>P1 P2 P3</p><p>P4 P5 P6</p><p>G H I</p><p>P7 P8 P9</p><p>h(i, j) = A*P1 + B*P2 + C*P3 + D*P4 + E*P5 + F*P6 + G*P7 + H*P8 + I*P9</p><p>Fonte: elaborada pelo autor.</p><p>A operação de convolução é a soma das multiplicações dos valores das</p><p>matrizes quando alinhamos o pixel alvo, como o (P5) com o centro do</p><p>kernel (E). Portanto, a condição de existência é que o kernel contenha um</p><p>número ímpar de pixels, pois assim, o centro é assegurado.</p><p>Não existe um limite inferior ou superior do tamanho do kernel, mas a</p><p>medida mais comum é 3x3 seguido por 5x5.</p><p>Então, pode-se concluir que a nova matriz construída a partir da</p><p>convolução utiliza os valores dos pixels vizinhos, calcula a soma das</p><p>multiplicações de seus correspondentes na imagem (matriz principal) e</p><p>cria uma imagem com esses valores. Desse modo, ela pode ser aplicada</p><p>em imagens coloridas (mais de um canal), basta aplicá-la nas matrizes</p><p>independentes correspondentes a cada canal.</p><p>24</p><p>Por sua vez, os softwares gráficos utilizam essa mesma técnica em seus</p><p>filtros, e em muitos deles é possível inserir seu próprio kernel para criar</p><p>um filtro personalizado.</p><p>Contudo, é importante frisar que, quando o kernel é aplicado nas bordas</p><p>da imagem original, parte dos valores não tem valor a ser calculado,</p><p>uma vez que o kernel estaria sobressaindo a matriz original. Para isso,</p><p>algumas técnicas são utilizadas para mitigar o problema, como: extensão</p><p>(copiar o valor do pixel real mais próximo), repetição (utiliza-se o valor</p><p>do pixel extremo oposto), espelhamento (utiliza o valor do pixel oposto</p><p>em uma das direções), corte (as operações com pixels inexistentes na</p><p>matriz principal são ignoradas) e corte do núcleo (os valores do kernel</p><p>que sobressaiam são ignorados).</p><p>Usualmente, os filtros são aplicados repetidas vezes e, muitas vezes,</p><p>reaplicados após outros filtros.</p><p>3. Principais tipos e aplicações de kernels</p><p>Como visto na definição de filtros, eles são criados a partir da</p><p>convolução de um núcleo com a imagem principal, em que a definição e</p><p>a criação do filtro fica resumida a uma pequena matriz. Essa matriz tem</p><p>modelos padrão, mas não estão limitados ao núcleo padrão, podendo</p><p>haver pequenas modificações.</p><p>Segundo Smith (2013), muitos destes filtros já eram utilizados em</p><p>processamentos de sinais (como no rádio) em sua filtragem e atenuação e</p><p>encontraram uma aplicação muito grande no processamento de imagens.</p><p>A Figura 2 será utilizada para a aplicação desses filtros.</p><p>25</p><p>Figura 2 – Imagem em escalas de cinza para estudo</p><p>Fonte: NAKphotos/iStock.com.</p><p>3.1 Filtro identidade CGGG</p><p>A função identidade retorna exatamente o valor de entrada, (f(x) = x).</p><p>Esse filtro é utilizado para verificação do sistema de aplicação do kernel,</p><p>caso esteja tudo funcionando, uma matriz idêntica a entrada é retornada.</p><p>O kernel do filtro identidade é definido pelas seguinte matriz:</p><p>0 0 0</p><p>0 1 0</p><p>0 0 0</p><p>3.2 Filtro de suavização gaussiana</p><p>Esse filtro é utilizado para atenuação do sinal contínuo, causando um</p><p>efeito de embaçamento da imagem. Conforme podemos ver na Figura</p><p>4(a) (SMITH, 2013).</p><p>Ele é muito utilizado para a redução do ruído aleatório, também,</p><p>acarretando uma redução no nível de detalhe da imagem.</p><p>26</p><p>Segundo Oliveira (2004), o filtro da suavização gaussiana simplificado é</p><p>dado pela matriz básica:</p><p>1 2 1</p><p>2 4 2</p><p>1 2 1</p><p>3.3 Filtro passa-baixa</p><p>Trata-se de filtros que suavizam os contornos da imagem, também</p><p>utilizados para borramento (blur, em inglês). Eles também são</p><p>conhecidos como filtro média, pois, os pesos iguais transformam a</p><p>convolução em uma média. O resultado pode ser verificado na Figura</p><p>4(b). Já o seu núcleo padrão é:</p><p>1 1 1</p><p>1 1 1</p><p>1 1 1</p><p>3.4 Filtro passa-alta</p><p>O filtro passa-alta é um filtro de realce ou aguçamento (sharpen, em</p><p>inglês) utilizado para aumentar o nível de detalhamento de uma</p><p>imagem, aguçar os limites, sendo expresso pelo núcleo:</p><p>-1 -1 -1</p><p>-1 8 -1</p><p>-1 -1 -1</p><p>27</p><p>O filtro passa-alta básico é formado por um peso central positivo</p><p>igual a 8 e pelos pesos negativos localizados na periferia igual a -1</p><p>[...] Observa-se que a soma dos pesos do kernel é nula, por isso é dito</p><p>como kernel que possui peso 0, retornando valores próximos ou iguais a</p><p>0 quando passa por regiões de baixa frequência espacial na imagem de</p><p>entrada, e gerando assim, uma imagem de saída com bordas aguçadas</p><p>sobre um fundo escuro. (OLIVEIRA, 2004, p. 70)</p><p>Esse filtro, possivelmente, cria tons de cinza negativo (devido à natureza</p><p>dos pesos do núcleo), demandando pós-processamento caso haja a</p><p>necessidade de reconstrução da imagem.</p><p>Uma aplicação da imagem pode ser vista na Figura 4(c).</p><p>3.5 Filtros direcionais</p><p>Trata-se de filtros que tem alguma direção associada a eles, caso exista</p><p>uma direção predominante na imagem devido à diferença de valores</p><p>nas laterais da matriz (OLIVEIRA, 2004).</p><p>Esses filtros precisam que os objetos fiquem na mesma direção que o</p><p>filtro especificado e destacam objetos cuja direção seja similar.</p><p>Por sua vez, eles são muito utilizados em imagens de uma cena</p><p>conhecida, para identificação de objetos verticais ou horizontais, faixas</p><p>de condução etc.</p><p>A figura a seguir descreve uma série de filtros passa-alta com as direções</p><p>indicadas pelas setas.</p><p>28</p><p>Figura 3 – Filtros passa-alta direcionais</p><p>1 1 1 1 1 1 1 1 1</p><p>1 -2 -1 1 -2 1 -1 -2 1</p><p>1 -1 -1 -1 -1 -1 -1 -1 1</p><p>1 1 -1 -1 1 1</p><p>1 -2 -1 DIREÇÕES -1 -2 1</p><p>1 1 -1 -1 1 1</p><p>1 -1 -1 -1 -1 -1 -1 -1 1</p><p>1 -2 -1 1 -2 1 -1 -2 1</p><p>1 1 1 1 1 1 1 1 1</p><p>Fonte: Oliveira (2004, p. 71).</p><p>3.6 Filtros diferenciais</p><p>Para a identificação de objetos é fundamental a detecção de bordas,</p><p>pois elas representam uma grande diferença de intensidade entre</p><p>os pixels vizinhos, podendo assim serem utilizados para detectar e</p><p>realçar objetos nas imagens.</p><p>Segundo Oliveira (2004, p. 72): “As bordas são regiões da imagem,</p><p>caracterizadas por uma alta derivada espacial de intensidade,</p><p>apresentando, portanto, grande variação de intensidade em um</p><p>pequeno intervalo de espaço, numa certa direção.”</p><p>Nesse contexto, há três modelos de kernel clássicos na literatura</p><p>que utilizam a derivada, Sobel, Prewitt e Roberts. Todos eles são</p><p>direcionais, caracterizados por: vertical (0 graus), horizontal (90 graus) e</p><p>intermediários (45 graus e 135 graus).</p><p>29</p><p>Kernel do filtro de Sobel, vertical:</p><p>-1 0 1</p><p>-2 0 2</p><p>-1 0 1</p><p>e horizontal:</p><p>-1 -2 -1</p><p>0 0 0</p><p>1 2 1</p><p>A aplicação do filtro vertical e horizontal pode ser vista na Figura 4(d) e</p><p>(e), respectivamente.</p><p>No kernel do filtro de</p><p>Prewitt, temos: vertical:</p><p>-1 0 1</p><p>-1 0 1</p><p>-1 0 1</p><p>e horizontal:</p><p>-1 -1 -1</p><p>0 0 0</p><p>1 1 1</p><p>Já no kernel do filtro de</p><p>Roberts, vertical:</p><p>-1 0 1</p><p>-1 0 1</p><p>-1 0 1</p><p>e horizontal:</p><p>-1 -1 -1</p><p>0 0 0</p><p>1 1 1</p><p>Figura 4 – Imagens com filtro aplicado</p><p>(a) (b)</p><p>(c) (d) (e)</p><p>Fonte: adaptada de NAKphotos/iStock.com.</p><p>30</p><p>3.7 Filtro laplaciano</p><p>O filtro laplaciano é um filtro convolucional utilizado para detectar</p><p>bordas, por meio da segunda derivada da imagem, medindo o valor da</p><p>mudança entre pixels.</p><p>O filtro laplaciano, como o nome sugere, simula a segunda derivada. Ele</p><p>é bastante sensível a ruído e, por isso, apesar de ser um operador de</p><p>derivada, dificilmente é empregado para detecção de bordas. Quando</p><p>empregado, é geralmente após a aplicação de um filtro gaussiano, que</p><p>atenua o ruído. (OLIVEIRA, 2004, p. 72)</p><p>Uma das formas do filtro laplaciano segue a seguinte matriz:</p><p>0 -1 0</p><p>-1 4 -1</p><p>0 -1 0</p><p>4. Morfologia digital (ou matemática)</p><p>Para Queiroz e Gomes (2006), a morfologia</p><p>digital é a forma de análise</p><p>de uma matriz para extração de informações a partir de transformações</p><p>morfológicas e as suas relações com os valores vizinhos. Assim, traduzindo</p><p>esses conceitos para imagens digitais, temos a modificação fundamental</p><p>das características de uma imagem seguindo um padrão pré-definido.</p><p>Existem duas operações básicas da morfologia digital, a erosão e a</p><p>dilatação.</p><p>Para a execução das operações, também, utiliza-se um elemento</p><p>estruturante (núcleo), porém não é usada a convolução, mas, através de</p><p>conjunto de pertencimento e condicionais, regras de pertencimento.</p><p>31</p><p>Na figura a seguir, há duas matrizes elementares de morfologia</p><p>matemática.</p><p>Figura 5 – Elementos estruturantes comuns utilizados nas</p><p>operações morfológicas</p><p>(a) (b)</p><p>Fonte: Queiroz e Gomes (2006, p. 35).</p><p>Utilizaremos a Figura 6 (a) como original para exemplo desta seção.</p><p>4.1 Erosão</p><p>A erosão é caracterizada pela redução de objetos (definido por um conjunto</p><p>de pixels) que atendam a um padrão definido pelo kernel (Figura 5b).</p><p>A sua fórmula é definida como E(A, B) = A–B = {x ∈ E | Bx ⊆ A}.</p><p>De acordo com Queiroz e Gomes (2006), as matrizes A e B referenciados</p><p>na fórmula são imagens, porém A é a convenção da imagem sob análise</p><p>e B seu elemento estruturante.</p><p>Assim, ela tem o efeito visual de diminuir objetos, como podemos ver na</p><p>Figura 6 (c).</p><p>4.2 Dilatação</p><p>A dilatação é a operação inversa à erosão, buscando aumentar um</p><p>objeto em uma imagem segundo um conjunto de regras definido pelo</p><p>kernel (Figura 5a).</p><p>32</p><p>A sua fórmula é definida como A⊕B = A ⊕ B = {x ∈ E | Bx ∩ A ≠ ∅}, em que</p><p>a dilatação tem o efeito visual de ampliar os objetos (Figura 6 (b)).</p><p>Figura 6 – Exemplo de dilatação e erosão</p><p>(a) (b) (c)</p><p>Fonte: Documentation ... (2021, [s.p.]).</p><p>5. Utilização em OpenCV</p><p>O OpenCV é nativo da linguagem C++, porém, existem front-ends</p><p>(bindings) para outras linguagens e a mais utilizada é Python. Para</p><p>adquirir uma boa base sobre esse tema, leia o guia introdutório Learn</p><p>computer vision using OpenCV, de Sunila Gallapudi (2019).</p><p>Para a utilização do OpenCV em Python é necessária a instalação da</p><p>biblioteca e backend. Em Python, isso é facilmente executado pelo</p><p>comando do terminal (considerando o Python instalado no PATH de seu</p><p>computador).</p><p>pip install opencv-python</p><p>Para que os dados possam ser manipulados numericamente, é</p><p>importante uma ferramenta para manipulação de arrays, para tanto,</p><p>utilizaremos o pacote numpy. Esse pacote se trata de uma biblioteca</p><p>muito utilizada, para instalá-la utilize o comando:</p><p>33</p><p>pip install numpy</p><p>Para a exibição do resultado, utilize a biblioteca de criação de gráficos</p><p>matplotlib, que pode ser instalada pelo comando:</p><p>pip install matplotlib</p><p>Todos os comandos a partir de agora são feitos na linguagem Python</p><p>e não mais no seu sistema operacional, todos esses comandos estão</p><p>descritos no arquivo Documentation de 2021.</p><p>Então, com as bibliotecas instaladas, basta importá-las para o seu</p><p>ambiente através dos comandos:</p><p>import cv2</p><p>import numpy as np</p><p>import matplotlib.pyplot as plt</p><p>Para isso, primeiramente, deve-se importar a imagem, o que podemos</p><p>fazer por meio do código:</p><p>image = cv2.imread(‘opencv_logo.png’)</p><p>Vale lembrar que, o arquivo deve ser referenciado por meio de seu</p><p>caminho absoluto ou relativamente ao caminho de seu script.</p><p>Para visualizar a imagem importada sem alterações, utilize o código a</p><p>seguir, em que o resultado é apresentado na Figura 7.</p><p>fig, ax = plt.subplots(1, figsize=(12,8))</p><p>plt.imshow(image)</p><p>34</p><p>Figura 7 – Imagem original</p><p>Fonte: Documentation... (2021, [s.p.]).</p><p>Um kernel de média (matriz/array numérica 3x3 em numpy preenchido</p><p>com 1) pode ser definido pelo código:</p><p>kernel = np.ones((3, 3), np.float32)/9</p><p>Para aplicar o filtro (kernel) na imagem utilizando a biblioteca OpenCV,</p><p>utiliza-se o comando: filter2D. O código para executar o comando pode</p><p>ser escrito como:</p><p>resultante = cv2.filter2D(image, -1, kernel)</p><p>Em que a variável resultante contém o objeto-imagem com aplicação</p><p>do kernel por meio da convolução (Figura 8).</p><p>fig, ax = plt.subplots(1, figsize=(12,8))</p><p>plt.imshow(resultante)</p><p>35</p><p>Figura 8 – Imagem com filtro aplicado</p><p>Fonte: Documentation... (2021, [s.p.]).</p><p>Por meio dos conceitos de filtros e kernels associado a uma</p><p>biblioteca poderosa de manipulação de imagens é possível fazer um</p><p>processamento veloz com qualidade. Essas ferramentas são todas</p><p>gratuitas e estão disponíveis amplamente na internet, de forma que</p><p>a documentação contém tutoriais e exemplos de como executar as</p><p>funções descritas nesta aula.</p><p>Referências</p><p>DOCUMENTATION. OpenCV. 2021. Disponível em: http://docs.opencv.org. Acesso</p><p>em: 10 abr. 2021.</p><p>GOLLAPUDI, Sunila. Learn computer vision using OpenCV. Nova Iorque: Apress,</p><p>2019.</p><p>GONZALEZ, Rafael C.; WOODS, Richard E. Processamento de imagens digitais. São</p><p>Paulo: Blucher, 2000.</p><p>OLIVEIRA, Cristiane de Queiroz. Metodologia de processamento digital aplicada</p><p>a exploração de imagens radiológicas. Rio de Janeiro: Instituto Militar de</p><p>Engenharia, 2004.</p><p>QUEIROZ, José Eustáquio Rangel de; GOMES, Herman Martins. Introdução ao</p><p>processamento digital de imagens. Revista RITA, [s. l.], v. 13, n. 2, p. 11-42, 2006.</p><p>Disponível em: http://www.dsc.ufcg.edu.br/~hmg/disciplinas/graduacao/vc-2016.2/</p><p>Rita-Tutorial-PDI.pdf. Acesso em: 23 jun. 2021.</p><p>SMITH, Steven. Digital signal processing: a practical guide for engineers and</p><p>scientists. Rio de Janeiro: Elsevier, 2013.</p><p>http://docs.opencv.org.</p><p>http://www.dsc.ufcg.edu.br/~hmg/disciplinas/graduacao/vc-2016.2/Rita-Tutorial-PDI.pdf</p><p>http://www.dsc.ufcg.edu.br/~hmg/disciplinas/graduacao/vc-2016.2/Rita-Tutorial-PDI.pdf</p><p>36</p><p>Segmentação e classificação de</p><p>imagens digitais</p><p>Autoria: Yuri Vasconcelos de Almeida Sá</p><p>Leitura crítica: Gustavo de Lins e Horta</p><p>Objetivos</p><p>• Conceituar a segmentação de imagens digitais.</p><p>• Apresentar os métodos básicos e de pré-</p><p>processamento para segmentação de imagens.</p><p>• Demonstrar classificação de imagens.</p><p>37</p><p>1. Introdução</p><p>Nesta aula, você aprenderá como funciona a segmentação e localização</p><p>de objetos. Além disso, também, estabeleceremos as bases da</p><p>classificação de objetos utilizando os conceitos da técnica.</p><p>2. Segmentação</p><p>A segmentação de imagens é o processo de localizar objetos e</p><p>feições das imagens em conjuntos nomeáveis (objetos). Por meio da</p><p>segmentação, a imagem começa a fazer sentido, separando-a em</p><p>porções menores com algum sentido.</p><p>Com isso, ela é utilizada em uma série de aplicações que vão desde a</p><p>identificação de superfícies em imagens de satélite até a localização de</p><p>tumores em tomografia computadorizada, também, sendo muito utilizada</p><p>em aplicações de robótica para localização e detecção de objetos para</p><p>navegação, desvio de obstáculos e manutenção de rota (Figura 1). Nesta</p><p>figura, é possível observar uma segmentação por limiarização discricionária</p><p>(com o limiar para selecionar tudo acima de 90% de branco), o que faz com</p><p>que veículos equipados com câmeras e assistência de direção possam</p><p>localizar as faixas e alertar e, até mesmo, mudar o veículo de direção.</p><p>Além disso, ela é muito utilizada na identificação biométrica, tanto em</p><p>reconhecimento de impressões digitais quanto em reconhecimento da face.</p><p>Figura 1 – Imagem original e com as faixas de condução segmentadas</p><p>Fonte: adaptada de MXW Stock/iStock.com.</p><p>38</p><p>Existem muitos métodos de executar a segmentação, incluindo métodos</p><p>manuais e interativos (com intervenção do usuário). Contudo, neste tema,</p><p>os métodos numéricos e estatísticos serão o foco devido à automatização</p><p>e a possibilidade de subdividi-los em dois grupos principais: métodos</p><p>clássicos e métodos baseados em inteligência artificial.</p><p>Entre os métodos clássicos, destacam-se os métodos de limiarização</p><p>(thresholding) e agrupamento (clustering).</p><p>2.1 Limiarização (Thresholding)</p><p>A limiarização é a forma mais básica de segmentação e consiste em</p><p>converter uma imagem (escalas de cinza) em binária por meio de um</p><p>limiar (clipping point). Basicamente, a limiarização define um valor e tudo</p><p>o que está acima desse valor assume iluminação total, enquanto tudo</p><p>que está abaixo desse valor assume zero iluminação, assim, temos a</p><p>imagem binária (SEZGIN; SANKUR, 2004).</p><p>Embora pareça uma técnica primitiva e bastante simples, a limiarização</p><p>é capaz de identificar muitos objetos e, até mesmo, utilizar em</p><p>aplicações reais e seriadas (como em vídeos).</p><p>A limiarização depende somente da escolha do limiar e, nessa escolha,</p><p>a verdadeira inteligência do método é aplicada. Contudo, como em toda</p><p>técnica de manipulação de imagens digitais, os métodos são derivados</p><p>de álgebra e estatística, podendo utilizar métodos ainda mais avançados,</p><p>como Machine Learning.</p><p>Há métodos que são clássicos para a limiarização, como entropia</p><p>máxima, média (Figura 3 (b)), Otsu (Figura 3 (c)), agrupamento binário em</p><p>k-means, lógica fuzzy (com pertencimento nebuloso) e média gaussiana</p><p>(Figura 3 (d)) (SEZGIN; SANKUR, 2004).</p><p>Na Figura 3 exemplificamos limiarização sobre a Figura 2, conforme</p><p>aplicação nas técnicas mais utilizadas. Nesse contexto, é importante</p><p>observar que a segmentação parece trivial em um primeiro momento,</p><p>39</p><p>porém, os objetos contém uma iluminação irregular (mais iluminado</p><p>do lado direito) e o fundo muda sua cor e intensidade, formando</p><p>múltiplos gradientes.</p><p>Figura 2 – Imagem de artefatos coloridos em um fundo também</p><p>colorido para trabalho de segmentação</p><p>Fonte: ciobanu ana maria/iStock.com.</p><p>A limiarização pode ser feita tanto para localizar objetos inteiros (Figura</p><p>3 (b) e (c)) quanto para localizar contornos (Figura 3 (d)).</p><p>Figura 3 – Limiarização utilizando diversos métodos</p><p>Fonte: adaptada de ciobanu ana maria/iStock.com.</p><p>40</p><p>Já a biblioteca OpenCV conta com uma série de ferramentas e atalhos</p><p>que tornam o trabalho simples de ser executado (DOCUMENTATION...,</p><p>2021), conforme código:</p><p>import cv2 as cv # Importação da OpenCV</p><p>from matplotlib import pyplot as plt # Importação do Plot</p><p>img = cv.imread(‘bolachas.png’,0) # Importação da imagem em</p><p>variável</p><p># Limiar Descricionario (média)</p><p>ret,th1 = cv.threshold(img,127,255,cv.THRESH_BINARY)</p><p># Limiar de OTSU</p><p>ret, th2 = cv.threshold(img,0,255,cv.THRESH_BINARY+cv.THRESH_</p><p>OTSU)</p><p># Cria imagem com limiar Gaussiano</p><p>th3 = cv.adaptiveThreshold(img,255,cv.ADAPTIVE_THRESH_GAUSSIAN_C,</p><p>cv.THRESH_BINARY,11,2) adaptativo</p><p># Titulos para o plot</p><p>titles = [ ‘(a) Imagem Original em tons de cinza’,</p><p>‘(b)Limiar Global (v = 127)’,</p><p>‘(c) Limiar de Otsu’,</p><p>‘(d) Limiar Gaussiano’]</p><p>images = [img, th1, th2, th3] # Define as imagens a serem plotadas</p><p>for i in range(4): # For para plotar todas as imagens</p><p>plt.subplot(2,2,i+1),plt.imshow(images[i],’gray’)</p><p>plt.title(titles[i], fontsize=8)</p><p>plt.xticks([]),plt.yticks([])</p><p>plt.show()</p><p>41</p><p>Desse modo, é importante notar que, as imagens podem ser</p><p>segmentadas para um pós-processamento, observe que podemos</p><p>utilizar a segmentação como uma máscara de corte para ser aplicada</p><p>na imagem original; o código e o resultado desse código (continuação</p><p>do código acima); e termos somente o objeto em mãos para posterior</p><p>processamento (como medições, escalas, estudo de textura, entre</p><p>outros).</p><p>Na Figura 4 executamos o código de corte utilizando a imagem colorida</p><p>original e a limiarização de Otsu (Figura 3 (c)) como máscara.</p><p>Figura 4 – Imagem original (colorida) cortada por limiarização</p><p>Fonte: adaptada de ciobanu ana maria/iStock.com.</p><p>O código que originou a Figura 4 segmentada é transcrito como:</p><p># Importação da imagem colorida pois desprezamos</p><p># a cor na primeira importação</p><p>RGB_img = cv.imread(‘bolachas.png’)</p><p>RGB_img = cv.cvtColor(RGB_img, cv.COLOR_BGR2RGB) # Conversão de</p><p>cores</p><p># Conversão da máscara binária em cores para o corte</p><p># Pois a imagem e a máscara devem conter o mesmo número de canais</p><p>42</p><p>mascara = cv.cvtColor(th2, cv.COLOR_GRAY2BGR)</p><p># Corte utilizando o copyTo, porém podem ser utilizadas outras</p><p>funções</p><p>ImagemCortada = cv.copyTo(RGB_img, mascara)</p><p>plt.imshow(ImagemCortada) # Plot da Imagem</p><p>2.2 Agrupamento (Clustering)</p><p>Apesar da limiarização ser um método muito popular de segmentação e</p><p>identificação de objetos, existe o método de agrupamento que consiste</p><p>em utilizar métodos típicos de estatística para classificação dos pixels</p><p>nas imagens.</p><p>Nesse sentido, há diversos métodos de agrupamento dentro do ramo</p><p>da estatística que são empregados em processamento de imagens</p><p>devido sua natureza rica em dados, entre eles se pode citar: Cmeans</p><p>(clusterização nebulosa), entropia, densidade, árvores de decisão e, o</p><p>mais utilizado, k-means (TATIRAJU; MEHTA, 2008).</p><p>O método k-means é um dos mais utilizados para agrupamento e</p><p>classificação de dados. Ele faz o agrupamento baseado em distância</p><p>euclidiana, inclusive multidimensional. Assim, ele se tornou um método</p><p>muito útil para segmentação de imagens, uma vez que localiza pixels</p><p>similares mesmo que não estejam próximos espacialmente (como os</p><p>filtros convolucionais precisam) e não é necessariamente binário, como</p><p>a limiarização clássica.</p><p>No entanto, os algoritmos que executam a clusterização k-means</p><p>necessitam de um parâmetro de entrada que não pode ser padrão, o</p><p>número de partições (usualmente chamado de k), uma vez definido o</p><p>número de grupos, assim, o algoritmo se encarrega de agrupar os dados</p><p>conforme sua proximidade euclidiana.</p><p>43</p><p>Como ele é muito utilizado em processamento de imagens, a biblioteca</p><p>OpenCV contém vários atalhos e ferramentas para a devida clusterização</p><p>e segmentação da imagem (DOCUMENTATION..., 2021).</p><p>Na figura a seguir, você pode observar uma imagem com muitos detalhes,</p><p>para segmentação múltipla utilizaremos o k-means, com um grande</p><p>desbalanço de volume de pixels em seus grupos de cores, em que existem</p><p>muito poucos pixels vermelhos para uma segmentação simples.</p><p>Figura 5 – Cena de Londres</p><p>Fonte: CHUNYIP WONG/iStock.com.</p><p>Já na Figura 6 foi feita uma montagem aplicando k-means com quatro</p><p>agrupamentos diferentes. Na Figura 6 (a) temos somente dois grupos</p><p>(valor k), portanto uma imagem binária; na Figura 6 (b), quatro grupos</p><p>de cores, onde é possível uma separação bem grande entre o fundo</p><p>azul e os prédios no primeiro plano; é importante observar que mesmo</p><p>quando dobramos o número de grupos para k =8 na Figura 6c, não há</p><p>uma grande diferença na imagem segmentada, ainda não conseguimos</p><p>ver os icônicos ônibus vermelhos. Somente quando aplicado um número</p><p>maior de clusters (k = 16) podemos ter uma definição dos veículos</p><p>vermelhos, isto é, atribuído a um grande desbalanço do volume de</p><p>vermelho em relação aos outros grupos de cores.</p><p>44</p><p>Figura 6 – Montagem com quatro valores grupos aplicando k-means</p><p>Fonte: adaptada de CHUNYIP WONG/iStock.com.</p><p>O código com comentários para o processamento e geração da Figura 6 é:</p><p>import numpy as np</p><p>import cv2 as cv</p><p>from matplotlib import pyplot as plt</p><p>img = cv.imread(‘londres2.jpg’) # Leitura e carregamento da</p><p>imagem</p><p>img = cv.cvtColor(img, cv.COLOR_BGR2RGB) # Conversão de cores</p><p>Z = img.reshape((-1,3)) # Conversão de canais para carregamento e</p><p>manipulacao</p><p># Conversão para 32bit (Níveis de cinza de cada canal)</p><p>Z = np.float32(Z)</p><p># Definição de critérios, como iterações e centros</p><p>criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 10,</p><p>1.0)</p><p>45</p><p># Define os títulos do plot</p><p>titles = [‘(a) k=2’, ‘(b) k=4’, ‘(c) k=8’, ‘(d) k=16’]</p><p>ks = [2, 4, 8, 16] # Define os números de grupos</p><p>images = [0,0,0,0] # Inicializa o vetor das 4 imagens</p><p>for i in range(4): # For para plotar todas as imagens</p><p>## Kmeans</p><p># Define o número de partições</p><p>K = ks[i]</p><p># Executa o KMeans em cada imagem</p><p>ret,label,center=cv.kmeans(Z,K,None,criteria,10,cv.KMEANS_</p><p>RANDOM_CENTERS)</p><p>## Reconstrução de canais de cor</p><p>center = np.uint8(center) # Conversão de cores para</p><p>exibição</p><p>res = center[label.flatten()] # Definição de centros</p><p>images[i] = res.reshape((img.shape)) # Reconstrução de</p><p>canais</p><p>## Plot</p><p># Define cada plot em seu lugar</p><p>plt.subplot(2,2,i+1),plt.imshow(images[i])</p><p>plt.title(titles[i], fontsize=8)</p><p>plt.xticks([]),plt.yticks([])</p><p>plt.show() # Plota o resultado</p><p>final</p><p>2.3 Aplicações de segmentação</p><p>As técnicas de segmentação têm aplicações vastas por si só, assim,</p><p>pode-se localizar objetos, localizar e destacar artefatos e utilizar “como</p><p>46</p><p>está”, porém, é possível utilizar uma série de técnicas suplementares</p><p>aprimorar a segmentação ainda mais, dentre elas podemos destacar,</p><p>contagem da área ocupada, medições e comparações.</p><p>Essas características (features) podem gerar entradas para outros</p><p>métodos estatísticos e de machine learning de identificação e</p><p>caracterização de uma imagem.</p><p>3. Detecção de características (feature</p><p>detection)</p><p>Segundo Lindeberg (1998), em processamento de imagens, as</p><p>características são medidas que definem uma imagem, trata-se de</p><p>informações específicas que podem ser extraídas e descritas de uma</p><p>imagem. Em geral, as features são classificadas como limites, cantos,</p><p>regiões e cumes.</p><p>3.1 Algoritmos de detecção e extração de características</p><p>Para Karami, Prasad e Shehata (2017), essas features devem ser</p><p>detectadas em cada imagem, sendo um processo bastante intensivo</p><p>computacionalmente, em que são definidos algoritmos para sua</p><p>detecção. Por sua vez, os algoritmos mais utilizados são SIFT (scale-</p><p>invariant feature transform), SURF (speeded up robust features), ORB</p><p>(oriented FAST and rotated BRIEF) e BRIEF (binary robust independent</p><p>elementary features). Esses algoritmos são usados para definir quais</p><p>pontos da imagem são identificáveis independentemente de escala</p><p>ou orientação. Desse modo, cada um desses pontos deve ser muito</p><p>característico e identificável, sendo chamados de keypoints (LOWE, 2004).</p><p>Na Figura 7 é possível fazer a Feature Matching (comparação e associação</p><p>de features) em duas imagens cujo ângulo, tamanho e contexto é</p><p>47</p><p>totalmente diverso. Além disso, cada linha representa um descritor</p><p>associado a outro em outra imagem.</p><p>Ao detectar esses pontos, é possível agrupá-los em um vetor de</p><p>descritores (descriptor vector) para compará-los com os vetores de outras</p><p>imagens e, assim, detectar objetos, artefatos etc.</p><p>Figura 7 – Detecção de características em duas fotos</p><p>Fontes: https://commons.wikimedia.org/wiki/File:BMW_MASHHAD_BY_PIXOOS_01.jpg e</p><p>https://commons.wikimedia.org/wiki/File:BMW_i3_front.jpg. Acesso em: 24 jun. 2021.</p><p>Esse tipo de associação é muito utilizada para localização de objetos em</p><p>diversas cenas e, até mesmo, reconhecimento de padrões em vídeos.</p><p>O código (DOCUMENTATION..., 2021) que gerou tal comparação é:</p><p>import cv2 as cv</p><p>import matplotlib.pyplot as plt</p><p>img1 = cv.imread(‘bmw1.jpg’,cv.IMREAD_GRAYSCALE) # Carrega imagem</p><p>1</p><p>img2 = cv.imread(‘bmw2.jpg’,cv.IMREAD_GRAYSCALE) # Carrega imagem</p><p>2</p><p>https://commons.wikimedia.org/wiki/File:BMW_MASHHAD_BY_PIXOOS_01.jpg e https://commons.wikimedia.org</p><p>https://commons.wikimedia.org/wiki/File:BMW_MASHHAD_BY_PIXOOS_01.jpg e https://commons.wikimedia.org</p><p>48</p><p># Cria o objeto contendo o algorítmo ORB</p><p>orb = cv.ORB_create()</p><p># Encontrar os Keypoints e Descriptors utilizando ORB</p><p>kp1, des1 = orb.detectAndCompute(img1,None)</p><p>kp2, des2 = orb.detectAndCompute(img2,None)</p><p># create BFMatcher object</p><p>bf = cv.BFMatcher(cv.NORM_HAMMING, crossCheck=True)</p><p># Feature Matching</p><p>matches = bf.match(des1,des2)</p><p># Organiza os Matches pela distância (semelhança)</p><p>matches = sorted(matches, key = lambda x:x.distance)</p><p># Desenha as 15 melhores matches e guarda em uma imagem só</p><p>img3 = cv.drawMatches(img1,kp1,img2,kp2,matches[:15],None,flags=cv.</p><p>DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS)</p><p>plt.imshow(img3),plt.show()</p><p>4. Classificação de imagens</p><p>Assim como acontece com a segmentação de imagens, pode-se</p><p>utilizar a técnica pura para classificar imagens, basta obter o vetor</p><p>de características e compará-las com um dataset de características</p><p>de outras imagens. Porém, ainda, é possível generalizar essas</p><p>características para localizar padrões ainda mais esparsos e abstratos.</p><p>Desse modo, é possível combinar as técnicas de segmentação e extração</p><p>de características com outros métodos já existentes e, até mesmo,</p><p>adicionar inteligência artificial no processo. Existem diversos frameworks</p><p>e algoritmos para classificação de imagens baseadas em features, entre</p><p>eles um se destaca pela sua simplicidade e baixo custo computacional, é</p><p>o BoVW (Bag of Visual Words).</p><p>49</p><p>4.1 BoVW</p><p>Segundo Zhu et al. (2018), o BoVW utiliza a extração de features para criar</p><p>um vocabulário e utiliza uma técnica de processamento de linguagem</p><p>natural (NLP) para contagem da ocorrência das features para então</p><p>proceder com a classificação da imagem.</p><p>Em NLP, o recurso de contagem da frequência de uma palavra é muito</p><p>utilizada para classificar textos, seja pelo assunto, língua, público etc.</p><p>O BoVW utiliza o mesmo conceito, porém, em vez de palavras ele criar</p><p>“palavras visuais” como o nome sugere, ele cria palavras e vocabulário</p><p>com as features extraídas utilizando algum algoritmo de detecção e</p><p>extração, conta a ocorrência delas e classifica as imagens com base na</p><p>frequência de cada palavra visual.</p><p>Há vários algoritmos para classificação de frequência, sejam estatísticos,</p><p>probabilísticos ou inteligentes, mas a entrada é sempre a frequência das</p><p>palavras, como se faz com textos (ZHU et al., 2018).</p><p>Um dos problemas do BoVW é que ele exige treino para classificação,</p><p>portanto, trata-se de uma classificação supervisionada.</p><p>Figura 8 – Esquema de funcionamento do BoVW</p><p>Fonte: ZHU et al. (2018, p. 4).</p><p>50</p><p>Com todos esses conceitos em mãos é importante observar que as</p><p>bases dos métodos mais modernos e complexos tem um fundamento</p><p>bastante simples e criativo, o processamento de imagens utiliza técnicas</p><p>de várias áreas da matemática e estatística para executar tarefas</p><p>complexas, apenas combinando as técnicas ordenadamente.</p><p>Referências</p><p>DOCUMENTATION, OpenCV. Disponível em: http://docs.opencv.org. Acesso em: 10</p><p>abr. 2021.</p><p>KARAMI, Ebrahim; PRASAD, Siva; SHEHATA, Mohamed. Image matching using</p><p>SIFT, SURF, BRIEF and ORB: performance comparison for distorted images. arXiv</p><p>preprint arXiv:1710.02726, 2017.</p><p>LINDEBERG, Tony. Feature detection with automatic scale selection. International</p><p>journal of computer vision, [s. l.], v. 30, n. 2, p. 79-116, 1998.</p><p>LOWE, David G. Distinctive image features from scale-invariant keypoints.</p><p>International journal of computer vision, [s. l.], v. 60, n. 2, p. 91-110, 2004.</p><p>SEZGIN, Mehmet; SANKUR, Bülent. Survey over image thresholding techniques and</p><p>quantitative performance evaluation. Journal of Electronic</p><p>Imaging, [s. l.], v. 13, n. 1, p. 146-165, 2004.</p><p>TATIRAJU, Suman; MEHTA, Avi. Image Segmentation using k-means clustering, EM</p><p>and Normalized Cuts. Department of EECS, [s. l.], v. 1, p. 1-7, 2008.</p><p>ZHU, Qiqi et al. A deep-local-global feature fusion framework for high spatial</p><p>resolution imagery scene classification. Remote Sensing, [s. l.], v. 10, n. 4, p. 568,</p><p>2018. Disponível em: https://www.mdpi.com/2072-4292/10/4/568. Acesso em: 24</p><p>jun. 2021.</p><p>http://docs.opencv.org</p><p>https://www.mdpi.com/2072-4292/10/4/568</p><p>51</p><p>Métodos inteligentes em</p><p>processamento de imagens</p><p>Autoria: Yuri Vasconcelos de Almeida Sá</p><p>Leitura crítica: Gustavo de Lins e Horta</p><p>Objetivos</p><p>• Apresentar aplicações em visão computacional</p><p>usando machine learning e deep learning.</p><p>• Conceituar visão robótica.</p><p>• Introduzir os modelos de classificação de imagens.</p><p>• Descrever os principais métodos de detecção de</p><p>objetos.</p><p>• Apresentar YOLO.</p><p>52</p><p>1. Introdução</p><p>Neste tema, apresentaremos os conceitos e as principais características</p><p>dos modelos inteligentes para processamento de imagens. Além disso,</p><p>detalharemos como utilizar os mais modernos de detecção de objetos</p><p>inteligente e como você pode utilizá-los em suas aplicações.</p><p>2. Métodos computacionais inteligentes</p><p>Não existe um consenso sobre o termo de inteligência artificial, muito</p><p>menos sobre a utilização de inteligência em aplicações computacionais.</p><p>Para essa aplicação tratamos como “inteligência” a capacidade do</p><p>computador em tratar a incerteza, imprecisão e ambiguidade do</p><p>pensamento humano (CHOUHAN; KAUL; SINGH, 2019).</p><p>Esse</p><p>ramo da computação ficou conhecido como Soft Computing e foi</p><p>iniciada por Lotfi Zadeh, com o seu artigo seminal de 1969, descrevendo</p><p>a Lógica Fuzzy como um sistema computacional capaz de resolver</p><p>problemas com um grau de complexidade mais elevado ao que a lógica</p><p>booleana (binária) era capaz.</p><p>Segundo os autores, a Soft Computing é um consórcio entre Lógica Fuzzy</p><p>(extensão da lógica formal por meio de conjuntos de pertencimento),</p><p>Redes Neurais Artificiais (do inglês ANN, é um método utilizado</p><p>para a aproximação de funções lineares capaz de fazer regressão e</p><p>classificação) e Algoritmo Genético (técnica inspirada pela biologia da</p><p>combinação de duas classes de genes, gera uma terceira contendo</p><p>características de ambas) (CHOUHAN, KAUL; SINGH, 2019).</p><p>Com a evolução dos sistemas computacionais, criaram-se muitos</p><p>métodos de Soft Computing para aplicações específicas.</p><p>53</p><p>3. Segmentação de imagens</p><p>A segmentação de imagens é o nome que se dá ao mecanismo</p><p>de separar a imagem em trechos de interesse por meio de suas</p><p>características, como textura, intensidade, cor, entre outras.</p><p>Os segmentos selecionados representam um interesse na imagem e</p><p>justificam sua segregação.</p><p>3.1 Segmentação discricionária</p><p>Há diversas aplicações da técnica, sendo utilizadas de forma direta em</p><p>segmentação de imagens médicas para diagnóstico, imagens de satélite</p><p>para localização de áreas de interesse (como desmatamento, tipo de</p><p>solo, aplicações agrícolas, entre outras).</p><p>Já os métodos de segmentação dependem de parâmetros e</p><p>configurações, porém, eles são muito utilizados de forma discricionária e</p><p>atingem resultados satisfatórios mesmo com esses parâmetros estáticos</p><p>definidos pelo operador.</p><p>3.2 Segmentação inteligente</p><p>Todas as segmentações, usadas em conjunto ou separadas, são</p><p>consideradas métodos inteligentes e sua aplicação na segmentação de</p><p>imagens é de extrema valia, por se tratar de uma representação de um</p><p>problema incerto.</p><p>Assim, ela é feita de semelhanças não identidades, uma vez que imagens</p><p>utilizam uma representação de dados reais, incerta e imprecisa é natural</p><p>que seu processamento seja feito por meio de métodos capazes de</p><p>acomodar essas características.</p><p>54</p><p>4. Visão computacional com aprendizado de</p><p>máquina</p><p>As técnicas de aprendizado de máquina (machine learning) são tão</p><p>antigas quanto a computação em si.</p><p>O nome intimida, contudo, machine learning nada mais é do que tentar</p><p>fazer com que os computadores e sistemas computacionais, em geral,</p><p>detectem padrões e os aplique de forma automatizada.</p><p>Há várias técnicas de aprendizado de máquina vêm sendo aplicadas</p><p>para atingir os mais diversos objetivos, tanto em datasets numéricos</p><p>como em imagens. Então, houve um grande esforço no sentido de se</p><p>criar técnicas e métodos para reconhecimento de padrões imagéticos</p><p>contidos em bancos de imagens temáticos.</p><p>As imagens são matrizes de valores de pixels, fazendo com que cada</p><p>imagem seja um dataset completo, com elevado número de dados para</p><p>se avaliar. Isso demanda muitos recursos computacionais, exigindo não</p><p>só poder de processamento como poder de armazenamento.</p><p>Logo, essa limitação foi mitigada por meio da evolução exponencial da</p><p>capacidade de processamento do hardware, como descrito pela Lei de</p><p>Moore (MACK, 2011).</p><p>Os modelos tradicionais de Machine Learning vêm da estatística, cálculo</p><p>e álgebra linear, sendo baseados em técnicas tradicionais de redução de</p><p>polinômios como regressão linear e classificadores. Há uma convenção</p><p>que a evolução do Machine Learning é o Deep Learning, onde existe um</p><p>aumento das camadas de aprendizado (camadas de neurônios artificiais)</p><p>entre a camada de entrada (dado bruto) e de saída (resultado), se</p><p>tornando redes de aprendizado profundo (ZHAO et al., 2019).</p><p>55</p><p>Esses modelos são muito utilizados em aplicações de computação</p><p>comercial, como um meio de se prever resultados, classificar dados e</p><p>planejamento (forecasting). Por sua vez, eles funcionam por meio de</p><p>treinamento e teste, ou seja, uma massa de dados é utilizada como</p><p>treinamento e, por meio de métodos estatísticos e algébricos, uma</p><p>aproximação de uma função linear é feita. Assim, quando a métrica de</p><p>erro é satisfeita, o modelo pode ser considerado treinado e está pronto</p><p>para a produção. Desse modo, ele faz a previsões por meio de uma</p><p>função estimadora (estimador) baseada em uma matriz de pesos.</p><p>O problema da regressão linear simples e pura para processamento</p><p>de imagens é justamente esse, ele consome muitos recursos e, muitas</p><p>vezes, é impossível fazer com que o modelo atinja as métricas de erro,</p><p>criando modelos que erram muito em suas previsões e classificações.</p><p>Com a evolução do hardware, o aumento da produção de imagens</p><p>digitais como um todo e a popularização de softwares capazes de lidar</p><p>com grandes volumes de dados, os modelos avançados e específicos</p><p>para processamento de imagens foram sendo criados e aperfeiçoados e,</p><p>com velocidade incrível, colocados em produção.</p><p>Dentre os modelos de processamento de imagens, as redes neurais</p><p>convolucionais (CNN) ganham um papel de destaque devido sua</p><p>performance superior, ultrapassando a capacidade de classificação de</p><p>imagens humana.</p><p>Contudo, os modelos têm uma diferença das redes neurais tradicionais,</p><p>em que a primeira camada é feita de filtros convolucionais que são</p><p>aplicados em uma rede neural convencional, tornando-os modelos</p><p>muito eficientes.</p><p>Para Shrivastava (2021), em um lapso de apenas sete anos, os modelos</p><p>CNN evoluíram de 30% de erro em 2010 (NEC-UIUC) para incríveis 2%</p><p>em 2018 (SENets) (Figura 1).</p><p>56</p><p>Figura 1 – Evolução da performance dos modelos de classificação de</p><p>imagens com aprendizado de máquina</p><p>Fonte: Shrivastava (2021, [s.p.]).</p><p>Esse nível de performance só pode ser atingido com muitos dados</p><p>para treino das CNN, onde ela vai procurar por características únicas</p><p>nas imagens, realizar a convolução de filtros e treinar a rede neural do</p><p>modelo para classificar a imagem conforme o treinamento.</p><p>Embora o resultado seja muito elevado, esse método de classificação é</p><p>supervisionado, ou seja, depende que o dataset de treino seja classificado</p><p>anteriormente e apresentado ao modelo já separado em suas classes.</p><p>5. Visão robótica</p><p>A visão robótica é o processamento de imagens quando utilizado em</p><p>alguma aplicação com robôs.</p><p>Em geral, os processos são separados entre o processamento e a</p><p>aplicação. Então, existe um cruzamento das disciplinas de pesquisa e os</p><p>modelos de processamento puro são aplicados na robótica.</p><p>57</p><p>A habilidade de reconhecer objetos é uma funcionalidade elementar de</p><p>robôs e eles utilizam sensores de todos os tipos (térmicos, acústicos,</p><p>de pressão, entre outros) para executar o reconhecimento, para tanto,</p><p>a utilização de imagens genéricas, provenientes de câmeras comuns,</p><p>representa uma grande vantagem para o desenvolvimento e construção</p><p>de sistemas robóticos (AMMIRATO et al., 2017).</p><p>A maior aplicação da visão robótica (e robótica como um todo) é na</p><p>indústria, em que sistemas robóticos são utilizados virtualmente em</p><p>todas as fases da produção, desde a aquisição de matéria-prima,</p><p>separação, beneficiamento e distribuição.</p><p>Na Figura 2, você pode ver um sistema robótico para identificação e</p><p>separação de itens em uma esteira rolante.</p><p>Figura 2 – Sistema de Visão Robótica em produção</p><p>Fonte: https://commons.wikimedia.org/wiki/File:Machine_Vision_System.jpg/. Acesso em:</p><p>24 jun. 2021.</p><p>Esse tipo de sistema pode ser utilizado para remover peças defeituosas</p><p>da linha de produção, separar itens baseados em contagem por</p><p>embalagem, embalagens fora de padrão e, até mesmo, posição dentro</p><p>da embalagem.</p><p>https://commons.wikimedia.org/wiki/File:Machine_Vision_System.jpg/</p><p>58</p><p>Porém, outros tipos de sistemas podem encaminhar objetos baseados</p><p>em seu tamanho, textura ou outras características visuais.</p><p>Nesse sentido, muitos sistemas robóticos industriais, como braços e</p><p>gruas, utilizam imagens para detecção e calibragem posicional, a fim de</p><p>obter parâmetros do ambiente para execução de sua tarefa.</p><p>6. Detecção de objetos</p><p>A detecção de objetos em processamento de imagens é a capacidade de</p><p>detectar um objeto e classificá-lo de acordo com a aplicação.</p><p>Eles são, comumente, utilizados em aplicações industriais e fazem parte</p><p>de uma vasta gama de aplicações que vão desde aspectos meramente</p><p>computacionais (como geração de metadados sobre as próprias</p><p>imagens), robótica de produção (onde em geral é utilizado para localizar</p><p>objetos e executar o roteamento e seleção baseado em parâmetros) e,</p><p>até mesmo, em aplicações de mobilidade, como os sistemas de direção</p><p>autônoma de veículos.</p><p>A detecção de objetos é um ramo da classificação de imagens e é</p><p>orientada a regiões que contém os objetos, tornando a tarefa posicional.</p><p>As aplicações em segurança têm sido muito estudadas e utilizadas em</p><p>larga escala, principalmente em zonas de segurança com grande fluxo</p><p>de pessoas, como aeroportos e shoppings.</p><p>6.1 Métodos discricionários</p><p>A detecção de objetos utilizando métodos de computação discricionária é</p><p>feita a partir das características da imagem em si, como textura, iluminação,</p><p>posição e, até mesmo, por meio de valores diferenciais na imagem.</p><p>59</p><p>Geralmente, as ferramentas utilizadas nesse método envolvem o</p><p>encadeamento de filtros convolucionais e morfologia.</p><p>Assim, os métodos discricionários, em geral, têm uma limitação</p><p>em relação à escala e rotação. Portanto, sua aplicação é voltada à</p><p>detecção de objetos conhecidos em cenas conhecidas, sendo muito</p><p>utilizada em situações de processamento orientado à função, ou seja,</p><p>os objetos são esperados e a cena contém características previsíveis,</p><p>como ângulo, resolução, canais, entre outros. Há exemplos clássicos</p><p>disso na indústria para localização de peças defeituosas, detectores de</p><p>desgaste de ferramentas, entre outras. Além disso, ela é muito utilizada</p><p>na agroindústria para detectar frutos e vegetais não apropriados para</p><p>distribuição e venda.</p><p>6.2 Métodos de aprendizado de máquina</p><p>Embora os métodos de computação discricionários sejam utilizados</p><p>para detectar objetos e sua eficiência é satisfatória, as suas limitações</p><p>as tornam inviáveis para a generalização. Desse modo, os modelos</p><p>utilizados não podem ser utilizados com qualquer aplicação, em que</p><p>devem ser projetados e planejados para a aplicação específica.</p><p>Para situações em que o reconhecimento deve ser feito de forma</p><p>genérica, com imagens em ângulos diversos e cores diferentes a cada</p><p>amostra, os modelos de detecção de objeto utilizando Machine Learning</p><p>são muito utilizados (ZHAO et al., 2019).</p><p>Os métodos baseados em redes neurais convolucionais são muito</p><p>utilizados, pois automatizam todas as fases da detecção e de</p><p>reconhecimento de objetos.</p><p>Em geral, as fases para detecção de objetos são seleção de região, extração</p><p>de características e classificação. Nesse contexto, esses métodos são muito</p><p>utilizados em Big Data e grandes operadores de dados para classificação</p><p>60</p><p>massiva e detecção de objetos nas imagens para sua devida classificação</p><p>e categorização, assim, é possível gerar muita metainformação a partir da</p><p>detecção e classificação dos objetos em uma imagem. Além disso, também,</p><p>é possível localizar as imagens por meio de texto, uma vez que é possível</p><p>localizá-las por meio de seus objetos.</p><p>7. Reconhecimento facial inteligente</p><p>No início do processamento computacionais de imagens, os métodos de</p><p>biometria eram utilizados para o reconhecimento facial. Isso era atingido</p><p>por meio da identificação dos componentes faciais (olhos, nariz, boca,</p><p>entre outros). Dessa forma, é possível medir as distâncias entre esses</p><p>elementos e criar uma assinatura do rosto da pessoa, conforme a Figura</p><p>3 (CONCEIÇÃO; NUNES; ROCHA, 2020).</p><p>Figura 3 – Exemplo de identificação de pontos chave em um rosto</p><p>Fonte: Prostock-Studio/iStock.com.</p><p>Este método é capaz de identificar uma face com relativa precisão,</p><p>porém, exige que o ângulo das imagens de treino e das amostras sejam</p><p>61</p><p>sempre os mesmos e, por isso, torna impossível a identificação facial em</p><p>cenas diversas. Além disso, esse método apresenta uma redução muito</p><p>grande de performance com alterações faciais transientes, como barba,</p><p>óculos, entre outros adereços.</p><p>Os métodos de machine learning são capazes de identificar uma face</p><p>com base no treino e classificação de objetos de forma otimizada.</p><p>Em geral, o algoritmo identifica os ativos faciais e os identifica segundo</p><p>a heurística do modelo (ZHAO et al., 2019), muitas vezes identificando a</p><p>expressão facial (alegria, tristeza, suspeição, entre outras).</p><p>É preciso notar que os modelos de machine learning, em geral, têm</p><p>pouca justificativa para suas respostas, em oposição aos métodos</p><p>discricionários, onde cada passo da decisão pode ser refeito, estudado</p><p>e analisado. Por esse motivo, os modelos de machine learning são</p><p>chamados de caixa-preta. Esses modelos abstraem de forma complexa</p><p>o dado e o fluxo de informações, podendo torná-los incompreensível</p><p>para humanos. A única maneira de efetivamente testar um modelo</p><p>com machine learning é através por meio de seu resultado e métricas de</p><p>classificação (CHOUHAN; KAUL; SINGH, 2018).</p><p>8. YOLO</p><p>YOLO é um método de detecção de objetos focado em processamento</p><p>em tempo real, a sigla tem origem do inglês, You Only Look Once (você</p><p>olha somente uma vez), existem várias versões e iterações do modelo</p><p>original, mas todas elas seguem o mesmo princípio: detecção de objetos</p><p>em tempo real.</p><p>Em contraste com sistemas de detecção tradicionais, onde</p><p>classificadores e localizadores eram utilizados sequencialmente</p><p>localizando objetos e os classificando individualmente (ZHAO et al.,</p><p>62</p><p>2019), em etapas separadas, o modelo YOLO aplica uma rede neural</p><p>convolucional na imagem inteira (Figura 4). Essa rede profunda divide</p><p>a imagem em regiões e deduz seus limites e probabilidades para cada</p><p>região, em que eles são avaliados e suas probabilidades calculadas.</p><p>Figura 4 – Passos para detecção de objetos YOLO</p><p>Fonte: Redmon et al. (2016, p. 780).</p><p>Como você pode ver, trata-se de um modelo inovador em sua heurística,</p><p>pois não classifica a imagem nem localiza o objeto, ele faz todas as</p><p>etapas em um passo somente, daí o nome YOLO (você olha somente</p><p>uma vez), utilizando o contexto global da imagem, utilizando somente</p><p>uma rede neural em contraposição aos métodos que utilizam várias</p><p>redes para cada objeto detectado (ZHAO et al., 2019).</p><p>Como somente uma rede neural é utilizada para a imagem como um</p><p>todo, pode-se identificar múltiplos objetos e manter a performance de</p><p>imagens com poucos objetos.</p><p>63</p><p>Contudo, ele ainda é baseado em redes neurais, portanto, exige</p><p>treinamento, mas, em razão da característica genérica do trabalho, o</p><p>próprio sistema oferece modelos pré-treinados com os objetos que você</p><p>pode utilizar sem ter que treinar seu próprio dataset (REDMON et al.,</p><p>2016).</p><p>Embora seja um modelo recente, ele é muito utilizado quando é</p><p>necessário reconhecimento rápido e preciso, como em vídeos para</p><p>identificação e rastreamento de objetos. Por sua vez, sua característica</p><p>de reconhecimento veloz o torna particularmente atraente para</p><p>processamento de muitas imagens por segundo.</p><p>No entanto, devido a natureza computacional do método, as aplicações</p><p>são todas voltadas ao processamento em GPU (Graphics Processing Unit),</p><p>as implementações em CPUs convencionais ainda não são otimizadas</p><p>ou faltam aspectos importantes, como treino e processamento paralelo</p><p>(REDMON et al., 2016).</p><p>Referências</p><p>AMMIRATO, Phil et al. A dataset for developing and benchmarking active vision. In:</p><p>IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA). 2017,</p><p>Singapura. Anais […] Singapura: IEEE, 2017. p. 1378-1385.</p><p>CHOUHAN, Siddharth Singh; KAUL, Ajay; SINGH, Uday Pratap. Image segmentation</p><p>using computational intelligence techniques. Archives of Computational Methods</p><p>in Engineering, [s. l.], v. 26, n. 3, p. 533-596, 2019. Disponível em: https://www.</p><p>semanticscholar.org/paper/Image-Segmentation-Using-Computational-Intelligence-</p><p>Chouhan-Kaul/dd2ba570f553659080e2433461f11696f8c9a722.</p>

Mais conteúdos dessa disciplina