Baixe o app para aproveitar ainda mais
Prévia do material em texto
ANÁLISE TOPOGRÁFICA ESTEREOSCÓPICA PARA AVALIAÇÃO POSTURAL Alice Fontes Projeto de Graduação apresentado ao Curso de Engenharia Eletrônica e de Computação da Escola Politécnica, Universidade Federal do Rio de Janeiro, como parte dos requisitos necessários à obtenção do título de Engenheiro. Orientador: Mauricio Cagy Rio de Janeiro Março de 2019 !ii ANÁLISE TOPOGRÁFICA ESTEREOSCÓPICA PARA AVALIAÇÃO POSTURAL Alice Fontes PROJETO DE GRADUAÇÃO SUBMETIDO AO CORPO DOCENTE DO CURSO DE ENGENHARIA ELETRÔNICA E DE COMPUTAÇÃO DA ESCOLA POLITÉCNICA DA UNIVERSIDADE FEDERAL DO RIO DE JANEIRO COMO PARTE DOS REQUISITOS NECESSÁRIOS PARA A OBTENÇÃO DO GRAU DE ENGENHEIRO ELETRÔNICO E DE COMPUTAÇÃO Rio de Janeiro – RJ, Brasil Março de 2019 !iii Declaração de Autoria e de Direitos Eu, Alice Fontes CPF 143.505.167-00, autora da monografia Análise Topográfica Estereoscópica para Avaliação Postural, subscrevo, para os devidos fins, as seguintes informações: 1. A autora declara que o trabalho apresentado na disciplina de Projeto de Graduação da Escola Politécnica da UFRJ é de sua autoria, sendo original em forma e conteúdo. 2. Excetuam-se do item 1. eventuais transcrições de texto, figuras, tabelas, conceitos e ideias, que identifiquem claramente a fonte original, explicitando as autorizações obtidas dos respectivos proprietários, quando necessárias. 3. A autora permite que a UFRJ, por um prazo indeterminado, efetue em qualquer mídia de divulgação, a publicação do trabalho acadêmico em sua totalidade, ou em parte. Essa autorização não envolve ônus de qualquer natureza à UFRJ, ou aos seus representantes. 4. A autora pode, excepcionalmente, encaminhar à Comissão de Projeto de Graduação, a não divulgação do material, por um prazo máximo de 01 (um) ano, improrrogável, a contar da data de defesa, desde que o pedido seja justificado, e solicitado antecipadamente, por escrito, à Congregação da Escola Politécnica. 5. A autora declara, ainda, ter a capacidade jurídica para a prática do presente ato, assim como ter conhecimento do teor da presente Declaração, estando ciente das sanções e punições legais, no que tange a cópia parcial, ou total, de obra intelectual, o que se configura como violação do direito autoral previsto no Código Penal Brasileiro no art. 184 e art.299, bem como na Lei 9.610. 6. A autora é a única responsável pelo conteúdo apresentado nos trabalhos acadêmicos publicados, não cabendo à UFRJ, aos seus representantes, ou ao(s) orientador(es), qualquer responsabilização/ indenização nesse sentido. 7. Por ser verdade, firmo a presente declaração. !iv UNIVERSIDADE FEDERAL DO RIO DE JANEIRO Escola Politécnica – Departamento de Eletrônica e de Computação Centro de Tecnologia, bloco H, sala H-217, Cidade Universitária Rio de Janeiro – RJ CEP 21949-900 Este exemplar é de propriedade da Universidade Federal do Rio de Janeiro, que poderá incluí-lo em base de dados, armazenar em computador, microfilmar ou adotar qualquer forma de arquivamento. É permitida a menção, reprodução parcial ou integral e a transmissão entre bibliotecas deste trabalho, sem modificação de seu texto, em qualquer meio que esteja ou venha a ser fixado, para pesquisa acadêmica, comentários e citações, desde que sem finalidade comercial e que seja feita a referência bibliográfica completa. Os conceitos expressos neste trabalho são de responsabilidade do(s) autor(es). !v AGRADECIMENTOS À minha família, que tornou tudo isso possível. Ao meu orientador, pelo suporte, dedicação, incentivo е confiança. Aos professores que tive o prazer de conhecer durante essa jornada, que compartilharam seus conhecimentos e contribuíram para a minha formação não apenas técnica, mas profissional e pessoal. À esta universidade e a todo o corpo de funcionários, que possibilitaram meus estudos. Aos amigos que fizeram parte do percurso, obrigada pelo apoio, conselhos e incentivo. Ao povo brasileiro que contribuiu de forma significativa à minha formação nesta Universidade. Este projeto é uma pequena forma de retribuir o investimento e a credibilidade em mim depositados. À Deus, pela saúde, força e incontáveis bênçãos. A todos que direta оu indiretamente fizeram parte dа minha formação, muito obrigada. !vi RESUMO Desvios na coluna vertebral têm-se tornado cada vez mais comuns, especialmente com os hábitos de vida atuais. Quando identificado um problema de coluna, o paciente é encaminhado a um tratamento específico e realiza um acompanhamento para saber se o tratamento está sendo efetivo. Na maioria dos casos, o acompanhamento é feito a cada dois ou três meses, por meio de consultas de rotina e exames de raios X. O exame de raios X produz uma radiação ionizante, que, ao longo do tempo, pode causar câncer. Esse é um risco que aumenta com o número de exposições somadas ao longo da vida do indivíduo. Dado que o paciente que possui um desvio de coluna será submetido a exames de raios X periodicamente durante o acompanhamento, mostra-se importante encontrar outra maneira de realizar essa análise postural. Este projeto propõe o desenvolvimento de um sistema simples e portátil baseado em estereoscopia capaz de realizar uma análise topográfica das costas do paciente, bem como a reconstrução em 3D, a fim de, posteriormente, permitir uma avaliação postural. O sistema estereoscópico foi construído e calibrado de modo que as imagens passaram por um processo de retificação e correspondência de pontos para gerar um mapa de profundidade, obtendo-se, finalmente, a adequada reconstrução 3D das costas de um manequim de plástico. Tendo em vista a simplicidade e o baixo custo, esse sistema foi desenvolvido de modo a ser facilmente implementado em clínicas e consultórios ortopédicos e fisioterápicos, servindo de suporte ao especialista. A vantagem desse método é a minimização de erros de paralaxe, o baixo custo, a facilidade de implementação e a portabilidade, bem como, possivelmente, vir a substituir a utilização do exame de raios X. Palavras-Chave: estereoscopia, avaliação postural, análise topográfica, reconstrução tridimensional. !vii ABSTRACT Deviations of the vertebral column have become increasingly common, especially with current lifestyle habits. When a spinal problem is identified, the patient is referred to a specific treatment and a follow-up is performed to see if the treatment is being effective. In most cases, follow-up is performed every 2 or 3 months by routine visits and X-ray examinations. X-ray examination produces ionizing radiation, which, over time, can cause cancer. This is a risk that increases with the number of exposures added over the life of the individual. Given that the patient who has a spine deviation will undergo X-ray examinations periodically during follow-up, it is interesting to find another way to perform this postural analysis. This project proposes the development of a simple and portable system based on stereoscopy capable of performing a topographic analysis of the patient's back, as well as 3D reconstruction, in order to subsequently allow a postural evaluation. The stereoscopic system was built and calibrated, then the images underwent a process of rectification and point matching to create a depth map, so that one obtained adequate 3D reconstruction of the back of a plastic dummy. In view of the simplicity and low cost, this system was developed so that it can be easily implemented in orthopedic and physiotherapeutic clinics, providing support to the specialist. The advantage of this method is the minimization of parallax errors, low cost, easy implementation and portability, as well as possibly replacing X-ray usage. Key-words: stereo imaging, postural evaluation, topographic analysis, three-dimensional reconstruction. !viii LISTA DE ABREVIATURAS E SIGLAS BM- block matching cl - ponto principal do plano de imagem esquerdo cr - ponto principal do plano de imagem direito cx - coordenada x do centro óptico cy - coordenada y do centro óptico cx_left - coordenada x do ponto principal do plano de imagem esquerdo cx_right - coordenada x do ponto principal do plano de imagem direito d - disparidade DLT - Transformada Linear Direta DSLR - Digital Single Lens Reflex E - matriz essencial EI - Escoliose Idiopática el - epipolo esquerdo er - epipolo direito F - matriz fundamental fl - distância focal da câmera esquerda fr - distância focal da câmera direita fx - coordenada x da distância focal fy - coordenada y da distância focal mSv - milisievert Ol - centro de projeção da câmera esquerda OMS - Organização Mundial da Saúde Or - centro de projeção da câmera direita pc - ponto no plano da imagem Πl - plano de projeção esquerdo Πr - plano de projeção direito ply - polygon file format Po - ponto no mundo físico Q - matriz de reprojeção R - matriz de rotação SAD - soma de diferença absoluta SGBM - semi-global block matching T - vetor de translação UFRJ – Universidade Federal do Rio de Janeiro xl - coordenada horizontal do ponto na câmera esquerda xr - coordenada horizontal do ponto na câmera direita !ix Z - profundidade 3D - tridimensional 2D - bidimensional LISTA DE FIGURAS Figura 3.1: Formação da imagem estereoscópica pelos olhos e cérebro. 17 ............................................ Figura 3.2: Imagem com o uso da profundidade de campo. 18 ................................................................ Figura 4.1: Representação do modelo de câmera pinhole. 21 ................................................................... Figura 4.2: Representação do sistema de coordenadas no modelo pinhole. 22 ........................................ Figura 4.3: Convertendo da coordenada do objeto para a coordenada da câmera. 23 .............................. Figura 4.4: à esquerda, um objeto sem distorção e, à direita, o mesmo objeto com distorção radial. 25 . Figura 4.5: Imagem das câmeras esquerda e direita, com o padrão xadrez encontrado. 27 ..................... Figura 5.1: Com um sistema estéreo perfeitamente alinhado e não distorcido e correspondência conhecida, a profundidade Z pode ser encontrada por semelhança de triângulos; os raios principais das câmeras começam nos centros de projeção Ol e Or e se estendem pelos pontos principais dos dois planos de imagem em cl e cr. 29 ............................................................................................................... Figura 5.2: A profundidade e a disparidade estão inversamente relacionadas, de modo que a medição de profundidade refinada é restrita a objetos próximos. 30 ...................................................................... Figura 5.3: Sistema de coordenadas estéreo usado pelo OpenCV para câmeras retificadas e sem distorção: as coordenadas de pixel são relativas ao canto superior esquerdo da imagem e os dois planos são alinhados por linha; as coordenadas da câmera são relativas ao centro de projeção da câmera esquerda. 31 ............................................................................................................................................... Figura 5.4: O plano epipolar é definido pelo ponto P observado e os dois centros de projeção, Ol e Or; os epipolos estão localizados no ponto de interseção da linha que une os centros de projeção e os dois planos de projeção. 33 ............................................................................................................................... Figura 5.5: A geometria essencial da imagem estéreo é capturada pela matriz essencial E, que contém todas as informações sobre a translação T e a rotação R, que descrevem a localização da segunda câmera em relação à primeira em coordenadas físicas. 34 ....................................................................... Figura 5.6: O objetivo é matematicamente (em vez de fisicamente) alinhar as duas câmeras em um único plano de visualização, de modo que as linhas de pixels entre as câmeras fiquem exatamente alinhadas entre si. 36 ................................................................................................................................. Figura 5.7: Retificação estéreo: o par de imagens originais, esquerda e direita (painéis superiores) e o par de imagens retificado, esquerda e direita (painéis inferiores); nota-se que a distorção (no topo do tabuleiro de xadrez) foi corrigida e as linhas de varredura estão alinhadas nas imagens retificadas. 37 .. Figura 5.8: Retificação estéreo: para a câmera esquerda e direita, a imagem bruta (a) é tornada sem distorção (b), retificada (c) e recortada (d) para focar áreas sobrepostas entre as duas câmeras; o cálculo da retificação funciona de trás para frente, de (c) para (a). 38 ..................................................... Figura 5.9. A correspondência estéreo começa atribuindo correspondências de pontos entre linhas correspondentes nas imagens esquerda e direita: imagens esquerda e direita de uma lâmpada (painel superior); uma ampliação de uma única linha de varredura (painel do meio); visualização das correspondências atribuídas (painel inferior). 40 ...................................................................................... Figura 5.10: Qualquer correspondência na imagem à direita de um recurso na imagem à esquerda deve ocorrer na mesma linha e no mesmo ponto de coordenada (ou à esquerda dele), onde a pesquisa de correspondência começa no ponto minDisparity (aqui, 0) e se move para a esquerda para o número definido de disparidades. 41 ...................................................................................................................... !x Figura 5.11. Cada linha representa um plano de disparidade constante em pixels inteiros de 20 a 12; um alcance de busca de disparidade de cinco pixels cobrirá diferentes faixas de "horopters", como mostrado pelas setas verticais, e diferentes limites de disparidades máximas estabelecem diferentes “horopters”. 41 .......................................................................................................................................... Figura 5.12: Uma disparidade fixa forma um plano de distância fixa das câmeras. 42 ............................ Figura 5.13: Exemplo de saída de mapas de profundidade (para uma caneca e uma cadeira) calculados usando cv.findStereoCorrespondenceBM() e cv2.reprojectImageTo3D(). 43 .......................................... Figura 6.1: webcams e computador. 45 ..................................................................................................... Figura 6.2: manequim utilizado como dummy postural. 46 ..................................................................... Figura 6.3: folha com padrão xadrez usada para calibração das câmeras. 46 ........................................... Figura 7.1: Múltiplas imagens coletadas do padrão xadrez em diferentes posições, com as quinas encontradas. 48 .......................................................................................................................................... Figura 7.2: Imagens (câmera esquerda e direita) do tabuleiro antes (em cima) e após (embaixo) a retificação. Observar a área preta nas imagens retificadas, que são referentes aos locais onde não existem correspondência entre os pontos das imagens, são áreas contempladas apenas por uma das câmeras. 50 ................................................................................................................................................ Figura 7.3: Linhas horizontais traçadas antes (em cima) e após (embaixo) a retificação. Observar que, nas imagens acima, os pontos correspondentes não estão na mesma linha. Nas imagens abaixo, é possível verificar todos os pontos correspondentes nas mesmas linhas, sendo assim linhas epipolares. 51 Figura 7.4: Imagens do dummy remapeadas.52 ....................................................................................... Figura 7.5: Mapa de profundidade. 53 ...................................................................................................... Figura 7.6: Reconstrução 3D. 54 ............................................................................................................... Figura 7.7: acima, imagens coletadas do dummy. Abaixo, o mapa de profundidade obtido e a reprojeção 3D. 55 ...................................................................................................................................... Figura 7.8: acima, outras imagens coletadas do dummy. Abaixo, o mapa de profundidade obtido e a reprojeção 3D. 56 ...................................................................................................................................... Figura 7.9: Mesmo conjunto de imagens estereoscópicas da Figura 7.7, mas com parâmetros diferentes para a construção do mapa de profundidade (mesmos parâmetros usados na Figura 7.10). 57 ............... Figura 7.10: Mesmo conjunto de imagens estereoscópicas da Figura 7.8, mas com parâmetros diferentes na construção do mapa de profundidade. Observa-se a reprojeção 3D diferente. 58 .............. Figura 7.11: Imagens esquerda e direita do manequim com a reflexão da luz. 59 ................................... Figura 7.12: Tentativa de mudar o ponto de incidência da luz. 59 ............................................................ Figura 7.13: Tentativa de reconstruir uma mão segurando um caminhão de brinquedo, imagens coletadas (acima) e retificadas (abaixo). 60 .............................................................................................. Figura 7.14: Mapa de profundidade da Figura 7.13. 60 ............................................................................ Figura 7.15: Reconstrução 3D da Figura 7.13. 61 .................................................................................... Figura 7.16: Vista rotacionada da reconstrução 3D da Figura 7.13. 61 .................................................... Figura 7.17: Outra vista da reconstrução 3D da Figura 7.13, levemente mais rotacionada. 62................ !xi SUMÁRIO Capítulo 1 Introdução 1 1.1 – Tema 1 .............................................................................................................................................. 1.2 – Delimitação 1 ................................................................................................................................... 1.3 – Justificativa 1 ................................................................................................................................... 1.4 – Objetivos 2 ....................................................................................................................................... 1.5 – Metodologia 3 .................................................................................................................................. 1.6 – Descrição 5 ....................................................................................................................................... Capítulo 2 Motivação 6 2.1 – Problemas posturais 6 ...................................................................................................................... 2.1.1 – Escoliose 6 .................................................................................................................................... 2.1.2 – Diagnóstico 7 ................................................................................................................................ 2.1.3 – Tratamento 10 ................................................................................................................................ 2.2 – Riscos do Exame de Raios X 12 ...................................................................................................... 2.3 – Alternativa ao Exame de Raios X 14 ............................................................................................... Capítulo 3 Métodos 16 3.1 – Fotogrametria 16 .............................................................................................................................. 3.2 – Estereoscopia 16 ............................................................................................................................... 3.3 – Aplicações da estereoscopia 17 ........................................................................................................ 3.4 – Construção do sistema estereoscópico 18 ........................................................................................ 3.5 – Visão Computacional 19 .................................................................................................................. Capítulo 4 Calibração de Câmeras 20 4.1 – Modelo da câmera: pinhole 21 ......................................................................................................... 4.2 – Parâmetros intrínsecos 22 ................................................................................................................. 4.3 – Parâmetros extrínsecos 22 ................................................................................................................ 4.4 – Distorções nas lentes 24 ................................................................................................................... 4.5 – Métodos de calibração 25 ................................................................................................................. 4.6 – Método escolhido 25 ........................................................................................................................ Capítulo 5 Sistema Estéreo 28 5.1 – Visão 3D 28 ...................................................................................................................................... 5.2 – Imagem estéreo 28 ........................................................................................................................... 5.3 – Triangulação 29 ................................................................................................................................ !xii 5.4 – Geometria Epipolar 32 ..................................................................................................................... 5.5 – Matriz Essencial e Matriz Fundamental 34 ...................................................................................... 5.6 – Calibração Estéreo 35 ....................................................................................................................... 5.7 – Retificação Estéreo 35 ...................................................................................................................... 5.7.1 – Mapa de retificação 37 .................................................................................................................. 5.8 – Correspondência estéreo 38 ............................................................................................................. 5.9 – Mapas de Profundidade e Reprojeção 3D 43 ................................................................................... Capítulo 6 Materiais 44 6.1 – Desenvolvimento do código 44 ........................................................................................................ 6.1.1 – Linguagem Python 44 ................................................................................................................... 6.1.2 – Biblioteca OpenCV 44 .................................................................................................................. 6.1.3 – Editor de texto Atom 45 ................................................................................................................ 6.2 – Hardware 45 ..................................................................................................................................... 6.3 – Extras 46 ...........................................................................................................................................Capítulo 7 Resultados e discussão 47 7.1 Código Passo-a-passo 47 ..................................................................................................................... 7.2 Testes 54 .............................................................................................................................................. Capítulo 8 Conclusões 64 Bibliografia 66 Apêndice A Código do Programa para Capturar Imagens do Dummy 69 Apêndice B Código do Programa para Capturar Imagens de Calibração 71 Apêndice C Código do Programa de Calibração 73 Apêndice D Código do Programa de Reconstrução 3D e Mapa de Profundidade 82 !1 Capítulo 1 Introdução 1.1 – Tema O tema do trabalho é construir um sistema baseado em estereoscopia capaz de realizar uma análise topográfica das costas do paciente. Essa análise poderá ser usada para avaliação postural, como uma alternativa a auxiliar os profissionais da área de saúde. Nesse sentido, busca-se construir o sistema estereoscópico e o algoritmo capaz de realizar esta análise. 1.2 – Delimitação Desvios na coluna vertebral têm-se tornado cada vez mais comuns, especialmente com os hábitos de vida atuais. O algoritmo desenvolvido é capaz de realizar uma análise topográfica estereoscópica das costas do paciente e, assim, identificar possíveis desvios posturais. Dessa forma, o projeto é voltado para profissionais da área de saúde e ortopedia e para seus pacientes. 1.3 – Justificativa Grande parte da população sofre com problemas e dores de coluna. Quando identificado um problema, o médico encaminha seu paciente a um tratamento específico e realiza um acompanhamento para saber se o procedimento está sendo efetivo. Na maioria dos casos, o acompanhamento dá-se por consultas de rotina e pedidos de exames de raios X. Em média, durante o acompanhamento, a reavaliação do quadro do paciente é feita a cada dois ou três meses, verificando a necessidade de alterar ou adaptar o programa de exercícios. O exame de raios X produz uma radiação ionizante, que é uma forma de radiação com o potencial de prejudicar o tecido vivo. Esse é um risco que aumenta com o número de exposições somadas ao longo da vida do indivíduo. A radiação é acumulativa e, ao longo do tempo, pode alterar as células do DNA e causar um câncer. Assim sendo, existe a preocupação !2 médica de submeter os pacientes a quanto menos exames de raios X for possível, sempre pesando o custo e o benefício da realização do mesmo. Como o paciente que possui um desvio de coluna e precisa fazer o acompanhamento será submetido a exames de raios X periodicamente, mostra-se importante encontrar outra maneira de realizar essa análise postural. Anteriormente a este projeto, foi desenvolvido um sistema para análise postural também estereoscópico, mas baseado na marcação prévia de pontos anatômicos no paciente com pequenas esferas reflexivas, que servem de pontos de interesse para realizar a análise postural (CAGY & FONTES, 2018). Apenas as posições 3D destas marcas são estimadas na reconstrução, tendo sido o algoritmo do sistema implementado na linguagem de programação Delphi, sem utilização da biblioteca OpenCV. Apesar de simples e de baixo custo, tal sistema exige o conhecimento prévio dos pontos de interesse onde serão afixadas as marcas anatômicas, que, caso mal posicionadas, acarretam erros nos cálculos dos ângulos de desvios. Além disso, este sistema não permite que se opte, após a tomada das imagens, pela utilização de outro método de avaliação postural que faça uso de outras marcas anatômicas. Neste sentido, o presente projeto propõe um sistema ainda mais simples, baseado em uma biblioteca consagrada de Visão Computacional (OpenCV), o qual não requer o uso de marcas reflexivas. A reconstrução 3D será realizada para toda a superfície das costas do paciente, de modo que, posteriormente o médico poderá realizar a marcação dos pontos de interesse (com uso do mouse, por exemplo), já na imagem reconstruída, para o cálculo dos ângulos de desvios posturais. Dessa forma, tem-se um sistema ainda mais simples que necessita de menos materiais. 1.4 – Objetivos Este projeto propõe o desenvolvimento de um sistema simples e portátil baseado em estereoscopia capaz de realizar uma análise topográfica das costas do paciente, bem como a reconstrução em 3D, a fim de, posteriormente, fazer uma avaliação postural. Tendo em vista a simplicidade e o baixo custo, esse sistema foi desenvolvido de modo a ser facilmente implementado em clínicas e consultórios ortopédicos e fisioterápicos. O sistema pode servir de suporte ao especialista que, usualmente, baseia-se na simples visualização do paciente em posição ortostática aliada à imagem radiográfica bidimensional. !3 As vantagens desse método são a minimização de erros de paralaxe, o baixo custo, a facilidade de implementação e a portabilidade, bem como possivelmente vir a substituir a utilização de exames de raios X que, por ser ionizante, não pode ser utilizado em mulheres grávidas e expõe também os técnicos. Objetivos Específicos 1. Montar o sistema estereoscópico; 2. Implementar um algoritmo de calibração para o sistema baseado em uma técnica de calibração simples que demande dispositivos portáteis e de baixo custo; 3. Implementar o algoritmo capaz de gerar um mapa de profundidade e a reconstrução em 3D da cena; 4. Aplicar o sistema calibrado com um dummy postural para produzir o mapa de profundidade e a reconstrução 3D. 1.5 – Metodologia A ideia é realizar a calibração simples e a calibração estéreo de duas câmeras de baixo custo (webcams), capturar imagens estáticas com as câmeras calibradas, fazer a retificação e remapeamento das imagens e, a partir dessas imagens remapeadas, gerar um mapa de profundidade e uma visualização das costas do paciente em 3D por meio do mapa. Tal sistema permitirá, posteriormente, a marcação de pontos na imagem e, com um programa de computador baseado em Transformada Linear Direta (DLT), os pontos marcados poderão ser tridimensionalmente analisados. Assim, será possível calcular ângulos posturais de interesse. Dessa forma, o sistema auxiliará o especialista no diagnóstico de desvios posturais como escoliose, cifose e lordose, bem como outros parâmetros posturais como assimetrias e inclinações. Como a câmera transforma o mundo 3D em uma imagem em 2D, algumas noções são perdidas, tais como as dimensões dos objetos. Por exemplo, não é possível comparar visualmente a altura de duas pessoas se elas não estão à mesma distância da câmera. Objetos mais distantes ficam menores na imagem 2D. Outra noção perdida é o ângulo entre os objetos da foto. Entretanto, certas propriedades são preservadas na fotografia. Se desprezarmos as !4 distorções de imagens causadas pelas lentes, linhas retas no mundo real ainda são linhas retas na imagem. A calibração da câmera pode ser feita de diversas maneiras. O objetivo é determinar um conjunto de parâmetros da câmera que reflitam a transformação das coordenadas do mundo (em metros) para o sistema da imagem (pixels). Existem parâmetros intrínsecos (internos à câmera) e extrínsecos (externos à câmera). O cálculo desses parâmetros consiste na calibração da câmera. Dessa forma, a partir da imagem capturada de duas câmeras, é possível determinar medidas de posição e tamanho de objetos no ambiente, relacionando-se pixels correspondentes nas imagens das câmeras para as posições reais no ambiente. Com todos esses dados, pode-se fazer uma correlação dos pixels correspondentes a cada um dos pontos nas duas fotos tiradas das costas do paciente com o que elas representam na realidade permitindo um diagnóstico baseado nessas medidas (BRADSKI & KAEHLER, 2008). A calibração da câmera é feita pela observação de um objeto que tem a geometria no espaço 3D conhecida com alta precisão. Com base nas coordenadas previamenteconhecidas de vários pontos de interesse no objeto de calibração, os parâmetros intrínsecos e extrínsecos das câmeras são estimados com base nas equações acima visando uma solução de mínimo erro quadrático. Nesse projeto, são visados o baixo custo e a portabilidade, facilitando sua implementação em qualquer consultório médico ou fisioterápico. O procedimento de calibração das câmeras escolhido nesse projeto é realizado a partir do método do plano com padrão xadrez. Nesse método, move-se um plano com padrão xadrez dentro do volume de trabalho, fazendo aquisição de múltiplas imagens. Após capturar as imagens do tabuleiro, com o auxílio da biblioteca OpenCV, serão empregados algoritmos desenvolvidos com base no método de Zhengyou Zhang (ZHANG, 2000) para detecção de pontos de interesse nas imagens. Com isso, será possível extrair os parâmetros intrínsecos, extrínsecos e de distorção das câmeras. Feita essa calibração simples, é realizada a calibração estéreo, que trata as câmeras em conjunto, como um sistema estereoscópico. Em seguida, é feita a retificação das imagens para realizar a correspondência de pontos e, com ela, o mapa de profundidade e a reconstrução 3D da cena. Com base na correspondência dos pixels relativos aos pontos de interesse nas fotos tiradas das costas do paciente pelas duas câmeras, estimam-se suas respectivas posições no !5 espaço tridimensional, o que permite um diagnóstico baseado nessas medidas. Dessa forma, espera-se analisar a postura e obter resultados muito próximos ou ainda mais verossímeis que os obtidos com a radiografia comum. 1.6 – Descrição O Capítulo 2 apresenta a motivação detalhada da pesquisa. Trata da grande incidência de problemas posturais, como se dá o diagnóstico e, após, o tratamento. Em seguida, explicita os riscos do exame de raios X e introduz a ideia de uma alternativa a esses exames. O Capítulo 3 descreve os métodos que foram utilizados como a fotogrametria e estereoscopia. São apontados exemplos de aplicações da estereoscopia e detalha como é feita a construção do sistema estereoscópico. Em seguida, define e explica o que é visão computacional, conceito também utilizado. A calibração de câmeras para o sistema estereofotogramétrico é tratada no Capítulo 4. É exposto o modelo da câmera e são definidos os parâmetros intrínsecos, extrínsecos e de distorção. Apresenta-se o método de calibração escolhido. No Capítulo 5, são abordados conceitos de visão estéreo como a projeção, triangulação, geometria epipolar, matriz essencial, matriz fundamental e correspondência de pontos. Mostra como é feita a retificação e o uso do mapa de retificação. Explicita como é feita a reprojeção 3D da imagem e o mapa de profundidade. O Capítulo 6 trata dos materiais utilizados (software e hardware). No Capítulo 7, são apresentados os resultados, bem como uma explicação do código passo a passo. As conclusões são descritas no Capítulo 8. !6 Capítulo 2 Motivação 2.1 – Problemas posturais Problemas na coluna afetam grande parte da população. Segundo a Organização Mundial de Saúde (OMS), 80% das pessoas terão dores nas costas ao longo da vida. Além disso, conforme a Pesquisa Nacional de Saúde, quase 20% dos brasileiros convive com dores na coluna decorrentes de problemas crônicos. A saúde da coluna pode ser comprometida por diversos problemas, causando dores, dificuldade de locomoção ou impactando diretamente a vida e a rotina do paciente. Entre esses possíveis problemas está a escoliose. Segundo a OMS, entre 2% e 3% da população mundial sofre algum grau do desvio vertebral, representando mais de 7 milhões de diagnósticos. Dados da National Scoliosis Foundation apontam que, nos Estados Unidos, cerca de 30 mil crianças começam a usar coletes para o tratamento de escoliose a cada ano. 2.1.1 – Escoliose A escoliose é um tipo de deformidade na coluna vertebral. A origem depende do tipo de escoliose (ALEIXO & NEVES, 2013): 1) congênita — caracteriza-se pela má formação das vértebras ainda durante a gestação; 2) neuromuscular — relacionada à fraqueza muscular, espinha bífida, paralisia cerebral, entre outros; 3) idiopática — ainda não possui causa conhecida. Uma pessoa com escoliose pode apresentar dores crônicas na coluna e o tratamento depende do tamanho da curvatura desenvolvida. O uso de coletes ou a realização de cirurgias podem ser necessários. A escoliose idiopática (EI) é a deformidade da coluna vertebral mais comum em adolescentes (DEBOM et al., 2015), sendo definida como um desvio de mais de 10° no plano !7 frontal associado com rotação das vértebras e articulações costo-vertebrais, mas sem etiologia definida. 2.1.2 – Diagnóstico Para realizar o diagnóstico, o clínico geral, ortopedista ou fisioterapeuta, primeiramente, investiga o histórico do paciente para identificar se há fatores hereditários que predispõem a escoliose. O médico também faz perguntas sobre o crescimento recente do paciente e, assim, traça um histórico clínico. Em seguida, realiza-se o exame físico, no qual examinará o corpo do paciente em busca de sinais de escoliose. O próximo passo é solicitar testes de imagem, como radiografia, tomografia computadorizada e exames de ressonância magnética. Se for o caso, o médico solicita também exames neurológicos. Esses exames permitem traçar um panorama da estrutura da coluna. Médicos geralmente realizam exames de escoliose dentro dos exames de rotina, já que, muitas vezes, a deformidade é silenciosa e às vezes não manifesta sintomas. O problema pode ser detectado, inclusive, durante o exame físico exigido para a prática de atividades físicas. A Sociedade para Pesquisa da Escoliose (Scoliosis Research Society) estabelece os critérios essenciais para o diagnóstico padrão do desvio, que devem incluir a flexão simples (teste de Adams) e o exame de raios X. Abaixo estão listados os possíveis exames a serem realizados no caso de escoliose: 1) Exame físico Normalmente, é por meio de um exame físico de rotina que se descobre a escoliose quando ela não causa dores. O médico examina o paciente de frente e de costas observando se há assimetria na altura dos ombros, da escápula e da região ilíaca. Lateralmente, observa-se a curvatura normal (fisiológica) e se há alterações nelas também. Por meio dessa observação física, o especialista é capaz de identificar se existe algum grau acentuado de curvatura na coluna. Caso haja, deve-se solicitar exames de imagem para confirmação e análise específica. !8 Observando a superfície da pele, também é possível constatar a presença de alterações do tecido, como manchas ou irregularidades. Esses achados podem ser sinais de outras doenças ou disfunções que causam a escoliose (ALEIXO & NEVES, 2013). 2) Teste de Adams Normalmente, durante a realização do exame físico, é feito o teste de Adams. O teste de Adams é um modo de evidenciar a curvatura indevida da coluna, que consiste em curvar o tronco para frente e para baixo, como se o paciente fosse pegar alguma coisa do chão ou se alongar (ALEIXO & NEVES, 2013). Especificamente no que se refere à escoliose, o teste de Adams tem-se mostrado bastante útil para o diagnóstico precoce da escoliose idiopática do adolescente (EIA), doença que se manifesta na infância e na adolescência. Realizado em poucos minutos, esse exame permite identificar desvios anormais no alinhamento da coluna e assimetrias no tronco (um lado das costas é mais alto do que o outro) ligados à rotação vertebral e à presença da gibosidade. 3) Exame neurológico A função dos exames neurológicos é medir e avaliar a força muscular e se há alterações dos reflexos ou da sensibilidade. A avaliação é especialmente relevante para identificar tumores ou condições que acometem o sistema nervoso e que são capazes de irritar a raiz dos nervos, causando a escoliose (ALEIXO & NEVES, 2013).4) Exames de imagem Os exames de imagem auxiliam o profissional de saúde a identificar com mais precisão o local e o grau da escoliose. Podem ser solicitados: 4.1) Raios X O exame mostra as curvaturas da coluna, apontando se há escorregamento (sobreposição) de vértebras, artrose, fraturas ou degeneração, lesões por infecção ou tumores. O exame faz parte do protocolo de diagnóstico da escoliose (ALEIXO & NEVES, 2013). 4.2) Tomografia computadorizada !9 A tomografia auxilia o médico na avaliação da anatomia óssea e possibilita verificar a presença de hérnias de disco ou alterações das vértebras. 4.3) Ressonância magnética A ressonância magnética é capaz de avaliar as estruturas ósseas, mas é especialmente indicada para verificar partes do corpo como vasos sanguíneos e linfáticos, músculos, tecido gorduroso e tendões. 5) Ângulo de Cobb O ângulo de Cobb é considerado o exame de ouro no diagnóstico da escoliose. A técnica verifica e avalia as deformidades, sendo amplamente utilizada em todo o mundo para medir a angulação da escoliose a partir da radiografia (ALEIXO & NEVES, 2013). O Método de Cobb é classicamente empregado para se estimar o grau da curvatura. Esse método se baseia, mais comumente, na radiografia antero-posterior em posição ortostática. Pelo exame de imagem, o profissional identifica a primeira e a última vértebras acometidas pela curvatura incorreta e fará a medição determinando o grau da escoliose. O ângulo de Cobb é definido como a diferença angular entre o platô superior da vértebra superior mais inclinada e o platô inferior da vértebra inferior mais inclinada, sendo diagnosticada a escoliose quando se obtêm ângulos maiores que 10°. Para valores de até 20°, a escoliose é classificada como leve; entre 20° e 40°, como moderada; e acima de 40°, como grave, sendo que a cirurgia é indicada para casos com valores acima de 45° (DEBOM et al., 2015). Sua importância se dá, sobretudo, no encaminhamento terapêutico, uma vez que o tratamento depende também do grau de angulação. Em alternativa à estimação do ângulo de Cobb, vários parâmetros têm sido empregados na análise postural com base na fotogrametria. São eles: ângulo escapular inferior (IS); ângulo da espinha ilíaca superior posterior (OS); ângulo da linha poplítea (PL); ângulo dos pés (FA); triângulo de Thales (∆T); ângulo da espinha ilíaca superior anterior (AS); ângulo de joelho (KA); lordose cervical (CL); cifose torácica (TK); lordose lombar (LL); flexão de joelho (KF); protrusão de cabeça (HP); inclinação pélvica (PT); ângulo tíbio-tarsal (TTA); ângulo da articulação acrômio-clavicular (AJ); e ângulo da articulação esterno- clavicular (SJ) (IUNES et al., 2009). !10 Segundo um estudo recente, cresceu em 50% o número de pedidos de tomografias e ressonâncias magnéticas, na maior parte das vezes desnecessários, o que mostra que um bom diagnóstico é essencial para evitar exageros em relação aos tratamentos (ALEIXO & NEVES, 2013). 2.1.3 – Tratamento O tratamento da escoliose idiopática (EI) depende do grau e da localização da curva, levando-se em consideração o crescimento potencial do paciente (DEBOM et al., 2015). Alguns desvios patológicos de coluna são assintomáticos. Quando os sinais da doença se manifestam, em geral, o tratamento é conservador e leva em consideração as peculiaridades de cada caso no que se refere à idade do paciente, ao grau e padrão da curvatura, às características da deformidade instalada e à intensidade da dor. O objetivo é interromper a progressão do transtorno, recuperar as funções da coluna vertebral e aliviar os sintomas. Se for possível identificar a causa do distúrbio, a atenção deve voltar-se também para o controle da doença de base. Em geral, as curvaturas consideradas graves o suficiente para serem tratadas são a partir de 25 graus, mas especialistas destacam que não é somente a angulação de escoliose que deve determinar o tratamento, mas também os relatos do paciente. A presença de dores, limitações físicas ou emocionais é determinante para a realização e escolha do encaminhamento terapêutico (ALEIXO & NEVES, 2013). Em 2015, foi realizado um encontro de pesquisadores no tratamento de escoliose, a fim de estabelecer parâmetros para conduzir o paciente. O resultado foi o Consenso SOSORT – International Conference on Scoliosis 2015, que define os encaminhamentos terapêuticos. As diretrizes se baseiam sobretudo no tamanho da curvatura da escoliose. Para pacientes que apresentam uma curvatura entre 0 e 10 graus, em geral, não há recomendação de tratamento fisioterápico ou cirúrgico. Nesses casos, é necessário realizar a observação e o acompanhamento, verificando se o desvio está progredindo. A observação é a primeira intervenção em todos os casos. Ainda que possa parecer uma ausência de tratamento, ela é, na verdade, um acompanhamento efetivo do quadro e permite que o médico faça intervenções mais precisas se houver necessidade. Nesse aspecto, exames são solicitados com frequência regulada e as consultas devem ser periódicas (ALEIXO & NEVES, 2013). !11 Para escolioses entre 10 e 20 graus, é recomendado o tratamento fisioterápico específico. O Instituto Brasileiro de Escoliose adota, para o tratamento não cirúrgico, a abordagem SEAS (Scientific Exercises Approach to Scoliosis). O método consiste na abordagem de exercícios científicos para a escoliose. Nesse caso, o paciente é submetido a uma rigorosa avaliação (utilizando os exames físicos, neurológicos e de imagem) e, em seguida, é elaborado um plano de exercícios específicos para ele. Ou seja, o tratamento é pautado em padrões de atendimento, mas visa atentar às características e às necessidades especiais de cada caso, promovendo a individualização do atendimento. Os exercícios específicos são ensinados ao paciente, que deve se manter atento à forma de realizar, à duração e à frequência de cada sessão. Assim, é possível que o plano seja continuado em casa, conforme orientação do profissional. Isso facilita a adesão de pacientes que não moram perto dos centros de atendimento ou não podem comparecer com frequência às sessões, devido às condições de locomoção ou questões econômicas, por exemplo. Devidamente acompanhadas pelo especialista, as técnicas de quiropraxia, pilates e RPG (Reeducação Postural Globalizada) podem ser usadas como modo de fortalecer a musculatura, aumentar a resistência e alongar o corpo, auxiliando no tratamento. Órteses, como palmilhas e coletes ortopédicos, podem ser úteis para deter a progressão da curva e, na medida do possível, manter ossos e articulações na posição adequada (ALEIXO & NEVES, 2013). A cirurgia para estabilização da coluna vertebral é recomendada apenas para pacientes adultos em situações muito especiais. Na escoliose, por exemplo, ela representa uma opção para corrigir a deformidade somente quando o desvio é superior a 50º, a dor é intensa e há comprometimento da função pulmonar. Em média, durante o acompanhamento, a reavaliação do quadro do paciente é feita a cada dois ou três meses, verificando a necessidade de alterar ou adaptar o programa de exercícios (ALEIXO & NEVES, 2013). Em caso de uso de colete, verifica-se também a necessidade da continuação do uso. Esse acompanhamento normalmente é feito solicitando novos exames de imagem. !12 2.2 – Riscos do Exame de Raios X O exame de raios X é um procedimento para diagnóstico médico. Ele é feito usando radiação ionizante, que utiliza os raios X para gerar uma imagem médica (radiografia) de diferentes partes do corpo humano. Segundo a Sociedade Brasileira de Reumatologia, esse exame é contraindicado para pessoas que não podem ser expostas à radiação. Existe uma contraindicação clássica que é para gestantes, principalmente na fase inicial da gravidez, porque a radiação pode ter efeitos maléficos sobre o feto. A radiação ionizante produzidapelo raio X é uma forma de radiação que tem o potencial de prejudicar o tecido vivo. Esse risco aumenta com o número de exposições somadas ao longo da vida do indivíduo. A radiação é acumulativa e, ao longo do tempo, pode alterar as células do DNA e causar câncer. O efeito da radiação ionizante no corpo humano difere de acordo com seu tipo e energia. Os cientistas sabem, há mais de 80 anos, que grandes doses de radiação ionizante podem danificar os tecidos humanos. Os especialistas tornaram-se cada vez mais preocupados com os efeitos potencialmente nocivos que a exposição a grandes doses de radiação podem causar (PUBLIC HEALTH ENGLAND, 2011). Atualmente, a Comissão Internacional de Proteção Radiológica (ICRP) recomenda que qualquer exposição acima da radiação natural resultante deve ser mantida tão baixa quanto possível e abaixo dos limites da dose individual. Com uma abordagem cautelosa, supõe-se que qualquer nível de exposição possa ter um efeito negativo. Isso significa que há um aumento no risco de um efeito de saúde proporcional a qualquer dose adicional. A unidade de medida utilizada para o efeito biológico da radiação sobre o corpo humano é o milisievert (mSv). A média mundial de exposição à radiação natural é 2,4 mSv por ano. Sabe-se que doses muito grandes, acima de 5.000 mSv, recebidas por todo o corpo num curto período de tempo, resultam em morte dentro de poucos dias. Doses acima de 100 mSv podem ter um efeito nocivo nos seres humanos, como uma maior incidência em desenvolvimento de câncer. Mesmo em doses mais baixas de radiação, abaixo de 100 mSv, há muita incerteza sobre os efeitos globais (PUBLIC HEALTH ENGLAND, 2011). !13 Estatisticamente, todos têm uma chance em três de desenvolver câncer em algum momento de sua vida. A fim de colocar o risco de dano celular causado pela exposição à radiação na imagiologia médica em alguma perspectiva, a Agência de Proteção da Saúde do Reino Unido (HPA) tem calculado que: 1) um exame de raios X de tórax, dentes, braços ou pés equivale ao valor de alguns dias de radiação ambiente e tem menos de uma em 1 milhão de chances de causar câncer; 2) um exame de raios X de crânio ou pescoço equivale ao valor de algumas semanas de radiação ambiente e tem uma em 100.000 a 1.000.000 chances de causar câncer; 3) um exame de raios X de mamas (mamografia), quadril, coluna vertebral, abdome ou pelve equivale ao valor de alguns meses a um ano de radiação ambiente e tem uma em 10.000 a 100.000 chances de causar câncer; 4) uma radiografia contrastada com ingestão de bário equivale ao valor de alguns anos de radiação ambiente e tem uma em 1.000 a 10.000 chances de causar câncer. Na literatura médica, o câncer é um dos problemas mais associados à radiação. A radioatividade pode alterar o ‘relógio biológico’ das células, fazendo com que elas cresçam desordenadamente, formando tumores. Os tumores induzidos pela radiação não aparecem antes de 10 anos a contar das doses recebidas. Em caso de leucemia, o intervalo cai para dois anos. Esse período entre a exposição e o aparecimento do câncer é chamado ‘período latente’ (PIRES, 2011). Os pesquisadores ainda não têm dados precisos para determinar o risco de câncer associado a uma dada exposição à radiação, mas existem estimativas. Os médicos relutam em estabelecer um número, porque, muitas vezes, os benefícios superam os riscos da exposição à radiação. Entretanto, especialistas dão uma margem segura, considerando exames feitos com equipamento bem calibrado e profissionais capacitados: até cinco exames de raios X por ano. Assim, certamente não corre o risco de radiação excessiva. O número serve para adultos e crianças. A máquina é ajustada conforme o peso e a idade da criança, e a intensidade da radiação é menor (BIDERMAN, 2010). Uma média de cinco exames é suficiente para procedimentos de rotina. Em algumas doenças, pode ser necessário aumentar esse número. Os médicos podem calcular o custo e o benefício de submeter o paciente a mais radiação. Giovanni Cerri, diretor do Icesp (Instituto do Câncer do Estado de São Paulo), diz que a preocupação é não realizar exames radiológicos !14 se não for necessário. A radiação é cumulativa, ou seja, uma dose soma-se à outra, inclusive com as de outras fontes como a radiação solar. Dado que a recomendação é fazer o acompanhamento do desvio na coluna de três em três meses, e visto que normalmente são solicitadas duas radiografias (de frente e de lado), já somam oito ao ano apenas para acompanhar o desvio de coluna do paciente. Esse número já aumenta caso ele precise realizar outros exames de raios X ao ano, o que é comum em casos de sinusite, fraturas, cáries e, até mesmo, outros exames de rotina. Isso ultrapassa a margem de cinco exames de raios X por ano que é considerada segura. Dessa forma, percebe-se que é importante encontrar uma alternativa ao exame de raios X. 2.3 – Alternativa ao Exame de Raios X Nos casos não-cirúrgicos, os pacientes com escoliose idiopática são submetidos a sessões de tratamento fisioterápico, e são periodicamente reavaliados via exames radiográficos a cada 3, 6 ou 12 meses, de acordo com a Society on Scoliosis Orthopaedic and Rehabilitation Treatment (Guideline Committee de 2005). Como alternativa não-ionizante ao exame radiográfico, a fotogrametria 2D de coluna tem sido amplamente investigada como ferramenta de avaliação postural, permitindo extrair informações nos planos frontal (possivelmente, com vistas anterior e posterior) e sagital (possivelmente, com vistas bilaterais). Não obstante, a aplicação desta técnica depende do procedimento de obtenção das imagens, e, tal como na análise por radiografia, envolve subjetividade na estimativa das angulações, apresentando alta variabilidade entre examinadores (FURLANETTO et al., 2016). E ainda como alternativa à fotogrametria 2D, a estereofotogrametria permite a localização tridimensional de pontos de referência com base em duas imagens bidimensionais coletadas simultaneamente sob pontos de vista deslocados um do outro. Atualmente, com o avanço tecnológico, sistemas estereofotogramétricos são facilmente implementáveis com o hardware disponível, permitindo-se a aquisição simultânea das imagens de várias câmeras (deixando de ser, estritamente falando, um sistema estereoscópico) e, inclusive, de vídeo. Tais sistemas têm sido empregados para a análise quantitativa do movimento humano, o que tem lugar tanto na área da saúde como métodos clínicos de cinesiologia e biomecânica quanto, por !15 exemplo, no aumento do realismo em filmes por animação (ZHANG, 2000; BORGHESE, 2001). !16 Capítulo 3 Métodos Significado de estereofotogrametria, de acordo com o dicionário Aulete: fotogrametria que envolve o uso de fotografias estereoscópicas; fotogrametria estereoscópica. É a aplicação da fotografia aérea à topografia com o emprego dos processos da estereoscopia. 3.1 – Fotogrametria A fotogrametria (derivada do grego: luz, descrição e medidas) é definida como a ciência aplicada, a técnica e a arte de extrair de fotografias métricas, a forma, as feições, as dimensões e a posição dos objetos nelas contidos (MACEDO, 2014). Estereofotogrametria é uma técnica mais sofisticada da fotogrametria, onde são estimadas coordenadas de pontos de um objeto tridimensional. Estes pontos são determinados por medidas feitas em duas ou mais fotografias obtidas em diferentes posições. 3.2 – Estereoscopia Estereoscopia é uma técnica usada para se obter informações do espaço tridimensional, por meio da análise de duas imagens obtidas em pontos diferentes. É um fenômeno natural que ocorre em muitos animais com dois pontos de visão e também no ser humano, quando uma pessoa observa em seu redor uma cena qualquer. O fato de o ser humano ter dois olhos permite-lhe, por meio da estereoscopia, ter a noção de profundidade espacial,com o objetivo de, por exemplo, ter a noção da distância a que se encontram os objetos (Figura 3.1). A estereoscopia humana é a análise de duas imagens da cena que são projetadas nos olhos em pontos de observação ligeiramente diferentes (distância pupilar), sendo que o cérebro funde as duas imagens no córtex visual, e, nesse processo, o indivíduo obtém informações quanto à profundidade, distância, posição e tamanho dos objetos, gerando uma sensação de visão tridimensional (MACEDO, 2014). !17 Figura 3.1: Formação da imagem estereoscópica pelos olhos e cérebro. Fonte: RIBAS, GC; RIBAS, EC; RODRIGUES, Jr AJ, 2006. A pesquisa alerta também os profissionais e pesquisadores brasileiros que a tecnologia estereoscópica cresce a cada ano, e tem grande chance de substituir, num futuro não muito distante, os aparelhos tradicionais de exibição de imagens, como televisores, monitores de computador, telas de celulares e palm-tops, além de começar a se inserir em outras aplicações das mais variadas (MASCHIO, 2008). 3.3 – Aplicações da estereoscopia A estereoscopia pode ser utilizada para aplicações comerciais tais como a cartografia, telecomunicações, exploração mineral, transportes, meio ambiente, planejamento urbano e engenharia florestal, entre muitas outras áreas. Ela é largamente usada em sistemas de vídeo e de processamento de imagem, para, por exemplo, com um número variado de câmeras de vídeo (duas ou mais), o sistema computacional associado calcular a posição 3D, o tamanho ou a velocidade dos objetos. Esta análise computacional é possível por meio de processamento de imagem, pois são conhecidas as características intrínsecas das câmeras (distância focal, tipo de lente, etc.), as suas posições 3D no espaço e as suas orientações tridimensionais (COSTA & COSME, 2008). Por meio da Estereoscopia, é também possível a confecção de Cartas Topográficas, num processo chamado restituição, no qual um operador é capaz, a partir de duas fotografias aéreas, ver a imagem de um terreno em três dimensões, sendo, assim, capaz de desenhar o que vê num aparelho restituidor (COSTA & COSME, 2008). Uma aplicação de estereoscopia com o uso de duas câmeras que ficou bastante conhecida ultimamente é nos smartphones. Muitos modelos recentes vêm com duas câmeras que, entre outras melhorias, introduziu a profundidade de campo. !18 A profundidade de campo permite realizar o efeito de desfocar gradualmente o fundo da imagem e destacar apenas o objeto principal da foto (Figura 3.2), assim como fazem as câmeras DSLR por meio de lentes adequadas (também chamado de efeito Bokeh). Para reproduzir esse efeito, utilizam-se as duas câmeras ao mesmo tempo para processar a cena em tempo real e destacar o objeto do plano de fundo, criando um desfoque muito bom no cenário. O uso das duas câmeras, assim como nas imagens em 3D, permite que o celular tome conhecimento da profundidade da imagem, o que permite desfocar o que está ao redor do motivo da fotografia. Figura 3.2: Imagem com o uso da profundidade de campo. Fonte: RADCLIFFE, 2016. 3.4 – Construção do sistema estereoscópico Para a construção de um sistema estereoscópico, são necessárias duas imagens de uma mesma cena obtidas em pontos diferentes. Para isso, são utilizadas duas câmeras de baixo custo do tipo webcams. Com isso, um sistema estereoscópico foi desenvolvido para ter essa noção de profundidade e visualização 3D e, assim, reconstruir as costas do paciente. !19 3.5 – Visão Computacional A visão computacional é o processo de modelagem e replicação da visão humana usando software e hardware. É uma disciplina que estuda como reconstruir, interromper e compreender uma cena 3D a partir de suas imagens 2D em termos das propriedades da estrutura presente na cena. A visão computacional é totalmente baseada na visão humana e trabalha com o processo de modelagem e replicação dessa visão usando softwares e hardwares avançados (DATA SCIENCE ACADEMY, 2018). As aplicações da visão computacional vão da medicina à robótica industrial. Uma das mais difundidas aplicações da visão computacional é a medicina, com o processamento de imagens médicas. Tal área é caracterizada pela extração de informação de imagens para realizar diagnósticos sobre os pacientes. Na medicina, o processamento de imagens de microscopia, de radiografia, de angioplastia, de ultrassonografia, de tomografia e de ressonância magnética visa fornecer diagnósticos mais precisos sobre os pacientes. Na indústria, a visão computacional busca prover qualidade e cálculo de posição e orientação de detalhes para um braço robótico, por exemplo. Sub-campos de pesquisa incluem reconstrução de cena, detecção de eventos, reconhecimento de objetos, aprendizagem de máquina e restauração de imagens (DATA SCIENCE ACADEMY, 2018). O primeiro passo que torna possível os processos de visão por computador é a calibração das câmeras utilizadas (TRUCCO; VERRI, 1998). Nesse processo, são utilizados padrões conhecidos, com coordenadas conhecidas no mundo 3D. Uma câmera pode ser utilizada para extração de várias informações referentes à cena. Quando essas informações envolvem grandezas geométricas (como comprimento, ângulos, distância, entre outras), é necessário conhecer os parâmetros de calibração da câmera. !20 Capítulo 4 Calibração de Câmeras Em um sistema de visão 3D há necessidade de duas câmeras, de preferência idênticas, onde ambas estejam configuradas e posicionadas corretamente. Qualquer alteração entre elas pode causar erros nas medidas. Em grande parte desses sistemas, consegue-se essa exatidão por meio da calibração de câmeras. Assim sendo, em sistemas estereofotogramétricos, é necessário que o conjunto de câmeras esteja calibrado. Define-se como calibração da câmera o processo realizado para calcular o valor dos parâmetros intrínsecos, extrínsecos e coeficientes de distorção da lente. Como a câmera transforma o mundo 3D em uma imagem em 2D, algumas noções são perdidas, tais como as dimensões dos objetos. Por exemplo, não é possível comparar visualmente a altura de duas pessoas se elas não estão à mesma distância da câmera. Objetos mais distantes ficam menores na imagem 2D. Outra noção perdida é o ângulo entre os objetos da foto. Entretanto, certas propriedades são preservadas na fotografia. Se desprezarmos as distorções de imagens pelas lentes, linhas retas no mundo real ainda são linhas retas na imagem e linhas paralelas interceptam a imagem no ponto de fuga. A calibração da câmera pode ser feita de diversas maneiras. O objetivo é determinar um conjunto de parâmetros da câmera que reflitam a transformação das coordenadas do mundo (em metros) para o sistema da imagem (pixels). Existem parâmetros intrínsecos (internos à câmera) e extrínsecos (externos à câmera) e o cálculo desses parâmetros consiste na calibração da câmera. Desse modo, a partir da imagem capturada de duas câmeras não colineares, é possível determinar medidas de posição e tamanho de objetos no ambiente, relacionando pixels correspondentes nas imagens das câmeras para as posições reais no ambiente. Com todos esses dados é possível fazer uma correlação dos pixels nas duas fotos tiradas das costas do paciente com o que elas representam na realidade, permitindo um diagnóstico baseado nessas medidas (BRADSKI & KAEHLER, 2008). A calibração da câmera é feita pela observação de um objeto que tem a geometria no espaço 3D conhecida com alta precisão. Com base nas coordenadas previamente conhecidas !21 de vários pontos de interesse no objeto de calibração, os parâmetros intrínsecos e extrínsecos das câmeras são estimados com uma solução de mínimo erro quadrático. 4.1 – Modelo da câmera: pinhole O modelo “Pinhole" é o modelo de câmera utilizado como referência nesse trabalho. Pode ser traduzido livremente como buraco (hole) de alfinete (pin). Um “pinhole” éuma parede imaginária com um pequeno orifício no centro, que bloqueia todos os raios de luz exceto aquele que passa pelo pequeno orifício. Como mostra a Figura 4.1, baseia-se no princípio da “câmera escura”, onde o Objeto 3D (5) tem sua projeção 2D (2) no plano da imagem (1). No pequeno orifício (3), pinhole, é captada a luz para dentro da câmera e assim, projetada a imagem. O mecanismo de projeção é semelhante ao olho humano, com orientação contrária (DIAS, 2015). Figura 4.1: Representação do modelo de câmera pinhole. Fonte: DIAS, 2015. Os principais elementos, conforme Figura 4.2, do modelo Pinhole são: - Centro da Câmera: Assume-se que o centro da câmera é o pinhole (orifício); - Plano Principal: Plano formado pelos eixos x e y posicionado ao centro da câmera; - Plano da Imagem: Plano que corresponde ao plano de formação da imagem; - Eixo Principal: Formado pela reta que sai do centro da imagem [C] e passa perpendicularmente pelo plano da imagem; - Ponto Principal: Ponto onde intersecta o plano da imagem (não necessariamente corresponde ao centro da imagem). !22 Figura 4.2: Representação do sistema de coordenadas no modelo pinhole. Fonte: DIAS, 2015. Para relacionar coordenadas de um determinado ponto no espaço com sua projeção no plano da imagem, pode-se utilizar trigonometria. Com o conhecimento da distância focal, ou seja, a distância entre o ponto de convergência da luz até o ponto de projeção da imagem, é possível calcular a projeção de um determinado ponto no espaço por semelhança de triângulos. (KANNALA; BRANDT, 2004). 4.2 – Parâmetros intrínsecos Os parâmetros intrínsecos são todos os parâmetros internos de uma câmera, tais como: distância focal, ponto principal, distorção das lentes, etc (BRADSKI & KAEHLER, 2008). Parâmetros intrínsecos são específicos para uma câmera. Eles incluem informações como distância focal (fx, fy) e centros ópticos (cx, cy). A distância focal e os centros ópticos são usados para criar uma matriz chamada de “matriz da câmera”, que pode ser usada para remover a distorção devido às lentes de uma câmera específica. A matriz da câmera é exclusiva para uma câmera específica, portanto, uma vez calculada, ela pode ser reutilizada em outras imagens tiradas pela mesma câmera. 4.3 – Parâmetros extrínsecos Os parâmetros extrínsecos são os parâmetros que representam a posição relativa da câmera em relação ao sistema de coordenada do objeto. Fornecem informações da posição e orientação da câmera em relação a um certo sistema de coordenadas global (ou do mundo). !23 Em um sistema com mais de uma câmera, os parâmetros extrínsecos também descrevem a relação entre as câmeras (BRADSKI & KAEHLER, 2008). Para cada imagem que a câmera tira de um objeto, pode-se descrever a posição do objeto em relação ao sistema de coordenadas da câmera em termos de rotação e translação (Figura 4.3). Figura 4.3: Convertendo da coordenada do objeto para a coordenada da câmera. Fonte: Adaptada de BRADSKI & KAEHLER, 2008. Dessa maneira, percebe-se que os parâmetros extrínsecos correspondem a vetores de rotação e translação que traduzem coordenadas de um ponto 3D para um sistema de coordenadas. O ponto Po no objeto é visto como ponto pc no plano da imagem; o ponto pc está relacionado ao ponto Po aplicando uma matriz de rotação R e um vetor de translação T a Po. No mundo 3D, a câmera pode estar rotacionada nos três eixos (x, y e z) e possuir um deslocamento em relação às coordenadas do objeto (BRADSKI & KAEHLER, 2008). As três possíveis rotações estão representadas nas matrizes abaixo: Define-se R sendo o produto de Rx, Ry e Rz e T como sendo o vetor de translação. O vetor de translação é como se representa uma mudança de um sistema de coordenadas para !24 outro sistema cuja origem é deslocada para outro local. Em outras palavras, o vetor de translação é apenas o deslocamento da origem do primeiro sistema de coordenadas até a origem do segundo sistema de coordenadas. Dessa forma, para mudar de um sistema de coordenadas centralizado em um objeto para um centralizado na câmera, o vetor de translação apropriado é simplesmente: T = origem do objeto - origem da câmera. Assim sendo, os parâmetros extrínsecos podem ser modelados como E = (R|RT). Existe uma transformação que relaciona os pontos tridimensionais com os respectivos bidimensionais, exceto por distorções e erros mínimos. Equacionando essas relações com o uso de equações lineares na variável de posição de um objeto, os coeficientes destas equações tornam-se exatamente funções dos dados que a calibração determina. O processo de calibração de câmera pode-se resumir a encontrar tais valores a partir de um conjunto de pontos 3D e 2D correspondentes (BRADSKI & KAEHLER, 2008). De um modo geral, o processo de calibração pode ser descrito da seguinte forma: 1. Determinar um conjunto de pontos no sistema de coordenadas do mundo e suas respectivas projeções nas imagens; 2. Resolver as equações lineares; 3. Otimizar os dados obtidos, utilizando o resultado da etapa anterior como solução inicial. 4.4 – Distorções nas lentes Para o processo de calibração, é necessário a captura de imagens da câmera. Essas imagens estão sujeitas às distorções devido à imperfeição das lentes (umas mais, outras menos), onde as retas do mundo real não são mais retas na imagem capturada. Esse nível de imperfeição torna-se mais problemático nas lentes mais baratas, que possuem uma pequena distância focal. Como o problema de calibração da câmera demanda de resultados precisos para a maior confiabilidade do método, deve-se corrigir os problemas encontrados (DIAS, 2015). Uma distorção pode ser entendida como um esticamento não uniforme da imagem, onde o centro e as bordas são ampliados em proporções (formas) diferentes. Dois tipos principais de distorção são a distorção radial e a distorção tangencial. A distorção radial faz com que linhas retas pareçam curvas. Ela torna-se maior quanto mais longe do centro da imagem forem os pontos, ou seja, evidencia-se nos cantos da imagem. De forma similar, a !25 distorção tangencial ocorre porque a lente de captura de imagem não está alinhada perfeitamente paralela ao plano de imagem. Portanto, algumas áreas da imagem podem parecer mais próximas do que o esperado. Figura 4.4: à esquerda, um objeto sem distorção e, à direita, o mesmo objeto com distorção radial. Fonte: Autoria própria. 4.5 – Métodos de calibração Para realizar a calibração, deve-se fornecer algumas imagens de amostra de um padrão bem definido (por exemplo, um tabuleiro de xadrez). Encontram-se alguns pontos específicos cujas posições relativas são conhecidas (por exemplo, cantos quadrados no tabuleiro de xadrez). Conhecendo-se as coordenadas desses pontos no espaço do mundo real e sabendo as coordenadas na imagem, pode-se descobrir os coeficientes de distorção. Para melhores resultados, são necessárias, pelo menos, 10 imagens do padrão de teste. Pontos 3D são chamados de pontos do objeto e pontos da imagem 2D são chamados de pontos da imagem. Nesse projeto, foram cogitadas diferentes possibilidades: uma estrutura cúbica com largura, altura e profundidade conhecidas, um plano com padrão xadrez (ZHANG, 2000) ou um bastão rígido (BORGHESE, 2001) (nos dois últimos casos, a calibração envolve múltipla aquisição de imagens dos objetos, em posições diferentes), visando o baixo custo e a portabilidade, de modo a facilitar sua implementação em qualquer consultório médico ou fisioterápico. 4.6 – Método escolhido O procedimento de calibração das câmeras escolhido nesse projeto é realizado a partir do método do plano com padrão xadrez. Nesse método, move-se um plano com padrão xadrez dentro do volume de trabalho fazendo aquisição de múltiplas imagens. Após a detecção das imagens do tabuleiro, são empregados algoritmos desenvolvidos com base nométodo de !26 Zhengyou Zhang para detecção de pontos de interesse nas imagens e, com isso, extrair os parâmetros intrínsecos, extrínsecos e de distorção das câmeras. A técnica proposta por Zhang (2000) requer apenas a câmera observando um padrão planar mostrado em, pelo menos, duas orientações diferentes. Essa abordagem utiliza informações entre o plano da imagem (2D) e o mundo (3D), classificando-se como uma técnica mais flexível, com configurações fáceis para que qualquer um possa fazer sua calibração, avançando a visão computacional 3D dos ambientes de laboratório para o mundo real. Essa técnica é suficiente para um conjunto de duas câmeras paralelas e, além disso, pode-se imprimir uma folha com o padrão xadrez facilmente em qualquer lugar. É uma forma bem simples de realizar a calibração. Ponderaram-se sempre o baixo custo e a portabilidade, de modo a facilitar sua implementação em qualquer consultório médico ou fisioterápico. A técnica com o plano de padrão xadrez baseia-se em detectar todas as quinas de um tabuleiro de xadrez em diversas fotos das duas câmeras para realizar a calibração. Move-se o plano com padrão xadrez dentro do volume de trabalho fazendo aquisição de múltiplas imagens. Essas imagens precisam ser diferentes entre si para que a calibração seja realizada com sucesso e precisam conter todas as quinas do plano xadrez. A calibração é importante também para relacionar as medições da câmera com medições no mundo tridimensional real. A relação entre as unidades naturais da câmera (pixels) e as unidades do mundo físico (por exemplo, metros) é um componente crítico em qualquer tentativa de reconstruir uma cena tridimensional. A biblioteca OpenCV permite realizar essa calibração com algumas de suas funções. Para encontrar o padrão no tabuleiro de xadrez, pode-se utilizar a função cv2.findChessboardCorners(). Também é necessário passar o tipo de padrão que está sendo procurado, como grade 8x8, grade 5x5, etc. Nesse projeto, foi usada uma grade 9x6. A função citada retorna os pontos em que foram encontrados os cantos e um valor “retval”, que é verdadeiro se o padrão for obtido. Esses cantos são colocados em uma ordem (da esquerda para a direita, de cima para baixo). Uma vez encontrados os cantos, pode-se aumentar a precisão usando a função cv2.cornerSubPix(). É possível também desenhar o padrão xadrez nas imagens usando a função cv2.drawChessboardCorners(). !27 Uma imagem com o padrão xadrez encontrado é mostrada a seguir: Figura 4.5: Imagem das câmeras esquerda e direita, com o padrão xadrez encontrado. Fonte: Autoria própria. Encontrados os pontos do objeto e os pontos da imagem, o sistema está pronto para a calibração. Pode-se utilizar a função cv2.calibrateCamera(), que recebe os pontos do objeto, os pontos da imagem e as dimensões da imagem, retornando a matriz da câmera (com os parâmetros intrínsecos), coeficientes de distorção, vetores de rotação e translação e o erro médio de reprojeção. Essa função é utilizada duas vezes, visto que o sistema proposto é um sistema estéreo com duas câmeras e a calibração apresentada até aqui é uma calibração simples, para uma câmera apenas. Um modelo de calibração estéreo é apresentado mais à frente, mas ele requer essa calibração simples inicialmente. É possível calcular também o erro de reprojeção, que dá uma boa estimativa do quão exatos são os parâmetros encontrados. Quanto mais próximo o erro de reprojeção estiver de zero, mais precisos serão os parâmetros encontrados. Dadas as matrizes intrínsecas, de distorção, de rotação e de translação, é preciso primeiramente transformar o ponto do objeto em ponto da imagem usando a função cv2.projectPoints(). Com isso, é possível calcular a norma absoluta entre o obtido com a transformação e o algoritmo de localização de canto. Para encontrar o erro médio, calcula-se a média aritmética dos erros calculados para todas as imagens de calibração. !28 Capítulo 5 Sistema Estéreo 5.1 – Visão 3D Inicialmente, duas ou mais imagens são capturadas no mesmo momento por diferentes câmeras. São necessárias múltiplas imagens para reconstruir uma cena tridimensional e, assim, reproduzir a visão estéreo. Em seguida, os objetos presentes em uma imagem são combinados com os objetos correspondentes na outra imagem, e as diferenças são analisadas para gerar informações de profundidade. Os efeitos de disparidade (triangulação) são utilizados como um meio de calcular a distância dos objetos. Depois de calibrar a câmera, é possível relacionar pontos do mundo físico com pontos da imagem e, então, calcular em que local da imagem, em coordenadas de pixel, um ponto 3D externo deve aparecer. Os pontos foram calibrados para ter as mesmas coordenadas de pixel em suas respectivas imagens esquerda e direita (BRADSKI & KAEHLER, 2008). 5.2 – Imagem estéreo Os computadores conseguem reproduzir uma imagem estéreo encontrando correspondências entre os pontos vistos por uma câmera e os mesmos pontos vistos por outra câmera. Com essas correspondências e uma separação conhecida entre as câmeras, é possível calcular a localização 3D do ponto (BRADSKI & KAEHLER, 2008). Na prática, a imagem estéreo usando duas câmeras envolve quatro etapas: 1. Remover matematicamente a distorção da lente radial e tangencial; isso é chamado de "undistortion". As saídas dessa etapa são imagens não distorcidas. 2. Ajustar os ângulos e distâncias entre câmeras, processo chamado de retificação. As saídas dessa etapa são imagens alinhadas por linha e retificadas. 3. Encontrar os mesmos recursos nas visões das câmeras esquerda e direita, um processo conhecido como correspondência. A saída desta etapa é um mapa de disparidade, onde as disparidades são as diferenças no plano da imagem do mesmo recurso visualizado nas câmeras esquerda e direita. !29 4. Conhecendo-se o arranjo geométrico das câmeras, então pode-se transformar o mapa de disparidade em distâncias, por triangulação. Essa etapa é chamada de reprojeção e a saída é um mapa de profundidade. 5.3 – Triangulação Em um sistema estéreo perfeitamente não distorcido e alinhado (como mostrado na Figura 5.1), têm-se duas câmeras cujos planos de imagem são exatamente coplanares um com o outro, com eixos ópticos exatamente paralelos e que estão a uma distância conhecida à parte, e com distâncias focais iguais fl = fr. O eixo óptico é o raio do centro de projeção O através do ponto principal c, também conhecido como o raio principal. Além disso, supõe-se que os pontos principais cx_left e cx_right tenham sido calibrados para ter as mesmas coordenadas de pixel em suas respectivas imagens esquerda e direita. Um ponto principal é onde o raio principal cruza o plano da imagem. O plano da imagem raramente é exatamente alinhado com a lente e, desse modo, o centro da imagem quase nunca é exatamente alinhado com o ponto principal (BRADSKI & KAEHLER, 2008). Figura 5.1: Com um sistema estéreo perfeitamente alinhado e não distorcido e correspondência conhecida, a profundidade Z pode ser encontrada por semelhança de triângulos; os raios principais das câmeras começam nos centros de projeção Ol e Or e se estendem pelos pontos principais dos dois planos de imagem em cl e cr. Fonte: BRADSKI & KAEHLER, 2008. !30 Supõe-se também que as imagens estejam alinhadas por linhas e que cada linha de pixels de uma câmera esteja alinhada exatamente com a linha correspondente na outra câmera. Também supõe-se que é possível encontrar um ponto P no mundo físico nas imagens esquerda e direita em pl e pr, que terão as respectivas coordenadas horizontais xl e xr. Neste caso simplificado, tomar xl e xr como posições horizontais dos pontos na câmera esquerda e direita (respectivamente) permite mostrar que a profundidade é inversamente proporcional à disparidade entre essas visões, onde a disparidade é definida simplesmente
Compartilhar