08 Inconsistências do Processo de Aquisição

Prévia do material em texto

Prof. Dr. Anderson Rocha
anderson.rocha@ic.unicamp.br
http://www.ic.unicamp.br/~rocha
Reasoning for Complex Data (RECOD) Lab.
Institute of Computing, Unicamp
Av. Albert Einstein, 1251 - Cidade Universitária
CEP 13083-970 • Campinas/SP - Brasil 
Análise Forense de
Documentos Digitais
Técnicas para Identificação de 
Manipulações Baseadas em 
Inconsistências do Processo
de Aquisição
Organização
A. Rocha, 2012 – Análise Forense de Documentos Digitais 4
Organização
‣ Introdução
‣ Estado da Arte
‣ Conclusão
Introdução
A. Rocha, 2012 – Análise Forense de Documentos Digitais 6
Introdução
‣ Diversas imagens estão sendo adulteradas e 
apresentadas como verdadeiras para incriminar ou 
levar as pessoas a acreditar em uma informação falsa.
‣ A olho nu pode ser muito difícil de determinar se a 
imagem foi ou não adulterada.
‣ Algoritmos foram propostos para tentar encontrar 
inconsistências em imagens adulteradas e expô-las.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Estado da Arte
A. Rocha, 2012 – Análise Forense de Documentos Digitais 8
Estado da Arte
‣ Exposing digital forgeries in color filter array 
interpolated images 
[Popescu & Farid. 2005]
‣ Detecting doctored images using camera 
response normality and consistency 
[Lin et al. 2005]
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Exposing digital forgeries in CFA
‣ Uma imagem digital consiste de três canais que 
contém amostras do espectro de cor, por exemplo, 
vermelho, verde e azul.
‣ Na maioria das câmeras, apenas uma cor é guardada 
em cada posição de pixel, as outras duas cores devem 
ser estimadas de acordo com seus pixels vizinhos para 
que seja possível obter os três canais de cores da 
imagem.
9
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Exposing digital forgeries in CFA
‣ Os autores apresentam diversos modelos de 
interpolação de cores como, por exemplo, combinação 
linear de um pixel com seus vizinhos.
10
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Exposing digital forgeries in CFA
11
‣ Os autores assumem um modelo linear simples, onde 
cada pixel interpolado é correlacionado com uma 
soma de diferentes pesos em uma pequena vizinhança.
‣ Utilizou-se um algoritmo de Maximização da 
Esperança (EM) para determinar as amostras que são 
correlacionadas com seus vizinhos, e como estes se 
relacionam.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Exposing digital forgeries in CFA
12
©
 A
. P
op
es
cu
©
 A
. P
op
es
cu
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Exposing digital forgeries in CFA
13
‣ Nas imagens anteriores, as colunas da esquerda mostram 
exemplos de fotos de câmeras que utilizam os algoritmos 
de interpolação citados no artigo. 
‣ As colunas do meio mostram as probabilidades estimadas 
para o canal de cor verde (semelhante para os canais 
vermelho e azul).
‣ As colunas da direita mostram a magnitude da 
Transformada de Fourier aplicada nos mapas de 
probabilidade. Os picos nas imagens correspondem as 
correlações periódicas de CFA.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Exposing digital forgeries in CFA
14
‣ Os autores também mostram como utilizar essas 
características de interpolação para detectar 
inconsistências nas imagens causadas por falsificações.
©
 A
. P
op
es
cu
A. Rocha, 2012 – Análise Forense de Documentos Digitais 15
Estado da Arte
‣ Exposing digital forgeries in color filter array 
interpolated images 
[Popescu & Farid. 2005]
‣ Detecting doctored images using camera 
response normality and consistency 
[Lin et al. 2005]
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Detecting doctored images using 
camera response
16
‣ Existem muitas maneiras de se alterar uma imagem 
sendo, em alguns casos, com objetivos maliciosos. 
‣ Na maioria das vezes é difícil identificar uma imagem 
adulterada.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Detecting doctored images using 
camera response
17
‣ Imagens falsificadas podem ser detectadas em vários níveis. 
• No nível mais alto, analisa-se o que está contido na imagem 
usando a relação entre os objetos. Como, por exemplo, Getúlio 
Vargas não estaria em uma foto com o D. Pedro II. 
• Em um nível intermediário, poderíamos identificar 
inconsistências na imagem como tamanho de objetos, cor, 
sombra, etc.
• No mais baixo nível, temos características locais como nível de 
ruído e qualidade da junção de bordas. 
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Detecting doctored images using 
camera response
18
‣ Humanos são bons com os níveis alto e intermediário. 
E tem alguma habilidade com o nível mais baixo.
‣ Computadores são ruins na análise do nível mais alto, 
e possuem um bom desempenho nos níveis 
intermediário e baixo.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Detecting doctored images using 
camera response
19
‣ Os autores propõe um novo método para detecção 
de imagens falsificadas por meio da função de resposta 
da câmera.
‣ Selecionam-se blocos ao longo das bordas da imagem. 
‣ Se a imagem é real, então diferentes blocos devem 
possuir a mesma função de resposta. Caso contrário, a 
imagem pode ter sido adulterada.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
20
‣ A função de resposta da câmera é uma função de 
mapeamento da irradiância (luz incidente) em um 
ponto da imagem para o valor do pixel 
correspondente àquele ponto.
‣ Em câmeras com sensor de cor CCD, cada um dos 
canais de cor (RGB) possui uma função de resposta.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
21
©
 S
. L
in
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
22
‣ Em (a), na figura acima, a primeira e a segunda coluna de pixels 
formam uma região de radiância R1, a última coluna da imagem 
tem radiância R2, e a terceira coluna contém pixels da junção 
das duas regiões.
‣ Em (b), a irradiância das primeiras duas colunas mapeiam para 
o ponto I1, enquanto a última coluna mapeia para I2. A terceira 
coluna é uma combinação linear de I1 e I2.
‣ Em (c), a função de resposta da câmera f, transforma o 
segmento de reta de (b) em uma curva.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
23
‣ Os sensores ópticos funcionam quase linearmente, 
contudo os pixels resultantes não são proporcionais à 
quantidade de luz incidente. Algumas das razões para isso 
seriam:
• A conversão de analógico para digital pode não ser 
feita linearmente.
• Possíveis pós-processamentos (correção Gamma, 
balanceamento de brancos, etc.), em câmeras que 
salvam a imagem em JPEG, TIFF.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
24
‣ Computa-se uma aproximação para a função inversa da 
resposta da câmera, g = f -1, para mapear as cores de RGB 
de volta para a irradiância, de forma que a relação linear 
nas bordas é recuperada da melhor maneira possível.
‣ Para cada bloco de borda da imagem com regiões de cor 
M1 e M2. A função inversa g deve mapear a cor medida 
em cada ponto p do bloco, de cor Mp, em uma linha.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Aside
‣ Como computar a função de resposta da câmera? 
‣ Em que isso se aplica?
‣ Ver nota de aula: Image formation & HDR Photography 
de Eduardo R. Corral-Soto
25
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
25
©
 S
. L
in
A. Rocha,2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
26
‣ A função g satisfaz essa propriedade se a distância de 
g(Mp) até a linha g(M1)g(M2) é zero, formula-se como:
‣ Onde × é um produto vetorial.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
27
‣ Define-se Ω = {<M1, M2, Mp>} como o conjunto de 
triplas de cor de um bloco. Para uma imagem, a distância 
total é da forma:
‣ Então, tem-se como objetivo a função g que minimiza a 
distância total.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
28
‣ Para que Ω seja formado é necessário que:
• As áreas das duas regiões particionadas pela borda (regiões de 
cores M1 e M2), devem ser as mais próximas possíveis entre si.
• A variância das cores dentro das regiões deve ser a menor 
possível.
• A diferença entre as cores médias das regiões particionadas 
pela borda deve ser a maior possível.
• As cores dos pixels dentro da região de borda devem estar 
entre M1 e M2.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
29
‣ Estes blocos podem ser escolhidos automaticamente 
ou por interferência do usuário em alguma imagem 
suspeita.
‣ A seleção manual é preferida, pois a seleção 
automática pode ignorar blocos em regiões de oclusão 
e os resultados podem não ser os melhores possíveis 
de acordo com o alto nível.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
30
‣ Para realizar a minimização de D(g; Ω), utiliza-se uma 
estimativa Bayesiana.
‣ Com base em um conhecimento prévio de função de 
resposta de câmeras reais a partir de Database of 
Response Functions (DoRF). 
A. Rocha, 2012 – Análise Forense de Documentos Digitais
DoRF database
31
‣ O DoRF database é um banco de dados organizado 
por Michael D. Grossberg & Shree K. Nayar 
[Grossberg & Nayar. DoRF 2003].
‣ Trata-se de 201 funções de respostas de câmeras de 
imagem e vídeo diferentes.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
DoRF database
©
 M
. D
. G
ro
ss
be
rg
32
A. Rocha, 2012 – Análise Forense de Documentos Digitais
DoRF database
33
‣ Grossberg & Nayar fizeram uso do algoritmo de PCA 
em cima de uma base de treinamento nomeada como 
Empirical Model of Response (EMoR), contendo 175 
curvas, as outras 26 foram deixadas para o conjunto de 
teste.
‣ Foram escolhidos os auto-vetores associados aos 
quatro maiores auto-valores.
‣ Os primeiros três auto-valores correspondiam a cerca de 
99,5% da energia.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
DoRF database
34
©
 M
. D
. G
ro
ss
be
rg
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
35
‣ Lin et al. utilizaram o mesmo modelo de Grossberg & 
Nayar, mas selecionando os auto-vetores associados 
aos cinco maiores auto-valores, formando a matriz H.
‣ Então, representa-se a inversa da função de resposta, 
g, como:
g = g0 + cH
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
36
‣ Onde g0 = [gR0, gG0, gB0]T é a média da inversa da 
função de resposta, c = [cR, cG, cB]T é um vetor de 
coeficientes que representam a função g em R3×5.
‣ Computa-se então uma estimativa maximum a 
posteriori (MAP).
A. Rocha, 2012 – Análise Forense de Documentos Digitais
MAP
37
‣ Deseja-se estimar uma população não-observada θ. Se f é uma 
distribuição de x então:
‣ É uma função de verossimilhança (likelihood). Assumindo que 
uma distribuição a priori g sobre θ existe, tem-se, a partir de 
uma aplicação direta do Teorema de Bayes:
‣ Onde argmax de f(x | θ) é a máxima função de 
verossimilhança .
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
38
‣ Então, agora calcula-se a distribuição a priori e a função de 
verossimilhança.
‣ Distribuição a priori, obtida através do DoRF database modelada 
com uma mistura de modelos Gaussianos, onde são calculadas 
K = 5 Gaussianas através de um algoritmo de EM:
‣ Em que αi define um peso, µi a média e Ʃi a covariância 
para a i-ésima Gaussiana.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
39
‣ Função de verossimilhança, modelada como uma 
exponencial, pois g deve ter um valor baixo de distância 
total (Distância é baixa para elementos com alta 
similaridade):
‣ Onde λ é uma constante utilizada como 104 e Z é uma constante de normalização.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
40
‣ Aplicando os parâmetros p(g) e p(Ω | g), na estimativa 
MAP:
‣ Aplicando log na função, g* pode ser reescrita como:
‣ Onde g* é a solução ótima de E(g).
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Função de Resposta da Câmera
41
‣ Finalmente, a minimização é calculada pelo método de 
Levenberg-Marquardt.
‣ Após a convergência do algoritmo, o resultado é 
refinado utilizando um algoritmo de busca guloso.
‣ Dessa maneira, tem-se calculada uma aproximação 
para a inversa da função de resposta. 
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Detecting doctored images using 
camera response
42
‣ As funções de resposta, normalmente, possuem as 
seguintes propriedades:
• Devem ser monotonicamente crescentes.
• Após uma suavização, deve ter no máximo um ponto 
de inflexão.
• Os três canais de cor devem ser próximos entre si.
‣ Estas propriedades também valem para as inversas das 
funções de resposta.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Detecting doctored images using 
camera response
43
‣ Então, para avaliar as funções de resposta, define-se as 
seguintes funções:
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Detecting doctored images using 
camera response
44
‣ O objetivo é fazer com que os resultados das funções 
acima seja mínimo.
‣ fmono penaliza as funções não-monotônicas crescentes. 
‣ ffluc aumenta para funções com mais do que um ponto 
de inflexão.
‣ fdiv tenta aproximar os canais de cor entre si o máximo 
possível.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Detecting doctored images using 
camera response
45
‣ Treina-se um classificador SVM utilizando um vetor 3D 
(fmono, ffluc, fdiv) da seguinte maneira:
• Positivo – Treinado com exemplos do DoRF database.
• Negativo – As curvas coletadas pelo algoritmo em 
imagens adulteradas. 
‣ SVM retorna como resultado o nível de confiança c.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Detecting doctored images using 
camera response
46
‣ Quanto maior |c|, maior a confiança.
‣ Um c negativo indica anormalidade, enquanto c 
positivo indica normalidade.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Resultados
47
‣ Nas imagens a seguir, serão mostradas diferentes 
estratégias de seleção de blocos.
‣ Onde a imagem (a1) é a imagem original e (a2) é um 
exemplo de seleção dos blocos.
‣ F, S e B são, respectivamente, objeto, bordas suspeitas 
e fundo. E c é a resposta do classificador SVM.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Resultados
48
©
 Z
. L
in
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Resultados
49
©
 Z
. L
in
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Resultados
50
‣ As imagens a seguir são um exemplo de imagens 
adulteradas.
‣ A imagem (b1) é a imagem adulterada.
‣ A imagem (b2) é um exemplo de seleção de blocos de 
borda.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Resultados
51
©Z
. L
in
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Resultados
52
©
 Z
. L
in
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Resultados
53
‣ Os resultados apresentados abaixo são de imagens 
que foram adulteradas utilizando Lazy Snapping.
‣ Lazy Snapping é uma ferramenta em que o usuário 
seleciona o objeto a ser segmentado e o fundo da 
imagem próximo ao objeto selecionado.
‣ O fundo foi facilmente detectado como normal e as 
regiões de borda foram identificadas como anormais.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Resultados
54
©
 Z
. L
in
©
 Z
. L
in
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Resultados
55
©
 Z
. L
in
©
 Z
. L
in
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Resultados
56
©
 Z
. L
in
©
 Z
. L
in
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Limitações
57
‣ As imagens devem ter contraste alto para que o 
intervalo de cores dos blocos selecionados seja grande 
o suficiente.
‣ Também deve conter várias bordas cujas regiões sejam 
homogêneas, para uma maior seleção de blocos.
‣ Ainda assim, o algoritmo pode falhar se a composição 
for feita com imagens de uma mesma câmera.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Limitações
58
‣ Caso a composição da imagem tenha sido feita por 
câmeras não documentadas no DoRF, a imagem pode ser 
mal analisada.
‣ Deve-se balancear a distribuição dos blocos selecionados 
entre objeto, fundo e bordas suspeitas.
‣ Finalmente, se a função de resposta da câmera variar pela 
imagem, como acontece com algumas câmeras (HP 
photosmart e câmeras utilizando sensor CMOS), a 
detecção ficaria comprometida.
Conclusões
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Conclusões
60
‣ Os autores apresentam uma interessante ferramenta de 
detecção de inconsistências, possivelmente causadas por 
adulterações, em uma imagem através da função de 
resposta da câmera.
‣ O artigo porém não apresenta muitos resultados, sendo 
assim difícil de concluir se o algoritmo apresentado 
realmente tem resultados consistentes em um grande 
número de imagens.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Conclusões
61
‣ Não são apresentados o volume de dados de treinamento 
e teste, bem como o número de falso-positivos e falso-
negativos do algoritmo de classificação.
‣ É necessária constante intervenção do usuário para uma 
maior confiabilidade do algoritmo.
Referências
A. Rocha, 2012 – Análise Forense de Documentos Digitais 63
Referências
1.[Lin et al. 2004] S. Lin, J. Gu, S. Yamazaki, and H.-Y. Shum. (2004). Radiometric Calibration from a Single 
Image. In Proceedings of CVPR , pp. 938-945.
2.[Grossberg & Nayar. 2003] M.D. Grossberg and S.K. Nayar. (2003). What Is the Space of Camera Response 
Functions? In Proceedings of CVPR, pp.II: 602-609.
3.[Lin et al. 2005] Z. Lin, R. Wang, X. Tang, and H.-Y. Shum. (2005). Detecting doctored images using camera 
response normality and consistency. In Intl. Conference on Computer Vision and Pattern Recognition (CVPR), New 
York, USA.
4.[Popescu & Farid. 2005] Alin C. Popescu and Hany Farid. (2005) Exposing digital forgeries in color filter array 
interpolated images. IEEE Transactions on Signal Processing (TSP), 53(10):3948-3959.
5.[Grossberg & Nayar. 2004] Michael D. Grossberg and Shree K. Nayar. (2004). Modeling the Space of 
Camera Response Functions. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 26, no. 10.
6.[Grossberg & Nayar. DoRF 2003] Michael D. Grossberg and Shree K. Nayar. (2003). DoRF database. http://
www.cs.columbia.edu/CAVE/software/softlib/dorf.php
Obrigado!