03 Análise Forense - Conceitos Importantes

Prévia do material em texto

Prof. Dr. Anderson Rocha
anderson.rocha@ic.unicamp.br
http://www.ic.unicamp.br/~rocha
Reasoning for Complex Data (RECOD) Lab.
Institute of Computing, Unicamp
Av. Albert Einstein, 1251 - Cidade Universitária
CEP 13083-970 • Campinas/SP - Brasil 
Análise Forense de
Documentos Digitais
Organização
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Organização
‣ Conceitos de Imagem Digital
‣ Operações com Imagens
‣ Aprendizado de Máquina
3
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Organização
‣ Aprendizado de Máquina
• Supervisionado
• Não-Supervisionado
• Semi-Supervisionado
‣ Avaliação e Comparação de Métodos
4
Imagem
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
‣ De acordo com [Gomes & Velho 1996], para 
trabalharmos com imagens, devemos estabelecer 
um universo matemático no qual seja possível 
definir diversos modelos abstratos destas
‣ Em seguida, precisamos criar um universo de 
representação onde procuramos esquemas que 
permitam uma representação discreta desses 
modelos
6
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
‣ O objetivo da representação discreta desses 
modelos é codificar a imagem no computador
‣ Quando observamos uma fotografia, ou uma 
cena no mundo real, recebemos de cada ponto 
do espaço um impulso luminoso que associa 
uma informação de cor a esse ponto
7
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
‣ Nesse sentido, podemos definir uma imagem 
contínua (não discreta) como a aplicação
onde é uma superfície e é um espaço 
vetorial
‣ Na maioria das aplicações, é um subconjunto 
plano e é um espaço de cor
8
I : U ! C
U ⇢ R3 C
U
C
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
‣ A função na definição é chamada de função 
imagem
‣ O conjunto é chamado suporte da imagem
‣ O conjunto de valores de , que é um 
subconjunto de , é chamado de conjunto de 
valores da imagem
9
I
U
I
C
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
‣ Quando é um espaço de cor de dimensão 1, 
dizemos que a imagem é monocromática ou em 
tons de cinza
‣ A representação mais comum de uma imagem 
espacial consiste em tomar um subconjunto 
discreto do domínio da imagem, uma 
espaço de cor associado a um dispositivo 
gráfico e representar a imagem pela amostragem 
da função imagem 
10
C
U 0 ⇢ U
C
I ! U 0
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
‣ Cada ponto do subconjunto discreto é 
chamado de elemento da imagem ou pixel
‣ Para a representação em computador, devemos 
também trabalhar com modelos onde a função 
imagem toma valores em um subconjunto 
discreto do espaço de cor 
‣ Esse processo de discretização é chamado de 
quantização
11
(xi, yi) U 0
I
C
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
‣ O caso mais utilizado de discretização espacial 
de uma imagem consiste em tomar o domínio 
como sendo um retângulo e discretizar esse 
retângulo usando os pontos de um reticulado 
bidimensional
‣ Dessa forma a imagem pode ser representada de 
forma matricial por uma matriz
12
A(m⇥n) = (aij = (I(xi, yj))
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
‣ Cada elemento e 
da matriz representa o valor da função imagem
 no ponto de coordenadas do 
reticulado
‣ Dessa forma, cada ponto é um vetor do 
espaço de cor representando a cor do pixel na 
coordenada da imagem
13
aij , i = 1, . . . ,m j = 1, . . . n
I (xi, yj)
aij
(i, j)
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
‣ Se cada ponto possui três valores associados e 
cada valor precisa de oito bits para ser 
representado, então cada pixel dessa imagem 
pode ser representado com 24 bits
‣ A imagem é dita de 24 bits
‣ Se cada pixel também codifica transparência, a 
imagem tem um quarto canal, chamado alfa, 
tornando-se uma imagem de 32 bits
14
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
15
136 6 Digital Images
Fig. 6.1. Abstraction levels in the representation of an image.
Note that these levels will be realized concretely in different ways in an
image processing system. For this reason, in order to obtain a unified scheme
for image processing, we must use transformations to pass from one level to
another, and we must also be able to manipulate descriptions on a single level
(see Chapter 2).
6.2 The Spatial Model
Although there are several mathematical models appropriate for the descrip-
tion of images, we will stress in this book the so-called spatial model, which
is the one best suited for computer graphics applications.
6.2.1 Continuous Images
When we look at a photograph or a real-life scene, we receive from each point
in space a light impulse, which associates color information to that point.
136 6 Digital Images
Fig. 6.1. Abstraction levels in the representation of an image.
Note that these levels will be realized concretely in different ways in an
image processing system. For this reason, in order to obtain a unified scheme
for image processing, we must use transformations to pass from one level to
another, and we must also be able to manipulate descriptions on a single level
(see Chapter 2).
6.2 The Spatial Model
Although there are several mathematical models appropriate for the descrip-
tion of images, we will stress in this book the so-called spatial model, which
is the one best suited for computer graphics applications.
6.2.1 Continuous Images
When we look at a photograph or a real-life scene, we receive from each point
in space a light impulse, which associates color information to that point.
136 6 Digital Images
Fig. 6.1. Abstraction levels in the representation of an image.
Note that these levels will be realized concretely in different ways in an
image processing system. For this reason, in order to obtain a unified scheme
for image processing, we must use transformations to pass from one level to
another, and we must also be able to manipulate descriptions on a single level
(see Chapter 2).
6.2 The Spatial Model
Although there are several mathematical models appropriate for the descrip-
tion of images, we will stress in this book the so-called spatial model, which
is the one best suited for computer graphics applications.
6.2.1 Continuous Images
When we look at a photograph or a real-life scene, we receive from each point
in space a light impulse, which associates color information to that point.
Representação
Contínua
Representação
Discreta
Representação
Simbólica
amostragem
codificação
decodificação
reconstrução
©
 G
om
es
 &
 V
el
ho
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Espaços de Cor
‣ O espaço de cor pode variar de acordo com o 
dispositivo de exibição (e.g., monitor, impressora)
‣ Espaços de cor
• RGB (Vermelho, Verde, Azul)
• CMYK (Ciano, Magenta, Amarelo, Preto)
• HSV (Matiz, Saturação e Brilho)
• etc.
16
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Espaço de cor RGB
‣ O propósito principal do sistema RGB é 
a reprodução de cores em dispositivos 
eletrônicos
• monitores de TV e computador
• datashows
• scanners
• câmeras digitais
• fotografia tradicional
17
©
 W
ik
ip
ed
ia
.o
rg
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
18
©
 A
. R
oc
ha
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Imagem
19
©
 A
. R
oc
ha
 (
M
on
ta
ge
m
)
* The Persistence of Memory bySalvador Dali
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Espaço de cor CMYK
‣ Modelo de cores subtrativas
‣ Contraposição ao RGB
‣ Apropriado para impressoras
‣ K vem de keyed (alinhamento) da 
placa de impressão de cor preta com 
as outras
20
©
 W
ik
ip
ed
ia
.o
rg
© Wikipedia.org
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Espaço de cor HSV
‣ Matiz (tonalidade): verifica o tipo da 
cor (abrange todas as cores do 
espectro)
‣ Saturação (pureza): valores baixos são 
próximos do cinza. Valores altos são 
próximos da cor pura
‣ Brilho: define o brilho (intensidade) da 
cor
21
©
 W
ik
ip
ed
ia
.o
rg
Operações com
Imagens
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Quantização
‣ Mapeamento dos números reais em valores 
discretos
‣ Tipicamente utiliza-se bytes (256 valores) ou 
inteiros curtos (65536 valores)
23
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Warping
24
‣ Modifica o “domínio” da função de imagem.
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Transformações - Atributos
25
blur
arestas
canal
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Decomposição em Canais 
de Cores
‣ Quando separamos a imagem em suas cores 
básicas representadas no espaço de cores
‣ Se o espaço de cores utilizado é um espaço 
RGB, temos os componentes vermelho (Red), 
verde (Green), e azul (Blue);
26
C0 � C
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Decomposição Wavelet
27
D1
D3
D2
L
V1
H1
H2
V2
V3
H3
© A. Rocha
© A. Rocha
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Decomposição em Planos 
de Bits
‣ Quando decompomos a imagem em seus planos 
de bits
‣ Por exemplo, após a decomposição da imagem 
de 24 bits em seus três canais de cores (R,G,B), 
podemos ainda, fazer uma decomposição por 
planos de bits. 
‣ Cada canal de cor possui 8 bits e possui 8 planos 
de bits por canal de cor
28
A. Rocha, 2012 – Análise Forense de Documentos Digitais 29
* Decomposição da imagem em canais de bits
©
 A
. R
oc
ha
Decomposição em Planos 
de Bits
Nomenclaturas
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Nomenclatura
‣ Diferentes áreas tem nomes distintos para 
coisas parecidas
• Aprendizado de Máquina
• Reconhecimento de Padrões
• Aprendizado Estatístico
• Mineração de Dados
31
Aprendizado de
Máquina
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Aprendizado de Máquina
‣ Aprendizado de Máquina é uma área da 
Inteligência Artificial concentrada no 
desenvolvimento de técnicas que permitem que 
computadores sejam capazes de aprender com 
a experiência [Mitchell 1997]
‣ Extração de informações e extrapolação do 
conhecimento a partir de dados
33
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Aprendizado de Máquina
‣ Alguns problemas que utilizam aprendizado de 
Máquina [Mitchell 1997] [Friedman et al. 2001]
• reconhecimento de caracteres
• reconhecimento da fala
• predição de ataques cardíacos
• detecção de fraudes em cartões de créditos
34
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Aprendizado de Máquina
‣ Na solução desses problemas, podemos ter 
classificadores fixos ou baseados em 
aprendizado, que, por sua vez, pode ser 
supervisionado ou não-supervisionado 
[Friedman et al. 2001]
35
A. Rocha, 2012 – Análise Forense de Documentos Digitais
‣ Podemos ver um classificador, matematicamente, como 
um mapeamento a partir de um espaço de 
características X para um conjunto discreto de rótulos 
(labels) Y
‣ Em IA, um classificador de padrões é um tipo de motor 
de inferência que implementa estratégias eficientes para 
computar relações de classificação entre pares de 
conceitos ou para computar relações entre um 
conceito e um conjunto de instâncias 
[Duda et al. 2000]
36
Definição – Classificadores
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Classificadores
‣ Classificadores podem ser
• Supervisionados
• Semi-Supervisionados
• Não-Supervisionados
37
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Classificadores
‣ Classificadores supervisionados consistem em 
técnicas em que procuramos estimar uma função 
de classificação a partir de um conjunto de 
treinamento
‣ O conjunto de treinamento consiste de pares de 
valores de entrada X, e sua saída desejada Y 
[Friedman et al. 2001]
38
f
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Classificadores
‣ Valores observados no conjunto X são 
denotados por , isto é, é a i-ésima 
observação em X
‣ O número de variáveis que constituem cada uma 
das entradas em em X é p
‣ Assim, X tem n observações, chamados de 
vetores de características
39
xi xi
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Classificadores
‣ Cada vetor de entrada é composto por p graus 
de liberdade (dimensões ou variáveis)
‣ A saída da função pode ser um valor contínuo 
(regressão) ou pode predizer a etiqueta (label) 
de um objeto de entrada (classificação)
40
f
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Classificadores
‣ A tarefa do aprendizado é predizer o valor da função 
para qualquer objeto de entrada que seja válido após 
ter sido suficientemente treinado com um conjunto de 
exemplos [Bishop 2006]
‣ Alguns exemplos de classificadores supervisionados são 
• Support Vector Machines
• Linear Discriminant Analysis, 
• Boosting
41
A. Rocha, 2012 – Análise Forense de Documentos Digitais
‣ Um outro grupo de técnicas de aprendizado, 
não utilizam exemplos de treinamento 
marcados (classe conhecida)
‣ Conhecidos como técnicas para aprendizado 
não-supervisionado
‣ Esta forma de aprendizado, na maioria das 
vezes, trata o seu conjunto de entrada como 
um conjunto de variáveis aleatórias
42
Aprendizado Não-Supervisionado
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Aprendizado Não-Supervisionado
‣ Um modelo de distribuição conjunta (joint 
distribution model) é então construído para a 
representação dos dados
‣ Desta forma, o objetivo deste aprendizado é avaliar 
como os dados estão organizados e agrupados 
[Friedman et al. 2001]
‣ Técnicas de Maximização de Esperança [Baeza-Yates 
2003], por exemplo, podem ser utilizadas para 
aprendizado não-supervisionado
43
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Aprendizado Semi-Supervisionado
‣ Um outro grupo de técnicas de aprendizado 
envolve abordagens mistas
• Supervisionado
• Não Supervisionado
‣ São as técnicas Semi-Supervisionadas
44
Modelagem de
Problemas
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Modelagem de Problemas
‣ Problemas são descritos por variáveis
‣ Dois tipos
• Reais
• Categóricas
46
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Modelagem de Problemas
‣ Como transitar entre os dois tipos de variáveis? 
‣ É possível “converter” uma representação em 
outra?
47
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Modelagem de Problemas
‣ Simplicidade vs. Complexidade
‣ O que é realmente importante?
‣ Precisamos realmente de todos os dados 
possíveis para tomar uma decisão?
48
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Modelagem de Problemas
‣ Dimensão do vetor de características tem 
efeitos colaterais importantes:
‣ Dimensão alta
• Distâncias médias ficam grandes
• Dados ficam esparsos
‣ Maldição da Dimensionalidade
49
Aprendizado 
Supervisionado
(Primeiros Passos)
A. Rocha, 2012 – Análise Forense deDocumentos Digitais
Aprendizado Supervisionado
‣ Dados para Aprendizado Supervisionado
‣ “Give me more data”
‣ Classificação vs. Regressão
51
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Aprendizado Supervisionado
‣ Será que quanto mais complexo nosso modelo 
de “predição” melhor o resultado?
52
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Exemplo – KNN
‣ K-Vizinhos mais Próximos (KNN)
‣ Um exemplo de técnica baseada em instâncias.
‣ Não há “aprendizado”
• decisões são feitas para cada instância
53
Rocha & Goldenstein, 2010 – CSI: Análise Forense de Documentos Digitais
KNN – 
Elements of Statistical Learning c©Hastie, Tibshirani & Friedman 2001 Chapter 2
1-Nearest Neighbor Classifier
.. .. .
. . . . . .. . . . . . .. . . . . . . . .
. . . . . . . . .. . . . . . . . . . .. . . . . . . . . . . . . .
. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .
. . . . . . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .
. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . .
. . . . . . . . . .. . . . . . . . . .. . . . . . . . .
o
o
ooo
o
o
o
o
o
o
o
o
o
o
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o ooo
o
o
o
oo o
o
o
o
o
o
o
o
oo
o
o
oo
ooo
o
o
oo
o
o
o
o
o
o
o
o
o o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
o
o
o oo
o
o
o
o
o
o
o
o
o
o
Figure 2.3: The same classification example in two
dimensions as in Figure 2.1. The classes are coded
as a binary variable (GREEN = 0, RED = 1), and then
predicted by 1-nearest-neighbor classification.
54
©
 J.
 F
ri
ed
m
an
 e
t 
al
.
k = 1
Rocha & Goldenstein, 2010 – CSI: Análise Forense de Documentos Digitais
KNN – 
55
©
 J.
 F
ri
ed
m
an
 e
t 
al
.
Elements of Statistical Learning c©Hastie, Tibshirani & Friedman 2001 Chapter 2
15-Nearest Neighbor Classifier
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .. .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .
... .
. .. .. .
. . .. . .. . .
. . . . .. . . . . .. . . . . . .
. . . . . . . .. . . . . . . . .. . . . . . . . .
. . . . . . . . .. . . . . . . . . .. . . . . . . . . . . .
. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
o
o
ooo
o
o
o
o
o
o
o
o
o
o
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o ooo
o
o
o
oo o
o
o
o
o
o
o
o
oo
o
o
oo
ooo
o
o
oo
o
o
o
o
o
o
o
o
o o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
o
o
o oo
o
o
o
o
o
o
o
o
o
o
Figure 2.2: The same classification example in two
dimensions as in Figure 2.1. The classes are coded as a
binary variable (GREEN = 0, RED = 1) and then fit by 15-
nearest-neighbor averaging as in (2.8). The predicted
class is hence chosen by majority vote amongst the 15-
nearest neighbors.
k = 15
Avaliação e
Comparação
Rocha & Goldenstein, 2010 – CSI: Análise Forense de Documentos Digitais
Avaliação e Comparação
‣ Viés e Variância
‣ Treinamento e Teste
‣ Matriz de Confusão
‣ Métricas e Critérios
57
Rocha & Goldenstein, 2010 – CSI: Análise Forense de Documentos Digitais
Avaliação e Comparação
‣ Conjuntos de validação e teste
‣ Validação cruzada
58
Rocha & Goldenstein, 2010 – CSI: Análise Forense de Documentos Digitais
Curvas ROC
59
‣ Especificidade
• E = TN / (TN + FP)
‣ Sensitividade
• S = TP / (TP + FN)
‣ (Sensitividade) vs. (1 - Especificidade) = Curva 
Característica de Operação (ROC)
Rocha & Goldenstein, 2010 – CSI: Análise Forense de Documentos Digitais
Curvas ROC
60
©
 W
ik
ip
ed
ia
.o
rg
Referências
A. Rocha, 2012 – Análise Forense de Documentos Digitais
Referências
1. [Baeza-Yates 2003] R. Baeza-Yates. Clustering and Information Retrieval. Kluwer Academic Publishers. 1 edition.
2. [Bishop, 2006] C. M. Bishop. Pattern Recognition and Machine Learning. Springer, 1 edition, 2006.
3. [Duda et al. 2001] R. O. Duda, P. E. HART and D. G. STORK. Pattern Classification. Wiley-Interscience, 2, 2000.
4. [Friedman et al. 2001] J. Friedman, T. Hastie, and R. Tibshirani. The Elements of Statistical Learning. Springer, 1 
edition, 2001.
5. [Gomes & Velho, 1996] J.Gomes L. Velho. Computação Gráfica: Imagem. IMPA-SBM, 1.
6. [Gonzalez & Woods, 2007] R. Gonzalez and R. Woods. Digital Image Processing. Prentice-Hall, 3 edition.
7. [Mitchell 1997] T. M. Mitchell. Machine Learning. McGraw-Hill, 1 edition, 1997.
62
Obrigado!