Slide 06_Aprendizagem de Máíquina e Mineração de Dados I

Prévia do material em texto

06
Aprendizagem de Máquina e 
Mineração de Dados I
Avaliação dos Modelos de Classificação
Priscila Louise Leyser Santin
AVALIAÇÃO
• Como podemos medir quão preditivo é o modelo aprendido?
• Uma solução simples muito utilizada é dividir os dados em conjuntos de
treinamento e de teste
• Considera-se conjunto de teste os exemplos (registros) que não foram usados na
geração do modelo
• Esses parâmetros são ajustados antes de iniciar a tarefa de classificação
• Quanto maior o arquivo de treinamento melhor será o classificador
VALIDAÇÃO CRUZADA
• Base estratificada 10 vezes >> obter uma estimativa mais precisa
MÉTODOS DE AVALIAÇÃO
PROPORÇÃO DE ACERTOS/ERROS
• taxa_de_erros = Nerros / Ntotal
• taxa_de_acertos = Nacertos / Ntotal
Exemplo
caso montante idade salário conta empréstimo empréstimo
(predito) 
15 médio sênior alto sim sim sim 
16 médio sênior alto não não sim 
17 baixo jovem alto sim sim sim 
18 baixo sênior alto não não sim 
19 alto média alto não não não 
20 alto jovem alto sim sim sim 
21 médio jovem alto sim sim sim 
 
 
MÉTODOS DE AVALIAÇÃO
MATRIZ DE CONFUSÃO MÉTRICAS:
• Acurácia:
𝑇𝑃+𝑇𝑁
𝑛
× 100%
• Erro:
𝐹𝑃+𝐹𝑁
𝑛
× 100%
• Precisão:
𝑇𝑃
𝑇𝑃+𝐹𝑃
× 100%
• Recall:
𝑇𝑃
𝑇𝑃+𝐹𝑁
× 100%
• 𝑛 = total de instâncias classificadas
✓ 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁
MATRIZ DE CONFUSÃO
Exemplo MÉTRICAS:
• Acurácia:
𝑇𝑃+𝑇𝑁
𝑛
× 100%
• Erro:
𝐹𝑃+𝐹𝑁
𝑛
× 100%
• Precisão:
𝑇𝑃
𝑇𝑃+𝐹𝑃
× 100%
• Recall:
𝑇𝑃
𝑇𝑃+𝐹𝑁
× 100%
caso montante idade salário conta empréstimo
empréstimo
(predito)
1 médio sênior baixo sim não sim
2 médio sênior baixo não não não
3 baixo sênior baixo sim sim não
4 alto média baixo sim sim sim
5 alto jovem alto sim sim não
6 alto jovem alto não não sim
7 baixo jovem alto não sim sim
8 médio média baixo sim não sim
9 médio jovem alto sim sim sim
10 alto média alto sim sim não
11 médio média alto não sim sim
12 baixo jovem baixo não sim sim
13 baixo sênior alto sim sim sim
14 alto média baixo não não não
Sim Não
Sim
Não
Classe
Real
Classe Prevista
próxima aula.....
Outros algoritmos de classificação
Bons Estudos!