Slide 07_Tópicos Especiais I_vILFM

Prévia do material em texto

07Aula
Tópicos Especiais I
Classificação de Dados
Prof. Rodrigo Nascimento
Classificação de Dados
• Muitos problemas práticos possuem registros históricos, relacionando situações 
específicas com determinados resultados;
• Por exemplo, administradoras de cartões de créditos possuem registros de transações 
passadas e informações se foram fraudulentas ou não; financeiras possuem cadastros de 
clientes que pediram empréstimo associados às formas e condições de pagamento (e 
até inadimplências); empresas possuem registros de funcionários com seu perfil e 
desempenho no trabalho; entre muitos outros;
• Quando cada registro possui um rótulo de classe ou um valor de saída associado que 
representa o resultado histórico de registros passados, o objetivo da análise é, quase 
invariavelmente, construir um modelo que possa ser usado para predizer qual seria essa 
saída para novos registros, ou seja, registros cuja classe ou valor de saída são 
desconhecidos.
Classificação de dados
• O desenvolvimento de um modelo preditivo possui, portanto, duas etapas principais, 
são eles:
• Treinamento: Na primeira etapa, o preditor(classificador ou estimador) é gerado de tal 
forma que seja capaz de descrever e distinguir um conjunto predeterminado de classes 
ou valores;
• Teste: Uma vez que o preditor foi gerado, é preciso avaliar seu desempenho quando 
aplicado a dados não usados no processo de treinamento, conhecidos como dados de 
teste, ou, em alguns cados, dados de validação.
Classificação de dados
• Em tarefas de predição é natural avaliar o desempenho de um algoritmo usando alguma 
taxa de erro, por exemplo, o erro de classificação ou erro de estimação. Como a base de 
dados de treinamento geralmente é uma amostra de uma base de dados maior e está 
sujeita a ruídos e outras impurezas, o erro encontrado durante o treinamento é uma 
estimativa do erro real e nem sempre é de grande interesse prático;
• Quando o modelo utiliza a aproximação da função g() pela função ĝ() fornecida pelo 
modelo preditivo deve permitir que o modelo apresente um comportamento de erro 
(monotonicamente) descrescente para os dados de treinamento ao longo do processo 
adaptativo, mas pode resultar em desempenho deteriorado para os dados de teste após 
determinado ponto do processo de treinamento. Dois tipos de erro são importantes em 
aprendizagem supervisionada:
Classificação de dados
• Erro de representação: Considere o caso em que todo o conjunto amostral está 
disponível e, também, que a base de dados completa permita encontrar um conjunto 
ótimo de parâmetross do modelo. Nesse caso, o erro vai depender da adequação e do 
nível de flexibilidade do modelo preditivo em relação aos dados de treinamento, pois 
nem sempre ele é suficiente adequado para representar os dados;
• Erro de generalização: Em aplicação de mundo real, somente um número finito de 
dados (uma amostra da base) está disponível ou pode ser usado simultaneamente para 
análise. Além disso, os dados podem conter ruído ou outras inconsistências. Portanto, a 
resposta de um algoritmo para dados não usados no treinamento precisa ser 
aproximada. Em virtude desses fatores, pode ocorrer um erro de generalização, também 
conhecido como erro de estimação, ou variância, mesmo quando técnicas de 
pré-processamento de dados são bem aplicadas.
Classificação de dados
Classificação de dados
• a. Erro de representação, no qual o modelo não é suficientemente flexível para 
representar o conjunto de objetos.
• b. Erro de generalização. Se o modelo não for treinado adequadamente ele pode 
absorver os ruídos contidos nos dados de treinamento e, consequentemente, 
apresentar baixa capacidade de generalização.
• c. Aproximação da função fornecida por um modelo preditivo que apresenta um bom 
equilíbrio do efeito bias-variance, ou seja, possui um baixo erro de treinamento graças à 
flexibilidade do modelo e ao mesmo tempo não “interpola” os ruídos da base.
Classificação de dados
• O dilema bias-variance é um modelo preditivo que precisa ser suficientemente flexível
para aproximar os dados de treinamento, o processo de treinamento deve ser tal que o
modelo não absorva os ruídos da base e apresente sobregeneralização. Esse equilíbrio
entre o erro de representação e o erro de generalização é conhecido como o dilema
bias-variância ou efeito bias-variance, e constitui um problema central em aprendizagem
supervisionada;
• Uma forma usual de manter o equilíbrio entre o bias e a variância é usando-se um
método sistemático de definição do momento adequado para interromper o
treinamento do modelo preditivo. O método mais usual de fazer isso é um processo
chamado validação cruzada, que avalia periodicamente o desempenho do modelo em
um conjunto de dados não usado no treinamento;
Classificação de dados
• Durante o treinamento do modelo, embora o algoritmo possa aparentar estar 
desempenhando cada vez melhor (uma vez que o erro para os dados de treinamento 
está decaindo monotonicamente), seu desempenho de gerenalização pode começar a se 
deteriorar após determinado número de iterações;
Classificação de dados
• O uso da validação cruzada para interromper o treinamento do modelo é bastante 
simples. Divida a base de dados em treinamento e teste. Use o conjunto de treinamento 
para ajustar o modelo e, periodicamente, aplique o modelo na predição na predição dos 
dados de teste;
• Quando o erro do modelo aumentar por determinado número de vezes consecutivas, 
interrompa o processo de aprendizagem e use os parâmetros do modelo que levaram ao 
melhor desempenho até aquele momento. As bases de dados que podemos utilizar para 
a realização dos testes são conhecidas como dataset do tipo benchmark.
Classificação de dados
Bons Estudos!
	Número do slide 1
	Classificação de Dados
	Classificação de dados
	Classificação de dados
	Classificação de dados
	Classificação de dados
	Classificação de dados
	Classificação de dados
	Classificação de dados
	Classificação de dados
	Classificação de dados
	Bons Estudos!