llllllllllll (32)

Prévia do material em texto

https://t.me/kakashi_copiador
https://t.me/kakashi_copiador
Curso regular Ciência de dados – 
Machine Learning
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
Exercício 2 - síntese
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
Maria está preparando um relatório sobre as empresas de serviços de um município, de modo 
a identificar e estudar o porte dessas empresas com vistas ao estabelecimento de políticas 
públicas e previsões de arrecadação. Maria pretende criar nove grupos de empresas, de 
acordo com os valores de faturamento, e recorreu às técnicas usualmente empregadas em 
procedimentos de data mining para estabelecer as faixas de valores de cada grupo. Assinale 
a opção que apresenta a técnica diretamente aplicável a esse tipo de classificação. 
A - Algoritmos de associação. 
B - Algoritmos de clusterização. 
C - Árvores de decisão. 
D - Modelagem de dados. 
E - Regressão linear.
Exercício 2
Prof. Erick Muzart
FGV/Sefaz-ES/2021
https://t.me/kakashi_copiador
Maria está preparando um relatório sobre as empresas de serviços de um município, de modo 
a identificar e estudar o porte dessas empresas com vistas ao estabelecimento de políticas 
públicas e previsões de arrecadação. Maria pretende criar nove grupos de empresas, de 
acordo com os valores de faturamento, e recorreu às técnicas usualmente empregadas em 
procedimentos de data mining para estabelecer as faixas de valores de cada grupo. Assinale 
a opção que apresenta a técnica diretamente aplicável a esse tipo de classificação. 
A - Algoritmos de associação. 
B - Algoritmos de clusterização. 
C - Árvores de decisão. 
D - Modelagem de dados. 
E - Regressão linear.
Exercício 2
Prof. Erick Muzart
FGV/Sefaz-ES/2021
https://t.me/kakashi_copiador
Maria está preparando um relatório sobre as empresas de serviços de um município, de modo 
a identificar e estudar o porte dessas empresas com vistas ao estabelecimento de políticas 
públicas e previsões de arrecadação. Maria pretende criar nove grupos de empresas, de 
acordo com os valores de faturamento, e recorreu às técnicas usualmente empregadas em 
procedimentos de data mining para estabelecer as faixas de valores de cada grupo. Assinale 
a opção que apresenta a técnica diretamente aplicável a esse tipo de classificação. 
A - Algoritmos de associação. 
B - Algoritmos de clusterização. 
C - Árvores de decisão. 
D - Modelagem de dados. 
E - Regressão linear.
Exercício 2
Prof. Erick Muzart
FGV/Sefaz-ES/2021
https://t.me/kakashi_copiador
Maria está preparando um relatório sobre as empresas de serviços de um município, de modo 
a identificar e estudar o porte dessas empresas com vistas ao estabelecimento de políticas 
públicas e previsões de arrecadação. Maria pretende criar nove grupos de empresas, de 
acordo com os valores de faturamento, e recorreu às técnicas usualmente empregadas em 
procedimentos de data mining para estabelecer as faixas de valores de cada grupo. Assinale 
a opção que apresenta a técnica diretamente aplicável a esse tipo de classificação. 
A - Algoritmos de associação. 
B - Algoritmos de clusterização. 
C - Árvores de decisão. 
D - Modelagem de dados. 
E - Regressão linear.
Exercício 2
Prof. Erick Muzart
FGV/Sefaz-ES/2021
O que precisaria ser modificado no 
enunciado para que a alternativa correta 
fosse cada uma das demais alternativas 
disponíveis?
https://t.me/kakashi_copiador
Dois colegas de um time de ciência de dados discutem o novo projeto do time: avaliar um 
grupo de unidades de negócio e tentar, através de algumas características compartilhadas,
separá-las em grupos. O objetivo é migrar de um cenário em que são elaborados contratos 
individuais para um cenário em que possam ser elaborados contratos por grupo.
Alice acha que deve ser usado um método supervisionado. Ela escolhe o K-means Clustering 
e propõe ajustar os hiperparâmetros C e sigma para alcançar um resultado adequado.
Bob prefere métodos não supervisionados, já que a base de dados não possui rótulos, e está 
em dúvida entre utilizar Naive Bayes (em razão de a base de dados ser pequena) ou Decision
Trees (por talvez ser necessário ter um modelo explicável).
Exercício 2
Prof. Erick Muzart
FGV/CGU/2021
https://t.me/kakashi_copiador
Analisando as posições de Alice e Bob sobre esse projeto, pode-se afirmar que:
(A) Alice e Bob estão corretos. Entretanto, não é possível realizar uma análise prévia dos 
algoritmos – avaliam-se apenas modelos e suas métricas de desempenho;
(B) Alice e Bob estão errados. K-means Clustering é um método não supervisionado e não 
possui os parâmetros C e sigma. Naive Bayes e Decision Trees são métodos supervisionados;
(C) Alice está correta, mas a sugestão de Bob de utilizar Naive Bayes é fraca, pois esse 
algoritmo não apresenta bom desempenho com pequenos conjuntos de dados;
(D) Bob está correto e Alice está errada. K-means Clustering é um algoritmo não 
supervisionado;
(E) Bob está errado e Alice está correta. Modelos baseados em Decision Trees não são 
explicáveis.
Exercício 2
Prof. Erick Muzart
FGV/CGU/2021
https://t.me/kakashi_copiador
Dois colegas de um time de ciência de dados discutem o novo projeto do time: avaliar um 
grupo de unidades de negócio e tentar, através de algumas características compartilhadas,
separá-las em grupos. O objetivo é migrar de um cenário em que são elaborados contratos 
individuais para um cenário em que possam ser elaborados contratos por grupo.
Alice acha que deve ser usado um método supervisionado. Ela escolhe o K-means Clustering 
e propõe ajustar os hiperparâmetros C e sigma para alcançar um resultado adequado.
Bob prefere métodos não supervisionados, já que a base de dados não possui rótulos, e está 
em dúvida entre utilizar Naive Bayes (em razão de a base de dados ser pequena) ou Decision
Trees (por talvez ser necessário ter um modelo explicável).
Exercício 2
Prof. Erick Muzart
FGV/CGU/2021
https://t.me/kakashi_copiador
Analisando as posições de Alice e Bob sobre esse projeto, pode-se afirmar que:
(A) Alice e Bob estão corretos. Entretanto, não é possível realizar uma análise prévia dos 
algoritmos – avaliam-se apenas modelos e suas métricas de desempenho;
(B) Alice e Bob estão errados. K-means Clustering é um método não supervisionado e não 
possui os parâmetros C e sigma. Naive Bayes e Decision Trees são métodos supervisionados;
(C) Alice está correta, mas a sugestão de Bob de utilizar Naive Bayes é fraca, pois esse 
algoritmo não apresenta bom desempenho com pequenos conjuntos de dados;
(D) Bob está correto e Alice está errada. K-means Clustering é um algoritmo não 
supervisionado;
(E) Bob está errado e Alice está correta. Modelos baseados em Decision Trees não são 
explicáveis.
Exercício 2
Prof. Erick Muzart
FGV/CGU/2021
https://t.me/kakashi_copiador
[fim]Exercício 2 - síntese
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
REDUÇÃO DA DIMENSIONALIDADE
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
❑ Origem do problema: dados tabulares com grande número de colunas 
(variáveis ou atributos) podem limitar o desempenho de alguns modelos 
preditivos.
❑ Maldição da (alta) dimensionalidade (curse of dimensionality): em altas 
dimensões, os dados são esparsos: poucos dados em uma vizinhança.
❑ Redução da dimensionalidade: técnicas para reduzir o número dessas 
variáveis dos dados de entrada, com possíveis ganhos de desempenho
Dimensionalidade
Prof. Erick Muzart
Redução da dimensionalidade
https://t.me/kakashi_copiador
❑ Dados com menor dimensionalidade levam a modelos mais simples que 
podem generalizar melhor: menor risco de overfit
❑ Simplifica a representação gráfica de dados de alta dimensionalidade por 
projeção em 2 ou 3 dimensões, procurando preservar o máximo das 
características dos dados originais de múltiplas dimensões
❑ Dados mais simples, com menor dimensionalidade, requerem menos recursos 
computacionais para treinar modelos
❑ Redução de dimensionalidade limita efeitos de multicolinearidade das 
variáveis originais
DimensionalidadeProf. Erick Muzart
Vantagens da Redução
https://t.me/kakashi_copiador
Dimensionalidade
Prof. Erick Muzart
Pinguins!
❑ Correlações entre peso, 
comprimento de nadadeira, 
comprimento e espessura de 
bico para 3 espécies de 
pinguins
https://t.me/kakashi_copiador
❑ Seleção de atributos: descartar atributos (variáveis) irrelevantes, pouco 
relacionadas com a variável alvo (target)
❑ Fatorização de matriz: decompõe a matriz dos dados originais em produtos 
de matrizes mais simples, com propriedades que permitem identificar as 
dimensões mais relevantes da variabilidade dos dados enquanto combinações 
lineares dos dados originais: PCA, LDA, SVD
❑ Mapeamentos não lineares (manifold): t-SNE, UMAP
❑ Autoencoders
Dimensionalidade
Prof. Erick Muzart
Tipos de redução
https://t.me/kakashi_copiador
❑ PCA – Análise de Componentes Principais
❑ Aplicação de PCA na matriz dos dados originais:
• calcula-se a covariância de cada coluna com todas as demais
• Decompõe-se a matriz de covariância em seus autovetores (algebra linear) que 
permitem expressar as propriedades essenciais da matriz em combinações 
lineares dos dados originais, numa sequência de vetores de importância 
decrescente e ortogonais entre si
❑ Propriedade essencial do PCA: gera novos eixos para representar os dados, em 
que a máxima variabilidade dos dados aparece na primeira dimensão. Cada 
dimensão seguinte é ortogonal às anteriores e representam componentes cada 
vez menores da variabilidade dos dados.
Dimensionalidade
Prof. Erick Muzart
PCA
https://t.me/kakashi_copiador
Dimensionalidade
Prof. Erick Muzart
PCA
https://t.me/kakashi_copiador
Dimensionalidade
Prof. Erick Muzart
PCA
https://t.me/kakashi_copiador
Dimensionalidade
Prof. Erick Muzart
PCA - Iris
https://t.me/kakashi_copiador
❑ t-distributed Stochastic Neighbor Embedding (t-SNE)
❑ Representação não linear probabilística em que pontos próximos em um 
espaço de alta dimensão tendem a ficarem próximos em um espaço de baixa 
dimensão
Dimensionalidade
Prof. Erick Muzart
t-SNE
https://t.me/kakashi_copiador
Dimensionalidade
Prof. Erick Muzart
Exemplo Digits
https://t.me/kakashi_copiador
A redução da dimensionalidade de uma base de dados altamente correlacionados é objetivo da 
Análise:
A) de Componentes Principais.
B) de Campos de Prioridades.
C) de Componentes de Regressão.
D) Dimensional de Covariância.
E) Interativa de Componentes.
Dimensionalidade
Prof. Erick Muzart
Esaf/2016
https://t.me/kakashi_copiador
A redução da dimensionalidade de uma base de dados altamente correlacionados é objetivo da 
Análise:
A) de Componentes Principais.
B) de Campos de Prioridades.
C) de Componentes de Regressão.
D) Dimensional de Covariância.
E) Interativa de Componentes.
Dimensionalidade
Prof. Erick Muzart
Esaf/2016
https://t.me/kakashi_copiador
Em Datamining, redução da dimensionalidade é:
A - A expressão de um conjunto de dados por um conjunto menor de características do que em sua 
forma original.
B - A redução dos espaços de variação dos dados em relação a seus espaços originais.
C - A supressão de características consideradas de menor prioridade pelo gestor.
D - A expressão de um conjunto de dados por um conjunto de características de dimensionalidade 
conhecida.
E - A expressão de um conjunto de características por um outro conjunto de características de 
dimensionalidade invariante em relação à sua forma original.
Dimensionalidade
Prof. Erick Muzart
Esaf/RF-Técnico/2014
https://t.me/kakashi_copiador
Em Datamining, redução da dimensionalidade é:
A - A expressão de um conjunto de dados por um conjunto menor de características do que em sua 
forma original.
B - A redução dos espaços de variação dos dados em relação a seus espaços originais.
C - A supressão de características consideradas de menor prioridade pelo gestor.
D - A expressão de um conjunto de dados por um conjunto de características de dimensionalidade 
conhecida.
E - A expressão de um conjunto de características por um outro conjunto de características de 
dimensionalidade invariante em relação à sua forma original.
Aqui usou-se “características” para o termo atributos ou features
Dimensionalidade
Prof. Erick Muzart
Esaf/RF-Técnico/2014
https://t.me/kakashi_copiador
[FIM]REDUÇÃO DA DIMENSIONALIDADE
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
Sistema de Recomendação
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
❑ Dado um conjunto de produtos e de usuários e um histórico de 
transações (usuário, produto), como indicar para um determinado 
usuário qual produto poderia interessá-lo?
❑ Ex: Netflix, Amazon, YouTube, notícias, publicidade, sites de 
emprego...
Recomendação
Prof. Erick Muzart
Sistema de Recomendação
https://t.me/kakashi_copiador
❑ Recomendação por popularidade
❑ Modelo de classificação: características do usuário e do produto para 
prever se é de interesse
❑ Recomendação por similaridade de conteúdo
❑ Filtro colaborativo: estabelece similaridade entre produtos e entre 
usuários considerando unicamente padrões de transações passadas
❑ Híbridos: considera características dos usuários (cadastrais) dos 
produtos (descrições) e do padrão de transações históricas.
Recomendação
Prof. Erick Muzart
Sistema de Recomendação
https://t.me/kakashi_copiador
❑ representação vetorial de atributos conhecidos de produtos e usuários
❑ similaridades por métricas de distância:
- Distância Euclideana
- Coseno entre vetores
❑ Representação vetorial de características latentes (embeddings): fatorização 
de matrizes
Recomendação
Prof. Erick Muzart
Representação vetorial
https://t.me/kakashi_copiador
Recomendação
Prof. Erick Muzart
Fatorização de matrizes
https://t.me/kakashi_copiador
[fim]Sistema de Recomendação
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
FONTES DE ERRO
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
❑ Por que nossos modelos preditivos não conseguem atingir 100% de acerto? 
Qual a origem do erro? O que leva à incerteza nas previsões?
Fontes de erro
Prof. Erick Muzart
Fontes de erro
https://t.me/kakashi_copiador
❑ Por que nossos modelos preditivos não conseguem atingir 100% de acerto? 
Qual a origem do erro?
❑ Dado observado = padrão do fenômeno + variações
Fontes de erro
Prof. Erick Muzart
Fontes de erro
https://t.me/kakashi_copiador
❑ Por que nossos modelos preditivos não conseguem atingir 100% de acerto? 
Qual a origem do erro?
❑ Dado observado = padrão do fenômeno + variações
❑ Padrão = f(variáveis disponíveis) + g(variáveis indisponíveis)
Fontes de erro
Prof. Erick Muzart
Fontes de erro
https://t.me/kakashi_copiador
❑ Por que nossos modelos preditivos não conseguem atingir 100% de acerto? 
Qual a origem do erro?
❑ Dado observado = padrão do fenômeno + variações
❑ Padrão = f(variáveis disponíveis) + g(variáveis indisponíveis)
❑ Variações = aleatoriedade + erros diversos
Erros: ruído, medida, registro, caos...
Fontes de erro
Prof. Erick Muzart
Fontes de erro
https://t.me/kakashi_copiador
❑ Dado = f(var. dispo) + g(var. indispo) + aleatoriedade + erros
❑ Exemplos:
• Prever o resultado da mega-sena em função da série histórica de resultados 
anteriores?
• Prever a altura adulta de uma criança?
Var. dispo: sexo, altura pais/avós/irmãos, fatores ambientias gerais (padrão de 
nutrição, condições médicas)
Var. Indispo: sequenciamento DNA da criança, detalhes de histórico de vida
Aleatoriedade: efeitos da sorte, mudanças imprevisíveis de circunstâncias de 
vida...
Erros: falhas nas medidas das variáveis, dados ausentes, mutações
Fontes de erro
Prof. Erick Muzart
Detalhes de erro
https://t.me/kakashi_copiador
❑ Dado = f(var. dispo) + g(var. indispo) + aleatoriedade + erros
❑ Modelo = Limitações do modelo (f(var. dispo)) + nova aleatoriedade
• Falta a informação das variáveis indisponíveis
• Na mistura que representa o dado, difícil separar a contribuição de f(dispo) 
dos demais sinais g(indispo) + alea + erros
• Há um risco do modeloprocurar um padrão em alea + erro nos dados 
disponíveis (treinamento): overfit
• As limitações do modelo podem impedí-lo de mapear perfeitamente f(dispo): 
ajuste de complexidade, encaixe entre fenômeno e modelo
Mas, ainda assim, funciona!
Fontes de erro
Prof. Erick Muzart
Obstáculos para modelagem
https://t.me/kakashi_copiador
❑ Erro de previsão: 
diferença entre valor previsto e valor “verdadeiro” do dado
❑ Nosso principal objetivo não é reduzir o erro sobre dados que já conhecemos e 
utilizamos para treinar o modelo! Mas sim reduzir o erro sobre novos dados, 
nunca visto antes, do modelo em produção!
❑ Diferença entre dados de treinamento e dados futuros em produção? 
MEMORIZAÇÃO!
❑ Como garantir generalização?
Fontes de erro
Prof. Erick Muzart
Erro de previsão vs generalização
https://t.me/kakashi_copiador
[FIM]FONTES DE ERRO
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
VALIDAÇÃO E AVALIAÇÃO
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
❑ Como garantir qual será o desempenho do modelo em produção?
Validação e avaliação
Prof. Erick Muzart
Validação e avaliação
https://t.me/kakashi_copiador
❑ Como garantir qual será o desempenho do modelo em produção?
❑ Simular o futuro/produção, com dados do passado/disponíveis:
Separar os dados disponíveis em conjuntos distintos: treinamento e teste! 
❑ Ajusta (treina) modelo nos dados de treinamento e avalia (compara resultado 
previsto e esperado (verdadeiro) nos dados de teste, não utilizados durante o 
treinamento
Validação e avaliação
Prof. Erick Muzart
Validação e avaliação
https://t.me/kakashi_copiador
Validação e avaliação
Prof. Erick Muzart
Separação: treino / teste
Raschka (2019)
https://t.me/kakashi_copiador
Validação e avaliação
Prof. Erick Muzart
Separação: treino-validação-teste
FreeCodeCamp.orghttps://t.me/kakashi_copiador
Validação e avaliação
Prof. Erick Muzart
Separação: treino-validação-teste
❑ Teste: uso único ao final, para 
estimativa independente de 
desempenho
❑ Validação: múltiplos usos ao 
longo do processo de escolha e 
otimização de modelos
❑ 3ª opção: validação cruzada!
FreeCodeCamp.orghttps://t.me/kakashi_copiador
Validação e avaliação
Prof. Erick Muzart
Validação Cruzada (cross validation)
https://t.me/kakashi_copiador
Validação e avaliação
Prof. Erick Muzart
Validação Cruzada
❑ Objetivo: estimativa confiável e precisa do 
desempenho de um modelo, com dados fora do 
conjunto de treinamento 
❑ Cria k partições de dados: usa k-1 delas para 
treinamento e uma k-ésima para teste, permutando 
essas partições, para treinar k modelos distintos e 
retonar o desempenho médio
❑ Usa todos os dados de treinamento para selecionar:
- melhores tipos de modelos
- determinar seus parâmetros ótimos, e
- procedimentos de pré-processamento mais 
adequados
https://t.me/kakashi_copiador
Validação e avaliação
Prof. Erick Muzart
Validação Cruzada
❑ Vantagens: 
- Estimativa precisa de desempenho, para guiar 
pequenas melhoras cumulativas na modelagem
- Estimativa da variabilidade do desempenho
❑ Desvantagens:
- Custo computacional e tempo de treinamento 
multiplicado por k (porém, paralelizável)
- Se utilizado para múltiplas decisões de modelagem, 
pode levar a estimativas otimistas de desempenho
- Requer um tamanho mínimo de teste para 
estimativas estáveis
https://t.me/kakashi_copiador
Validação e avaliação
Prof. Erick Muzart
Validação mixta (padrão)
https://t.me/kakashi_copiador
❑ Trade-offs entre ter mais dados em treino, validação ou teste: custo 
computacional e confiabilidade na medida de desempenho
❑ Quantidade de dados? Proporção ideal entre treino e teste?
❑ Escolha de k para k-fold cross validation
❑ Garantir que os dados de treino e teste sejam semelhantes: estratificação, 
estatísticas similares entre os conjuntos de dados
Validação e avaliação
Prof. Erick Muzart
Validação e avaliação: trade-offs
https://t.me/kakashi_copiador
Um cientista de dados necessita estimar a precisão preditiva de um classificador medindo 
essa precisão para uma amostra de dados ainda não utilizada. Quais são as três estratégias 
principais, comumente usadas para isso, que o cientista de dados pode utilizar?
(A) Divisão de dados em conjunto de treino e conjunto de teste, validação cruzada k-fold e
validação cruzada N-fold.
(B) Erro padrão, divisão de dados em conjunto de treino e conjunto de teste, re-execução de
testes.
(C) Conjunto de dados permanentes, conjunto de teste e re-execução de testes.
(D) Troca de valores mais frequentes, validação cruzada e conjunto de treino e teste.
(E) Conjunto de dados ausente, conjunto de treino e conjunto de teste.
Validação
Prof. Erick Muzart
AOCP/MLSP/2020
https://t.me/kakashi_copiador
Um cientista de dados necessita estimar a precisão preditiva de um classificador medindo 
essa precisão para uma amostra de dados ainda não utilizada. Quais são as três estratégias 
principais, comumente usadas para isso, que o cientista de dados pode utilizar?
(A) Divisão de dados em conjunto de treino e conjunto de teste, validação cruzada k-fold e
validação cruzada N-fold.
• Pode ser N repetições de k-fold CV, ou
• Nested Cross Validation: busca em loop externo por melhor modelo, validado por CV, sendo que 
em cada iteração há um loop CV para otimização de híper-parâmetros para um dado modelo...
Validação
Prof. Erick Muzart
AOCP/MLSP/2020
https://t.me/kakashi_copiador
Um analista de dados deseja criar um modelo para classificação de documentos em duas 
categorias: sigilosos e públicos. À sua disposição, existe um conjunto de dados com N 
documentos, dos quais uma fração α deles é sigilosa. O analista quer escolher uma fração β 
dos N documentos para pertencer ao conjunto de teste.
O objetivo é garantir que cada uma das classes (documentos sigilosos e públicos) seja 
responsável, em média, por ao menos 10% do total de documentos. Essa restrição precisa ser 
válida tanto no conjunto de treino quanto no conjunto de teste.
Um par (α,β) que satisfaz as restrições do analista é:
(A) α = 20% e β = 70%;
(B) α = 30% e β = 80%;
(C) α = 40% e β = 60%;
(D) α = 60% e β = 80%;
(E) α = 70% e β = 20%.
Validação
Prof. Erick Muzart
FGV/TCU/2021
https://t.me/kakashi_copiador
Um analista de dados deseja criar um modelo para classificação de documentos em duas 
categorias: sigilosos e públicos. À sua disposição, existe um conjunto de dados com N 
documentos, dos quais uma fração α deles é sigilosa. O analista quer escolher uma fração β 
dos N documentos para pertencer ao conjunto de teste.
O objetivo é garantir que cada uma das classes (documentos sigilosos e públicos) seja 
responsável, em média, por ao menos 10% do total de documentos. Essa restrição precisa ser 
válida tanto no conjunto de treino quanto no conjunto de teste.
Um par (α,β) que satisfaz as restrições do analista é:
(A) α = 20% e β = 70%;
(B) α = 30% e β = 80%;
(C) α = 40% e β = 60%;
(D) α = 60% e β = 80%;
(E) α = 70% e β = 20%.
Validação
Prof. Erick Muzart
FGV/TCU/2021
https://t.me/kakashi_copiador
Um analista de dados deseja criar um modelo para classificação de documentos em duas 
categorias: sigilosos e públicos. À sua disposição, existe um conjunto de dados com N 
documentos, dos quais uma fração α deles é sigilosa. O analista quer escolher uma fração β 
dos N documentos para pertencer ao conjunto de teste.
O objetivo é garantir que cada uma das classes (documentos sigilosos e públicos) seja 
responsável, em média, por ao menos 10% do total de documentos. Essa restrição precisa ser 
válida tanto no conjunto de treino quanto no conjunto de teste.
Um par (α,β) que satisfaz as restrições do analista é:
(A) α = 20% e β = 70%;
(B) α = 30% e β = 80%;
(C) α = 40% e β = 60%;
(D) α = 60% e β = 80%;
(E) α = 70% e β = 20%.
Validação
Prof. Erick Muzart
FGV/TCU/2021
Problema: algumas frações não irão atender a restrição de 10% dos 
documentos para cada classe, tanto no treino quanto no teste.
Cada fração precisa ser testada para verificar que atende às restriçõesConsidere N=100 para simplificar os cálculos de frações
Utilizando as partições: sig + pub = 100 e treino + teste = 100, 
testamos cada opção para verificar se atende ao mínimo de 10 
documentos para cada classe:
https://t.me/kakashi_copiador
(A) α = 20% e β = 70%;
(B) α = 30% e β = 80%;
(C) α = 40% e β = 60%;
(D) α = 60% e β = 80%;
(E) α = 70% e β = 20%.
Validação
Prof. Erick Muzart
FGV/TCU/2021 A) a=20% => 20sig / 80pub
B=70% => teste: 14sig / 56pub então sobram: 
treino: 6sig / 24pub descartar opção A)
B) a=30% => 30sig / 70pub
B=80% => teste: 24sig / 56pub então sobram:
treino: 6sig / 14pub descartar opção B)
C) a=40% => 40sig / 60pub
B=60% => teste: 24sig / 36pub então sobram:
treino: 16sig / 24pub OK, livrou os 10% mínimos
Válida a opção C)
D) a=60% => 60sig / 40pub
B=80% => teste: 48sig / 32pub então sobram:
treino: 12sig / 8pub descartar opção D)
E) a=70% => 70sig / 30pub
B=20% => teste: 14sig / 6pub 
descartar opção E)
https://t.me/kakashi_copiador
[FIM]VALIDAÇÃO E AVALIAÇÃO
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
UNDERFITTING - OVERFITTING
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
Underfitting - Overfitting
Prof. Erick Muzart
Underfitting - Overfitting
https://t.me/kakashi_copiador
Underfitting - Overfitting
Prof. Erick Muzart
Underfitting - Overfitting
https://t.me/kakashi_copiador
Underfitting - Overfitting
Prof. Erick Muzart
Overfitting
Raschka (2019)
https://t.me/kakashi_copiador
Underfitting - Overfitting
Prof. Erick Muzart
Overfitting
https://t.me/kakashi_copiador
Underfitting - Overfitting
Prof. Erick Muzart
Overfitting
https://t.me/kakashi_copiador
Underfitting - Overfitting
Prof. Erick Muzart
Overfitting
https://t.me/kakashi_copiador
❑ Como combater sobreajustamento (overfitting)?
❑ Ajustando o nível de complexidade do seu modelo para o nível de 
complexidade da sua tarefa sobre os seus dados
❑ Na prática, limita-se overfit:
• Treinar com mais dados! (maior variedade, menor força de variações 
espúrias)
• Validação cruzada para detectar surgimento de overfit
• Combinação de múltiplos modelos (ensemble)
• Adicionar ruído nos dados de treinamento!
• Limitar a complexidade do modelo: regularização
Underfitting - Overfitting
Prof. Erick Muzart
Overfitting
https://t.me/kakashi_copiador
Com relação a data mining (mineração de dados), julgue os próximos itens.
Em modelos de classificação, ocorre overfitting quando o número de erros 
cometidos no grupo de dados usado para treinar (ajustar) o modelo é muito 
pequeno e o número de erros de generalização é grande.
C - Certo
E - Errado
Underfitting - Overfitting
Prof. Erick Muzart
CESPE/Embrapa-metQuant/2006
https://t.me/kakashi_copiador
Com relação a data mining (mineração de dados), julgue os próximos itens.
Em modelos de classificação, ocorre overfitting quando o número de erros 
cometidos no grupo de dados usado para treinar (ajustar) o modelo é muito 
pequeno e o número de erros de generalização é grande.
C - Certo
E - Errado
Underfitting - Overfitting
Prof. Erick Muzart
CESPE/Embrapa-metQuant/2006
https://t.me/kakashi_copiador
Julgue os próximos itens, 
considerando o gráfico precedente, 
que representa as regiões de 
overfitting e de underfitting, 
permitindo uma avaliação do 
relacionamento da complexidade 
do modelo de aprendizagem de 
máquina adotado, com o erro de 
predição. 
Underfitting - Overfitting
Prof. Erick Muzart
Cesbraspe/Petrobras/2021
https://t.me/kakashi_copiador
54 A região do gráfico entre as duas curvas, indicada pela letra B, mostra a 
região de erro de generalização para o modelo de aprendizado de máquina.
Certo ou Errado?
Underfitting - Overfitting
Prof. Erick Muzart
Cesbraspe/Petrobras/2021
https://t.me/kakashi_copiador
54 A região do gráfico entre as duas curvas, indicada pela letra B, mostra a 
região de erro de generalização para o modelo de aprendizado de máquina.
Certo ou Errado?
Underfitting - Overfitting
Prof. Erick Muzart
Cesbraspe/Petrobras/2021
https://t.me/kakashi_copiador
55 O Set de Treinamento é usado para qualificar o desempenho do modelo, 
enquanto o Set de Validação é utilizado para criar o modelo de aprendizado de 
máquina. 
Certo ou Errado?
Underfitting - Overfitting
Prof. Erick Muzart
Cesbraspe/Petrobras/2021
https://t.me/kakashi_copiador
55 O Set de Treinamento é usado para qualificar o desempenho do modelo, 
enquanto o Set de Validação é utilizado para criar o modelo de aprendizado de 
máquina. 
Certo ou Errado?
Underfitting - Overfitting
Prof. Erick Muzart
Cesbraspe/Petrobras/2021
https://t.me/kakashi_copiador
56 Considerando que a variância é um erro de sensibilidade para pequenas 
flutuações no conjunto de treinamento, infere-se que um baixo nível de 
variância pode fazer que o algoritmo associado a um modelo de aprendizado 
de máquina perca as relações relevantes entre os atributos de entrada e a 
variável de saída, caracterizando o erro de overfitting, percebido na região à 
direita do ponto A. 
Certo ou Errado?
Underfitting - Overfitting
Prof. Erick Muzart
Cesbraspe/Petrobras/2021
https://t.me/kakashi_copiador
56 Considerando que a variância é um erro de sensibilidade para pequenas 
flutuações no conjunto de treinamento, infere-se que um baixo nível de 
variância pode fazer que o algoritmo associado a um modelo de aprendizado 
de máquina perca as relações relevantes entre os atributos de entrada e a 
variável de saída, caracterizando o erro de overfitting, percebido na região à 
direita do ponto A. 
Certo ou Errado?
Underfitting - Overfitting
Prof. Erick Muzart
Cesbraspe/Petrobras/2021
https://t.me/kakashi_copiador
57 Quando se verifica um alto erro no treinamento com valor próximo ao erro 
na validação, percebido na região à esquerda do ponto A, tem-se um clássico 
problema de underfitting, caracterizado pelo alto valor do bias.
Certo ou Errado?
Underfitting - Overfitting
Prof. Erick Muzart
Cesbraspe/Petrobras/2021
https://t.me/kakashi_copiador
57 Quando se verifica um alto erro no treinamento com valor próximo ao erro 
na validação, percebido na região à esquerda do ponto A, tem-se um clássico 
problema de underfitting, caracterizado pelo alto valor do bias.
Certo ou Errado?
Underfitting - Overfitting
Prof. Erick Muzart
Cesbraspe/Petrobras/2021
https://t.me/kakashi_copiador
Um time de ciência de dados utilizou um modelo linear para resolver uma tarefa de análise de 
dados financeiros provenientes de diferentes unidades de uma organização. Um membro do time, 
que não participou da modelagem, testa o modelo e verifica que ele apresenta um péssimo 
resultado.
Preocupado, ele busca os resultados apresentados no treino e pode concluir que ocorreu:
(A) underfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um 
modelo mais complexo e a redução do tempo de treinamento;
(B) underfitting, se o resultado do treino também foi péssimo. Uma possível solução é a utilização 
de um modelo menos complexo e métodos de validação cruzada;
(C) overfitting, se o resultado do treino também foi péssimo. Uma possível solução é a utilização 
de técnicas de regularização e métodos de validação cruzada;
(D) overfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um 
modelo menos complexo e métodos de validação cruzada;
(E) overfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um 
modelo mais complexo e o aumento do tempo de treinamento.
Underfitting - Overfitting
Prof. Erick Muzart
FGV/CGU/2021
https://t.me/kakashi_copiador
Um time de ciência de dados utilizou um modelo linear para resolver uma tarefa de análise de 
dados financeiros provenientes de diferentes unidades de uma organização. Um membro do time, 
que não participou da modelagem, testa o modelo e verifica que ele apresenta um péssimo 
resultado.
Preocupado, ele busca os resultados apresentados no treino e pode concluir que ocorreu:
(A) underfitting, se o resultado do treinofoi ótimo. Uma possível solução é a utilização de um 
modelo mais complexo e a redução do tempo de treinamento;
(B) underfitting, se o resultado do treino também foi péssimo. Uma possível solução é a utilização 
de um modelo menos complexo e métodos de validação cruzada;
(C) overfitting, se o resultado do treino também foi péssimo. Uma possível solução é a utilização 
de técnicas de regularização e métodos de validação cruzada;
(D) overfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um 
modelo menos complexo e métodos de validação cruzada;
(E) overfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um 
modelo mais complexo e o aumento do tempo de treinamento.
Underfitting - Overfitting
Prof. Erick Muzart
FGV/CGU/2021
https://t.me/kakashi_copiador
[FIM]UNDERFITTING - OVERFITTING
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
REGULARIZAÇÃO
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
❑ Controle fino do nível de complexidade de um dado modelo, limitando seu 
grau de liberdade (flexibilidade) para se ajustar aos dados de treinamento, 
visando evitar sobreajustamento (overfit).
❑ Regularização de modelos de regressão linear, penaliza valores elevados nos 
pesos da equação linear:
• Ridge (L2): minimiza quadrado dos pesos
• Lasso (L1): minimiza valor absoluto dos pesos => leva a ter atributos com 
peso zero, ou seja, modelos mais simples, com menos atributos
Regularização
Prof. Erick Muzart
Regularização
https://t.me/kakashi_copiador
• Profundidade da árvore
• Número mínimo de observações: em 
cada folha; em cada nó
• Ganho mínimo de informação para 
uma nova ramificação
Regularização
Prof. Erick Muzart
Regularização
❑ Regularização de modelos de árvore de decisão: limita (“poda”) a 
expansão da árvore, em algumas possíveis dimensões:
https://t.me/kakashi_copiador
Regularização
Prof. Erick Muzart
Regularização
❑ Regularização de árvore de decisão, para regressão, por número 
mínimo de observações para cada folha
https://t.me/kakashi_copiador
❑ K-vizinhos (knn): complexidade em função do tamanho de uma vizinhança;
❑ Quanto maior o tamanho de vizinhança mais casos são considerados para 
cada previsão, reduzindo assim a importância/influência de cada caso.
❑ Maior k, mais regularizado o modelo e menor a chance de overfit
Regularização
Prof. Erick Muzart
Controle de complexidade: knn
Dados de três classes
Mapas de classificação: 1NN e 5NN
https://t.me/kakashi_copiador
❑ Redes neurais: quanto mais unidades ou complexidade de arquitetura uma 
rede neural possui, mais ela tem flexibilidade para adaptar-se aos dados de 
treinamento, com o risco de overfit
Técnicas que limitam overfitting em redes neurais:
- obter mais dados! Idealmente, com novos dados originais; 
pragmaticamente, por aumento/expansão de dados (data augmentation) 
transformando os dados originais
- controle de complexidade do modelo: redução de tamanho da rede, 
redução do número de camadas ou do número de unidades por camada, 
complexidade da arquitetura
- regularização: L1 e L2, penalizando os pesos de cada unidade
- dropout 
- parada precoce e
Regularização
Prof. Erick Muzart
Regularização: redes neurais
https://t.me/kakashi_copiador
❑ Técnicas que limitam overfitting em redes neurais:
- obter mais dados! Idealmente, com novos dados originais; 
pragmaticamente, por aumento/expansão de dados (data augmentation) 
transformando os dados originais
- controle de complexidade do modelo: redução de tamanho da rede, 
redução do número de camadas ou do número de unidades por camada, 
complexidade da arquitetura
- regularização: L1 e L2, penalizando os pesos de cada unidade da rede
- dropout: desconexão aleatória de algumas unidades durante o treinamento
- parada precoce: interromper o treinamento quando o erro de validação 
passa a aumentar
Regularização
Prof. Erick Muzart
Regularização: redes neurais
https://t.me/kakashi_copiador
Durante o treinamento de uma rede neural artificial para classificação de imagens, foi observado o 
comportamento descrito pelo gráfico abaixo, que mostra a evolução do erro conforme o número 
de iterações.
O classificador em questão foi treinado em um conjunto de dados particionado (holdout) em 
60%/30%/10% (treinamento/validação/teste). Entretanto, os especialistas envolvidos 
consideraram o modelo obtido insatisfatório após analisarem o gráfico.
Considerando essas informações, duas técnicas que poderiam ser utilizadas para contornar o 
problema encontrado são:
(A) Parada precoce, Minimização de Entropia Cruzada;
(B) Validação cruzada, Dropout;
(C) Sobreamostragem, Gradiente Descendente Estocástico;
(D) Dropout, Parada em convergência;
(E) Minimização de Entropia Cruzada, Validação cruzada.
Regularização
Prof. Erick Muzart
FGV/TGU/2021
https://t.me/kakashi_copiador
Durante o treinamento de uma rede neural artificial para classificação de imagens, foi observado o 
comportamento descrito pelo gráfico abaixo, que mostra a evolução do erro conforme o número 
de iterações.
O classificador em questão foi treinado em um conjunto de dados particionado (holdout) em 
60%/30%/10% (treinamento/validação/teste). Entretanto, os especialistas envolvidos 
consideraram o modelo obtido insatisfatório após analisarem o gráfico.
Considerando essas informações, duas técnicas que poderiam ser utilizadas para contornar o 
problema encontrado são:
(A) Parada precoce, Minimização de Entropia Cruzada;
(B) Validação cruzada, Dropout;
(C) Sobreamostragem, Gradiente Descendente Estocástico;
(D) Dropout, Parada em convergência;
(E) Minimização de Entropia Cruzada, Validação cruzada.
Regularização
Prof. Erick Muzart
FGV/TGU/2021
https://t.me/kakashi_copiador
O gráfico mostra o erro de validação aumentando a partir 
da iteração 70, enquanto o erro de treinamento não 
aumenta. Isso caracteriza overfitting.
Solução: uso de técnicas que limitam overfitting em redes 
neurais!
(A) Parada precoce, Minimização de Entropia Cruzada;
(B) Validação cruzada, Dropout;
(C) Sobreamostragem, Gradiente Descendente Estocástico;
(D) Dropout, Parada em convergência;
(E) Minimização de Entropia Cruzada, Validação cruzada.
FGV/TGU/2021
- Entropia cruzada: possível função de erro durante treinamento (loss)
- Sobreamostragem: repetição de dados de treinamento para compensar desbalanceamentos
- Gradiente Descendente Estocástico (SGD): método iterativo de otimização, com cálculo do gradiente (derivadas parciais do erro em função 
dos parâmetros) sobre uma amostra por vez e não todos os dados juntos
- Validação cruzada: método de reamostragem que permite particionar dados em vários conjuntos treino/validação para estimativa confiável 
de desempenho
- “Parada em convergência”: expressão pouco usual em ML, mas empregada em otimização para definir critérios de parada do algoritmo. 
Entendi como similar à “parada precoce”, mas pelo gabarito da FGV não seria o caso.
https://t.me/kakashi_copiador
O gráfico mostra o erro de validação aumentando a partir 
da iteração 70, enquanto o erro de treinamento não 
aumenta. Isso caracteriza overfitting.
Solução: uso de técnicas que limitam overfitting em redes 
neurais!
(A) Parada precoce, Minimização de Entropia Cruzada;
(B) Validação cruzada, Dropout;
(C) Sobreamostragem, Gradiente Descendente Estocástico;
(D) Dropout, Parada em convergência;
(E) Minimização de Entropia Cruzada, Validação cruzada.
FGV/TGU/2021
OBS: A FGV entende que validação cruzada seria uma técnica para limitação de overfitting! (múltiplas 
questões nesse sentido).
https://t.me/kakashi_copiador
[FIM]REGULARIZAÇÃO
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
OBRIGADO
Prof. Erick 
Muzart
https://t.me/kakashi_copiador
https://t.me/kakashi_copiador