Prévia do material em texto
Comitê dos Métodos Apresentação 1. OBJETIVO Este ambiente de aprendizagem visa a familiarizá-lo com o universo de aplicações baseadas em aprendizagem de máquinas. O experimento proposto trata da aplicação de diferentes métodos de classificação em um banco de dados de teste. Você vai aplicar os conceitos apresentados, além de compreender e visualizar o funcionamento dos métodos. Ao final deste experimento, você deverá ser capaz de: reconhecer o funcionamento dos métodos de machine learning;• identificar o pré-processamento de textos;• explicar como vários métodos podem trabalhar em conjunto;• aplicar um comitê de métodos (ensemble learning).• 2. ONDE UTILIZAR ESSES CONCEITOS? A aprendizagem de máquina é uma das tendências mais modernas da tecnologia atualmente. Organizações e indústrias já começaram a experimentar aplicações com uso dessa técnica. Grandes fornecedores de software já incorporaram o aprendizado de máquina em suas ferramentas desenvolvidas para propósitos específicos. Em outros casos, usuários adaptaram aplicativos para receber o aprendizado de máquina, a fim de suprir suas necessidades. Por tudo isso, muito se tem falado na nova profissão do século, o cientista de dados. Alguns dos principais casos de uso de machine learning são: detecção de fraudes; sistemas de recomendação; mecanismos de busca; processamento de linguagem natural (como neste laboratório); segurança; aplicação na área da saúde; entre outros. Atualmente, um dos maiores desafios dessa área de estudo é encontrar profissionais qualificados. Por isso, empresas investem cada vez mais em formação e recrutamento para selecionar os melhores do mercado. Esse é um campo de atuação que promete evoluir nos próximos anos. O conteúdo a seguir foi elaborado para fornecer uma base de conhecimentos e permitir que você busque se aprofundar cada vez mais na área em questão. 3. O EXPERIMENTO O experimento proposto consiste na construção de um modelo real para detecção de spam em e- mails. Para isso, é necessário apresentar exemplos de spams para o algoritmo que, posteriormente, realizará a classificação de novas mensagens. O conjunto de dados que será utilizado é o SMS Spam Collection Dataset. Algumas etapas são necessárias, como: pré- processamento dos dados; particionamento do conjunto de dados em subconjuntos para teste e treino; aplicação dos métodos escolhidos; composição do comitê de métodos; e avaliação das métricas de desempenho. Ao final do experimento, a aplicação deve ser capaz de processar e classificar novas mensagens de teste. 4. SEGURANÇA Por ser uma aplicação virtual (programação), o desenvolvimento dos modelos de predição e aplicação dos métodos propostos não apresenta nenhum tipo de risco ou prejuízo. 5. CENÁRIO Todos os dias, inúmeras pessoas recebem diversas mensagens indesejadas em suas caixas de e-mail. Empresas como Google garantem que os métodos de aprendizado de máquina já conseguiram bloquear mais de 100 milhões de spams todos os dias. Com cerca de 1,5 bilhão de usuários, o Google diz que o Gmail já consegue bloquear 99,9% dos spams diariamente. Esse resultado foi obtido graças ao uso de algoritmos especialmente desenvolvidos e treinados com grandes quantidades de exemplos para desempenhar essa tarefa. Hoje, a quantidade de mensagens com spam é significativamente menor do que há alguns anos. No cenário da prática, você vai atuar com esses dados. Obs.: é importante que esta prática seja realizada individualmente, para melhor aproveitamento e aprofundamento do conhecimento. Bons estudos. Sumário teórico COMITÊ DOS MÉTODOS A inteligência artificial, por meio de suas mais diversas subáreas, têm alterado a maneira como os seres humanos interagem com os sistemas computacionais e com outros seres humanos. Nesse cenário, a machine learning, compreendida como o aprendizado de máquina a partir de dados previamente conhecidos, é definida como um campo preocupado com a construção de programas de computador que melhorem automaticamente a experiência do usuário. Diversos métodos estão disponíveis e se aplicam a tarefas que podem ser realizadas a partir de seu emprego. No decorrer desta prática, você estudará algoritmos que pertencem à classe dos algoritmos de aprendizado supervisionado (supervised learning) dentro do universo da machine learning. Neles, são necessárias uma informação de entrada e uma de saída, pois eles “aprendem” a função de mapeamento da entrada para a saída (DUDA; STORK; HART, 2000). De forma geral, os modelos são aplicados em duas situações: Regressão: obtenção de valores contínuos a partir dos dados;1. Classificação: obtenção de uma classe respectiva para cada observação.2. Como o problema proposto é identificar se uma determinada mensagem de e-mail é spam ou não, o foco do estudo será nos métodos para classificação. Os métodos que serão estudados são: K-nearest neighbors (KNN);1. Support vector machine (SVM);2. Naive Bayes;3. Perceptron;4. Árvore de decisão;5. Random forest.6. K-NEAREST NEIGHBORS (KNN) K-nearest neighbors (KNN – K-vizinhos próximos) é um método não paramétrico utilizado para classificação e regressão (KELLER; GRAY; GIVENS, 1985). De maneira geral, o algoritmo consiste em encontrar os k exemplos rotulados mais próximos do exemplo não classificado. Seu funcionamento se dá pelo cálculo da distância entre o ponto a ser classificado e seus vizinhos. Normalmente, utiliza-se a distância euclidiana como métrica; contudo, outras podem ser utilizadas, de acordo com o tipo de dado ou problema-alvo (por exemplo, distância Manhattan, Minkowski ou de Hamming). Figura 1 – Exemplificação dos k vizinhos mais próximos. Fonte: adaptada de Rocha (2019). SUPPORT VECTOR MACHINE (SVM) Support vector machine (SVM – máquina de vetores de suporte) é um método definido por um hiperplano (plano em mais de duas dimensões) ou um conjunto destes que pode ser utilizado tanto para classificação como para regressão (HEARST et al., 1998). Sua ideia fundamental é criar “margens” que separem os dados de classes diferentes e que estejam afastadas o máximo possível. Nesse processo de maximização, somente os dados que estão próximos dos limites das margens entre as classes serão utilizados. Esses dados (pontos) recebem o nome de “vetores de suporte”. NAIVE BAYES Métodos de aprendizado bayesianos baseiam-se em um modelo probabilístico, no qual se assume um conhecimento prévio do problema, que é combinado com novos exemplos de treinamento, a fim de obter-se a probabilidade final de classificação (MCCALLUM, 1998). O algoritmo Naive Bayes (NB – Bayes ingênuo) é um método baseado em probabilidades, ou seja, na ocorrência de um evento dado que outro evento já ocorreu. PERCEPTRON Perceptron é um algoritmo utilizado para classificadores binários (duas categorias, sim ou não, por exemplo). Seu funcionamento é baseado em um modelo matemático que busca imitar um neurônio biológico. Enquanto, nos neurônios reais, a troca de informações é feita por sinais elétricos, no Perceptron estes são representados por valores numéricos. Nas sinapses, os sinais elétricos são modulados em várias quantidades; no Perceptron, isso ocorre multiplicando cada valor de entrada por um valor chamado “peso”. Um neurônio real dispara um sinal de saída somente quando a força total dos sinais de entrada excede um certo limiar. Esse fenômeno, em um Perceptron, acontece quando a soma ponderada das entradas para representar a força total dos sinais de entrada e aplicando uma função de ativação na soma para determinar sua saída. Figura 2 – Representação de um neurônio artificial simples. X são as informações de entrada no neurônio, que são ponderadas por pesos representados por W. O resultado sofre a ação de uma função de ativação f até alcançar o output final Y. Fonte: adaptada de Papa e Rosa (2019). ÁRVORE DE DECISÃO A ideia básica portrás de uma árvore de decisão (decision tree – DT) é a quebra do problema em subproblemas mais simples (MURTHY, 1998). A cada nível que se desce, menor é o grupo pertencente àquele nó; sendo assim, recursivamente, se está mais próximo de classificar o nó como classe A ou B (SAFAVIAN; LANDGREBE, 1991). É uma abordagem de modelagem preditiva, composta por uma estrutura tipo fluxograma, em que cada nó interno representa um “teste” em um atributo, cada ramo representa o resultado do teste e cada nó-folha representa uma classe (decisão tomada após calcular todos os atributos) (QUINLAN, 1996). RANDOM FOREST Random forest (floresta de decisão) é um método para classificação, regressão e outras tarefas que operam a partir de várias árvores de decisão no momento do treinamento (BREIMAN, 2001). Esse método se baseia no princípio de que várias técnicas de aprendizagem combinadas (várias árvores) podem resultar em um modelo de aprendizagem robusto (BREIMAN, 1999). DESENVOLVIMENTO DOS MODELOS Para realizar o desenvolvimento de todos os algoritmos, deve-se utilizar um método chamado de “validação cruzada” (cross validation), que é uma técnica para avaliar a capacidade de generalização de um determinado modelo a partir de um conjunto de dados (BROWNE, 2000). Essa técnica se baseia no particionamento do conjunto de dados em subconjuntos mutuamente exclusivos; posteriormente, esses subconjuntos são utilizados para estimação dos parâmetros do modelo (treinamento), e um conjunto é utilizado para validação do modelo (teste). Após o desenvolvimento de todos os modelos, pode-se gerar uma matriz de confusão, a fim de avaliar os erros e acertos apresentados pelos métodos. Diferentes métricas podem ser calculadas, como: sensibilidade (taxa de verdadeiros positivos) = (VP / (VP + FN));1. especificidade (taxa de verdadeiros negativos) = (VN / (VN + FP));2. acurácia = (VP + VN / (VP + FN + FP + VN)).3. A figura a seguir representa um exemplo teórico de uma matriz de confusão: Figura 3 – Matriz de confusão com suas respectivas classes. Fonte: adaptada de Andreoni (2014). PRÉ-PROCESSAMENTO DO TEXTO O processo de limpeza e pré-processamento de um conjunto de dados de texto é composto por várias etapas. Para se tornar mais familiar com os métodos e terminologias, é recomendável ler alguns tutoriais da área de NLP (natural language processing). Resumidamente, esse processo inclui: tokenização;1. limpeza dos dados;2. remoção de stopwords.3. O primeiro passo, a tokenização, conhecida como segmentação de palavras, quebra a sequência de caracteres em um determinado texto, identificando o limite de cada palavra, ou seja, onde uma termina e a outra começa (PALMER, 2010). Após isso, a remoção das stopwords, ou palavras de parada, consiste na remoção de palavras que são consideradas irrelevantes para o conjunto de dados e/ou problema-alvo; como exemplo, podem ser citadas: as, e, os, de, para, com, sem, foi. De maneira geral, a remoção das stopwords reduz o ruído dos dados analisados e melhora o desempenho do modelo de predição. COMITÊ DE MÉTODO (ENSEMBLE LEARNING) Uma das estratégias para obter um resultado superior nos modelos de predição é a combinação de dois ou mais diferentes métodos. Esse processo é conhecido como “comitê de método” ou “ensemble learning”. Seu funcionamento ocorre da seguinte forma: primeiro, escolhem-se alguns métodos aplicáveis para o problema-alvo e desenvolvem-se os modelos individualmente; com o resultado da predição de cada modelo, pode-se criar um segundo conjunto de dados e, nesse conjunto, aplicar um método que decida a categoria de cada ponto com base no resultado dos métodos utilizados. Figura 4 – Representação do funcionamento de um comitê de método. Fonte: adaptada de Chavan (2019). Observe o exemplo na Figura 4: quatro diferentes métodos de predição foram aplicados para um determinado conjunto de dados; três deles resultaram em que a classe do ponto em questão é amarela, e somente uma é roxa; logo, o comitê de método determinará que a classe do ponto em questão é amarela. REFERÊNCIAS BIBLIOGRÁFICAS ANDREONI, M. An intrusion detection and prevention architecture for software defined networking. [S. l.]: [s. n.], 2014. BREIMAN, L. Random forests. Machine learning, v. 45, n. 1, p. 5-32, 2001. BREIMAN, L. Using adaptive bagging to debias regressions. [S. l.]: [s. n.], 1999. BROWNE, M. W. Cross-validation methods. Journal of Mathematical Psychology, v. 44, n. 1, p. 108-132, Mar. 2000. CHAVAN, A. Improve machine learning results with ensemble learning. AI Time Journal, 2019. Disponível em: https://www.aitimejournal.com/@akshay.chavan/improve-machine-learning-results- with-ensemble-learning. Acesso em: 11 jan. 2021. DUDA, R.; STORK, D.; HART, P. Pattern classification. 2. ed. New York: Wiley-Interscience, 2000. HEARST, M. A. et al. Support vector machines. IEEE Intelligent Systems and their Applications, v. 13, n. 4, p. 18-28, July 1998. KELLER, J. M.; GRAY, M. R.; GIVENS, J. A. A fuzzy K-nearest neighbor algorithm. IEEE Transactions on Systems, Man, and Cybernetics, v. SMC-15, n. 4, p. 580-585, July 1985. MCCALLUM, A. et al. A comparison of event models for Naive Bayes text classification. In: AAAI- 98 WORKSHOP ON LEARNING FOR TEXT CATEGORIZATION, 1998, Madison. Proceedings […]. Madison: ICML/AAAI-98, 1998. p. 41-48. MURTHY, S. K. Automatic construction of decision trees from data: a multi-disciplinary survey. Data Mining and Knowledge Discovery, v. 2, n. 4, p. 345-389, 1998. PALMER, D. D. Text preprocessing. In: INDURKHYA, N.; DAMERAU, F. J. Handbook of natural language processing. 2. ed. Boca Raton: Chapman and Hall/CRC, 2010. PAPA, J. P.; ROSA, G. H. Apostila de tópicos especiais: aprendizado de máquina. São Paulo: Unifesp, 2019. QUINLAN, J. R. Learning decision tree classifiers. ACM Computing Surveys, v. 28, n. 1, p. 71- 72, 1 Mar. 1996. ROCHA, D. Introdução a machine learning: Knn. RPubs, 2019. Disponível em: https://rpubs.com/davimat/knn_no_r. Acesso em: 10 jan. 2021. SAFAVIAN, S. R.; LANDGREBE, D. A survey of decision tree classifier methodology. IEEE Transactions on Systems, Man, and Cybernetics, v. 21, n. 3, p. 660-674, 1991. Roteiro INSTRUÇÕES GERAIS 1. Neste experimento, você irá verificar as etapas necessárias para aplicar ferramentas de machine learning em textos de mensagens e a formação de um comitê de métodos. 2. Utilize a seção “Recomendações de Acesso” para melhor aproveitamento da experiência virtual e para respostas às perguntas frequentes a respeito do Laboratório Virtual. 3. Caso não saiba como manipular o Laboratório Virtual, utilize o “Tutorial” presente neste Roteiro. 4. Caso já possua familiaridade com o Laboratório Virtual, você encontrará as instruções para realização desta prática na subseção “Procedimentos”. 5. Ao finalizar o experimento, responda aos questionamentos da seção “Avaliação dos Resultados”. RECOMENDAÇÕES DE ACESSO DICAS DE DESEMPENHO Para otimizar a sua experiência no acesso aos laboratórios virtuais, siga as seguintes dicas de desempenho: Feche outros aplicativos e abas: Certifique-se de fechar quaisquer outros aplicativos ou abas que possam estar consumindo recursos do seu computador, garantindo um desempenho mais eficiente. • Navegador Mozilla Firefox: Recomendamos o uso do navegador Mozilla Firefox, conhecido por seu baixo consumo de recursos em comparação a outros navegadores, proporcionando uma navegação mais fluida. • Aceleração de hardware: Experimente habilitar ou desabilitar a aceleração de hardware no seu navegador para otimizar o desempenho durante o acesso aos laboratórios virtuais. • Requisitos mínimos do sistema: Certifique-se de que seu computador atenda aos requisitos mínimos para acessar os laboratórios virtuais. Essa informação está disponível em nossa Central deSuporte. • Monitoramento do sistema: Utilize o Gerenciador de Tarefas (Ctrl + Shift + Esc) para verificar o uso do disco, memória e CPU. Se estiverem em 100%, considere fechar outros aplicativos ou reiniciar a máquina para otimizar o desempenho. • Teste de velocidade de internet: Antes de acessar, realize um teste de velocidade de internet para garantir uma conexão estável e rápida durante o uso dos laboratórios virtuais. • Atualizações do navegador e sistema operacional: Mantenha seu navegador e sistema operacional atualizados para garantir compatibilidade e segurança durante o acesso aos laboratórios. • PRECISA DE AJUDA? Em caso de dúvidas ou dificuldades técnicas, visite nossa Central de Suporte para encontrar artigos de ajuda e informações para usuários. Acesse a Central de Suporte através do link: https://suporte-virtual.algetec.com.br Se preferir, utilize os QR Codes abaixo para entrar em contato via WhatsApp ou ser direcionado para a Central de Suporte. Estamos aqui para ajudar! Conte conosco! https://www.mozilla.org/pt-BR/firefox/new/ https://suporte-virtual.algetec.com.br/ https://suporte-virtual.algetec.com.br/ https://suporte-virtual.algetec.com.br/ https://suporte-contato.algetec.com.br/ https://suporte-virtual.algetec.com.br/ DESCRIÇÃO DO LABORATÓRIO PROCEDIMENTOS 1. COMPREENDENDO AS ETAPAS Visualize os dados. Em seguida, compreenda os processos de limpeza dos dados, remoção de stopwords e tokenização. 2. REALIZANDO A DIVISÃO DE DADOS Nessa etapa, você entenderá os conceitos de underfitting e overfitting. Logo depois, selecione as porcentagens de dados de treino e dados de teste. 3. MONTANDO O COMITÊ DE MÉTODOS Conheça os métodos KNN, Naive Bayes e Random Forest. Logo depois, selecione o método ou os métodos que deseja treinar. Por fim, colete os resultados. 4. AVALIANDO OS RESULTADOS https://suporte-contato.algetec.com.br/ https://suporte-virtual.algetec.com.br/ Siga para a seção “Avaliação dos Resultados” e responda de acordo com o que foi observado nos experimentos, associando também com os conhecimentos aprendidos sobre o tema. AVALIAÇÃO DOS RESULTADOS 1. Qual é a importância no pré-processamento de dados ao utilizar Machine Learning? 2. Quais cuidados devem ser tomados ao definir a massa de dados que será utilizada para treino e para teste? 3. Cite algumas vantagens da utilização do comitê de métodos para aplicações em Machine Learning. Qual a implicação de não seguir o tempo recomendado em cada corante? TUTORIAL 1. COMPREENDENDO AS ETAPAS Após ler as informações, visualize os dados clicando com o botão esquerdo do mouse no botão “OK”. Mude a página clicando com o botão esquerdo do mouse no botão “Próximo”. Após ler as informações, visualize os dados clicando com o botão esquerdo do mouse no botão “OK”. Mude para a página de remoção de stopwords clicando com o botão esquerdo do mouse no botão “Próximo”. Note que a qualquer momento é possível voltar a página e revisitar o passo anterior clicando com o botão esquerdo do mouse no botão “Anterior”. Após ler as informações, visualize os dados clicando com o botão esquerdo do mouse no botão “OK”. Mude a página clicando com o botão esquerdo do mouse no botão “Próximo”. Após ler as informações, visualize os dados clicando com o botão esquerdo do mouse no botão “OK”. Mude a página clicando com o botão esquerdo do mouse no botão “Próximo”. Após ler as informações, visualize os dados clicando com o botão esquerdo do mouse no botão “OK”. Mude a página clicando com o botão esquerdo do mouse no botão “Próximo”. 2. REALIZANDO A DIVISÃO DE DADOS Após ler as informações, visualize os dados clicando com o botão esquerdo do mouse no botão “OK”. Mude a página clicando com o botão esquerdo do mouse no botão “Próximo”. Movimente a barra clicando e segurando com o botão esquerdo do mouse e a arraste-a para a direção desejada. Após ler as informações, visualize os dados clicando com o botão esquerdo do mouse no botão “OK”. Mude a página clicando com o botão esquerdo do mouse no botão “Próximo”. Após ler as informações, visualize os dados clicando com o botão esquerdo do mouse no botão “OK”. 3. MONTANDO O COMITÊ DE MÉTODOS Selecione os algoritmos que você deseja utilizar clicando com o botão esquerdo do mouse nos marcadores indicados. Ao selecionar um algoritmo, será aberta uma explicação sobre ele. Leia-a e clique na seta indicada para prosseguir. Mude a página clicando com o botão esquerdo do mouse no botão “Próximo”. Visualize os resultados obtidos. Finalize a prática clicando com o botão esquerdo do mouse no botão "Próximo". 4. AVALIANDO OS RESULTADOS Siga para a seção “Avaliação dos Resultados”, neste roteiro, e responda de acordo com o que foi observado nos experimentos. Pré Teste 1) Este processo faz parte do pré-processamento de dados realizado nas etapas iniciais de um pipeline de PLN. Ao se montar um bag-of-words, por exemplo, a maior frequência de palavras será de stopwords, pois são utilizadas o tempo todo para dar sentido ao texto. Portanto, remover stopwords reduz o ruído dos dados analisados. Durante o pré-processamento de uma base de dados textual, uma das etapas normalmente é a remoção de stopwords. Qual é a sua definição? A) Palavras relevantes para o conjunto de dados; B) Substantivos e verbos presentes no texto; C) Palavras irrelevantes para o conjunto de dados. 2) KNN é um método não paramétrico, utilizado para classificação e regressão (KELLER; GRAY; GIVENS, 1985). Faz parte da classe dos algoritmos supervisionados, aqueles que utilizam uma informação na entrada e uma na saída para rotular novos exemplos. Como funciona o classificador baseado no método KNN (K-nearest neighbors)? A) Seu conceito se baseia em criar divisões entre os dados, de forma que as diferentes classes possam ser separadas; B) Seu conceito se baseia em verificar quantos exemplos pertencem a cada classe em todo o conjunto de dados. O novo ponto é classificado com base na classe com mais exemplos; C) Seu conceito se baseia em encontrar os k exemplos mais próximos (vizinhos) do ponto a ser classificado. 3) Um conjunto de dados é definido como uma coleção de informações normalmente tabuladas. Para cada elemento, se indicam várias características ou variáveis, representadas por uma coluna. Cada linha corresponde a um determinado membro do conjunto. Cada valor é conhecido como uma informação. O conjunto de dados pode incluir um ou mais membros, de acordo com o número de linhas. Podem se encontrar dois tipos de conjuntos de dados, estruturados e não estruturados. Em que eles diferem? A) Dados não estruturados estão contidos em uma estrutura definida, enquanto dados estruturados são informações sem um padrão ou organização; B) Dados estruturados podem ser caracterizados por arquivos de diversos tipos: textos, imagens, vídeos, entre outros; C) Dados estruturados têm uma estrutura definida, enquanto dados não estruturados são informações sem um padrão. 4) O Perceptron é um algoritmo utilizado para classificadores binários (duas categorias, sim ou não, por exemplo). Seu funcionamento é baseado em um modelo matemático que busca imitar um neurônio biológico. Enquanto nos neurônios reais a troca de informações é feita por sinais elétricos, no Perceptron estes são representados por valores numéricos. Quais são os componentes presentes no Perceptron? A) Sinal de entrada, função exponencial, pesos e sinal de saída; B) Sinal de entrada, pesos, função de ativação e sinal de saída; C) Sinal de entrada, pesos, função de segundo grau e sinal de saída. 5) Uma matriz de confusão é uma tabela que indica os erros e acertos de seu modelo, comparando com o resultado esperado(ou etiquetas/labels). Ao ser feita a contagem de todos esses termos, obtendo-se a matriz de confusão, é possível calcular métricas de avaliação para a classificação. Cada métrica tem suas peculiaridades, que devem ser levadas em consideração na escolha da forma como o modelo de classificação será avaliado. Normalmente, para verificar a qualidade do modelo de predição, são utilizadas métricas calculadas a partir da matriz de confusão. Por que a acurácia, sozinha, pode não ser um bom indicador? A) Independentemente de qualquer métrica, a acurácia pode determinar a qualidade do modelo baseada somente nos acertos observados; B) A acurácia não deve ser utilizada sozinha, por não levar em consideração a quantidade de acertos do modelo de predição; C) A acurácia não deve ser utilizada sozinha, pois pode mascarar problemas como o desbalanceamento da classe desfecho; nesse caso, o modelo pode apresentar uma alta acurácia, mas acerta somente uma das classes. Experimento Acesse o laboratório: Conteúdo interativo disponível na plataforma de ensino! Pós Teste 1) A tarefa é encontrar uma função a partir de dados de treinamento rotulados. O objetivo é encontrar os parâmetros ótimos que ajustem um modelo que possa prever rótulos desconhecidos em outros objetos (o conjunto de teste). Se o rótulo é um número real, a tarefa chama-se "regressão". Se o rótulo vem de um conjunto finito e não ordenado, então a tarefa chama-se " classificação". Que tipo de algoritmo de aprendizado de máquina faz previsões quando você tem um conjunto de dados de entrada e conhece as respostas possíveis? A) Aprendizado não supervisionado; B) Aprendizado supervisionado; C) Deep learning. 2) Os modelos de aprendizado supervisionado em que são necessárias uma informação de entrada e uma de saída se dividem em duas subcategorias, de acordo com sua aplicação em regressão e classificação. O que um modelo de classificação faz? A) Prevê respostas em números contínuos, como peso, altura ou valores financeiros; B) Compara classificações de dados previstas com os rótulos de classe reais nos dados; C) Atribui dados a uma categoria predefinida. 3) Overfitting e underfitting são as duas maiores causas de má generalização dos algoritmos de aprendizado de máquina. Os dados usados para construir um modelo são, em geral, divididos em três conjuntos: treinamento, validação e teste. Caso exista um desbalanceamento nesse ajuste, pode-se deparar com um desses eventos. Levando em consideração o exposto, quando ocorre o overfitting? A) Quando um modelo preditivo é preciso, mas leva muito tempo para ser executado; B) Quando o modelo aprende detalhes dos dados de treinamento que não podem ser generalizados para um conjunto de dados maior; C) Quando se executa o ajuste de hiperparâmetros e se aumenta o desempenho. 4) Pode-se utilizar uma tabela para calcular os erros e acertos de um modelo, comparando com o resultado esperado (ou etiquetas/labels). Ao ser feita a contagem de todos esses termos, é possível calcular métricas de avaliação para a classificação. Que tipo de tabela compara as classificações previstas pelo modelo com os rótulos de classe reais? A) Histograma; B) Matriz de confusão; C) Gráfico residual. 5) A divisão dos dados em teste e treino é um procedimento rápido e fácil de se executar, podendo ser aplicado na maioria dos modelos de predição. Não deve ser utilizado apenas em poucos casos, como em pequenos conjuntos de dados e situações em que configuração adicional é necessária, como quando é usado para classificação e o conjunto de dados não está balanceado. Por que é necessário dividir os dados em teste e treino? A) Para avaliar a capacidade de generalização do modelo; B) Para definir qual método de aprendizado de máquina se deve utilizar; C) Para aumentar o desempenho do modelo escolhido.