Prévia do material em texto
7 Desenvolvendo um Projeto de Predição com KNN Nesta semana vamos aprender como desenvolver um projeto completo de predição usando o algoritmo K- Nearest Neighbors (KNN). Durante o projeto iniciaremos fazendo o pré-processamento de dados, utilizaremos o algoritmo KNN para realizar a predição e finalizaremos com a parte de validação do algoritmo. Objetivos de aprendizagem Ao final dessa semana, você deverá ser capaz de: • Compreender o funcionamento completo de um algoritmo básico de predição; • Implementar algoritmos básicos usando pandas, scikit-learning e algoritmo KNN. Desafio Estamos chegando ao final da disciplina, e nessa semana você vai observar o desenvolvimento de um miniprojeto onde passamos pelas fases de um projeto de análise de dados. É muito importante que você reproduza esse projeto e compreenda o desenvolvimento dele por completo. Veja que no final nós testamos algoritmos diferentes, e vou lhe propor que tente mudar parâmetros e até testar algoritmos que não testamos para obter resultados melhores! Se conseguir, não deixe de compartilhar com os colegas no fórum temático. Revisitando Conhecimentos Não se esqueça de que, para acessar os livros (abaixo), você antes precisa fazer o login através das páginas de acesso Minha Biblioteca e Pearson. Nessa semana, vamos desenvolver um projeto com uso do algoritmo KNN. A sugestão é que você retorne a semana 6 e reveja a videoaula 17 (Algoritmo KNN e avaliação de modelos preditivos), também sugiro que leia o material de apoio que fala de análise preditiva. Vídeo de apoio: Videoaula 17 - Algoritmo KNN e avaliação de modelos preditivos Texto de apoio: Análise e modelagem preditiva (Leia as páginas 30-41) | Orlando da Silva Júnior Orientação de estudos Para que possa aproveitar bem essa semana de estudos, sugere-se que comece a semana lendo os textos-base e, posteriormente, assista as três videoaulas na sequência, se possível replicando as videoaulas de forma prática como um exercício. Posteriormente, sugere-se que leia os textos de apoio e compartilhe os seus resultados do Desafio no Fórum Temático. Ciência de Dados na Prática Projeto de Predição – Parte 1 PROJETO ● Vamos desenvolver um projeto completo, contemplando todos os tópicos estudados durante a disciplina. ● A ideia é mostrar uma proposta de predição, baseado no conjunto de dados "california_housing_train.csv", disponível no Google Colab e também fácil de encontrar em muitos repositórios de dados. https://login.univesp.br/simplesaml/module.php/core/mb.php https://login.univesp.br/simplesaml/module.php/core/pearson.php https://youtu.be/4Dpf76AB9Js https://acesso.univesp.br/login_mb?bookUrl=9786589881063&pageid=30 ● Também demonstraremos as diferenças entre algoritmos, inicialmente com KNN e depois usaremos Árvores de Decisão e RandomForest para demonstrar as diferenças de resultados. ● A ideia do projeto não é aprofundar o estudo sobre um determinado modelo de ML, mas sim demonstrar o caminho para que seja possível reaplicar o mesmo processo em muitos outros estudos. ● O projeto será dividido nas próximas 3 videoaulas (incluindo esta), portanto elas serão sequenciais. ● Todos os Notebooks utilizados durante a disciplina estarão disponíveis para serem baixados. ● Demonstração! PERGUNTA 1 Qual é o recurso utilizado para ter uma visão geral, incluindo dados sumarizados, sobre os dados que estão em um dataframe Pandas? o read_csv o head o tail o to_csv o describe Você acertou! Essa é a alternativa correta. A função describe possibilita ter um visão geral, incluindo dados sumarizados dos dados de um dataframe. Ciência de Dados na Prática Projeto de Predição – Parte 2 PROJETO ● Continuamos com o projeto! ● Demonstração PERGUNTA 1 Qual é a função utilizada em um algoritmo de Machine Learning, responsável pelo treinamento? o head. o define. o evaluate. o predict. o fit Você acertou! Essa é a alternativa correta. A função fit é a responsável pelo treinamento dos modelos nos algoritmos de Machine Learning. Ciência de Dados na Prática Projeto de Predição – Parte 3 PROJETO ● Seguimos com o projeto. ● Demonstração FINALIZANDO (A DISCIPLINA) ● Essa foi uma disciplina introdutória ao tema! ● Essa última parte é bem legal, apesar de um pouco complexa. A repetição dos estudos e da reprodução desse e de outros exemplos, com o tempo, vai te levar à uma compreensão mais clara sobre os algoritmos. ● Apesar de ser muito legal programar, não se esqueça das aulas das primeiras semanas, são elas (e não essas últimas) que te tornarão um profissional diferenciado. ● É sua capacidade crítica de compreender os problemas e gerar hipóteses (e não sua expertise em programação) que farão de você um profissional importante! ● O mundo precisa de pessoas que resolvam problemas, não de quem altera algoritmos e parâmetros com destreza. ● Procure ampliar o olhar, compreender por que se gera uma hipótese, analisar o contexto e entregar resultados que realmente serão relevantes para um projeto de DS. ● Não adianta um desempenho bom no modelo, se a pergunta está errada. Não adianta um bom modelo, se a visualização não consegue demonstrar isso, ou é tendenciosa! ● Siga estudando e aprendendo, aqui foi apenas o pontapé inicial! Obrigado! PERGUNTA 1 Num projeto de predição, para que usamos a função mean_absolute_error()? o Validar o modelo. o Separar dados de treino e teste. o Limpar os dados. o Predizer valores. o Treinar o modelo. Você acertou! Essa é a alternativa correta. A mean_absolute_erros() é usada para validar o modelo, comparando os resultados preditos com os dados de teste. Materiais base Não se esqueça de que, para acessar os livros (abaixo), você antes precisa fazer o login através das páginas de acesso Minha Biblioteca e Pearson. Texto-base: Análise e modelagem preditiva (Leia as páginas 42-57) | Orlando da Silva Júnior Aprofundando o tema Não se esqueça de que, para acessar os livros (abaixo), você antes precisa fazer o login através das páginas de acesso Minha Biblioteca e Pearson. Material de apoio: Notebook das videoaulas 19, 20 e 21 – Projeto Final Texto de apoio: Inteligência Artificial - Uma Abordagem de Aprendizado de Máquina (Leia a Parte 5 – Capítulos 24 a 35) | André Carlos Ponce de Leon Ferreira Carvalho e outros Semana 7 - Fórum temático - Resultados dos Algoritmos No desafio dessa semana foi feita a sugestão de buscar avançar com os resultados alcançados nos algoritmos utilizados nas videoaulas (no nosso projeto). É perceptível portanto que algoritmos diferentes impactam diretamente nos resultados. Teste alternativas de mudanças de parâmetros, uso de outros algoritmos e indique aqui no fórum os resultados. Vamos discutir o que permite a evolução dos resultados de predição. PERGUNTA 1 Texto-base 7.1 – Análise Preditiva para leigos (Leia as páginas de 55 a 74, 76 a 79 e 103 a 113) | Anasse Bari e outros o O processo de “identificação das fontes de dados”, está relacionado a qual fase da análise preditiva? o o o Preparação dos dados. o o o Definição dos objetivos do negócio. o o o Treino do modelo. o o o Validação do modelo. o o o Definição do algoritmo. Você acertou! Essa é a alternativa correta. Durante a preparação dos dados é que se identifica as fontes de dados, para que possa ser realizada a coleta e pré-processamento. https://login.univesp.br/simplesaml/module.php/core/mb.php https://login.univesp.br/simplesaml/module.php/core/pearson.php https://acesso.univesp.br/login_mb?bookUrl=9786589881063&pageid=42 https://acesso.univesp.br/login_mb?bookUrl=9786589881063&pageid=42 https://login.univesp.br/simplesaml/module.php/core/mb.php https://login.univesp.br/simplesaml/module.php/core/pearson.php https://ava.univesp.br/bbcswebdav/xid-5420922_1https://integrada.minhabiblioteca.com.br/reader/books/9788521637509/epubcfi/6/80%5b%3Bvnd.vst.idref%3Dchapter24%5d!/4 https://integrada.minhabiblioteca.com.br/reader/books/9788521637509/epubcfi/6/80%5b%3Bvnd.vst.idref%3Dchapter24%5d!/4 ATIVIDADE AVALIATIVA PERGUNTA 1 Grosso modo, no contexto de ciência de dados, Machine Learning (ML) e Inteligência Artificial (IA), a análise preditiva de dados alicerçada em dados históricos, algoritmos computacionais estatísticos e modelos de ML busca caracterizar a probabilidade relacionada a predições futuras, ou seja, probabilidades de resultados futuros. Em linguajar popular, isso mostra que a ideia central é saber mais do que já aconteceu com o intuito de entender e caracterizar o que pode acontecer. Os elementos centrais desse aparato são os algoritmos preditivos. Em relação ao exposto, avalie as afirmações a seguir. I. Os algoritmos preditivos apresentam grande leque de aplicabilidade no mercado organizacional e empresarial. II. Um algoritmo preditivo pode ser usado em situações vinculadas à bolsa de ações com o intuito de caracterizar o valor das ações em função de suas distorções mensais. III. Um algoritmo preditivo pode ser usado na área da saúde a fim de caracterizar a evolução de anomalias ou doenças por intermédio do conhecimento do grau de gravidade de vários órgãos. IV. Um algoritmo preditivo pode ser usado na área da gestão de estoques a fim de caracterizar as necessidades de reposição a partir do conhecimento de vendas realizadas em períodos anteriores. Está correto que se afirma em: o a. o I, II e III, apenas. o b. o III e IV, apenas. o c. o I e III, apenas. o d. o II e IV, apenas. o e. o I, II, III e IV. PERGUNTA 2 No universo da ciência de dados, há várias tipologias de algoritmos essencialmente utilizadas visando ao aprendizado de máquina por intermédio de modelos e análise de dados, sendo que os mesmos comumente dependem do número e dos atributos de exemplos para gerar conhecimentos. É importante ressaltar que o aprendizado de máquina será mais eficiente a partir do momento em que a cardinalidade de exemplos seja maior, pois se tem um aparato mais estruturado para representar a realidade. Em relação ao exposto, avalie as afirmações a seguir. I. O algoritmo de Random Forest é usualmente conhecido por Floresta Aleatória no contexto de Machine Learning. II. Fundamentalmente falando, trata-se de um algoritmo computacional voltado à criação de predições. III. O algoritmo de Random Forest gera aleatoriamente diversas áreas de decisão e, com base na combinação dos resultados das mesmas, caracteriza o resultado final. Está correto o que se afirma em: o a. o I, II e III. o b. o Apenas em I. o c. o I e III, apenas. o d. o II e III, apenas. o e. o I e II, apenas. PERGUNTA 3 Random Forest é um algoritmo específico de inteligência de máquina muito poderoso que visa caracterizar ou gerar predições, tendo aplicabilidades infinitas no mercado, desde bolsa de valores, passando pela área de gestão da tecnologia, bem como operação de equipamentos e CRM (Customer Relationship Management, em português, gestão de relacionamento com o cliente). Nesse contexto, surgem algoritmos voltados a projetos de ciência de dados na prática organizacional, dentre os quais pode ser citado o algoritmo de Random Forest, com suas características e funcionalidades peculiares. Em relação ao exposto, avalie as afirmações a seguir. I. No mundo globalizado, há competitividade acirrada entre organizações quanto à predição de dados, a qual pode ser um aparato fundamental para que as mesmas aumentem sua competitividade de mercado. II. Fundamentalmente falando, alguns dos algoritmos preditivos se alicerçam em essência em métodos estatísticos. III. O algoritmo de Random Forest é um dos principais e mais populares algoritmos de predição de dados e, por conseguinte, de ciência de dados. Está correto o que se afirma em: o a. II e III, apenas. o b. II, apenas. o c. I e II, apenas. o d. I e III, apenas. o e. I, II e III. PERGUNTA 4 Na prática e na maior parte das vezes, métodos de ciência de dados são criados fundamentados no aprendizado de máquina por intermédio de algoritmos diversos. Assim sendo, técnicas de ciência de dados são utilizadas em diversos ramos no contexto empresarial em prol de gerar informações pertinentes a gestores e tomadores de decisão. Assinale a alternativa que descreve corretamente o algoritmo de aprendizado de máquina utilizado para descrição de predições e conhecido também como uma espécie de árvore de decisão. o a. Algoritmo Random Forest. o b. Algoritmo KNN. o c. Algoritmo PNN. o d. Fluxogramas . o e. Algoritmo KMN. PERGUNTA 5 Com a transformação digital, acelerada e dinâmica, a análise preditiva de dados tornou-se uma poderosa ferramenta para auxiliar estratégias de negócios e organizacionais como um todo, sendo amplamente utilizada por empresas dos mais variados portes e segmentos. No contexto atual, tomar decisões gerenciais assertivas pode significar aumento de lucratividade e ganho de competitividade de mercado por parte das organizações. É corriqueira, por exemplo, a conceituação de dados e informações como o “novo petróleo”, significando uma metodologia interessante para que empresas ganhem insights, observem oportunidades de mercado, realizem previsões futuras de mercado e atuem de forma mais concisa em linhas estratégicas. Considerando a teoria sobre predição de dados e suas principais características que contribuem significativamente a estudos e tomadas de decisões nas organizações, avalie as afirmações a seguir e as correlacione adequadamente aos termos a que se referem. 1. Algoritmo preditivo. 2. Algoritmo Random Forest. 3. Árvore de decisão. I. Tem como fundamentação básica a geração de informações confiáveis sobre distintos aspectos para alicerçar e facilitar o processo decisório organizacional. II. É um algoritmo de treinamento supervisionado cuja entrada é uma série temporal que se enquadra na metodologia ensemble (métodos ensemble). III. É um elemento importante no contexto dos algoritmos preditivos de dados e um dos algoritmos mais comuns em aprendizado de máquina, realiza divisões sucessivas nos dados e gera conjuntos menores e específicos (atributos) até alcançar dimensões simplificadas para que informações sejam padronizadas. Assinale a alternativa que correlaciona adequadamente os dois grupos de informação: o a. 1, III; 2, II; 3, I. o b. 1, II; 2, I; 3, III. o c. 1, III; 2, I; 3, II. o d. 1, I; 2, III; 3, II. o e. 1, I; 2, II; 3, III. PERGUNTA 6 O contexto das análises preditivas necessita do conhecimento sobre conceituação de análise de dados. Tal fato se baseia na argumentação de que a predição de dados se caracteriza como ferramenta gerencial com potencial de interpretar informações a fim de gerar padrões e descrever tendências de mercado. Ilustrando: quando se fala em previsões futuras de mercado, isso propicia que empresas distingam seus produtos e serviços daqueles de potenciais concorrentes, agregando valor de competitividade a si mesmas. Diante disso, algoritmos preditivos surgem como poderosa ferramenta para solucionar problemas (por exemplo, os algoritmos de Random Forest, KNN e árvores de decisão). Os algoritmos citados se enquadram num conjunto de métodos com a característica básica de apresentar a combinação de distintos modelos para computar um único resultado. Na ciência de dados, esses métodos são conhecidos como: a. métodos ensemble. b. métodos kensemble. c. métodos censemble. d. métodos densemble. e. métodos tensemble.