parte 1

Prévia do material em texto

num ber E-mail address Credit-card numb E -m ail address Credit-card number Privacy ID P ation Access history Location inform ation num ber Location inform history P tion inform ation ID tion Access history word word Addr Privacy ID Personal info Password Add ress Personal I Phone ber E ation Ph inform ation Pr acy ID - Phone num -mail address dit-card E-mail addre Credit-card Personal ation P num ber Locatic information hist ation Phone es Access history TEMA DE APRENDIZAGEM 1 inform INTRODUÇÃO AO KDD E AO PRÉ- PROCESSAMENTO DE DADOS PARA CLASSIFICAÇÃO E AGRUPAMENTO MINHAS METAS Compreender os conceitos fundamentais relacionados à descoberta de conhecimento em bases de dados. Compreender técnicas de pré-processamento de dados, como limpeza, transformação e redução de dimensionalidade. Compreender os fundamentos da mineração de dados. Saber aplicar técnicas estatísticas relevantes para a mineração de dados. Compreender processo de criação e interpretação de visualizações de dados. Entender métodos avançados de detecção de outliers e anomalias. Aplicar os conhecimentos adquiridos em casos de uso práticos e estudos de caso reais. 8UNIASSELVI INICIE SUA JORNADA Imagine que você trabalha em uma empresa de e-commerce que possui uma vas- ta quantidade de dados sobre o comportamento de seus clientes. O desafio é iden- tificar padrões nesses dados para personalizar ofertas e aprimorar a experiência do usuário. No entanto, os dados estão desorganizados, possuem inconsistências e precisam ser preparados para análise. Como você pode extrair conhecimento valioso dessas informações para impulsionar as estratégias de negócios? A resolução dessa problemática é crucial para maximizar o potencial dos da- dos disponíveis. O conhecimento extraído pode otimizar campanhas de marke- ting, recomendações de produtos e a compreensão do comportamento do cliente. Isso não apenas impulsiona a eficiência operacional da empresa, mas também a coloca em uma posição estratégica no mercado, oferecendo produtos e serviços mais alinhados às expectativas dos clientes. Quando lidamos com situações práticas, podemos nos deparar com dados reais de empresas, semelhantes à situação proposta. Através de técnicas de KDD (Kno- wledge Discovery in Databases) e pré-processamento de dados, teremos a oportu- nidade de colocar em prática a limpeza de dados, a redução de dimensionalidade e a transformação necessárias para uma análise eficaz. Ao aplicar algoritmos de classificação e agrupamento, teremos a oportunidade de experimentar na prática como essas etapas são cruciais para a extração de conhecimento significativo. O tema abre espaço para reflexões sobre a importância crescente da análise de dados no cenário profissional atual. A capacidade de transformar dados brutos em insights valiosos é uma habilidade estratégica em diversas áreas, desde o mar- keting até a tomada de decisões estratégicas. Além disso, incentiva a reflexão sobre a ética no uso de dados e a necessidade de profissionais capacitados para lidar com questões de privacidade e segurança da informação. A introdução ao KDD e ao pré-processamento de dados é, portanto, um passo essencial para qualquer profissional que busque se destacar em um mundo movido por dados. PLAY NO CONHECIMENTO Neste podcast, vamos fazer uma breve retrospectiva sobre os principais marcos e eventos relacionados ao desenvolvimento da atividade de Mineração de Dados. Dê o play! Recursos de mídia disponíveis no conteúdo digital do ambiente virtual de aprendizagem. 9TEMA DE APRENDIZAGEM 1 VAMOS RECORDAR? Neste vídeo, vamos recordar como as técnicas e ferramentas de Big Data podem nos ajudar em problemas nas mais diversas áreas, tornando nossas tarefas diárias muito rápidas e eficientes: DESENVOLVA SEU POTENCIAL PROCESSO DE DESCOBERTA DE CONHECIMENTO EM BASES DE DADOS O conceito de descoberta de conhecimento em bases de dados pode ser resumido como o processo não-trivial de identificar padrões novos, válidos, potencialmente úteis e, principalmente, compreensíveis em meio às observações presentes em uma base de dados (Fayyad; Piatetsky-Shapiro ; Smyth, 1996). 1 0UNIASSELVI Interpretação/ Avaliação Mineração de Dados Transformação Preprocessamento Conhecimento Seleção Padrões Dados Dados transformados preprocessados Dados Dados Alvo Figura 1 - Etapas do KDD (Knowledge Discovery in Databases) / Fonte: Han and Kamber (2000). Descrição da Imagem: esquema com as etapas do Processo de Descoberta de Conhecimento em Base de processo inicia-se a partir dos bancos de dados corporativos representados por um cilindro grande onde ocorre um processo de seleção dos dados que vão formar os Dados Alvo, representados por vários pequenos cilindros. Esses dados passam, então, por um processo de pré-processamento, culminando em um conjunto de dados pré- representados por um conjunto de folhas com informações. A seguir, esses dados passam por um processo de transformação, obtendo-se um conjunto de dados transformados, representados por uma sequência de retângulos postos verticalmente e alinhados. Os dados passam agora por um processo de mineração de dados culminando num conjunto de padrões, representados por um conjunto de retângulos alinhados com comprimentos distintos. Finalmente esses padrões passam por um processo de interpretação e avaliação culminando num con- junto de dados de conhecimento, representado por uma pirâmide de base retangular. Fim da descrição. O processo de KDD (Knowledge Discovery in Databases - Descoberta de co- nhecimento de base de dados) inclui a seleção e integração das bases de dados, a limpeza da base (pré-processamento), a transformação dos dados, a mineração e a avaliação dos dados. 1. SELEÇÃO DOS DADOS Nessa etapa, são identificados e coletados os dados relevantes para a análise. A esco- lha dos dados apropriados é crucial para garantir que as informações extraídas sejam pertinentes ao objetivo da análise. 1TEMA DE APRENDIZAGEM 1 2. PRÉ-PROCESSAMENTO Os dados coletados frequentemente contêm ruídos, valores ausentes ou inconsis- tências. No pré-processamento, esses problemas são tratados por meio de técnicas como limpeza, preenchimento de valores faltantes e remoção de outliers. objetivo é preparar os dados para análise sem comprometer a qualidade dos resultados. 3. TRANSFORMAÇÃO Nessa etapa, os dados são transformados para se adequarem aos requisitos da análi- se. Isso pode envolver a normalização de variáveis, a redução de dimensionalidade e a criação de novas características que destacam padrões importantes. 4. MINERAÇÃO DE DADOS A fase de mineração é o cerne do KDD. Algoritmos de mineração são aplicados aos dados transformados para identificar padrões, associações, classificações ou agrupa- mentos relevantes. Essa etapa utiliza técnicas de aprendizado de máquina e outras abordagens estatísticas para descobrir conhecimentos ocultos nos dados. 5. INTERPRETAÇÃO DOS DADOS Os resultados da mineração são interpretados à luz do contexto do problema. É crucial compreender e validar os padrões descobertos, relacionando-os aos objetivos da lise. A interpretação dos dados é essencial para traduzir os insights obtidos em ações ou decisões práticas. Essas etapas formam um ciclo iterativo, pois a interpretação dos resultados muitas vezes conduz a ajustes nas fases anteriores do processo. O KDD é uma abordagem estruturada que capacita profissionais a transformarem grandes vo- lumes de dados em conhecimento útil para tomada de decisões.UNIASSELVI MINERAÇÃO DE DADOS Mineração de dados consiste na exploração e análise, por meios automáticos ou semiautomáticos, de grandes quantidades de dados, com objetivo de descobrir padrões significativos (Berry; Linoff, 1997) Figura 2 Mineração de Dados Descrição da Imagem: tela de um computador exibindo um grafo com diversos nós conectados entre si, desta- cando-se regiões distintas desses nós com cores diferentes e labels indicando cada uma dessas regiões e uma mão humana à direita onde dedo indicador aponta para uma determinada região do grafo. Fim da descrição. A Mineração de Dados é uma disciplina que se destaca no campo da ciência de dados, focada na descoberta de padrões, informações e conhecimentos valiosos em grandes conjuntos de dados. Essa abordagem interdisciplinar combina téc- nicas de estatística, aprendizado de máquina, inteligência artificial e bancos de dados para extrair insights significativos e predições a partir de dados brutos. As tarefas fundamentais da mineração de dados incluem a classificação, que orga- niza os dados em categorias ou classes distintas; a regressão, que busca identificar relações entre variáveis; a detecção de anomalias; a clusterização, que agrupa dados similares; e a associação, que revela padrões frequentemente concorrentes. A aplicação da Mineração de Dados é vasta e impactante em diversas áreas. No campo do marketing, ela é utilizada para segmentar clientes e personalizar estratégias publicitárias. Em medicina, auxilia na identificação de padrões emTEMA DE APRENDIZAGEM 1 dados de pacientes para diagnóstico e tratamento personalizado. Na área finan- ceira, ajuda na detecção de fraudes e na análise de riscos. Além disso, na pesquisa científica, a Mineração de Dados é empregada para analisar grandes conjuntos de informações e identificar correlações que podem levar a descobertas inova- doras. Em resumo, a Mineração de Dados desempenha um papel fundamental na transformação de dados em conhecimento útil em uma variedade de setores. A Figura 3 apresenta um paralelo do termo Mineração de Dados com a ati- vidade de mineração de metais e pedras preciosas. Mina: Substância: Ferramentas: Base de dados Dados Algoritmos Mineral: Resultado: Informação Conhecimento Figura 3 - Elementos, ferramentas e resultados da Mineração de Dados /Fonte: autor. Descrição da Imagem: desenho contendo um cilindro, representando uma mina (base de dados); uma folha de papel contendo uma tabela, representando a substância (dados); um fluxograma representando ferramentas (algoritmo); um conjunto de barras verticais de cores e alturas diferentes, representando mineral (informação) e finalmente uma lâmpada acesa, representando resultado (conhecimento). Fim da descrição. Tipo de Dados No processo de Mineração de Dados, os tipos de dados desempenham um papel crucial, influenciando as técnicas e abordagens utilizadas. Dados es- truturados referem-se a conjuntos de informações organizadas em tabelas ou bancos de dados, com formatos consistentes e relações predefinidas entre as variáveis. Esses dados são altamente organizados e adequados para análises 1 4UNIASSELVI quantitativas, sendo comumente encontrados em sistemas de gerenciamento de bancos de dados relacionais. Dados semi-estruturados possuem alguma forma de organização, mas não seguem estritamente um modelo predefinido. Exemplos incluem formatos como XML (Extensible Markup Language) e JSON (JavaScript Object Notation). Esses dados são mais flexíveis em termos de representação, permitindo uma maior va- riedade de informações, mas podem exigir processamento adicional para serem integrados a técnicas de Mineração de Dados. Já os dados não-estruturados são informações que não possuem uma organização formal ou esquema predefinido. Textos, imagens, vídeos e áudios são exemplos comuns de dados não-estruturados. A Mineração de Dados em dados não-estruturados muitas vezes envolve o uso de técnicas avançadas, como processamento de linguagem natural, reconhecimento de padrões em imagens ou análise de sentimentos em textos. O desafio reside na transformação desses dados em formatos compreensíveis para análises quantitativas e na extração de conhecimentos significativos. A diversidade desses tipos de dados ressalta a im- portância da flexibilidade e adaptabilidade das técnicas de Mineração de Dados para lidar com diferentes estruturas de informação. xml 1 json Dados estruturados Dados semi-estruturados Dados não estruturados Figura 4 Tipos de Dados / Fonte: o autor. Descrição da Imagem: a imagem apresenta exemplos de dados estruturados (exemplo: dados de um processo judicial); dados semi-estruturados (email, arquivo XML e arquivo JSON) e dados não-estruturados (vídeos, arquivos de áudio, imagens, textos em diversos formatos). Fim da descrição.TEMA DE APRENDIZAGEM 1 Tipo de Tarefas As tarefas da Mineração de Dados abrangem uma variedade de objetivos, cada uma com enfoque específico na extração de conhecimentos úteis a partir dos dados. Agrupamento (Clustering): essa tarefa visa identificar padrões natu- rais e relações intrínsecas nos dados, agrupando elementos similares em conjuntos distintos. O objetivo é revelar estruturas subjacentes nos dados sem a necessidade de rótulos predefinidos. O agrupamento é aplicado em situações em que a classificação não é conhecida a priori. Modelagem Preditiva (Classificação): a modelagem preditiva busca construir modelos capazes de prever a categoria ou classe à qual um novo conjunto de dados pertence. Utiliza algoritmos de aprendizado super- visionado, onde o modelo é treinado com dados rotulados para fazer previsões sobre dados não rotulados. É amplamente empregada em áreas como marketing para segmentação de clientes e em diagnósticos médicos. Detecção de Anomalias (Outliers): a detecção de anomalias concen- tra-se na identificação de padrões que se desviam significativamente do comportamento normal dos dados. Essa tarefa é crucial em situações onde a detecção de eventos raros ou incomuns é fundamental, como na segurança cibernética para identificar atividades fraudulentas ou na ma- nutenção preditiva para detectar falhas em equipamentos. Regras de Associação: a tarefa de regras de associação busca identificar relações e padrões entre variáveis em conjuntos de dados. Essas regras ajudam a revelar associações frequentes entre itens, sendo amplamente aplicadas em áreas como análise de cesta de compras em varejo, onde a compreensão das relações entre produtos pode informar estratégias de marketing e disposição de produtos. Essas tarefas representam abordagens distintas para explorar e compreender dife- rentes aspectos dos dados, proporcionando insights valiosos que podem orientar decisões estratégicas e ações em diversas áreas.UNIASSELVI Pré-processamento para agrupamento e classificação O pré-processamento de dados é uma etapa essencial ao realizar as tarefas de agrupamento e classificação no processo de Mineração de Dados. Esse processo visa preparar os dados para análise, eliminando ruídos, tratando inconsis- tências e destacando características relevantes para a identificação de padrões naturais. Algumas etapas fundamentais incluem: LIMPEZA DE DADOS Remoção de dados ausentes, duplicatas e correção de erros para garantir a qualidade e integridade dos dados. NORMALIZAÇÃO Ajuste de escalas para evitar que variáveis com unidades distintas tenham pesos des- proporcionais na análise. REDUÇÃO DE DIMENSIONALIDADE Utilização de técnicas como Análise de Componentes Principais (PCA) para reduzir a complexidade do conjunto de dados, preservando suas características essenciais. TRATAMENTO DE OUTLIERS Identificação e tratamento de valores atípicos que podem distorcer os resultados do agrupamento. O pré-processamento de dados desempenha um papel vital na eficácia das tarefas de classificação e agrupamento dentro do processo de mineração de dados. Ao lidar com a classificação, onde o objetivo é treinar um modelo para prever a ca- tegoria de novos dados, e o agrupamento, que busca identificar padrões naturais nos dados, é essencial adotar cuidados específicos. Pontos de atenção no pré-processamento para tarefa de Classificação:TEMA DE APRENDIZAGEM 1 Seleção Adequada de Características: escolher as variáveis certas é crucial. Características irrelevantes ou redundantes podem afetar nega- tivamente a qualidade dos agrupamentos. Balanceamento de Classes: garantir que as classes alvo estejam balancea- das é crucial para evitar vieses no modelo. Se uma classe for dominante, o modelo pode favorecer a previsão dessa classe em detrimento das outras. Manuseio de Dados Desbalanceados: em situações de desbalancea- mento, técnicas como oversampling ou undersampling podem ser apli- cadas para equilibrar a representação das classes durante o treinamento do modelo. Tratamento de Dados Categóricos: técnicas apropriadas para lidar com dados categóricos, como codificação one-hot, devem ser aplicadas para integrar essas variáveis aos algoritmos de classificação. Pontos de atenção no pré-processamento para tarefa de Agrupamento: Escolha de Métricas de Similaridade: a seleção adequada de métricas de similaridade influencia significativamente os resultados do agrupa- mento. Diferentes algoritmos podem exigir métricas específicas, sendo crucial entender a natureza dos dados. Tratamento de Outliers: a presença de outliers pode afetar a qualidade dos agrupamentos. Cuidados específicos, como escolher algoritmos ro- bustos a outliers, devem ser considerados. Determinação do Número de Clusters (K): a escolha do número de clusters é uma decisão crítica. Métodos como o método do cotovelo ou índices de validação de clusters podem auxiliar, mas a interpretação dos resultados também é fundamental. Em ambas as tarefas, a normalização dos dados é vital para evitar que carac- terísticas com escalas diferentes dominem a análise. Certifique-se de escolher a técnica de normalização apropriada para os requisitos específicos do algoritmo. Outro ponto importante é a utilização de técnicas de validação cruzada ao pré-processar os dados, especialmente ao ajustar parâmetros ou escolher modelos, ajuda a garantir que os resultados sejam generalizáveis para novos conjuntos de dados. Em resumo, os cuidados no pré-processamento são cruciais para o sucesso das tarefas de classificação e agrupamento em Mineração de Dados. Uma com-UNIASSELVI preensão profunda da natureza dos dados e das nuances dos algoritmos escolhi- dos é essencial para obter resultados confiáveis e significativos. Técnicas e Ferramentas Ferramentas de Mineração de Dados: ferramentas como Weka, scikit- -learn e R oferecem implementações de algoritmos de agrupamento e funciona- lidades de pré-processamento. Algoritmos de Agrupamento: algoritmos como K-Means, DBSCAN e Hie- rarchical Clustering são frequentemente utilizados e têm requisitos específicos de pré-processamento. Visualização de Dados: técnicas de visualização, como gráficos de dispersão ou mapas de calor, podem ajudar a entender a distribuição dos dados e a necessidade de ajustes no pré-processamento. O pré-processamento eficiente é crucial para garantir que os resultados do agrupamento sejam significativos e representem de maneira fidedigna as estru- turas subjacentes dos dados, contribuindo para uma análise mais precisa e in- terpretação dos resultados. Apresentação e tratamento dos resultados: visualização dos dados, estatística e detecção de outliers A visualização de dados desempenha um papel crucial na Mineração de Dados, fornecendo insights intuitivos sobre padrões, tendências e relações nos conjuntos de dados. Gráficos de dispersão, histogramas, mapas de calor e visualizações tridi- mensionais são exemplos de ferramentas visuais que auxiliam na compreensão da distribuição e estrutura dos dados. Além disso, a visualização é fundamental para identificar clusters potenciais, entender a variabilidade dos dados e comunicar resultados de forma acessível a diferentes públicos. A aplicação de técnicas estatísticas é central na Mineração de Dados, permi- tindo a análise quantitativa de padrões e relações nos dados. Medidas de tendên- cia central, dispersão, correlação e testes de hipóteses são algumas das ferramentas estatísticas utilizadas. Elas ajudam a caracterizar a variabilidade dos dados, avaliar a significância estatística de padrões identificados e validar a robustez dos mo- delos gerados durante o processo de Mineração de Dados. 1 9TEMA DE APRENDIZAGEM 1 A detecção de outliers é uma etapa crítica no Outliers são valores pré-processamento de dados. Outliers são valores atípicos que podem atípicos que podem distorcer análises e resultados. distorcer análises e Técnicas estatísticas, como a identificação de valo- resultados res além de determinados limites, e abordagens mais avançadas, como métodos baseados em distâncias ou modelos probabilísticos, são empregadas para detectar e lidar com outliers. A remoção ou tratamento adequado desses valores anômalos contribui para a robustez e confiabilidade das análises realizadas na Mineração de Dados. Em síntese, a visualização de dados, o uso de técnicas estatísticas e a detecção de outliers são elementos essenciais no processo de Mineração de Dados. Juntos, esses aspectos fornecem uma compreensão abrangente e confiável dos dados, facilitando a identificação de padrões e a tomada de decisões informadas com base nas informações extraídas. Dado, informação e conhecimento No contexto do processo de Mineração de Dados, a evolução do dado para in- formação e, por fim, para conhecimento, representa uma jornada essencial na extração de significado dos conjuntos de dados. Inicialmente, os dados brutos são coletados e armazenados, representando observações e medidas. A transformação desses dados em informação ocorre por meio de processos como limpeza, integração e seleção, conferindo-lhes contexto e relevância. Por fim, a Mineração de Dados busca extrair conhecimento a partir dessas informações, revelando padrões, relações e tendências que podem ser utilizados para fazer predições, tomar decisões informadas e entender melhor o domínio específico. Portanto, o processo de Mineração de Dados transcende a mera manipulação de dados, buscando agregar valor ao transformar informações em conhecimento que pode impulsionar ações estratégicas e insights inovadores.UNIASSELVI 1000 milibares 5,1 m/s 30°C poucas 100 mts Pressão atmosférica: 1000milibares Velocidade e direção do vento: 5,1 m/s; Temperatura do ar: 30°C Nuvens: poucas Visibilidade: 1000 mts A probabilidade de chuva baixa, então posso ir à praia! Figura 5 - Dado, informação e conhecimento / Fonte: adaptada de Castro e Ferrari (2016) Descrição da Imagem: a imagem apresenta um exemplo de dado, informação e Como dado temos uma tabela com indicações de valores numéricos de pressão, velocidade, temperatura etc. Como informação temos a apresentação da informação sobre as grandezas de pressão atmosférica, velocidade, direção do vento, tempe- ratura, nuvens e visibilidade com seus respectivos valores. Finalmente como conhecimento temos a indicação da interpretação desses valores com a conclusão de que a probabilidade de chuva é baixa, indicando a possibilidade de in à praia. Fim da descrição. INDICAÇÃO DE FILME Filme: o Homem que Mudou o Jogo BRAD PITT Sinopse: baseado em fatos reais, Homem que Mudou o Jogo é a história de Billy Beane (Brad Pitt), gerente do time de base- ball Oakland Athletics. Com pouco dinheiro em caixa e a ajuda de Peter Brand (Jonah Hill), ele desenvolve um sofisticado pro- MONEYBALL grama de estatísticas para clube, fazendo com que ficasse entre as principais equipes do esporte nos anos 80. Comentário: nesse filme, iremos perceber como um trabalho objetivo e direcionado aos resultados com os dados gerados pelo próprio clube pode ajudar a equipe a mudar de patamar no ranking da qual pertencia. 2 1