Machine Learning - Associação e Agrupamento 1

Prévia do material em texto

71% 43% 29% TEMA DE APRENDIZAGEM 2 INTRODUÇÃO ÀS REGRAS DE ASSOCIAÇÃO MINHAS METAS Entender os conceitos fundamentais de suporte, confiança e lift nas Regras de Associação. Capacidade de identificar e interpretar suporte em conjuntos de dados. Desenvolver habilidade para calcular e interpretar a confiança em análises de cestas de mercado. Compreender conceito de lift e sua importância na identificação de associações significativas. Aplicar os conceitos de suporte e confiança em planilhas ou tabelas para análise de cestas de mercado. Desenvolver a capacidade de interpretar os resultados obtidos em análises de regras de associação em contextos do mundo real. Aplicar os conceitos de suporte, confiança e lift em diferentes cenários além de análise de cestas de mercado. 2 8UNIASSELVI INICIE SUA JORNADA Imagine que você é o gerente de um supermercado e precisa otimizar o layout das prateleiras para aumentar as vendas. No entanto, você percebe que muitos clientes compram itens de maneira aleatória, sem uma lógica aparente. Como resolver esse desafio e criar um arranjo eficiente que impulsione as vendas? A resolução desse problema é crucial para o sucesso do supermercado, pois um layout estratégico pode influenciar diretamente o comportamento de compra dos clientes. Ao aplicar técnicas de Regras de Associação, é possível identificar padrões nas escolhas dos consumidores, otimizando a disposição dos produtos e aumentando a eficiência das vendas. Isso não apenas impulsio- na o desempenho financeiro, mas também melhora a experiência do cliente, fortalecendo a fidelidade à marca. Para compreender como as Regras de Associação podem ser aplicadas, considere o seguinte exemplo: ao analisar dados de vendas, você percebe que clientes que compram carne também têm uma alta probabilidade de adqui- rir carvão para churrasco. Implementando essa associação na disposição das prateleiras, você cria um "espaço do churrasco", facilitando a localização dos produtos e incentivando compras adicionais. Você, estudante, ao enfrentar si- tuações semelhantes em seus próprios contextos, poderá aplicar essas técnicas para descobrir padrões e melhorar processos. Ao explorar a aplicação das Regras de Associação na resolução do problema do supermercado, é importante refletir sobre como esses conceitos extrapolam o ambiente empresarial. As mesmas técnicas podem ser utilizadas em áreas como marketing, medicina, educação, entre outras. Essa reflexão incentiva os estudan- tes a considerarem as implicações éticas, a adaptabilidade e a responsabilidade na aplicação dessas ferramentas poderosas. Além disso, estimula o pensamento crítico sobre como as descobertas podem ser interpretadas e aplicadas de maneira significativa em diversas situações da vida real. PLAY NO CONHECIMENTO Vamos ouvir no podcast um breve relato sobre diversos casos de sucesso de apli- cação de técnicas de mineração de dados e regras de associação em diversas áreas de aplicação. Recursos de mídia disponíveis no conteúdo digital do am- biente virtual de aprendizagem. 9TEMA DE APRENDIZAGEM 2 VAMOS RECORDAR? Vamos recordar alguns conceitos sobre operações com conjuntos, particularmente as operações de união e interseção de conjuntos que iremos utilizar em Regras de Associação: DESENVOLVA SEU POTENCIAL MINERAÇÃO DE DADOS A mineração de dados é um processo de descoberta de padrões significativos, informações úteis e conhecimento previamente desconhecido em grandes con- juntos de dados. A tarefa de descoberta de regras de associação é uma das técnicas fundamentais da mineração de dados, que visa encontrar relações frequentes entre diferentes itens em conjuntos de dados transacionais (Tan et al., 2006) Data Mining Atividade Atividade Preditiva Descritiva Regras de Classificação Regressão Clustering Sumarização Associação Figura 1 - Tarefas da Mineração de Dados / Fonte: o autor. Descrição da Imagem: diagrama com a taxonomia das tarefas de Data Mining ao centro, que se divide em 2 gran- des ramificações: a direita indicando a tarefa de Atividade Preditiva e a esquerda indicando a tarefa de Atividade Descritiva. A atividade Preditiva, por sua vez, se desdobra em tarefas: Classificação e Regressão e a atividade Descritiva se desdobra em três tarefas: Regras de Associação, Clustering e Sumarização. Fim da descrição. 0UNIASSELVI REGRAS DE ASSOCIAÇÃO As Regras de Associação são uma poderosa técnica de mineração de dados que revela padrões frequentes em conjuntos de dados. Essa abordagem é amplamente utilizada para descobrir relações significativas entre diferentes variáveis, especial- mente em cenários onde a co-ocorrência de itens é relevante. O conceito de regras de associação é dado através de uma expressão de im- plicação da forma: Regra: X Y, onde X e Y São conjuntos de itens e indica que quem compra X também compra Y As Regras de Associação são amplamente empregadas para otimizar estratégias de marketing e gerenciamento de estoque em lojas, mas sua aplicação vai além, alcançando áreas como diagnóstico de falhas em redes de comunicação, inte- rações na interface do usuário, análise de crimes individuais e identificação de padrões em doenças recorrentes. Essa tarefa visa descobrir elementos que estão associados a outros em uma mesma transação, revelando relacionamentos ou padrões comuns entre conjuntos de dados. Assim, as Regras de Associação reve- lam padrões presentes nas transações de um banco de dados. Um exemplo clássico é observado em transações de clientes, onde são regis- trados os itens adquiridos. Nesse contexto, uma regra de associação poderia ser {leite, pão} {manteiga}, sugerindo que, com certo grau de certeza, se um cliente compra leite e pão, é provável que também adquira manteiga. Essas associações fornecem insights valiosos para estratégias de vendas e gerenciamento de estoque, permitindo uma abordagem mais eficaz e personalizada (Han; Kamber; Pei, 2011). Análise de padrões frequentes Padrões frequentes são um padrão (um conjunto de itens, subsequências, su- bestruturas etc.) que ocorrem frequentemente em um conjunto de dados. Foi proposto inicialmente por Agrawal e Srikant (1994) no contexto de conjunto de itens frequentes e mineração de regras de associação.TEMA DE APRENDIZAGEM 2 Essa tarefa abordada pela área de Análise de Associação, busca identificar pa- drões e regularidades nos dados para responder a perguntas específicas, como en- tender quais produtos são frequentemente comprados juntos ou quais compras são realizadas após a compra de um determinado item. A análise de associação é fundamental para descobrir relações ocultas nos dados e pode ser aplicada em di- versas áreas, desde o varejo até a pesquisa de mercado e o planejamento estratégico. Ela tem por objetivo: encontrar regularidades em dados e responder pergun- tas como, por exemplo: Que produtos são usualmente comprados em conjunto? Quais são as compras subsequentes à compra de um PC? Que tipos de DNA são sensíveis a uma droga? Podemos classificar automaticamente os documentos da Web? Algumas das aplicações incluem: análise de dados de cesta, cross-marketing, de- sign de catálogos, análise de campanha de venda, análise de log de Web (fluxo de clique) e análise de sequência de DNA. Conceitos relacionados à Regras de Associação Dado um conjunto de transações, encontre as regras que irão predizer a ocorrên- cia de um item baseado nas ocorrências de outros itens em transação. TID ÍTENS EXEMPLO DE REGRAS DE ASSOCIAÇÃO 1 Pão, Leite 2 Pão, Fralda, Cerveja, Ovos {Fralda} {Cerveja}, {Leite, {Ovos, Coca}, 3 Leite, Fralda, Cerveja, Ovos {Cerveja, Pão} {Leite}, Implicação significa co-ocorrência, não causa- lidade! 5 Pão, Leite, Fralda, Cerveja 5 Pão, Leite, Fralda, Coca Quadro 1 - Regras de associação / Fonte: o autor.UNIASSELVI Principais conceitos relacionados a Regras de Associação Conjunto de itens: uma coleção de um ou mais itens Exemplo: {Leite, Pão, Fralda} Conjunto de k-itens: um conjunto que contém k itens Exemplo: 1-itemset = {Café,Leite,Pão} Exemplo: 2-itemset = {{Café, Leite}, {Café,Pão}, {Leite,Pão}} Contagem de suporte (o): a frequência de ocorrência de um conjunto de itens Exemplo: ( {Leite, Pão, Fralda}) =2 Suporte: a fração de transações que contém um conjunto de itens Exemplo: 2 Conjunto de itens frequente: um conjunto de itens com suporte maior ou igual do que o limiar minsup. Métricas de avaliação de regras Suporte (s) Fração (probabilidade) de transações que contém tanto X como Y Suporte número de transações para as quais uma regra faz a predição correta (utilidade). Dada a , Regra: X Y N = Onde: = transações em que X e Y ocorrem simultaneamente e N total de transações Exemplo: {Leite, Fralda} {Cerveja} 2 Suporte = (Leite, Fralda, Cerveja) (Leite, Fralda, Cerveja) = - 5 5 5 Confiança (c) Mede a frequência (probabilidade condicional) com que os itens em Y aparecem também em transações que contém X Confiança número de transações que a regra prediz corretamente entre as transações para as quais a regra se aplica (certeza).TEMA DE APRENDIZAGEM 2 Freq(X,Y) Dada Regra: {Leite, Fralda} {Cerveja} , Confiança o(X) a = Freq(X,Y) Onde: = número de transações em que XeY ocorrem simultaneamente transações que contém X Exemplo: {Cerveja} 2 Confiança = Cerveja) = 3 Fralda) Dado um conjunto de transações T, o objetivo da mineração de regras de associação é encontrar todas as regras que têm suporte > minsup confiança > minconf MINERAÇÃO DE REGRAS DE ASSOCIAÇÃO Abordagem da força bruta (passos a serem efetuados): Liste todas as possíveis regras de associação. Calcule o suporte e a confiança para cada regra. Corte as regras que não satisfazem minsup ou minconf. Esse método é computacionalmente proibitivo! Complexidade Computacional Dado d itens únicos: O número total de conjuntos de itens = 2d O número total de possíveis regras de associação: 3 4UNIASSELVI 6 5 d-1 k=1 d-k d k 4 j=1 of 3 = 3d - 2d+1 + 1 2 Se d= 6, temos 1 R= 602 regras 0 2 4 5 6 7 8 9 10 Figura 2 - Número de regras de associação X total de itens / Fonte: adaptada de Eick e Christoph (1997). Descrição da Imagem: gráfico representando a função exponencial que relaciona número de regras com o nú- mero de itens únicos Alguns gráfico são: d=6 e R=602 e d= 10 e R > A relação entre R e d é dada pela fórmula Fim da descrição. MINERANDO AS REGRAS DE ASSOCIAÇÃO Considerando as transações indicadas no Quadro 1, podemos gerar as seguintes regras: Exemplos de regras: {Leite, Fralda} {Cerveja} (s=0.4,c=0.67) {Leite, Cerveja} {Fralda} (s=0.4, c=1.0) {Fralda, Cerveja} {Leite} (s=0.4, c=0.67) {Cerveja} {Leite, Fralda} (s=0.4, c=0.67) {Fralda} {Leite, Cerveja} (s=0.4, c=0.5) {Leite} {Fralda, Cerveja} (s=0.4, c=0.5) Todas as regras acima são partições do mesmo conjunto de itens: {Leite, Fral- da, Cerveja} O suporte é igual para regras que têm origem do mesmo conjunto de itens, a confiança pode ser diferente. Assim, poderemos desacoplar os requisitos de suporte e confiança. 3TEMA DE APRENDIZAGEM 2 Abordagem de dois passos A abordagem de 2 passos, também conhecida como força bruta, é uma técnica utilizada na descoberta de regras de associação em mineração de dados. Nesse método, a busca por todas as possíveis regras é realizada em duas etapas distintas. Na primeira etapa, são gerados todos os conjuntos de itens frequentes, ou seja, os conjuntos de itens que aparecem com uma frequência superior a um limiar mínimo de suporte predefinido. Na segunda etapa, todas as regras possíveis são extraídas a partir dos conjuntos de itens frequentes identificados na etapa ante- rior. Essa abordagem é chamada de força bruta devido à sua natureza exaustiva, uma vez que considera todas as combinações possíveis de itens para identificar as regras de associação. Embora seja computacionalmente intensiva, a abordagem de 2 passos pode ser eficaz para descobrir regras de associação em conjuntos de dados de tamanho moderado. Abordagem de dois passos: 1. Geração de conjuntos frequentes de itens: gere todos os conjuntos de itens com suporte >= minsup 2. Geração de regras: gere regras de alta confiança para cada conjunto frequente de itens, em que cada regra é uma partição binária do conjunto frequente de itens. Conclusão: geração de conjuntos frequentes de itens ainda é computacionalmente! Geração de Itens Frequentes A descoberta de padrões frequentes em conjuntos de dados costuma envolver a construção de um grafo de itens frequentes, onde cada nó representa um conjunto de itens que ocorre com uma frequência superior a um limiar mínimo de suporte. No entanto, à medida que o número de itens em um conjunto aumenta, o número de conjuntos candidatos a serem considerados também cresce exponencialmente. Esse fenômeno é conhecido como explosão combinatória e é um dos principais desafios na mineração de dados. Em um conjunto de dados com d itens, o número de conjuntos candidatos pode chegar a 2 elevado a d, o que pode tornar a geração e avaliação desses conjuntos inviável em termos de tempo e recursos computacio- nais. Portanto, lidar com a grande quantidade de nós gerados em um grafo de itens frequentes é fundamental para a eficiência dos algoritmos de mineração de dados.UNIASSELVI null A B C D E AB AC AD AE BC BD BE CD CE DE ABC ABD ABE ACD ACE ADE BCE BDE CDE ABCD ABCE ABDE ACDE BCDE Dado d itens, existem ABCDE 2° possíveis conjuntos de itens candidatos Figura 3 - Grafo de itens frequentes / Fonte: adaptada de Eick e Christoph (1997). Descrição da Imagem: grafo mostrando a geração de conjunto de itens candidatos onde a partir do nó inicial (raiz), gera-se 5 nós (A,B,C,D e E), representando as combinações um-a-um dos 5 itens representados. No se- gundo nível temos as combinações dois-a-dois com 10 nós, seguindo-se as combinações três-a-três com 10 nós, seguindo-se as combinações quatro-a-quatro com 5 nós e finalmente último nó contendo a combinação dos 5 itens. da descrição. Algoritmo A Priori: alternativa de solução para reduzir a complexidade de geração de Regras de Associação Princípio Apriori: Se um conjunto de itens é frequente, então todos os seus subconjuntos tam- bém devem ser frequentes. O princípio Apriori se aplica por causa da seguinte propriedade de medida de suporte: AX,Y O suporte de um conjunto de itens nunca excede o suporte de seus subconjuntos (conhecida como a propriedade anti-monótona do suporte).TEMA DE APRENDIZAGEM 2 Demonstrando o Princípio A Priori O gráfico a seguir mostra a aplicação do Princípio A Priori, que considera que todos os subconjuntos de itens não frequentes também serão não frequentes, o que possibilita descartar todos esses subconjuntos. null A B C D E AB AC AD AE BC BD BE CD CE DE Determinado como não frequente ABC ABD ABE ACD ACE BCD BDE CDE ABCD ABCE ABDE ACDE BCDE Superconjuntos eliminados ABCDE Figura 4 - Grafo do princípio A Priori / Fonte: adaptada de Eick e Christoph (1997). Descrição da Imagem: grafo mostrando a geração de todos os subconjuntos candidatos a partir de 5 itens, destacando-se os superconjuntos eliminados considerando-se que o subconjunto AB não é frequente. 0 gráfico indicado os subconjuntos: AB, ABC, ABD, ABE, ABCD, ABDE e ABCDE como eliminados. Fim da descrição. Processo de Geração de Regras de Associação O processo de geração de regras de associação envolve as etapas de: pré-processa- mento, geração do conjunto de itens frequentes, mineração de regras e avaliação. 3 8UNIASSELVI Geração do conjunto Pré-processamento Mineração de regras de itens frequentes Avaliação Figura 5 - Processo de geração de regras de associação / Fonte: o autor. Descrição da Imagem: esquema indicando as etapas de geração de regras de associação. Inicia-se pela etapa de Pré-Processamento seguindo-se a etapa de Geração de conjunto de itens frequentes, continuando pela etapa de Mineração de Dados e concluindo com a etapa de Avaliação. Destaca-se que dependente do resultado da Avaliação pode-se retornar a etapa de Geração do conjunto de itens frequentes. Fim da descrição. PRÉ-PROCESSAMENTO: nessa etapa, os dados brutos são preparados para a análise. Isso inclui a remoção de dados irrelevantes, tratamento de valores nulos e a organização adequada das transa- ções. objetivo é criar um conjunto de dados limpo e coerente para a mineração de regras. GERAÇÃO DO CONJUNTO DE ITENS FREQUENTES: utilizando algoritmos como Apriori ou FP-Growth, identificamos os conjuntos de itens que ocorrem frequentemente nas transações. Isso envolve a criação de itens frequen- tes, que são conjuntos de itens que atendem a um determinado limiar de suporte. MINERAÇÃO DE REGRAS: a partir dos conjuntos de itens frequentes, são derivadas as regras de associação. processo envolve a geração de todas as regras possíveis e a aplicação de critérios de confiança para selecionar as mais relevantes. Regras de associação representam padrões identificados nos dados, indicando relações entre diferentes itens. 3 9TEMA DE APRENDIZAGEM 2 AVALIAÇÃO: após a mineração, as regras geradas são avaliadas em termos de sua utilidade e sig- nificância. Isso inclui a análise de métricas como confiança, suporte e lift para garantir que as regras identificadas sejam relevantes e possam ser aplicadas de maneira eficaz no contexto específico do conjunto de dados. A avaliação ajuda a refinar e ajustar o modelo de regras para melhor atender aos objetivos da análise. Avaliação Os critérios de avaliação se utilizam de medidas de interesse que avaliam as ca- racterísticas das regras e medem a sua relevância. As métricas mais utilizadas são: Suporte (já visto) à significância estatística da regra (usado para eliminar regras pouco interessantes. Confiança (já visto) à mede a acurácia da regra. Lift à inclui a contagem do consequente na medida da confiança. à razão entre a diferença de suporte do consequente e o erro de confiança. O lift é uma métrica crucial na avaliação de regras de associação, fornecendo insights sobre a significância e a relevância prática dessas regras. Essencialmente, o lift compara a probabilidade de ocorrência de uma associação específica com a probabilidade esperada na ausência de qualquer relação. Lift 1: Indica independência; a associação é tão provável quanto seria aleatoriamente. Lift > 1: Sugere uma associação positiva; a ocorrência dos itens juntos é mais provável do que seria esperado aleatoriamente. Lift 1: Indica uma associação negativa; a ocorrência dos itens juntos é menos provável do que seria esperado aleatoriamente. Valores altos de lift indicam associações mais significativas e potencialmente úteis na prática. O Lift é especialmente valioso para filtrar regras, priorizando aquelas que têm um impacto real e não são simplesmente o resultado de coincidências. 0UNIASSELVI Na análise de cestas de mercado, por exemplo, um lift elevado para a associa- ção entre dois produtos sugere que a venda conjunta é mais substancial do que o esperado. Isso pode orientar decisões estratégicas, como arranjos de prateleiras ou campanhas de marketing direcionadas. Assim, o lift desempenha um papel fundamental na seleção e interpretação de regras de associação, ajudando a identificar padrões de interesse e direcionar a tomada de decisões informadas. Em uma regra de associação óbvia como "quem compra rádio de pilha também compra pilha", o lift tende a ser próximo ou igual a 1. Base de 100.000 registros e 20 atributos: equipamentos eletrônicos FM 100.1 Figura 6 - Associações óbvias / Fonte: o autor. Descrição da Imagem: figura com um rádio portátil e uma bateria e a indicação da associação óbvia entre ambos. Fim da descrição. Vamos entender isso: Lift = 1: Indica independência; a associação é tão provável quanto seria alea- toriamente. Nesse caso, se a compra de rádio de pilha e pilhas são independentes (ou seja, a probabilidade de comprar pilhas é a mesma, independentemente da compra do rádio de pilha), o lift será próximo de 1. Isso porque o lift compara a probabilidade conjunta de comprar ambos os itens com a probabilidade esperada com base nas taxas individuais de compra. No entanto, mesmo que o lift seja próximo de 1, isso não torna a regra sem valor. A regra ainda pode ser útil, indicando uma associação lógica entre os produtos. A interpretação do lift deve considerar o contexto e o propósito específico da análise.TEMA DE APRENDIZAGEM 2 INDICAÇÃO DE FILME Título: Inteligência Artificial: ascensão das máquinas Vamos ver um filme que aborda uma questão já presente em muitas discussões sobre robôs e aplicativos de Inteligência Ar- tificial: o relacionamento emocional entre humanos e máquinas. filme se passa em um futuro distante, onde Milutin, um as- INTELIGENCIA ARTIFICIAL tronauta com problemas de relacionamento, é escolhido para uma longa jornada espacial em uma nave quase totalmente automatizada. Para evitar que ele fique solitário, a empresa responsável constrói um robô humanoide chamado Nimani. enredo se desenrola como uma ficção científica íntima, centra- da no relacionamento entre os dois personagens principais e abordando temas como machismo, violência, solidão, assédio moral e sexual, dependência emocional e amor. filme des- taca-se por sua ênfase nos aspectos humanos, em contraste com os efeitos especiais, culminando em um desfecho emo- cionante e reminiscente das tragédias de Shakespeare. EM FOCO Confira aqui uma aula referente a este assunto. Recursos de mídia disponíveis no conteúdo digital do ambiente virtual de aprendizagem. 4 2UNIASSELVI NOVOS DESAFIOS Na Mineração de Dados, a teoria e prática se entrelaçam de maneira fundamental, especialmente no contexto da aplicação de regras de associação. A teoria fornece os fundamentos conceituais, algoritmos e métricas que orientam a descoberta de padrões em conjuntos de dados. A prática, por sua vez, é moldada pela aplicação desses conceitos em cenários do mundo real, como no mercado de trabalho. A teoria oferece uma compreensão profunda dos conceitos, incluindo suporte, confiança, lift e algoritmos como Apriori ou FP-Growth. E também delineia algoritmos eficientes para identificar conjuntos de itens frequentes e derivar regras de associação. Nas aplicações práticas, empresas usam regras de associação para análise de mercado, segmentação de clientes e otimização de processos. A Mineração de Dados é aplicada em RH para análise de padrões de contratação, identi- ficação de competências essenciais e previsão de demandas de habilidades. Finalmente, empregadores podem usar regras de associação para entender comportamentos de compra de clientes, personalizar estratégias de marketing e tomar decisões informadas. A demanda por profissionais qualificados em Mineração de Dados, com habilidades em aplicar teorias complexas em situações práticas, está em cons- tante crescimento. A capacidade de interpretar e aplicar regras de associação torna-se uma habilidade valiosa em funções relacionadas à inteligência de negócios e análise de dados. Portanto, a integração eficaz entre teoria e prática na aplicação de regras de associação é essencial para o sucesso no mercado de trabalho, impulsio- nando a tomada de decisões estratégicas e a obtenção de insights valiosos a partir de dados complexos.