Descoberta de tópicos em texto

Prévia do material em texto

<p>Introdução à Ciência de Dados</p><p>Descoberta de Tópicos</p><p>em Texto</p><p>Agente Educacional</p><p>Marcelo Pita</p><p>Introdução à Ciência de Dados</p><p>Agenda</p><p>O que é um modelo de tópicos?</p><p>Para que serve um modelo de tópicos?</p><p>Latent Dirichlet Allocation (LDA)</p><p>Descoberta de Tópicos em Texto</p><p>Introdução à Ciência de Dados</p><p>Descoberta de Tópicos em Texto</p><p>O que é um modelo de tópicos?</p><p>Modelo estatístico que visa descobrir</p><p>“tópicos” em documentos de texto</p><p>Introdução à Ciência de Dados</p><p>Descoberta de Tópicos em Texto</p><p>Para que serve um modelo de tópicos?</p><p>Organizar coleções de</p><p>documentos automaticamente.</p><p>Exemplos de coleções:</p><p>- Documentos jurídicos em um tribunal</p><p>- Notícias de um jornal</p><p>- Artigos científicos de um periódico</p><p>- Descrição de convênios do Governo</p><p>Introdução à Ciência de Dados</p><p>Descoberta de Tópicos em Texto</p><p>Latent Dirichlet Allocation (LDA)</p><p>Rede Bayesiana para descoberta de</p><p>tópicos não conhecidos a priori.</p><p>Documentos de texto são considerados</p><p>“sacos de palavras” (bag of words).</p><p>Introdução à Ciência de Dados</p><p>Descoberta de Tópicos em Texto</p><p>Latent Dirichlet Allocation (LDA)</p><p>Passo 1</p><p>Treinamento</p><p>Passo 2</p><p>Inferência</p><p>Introdução à Ciência de Dados</p><p>Descoberta de Tópicos em Texto</p><p>Latent Dirichlet Allocation (LDA)</p><p>Tópicos não são conhecidos inicialmente.</p><p>Após o treinamento do modelo, tópicos são caracterizados como</p><p>distribuições de probabilidade sobre palavras.</p><p>Em um tópico sobre futebol, as palavras mais prováveis podem ser “gol”,</p><p>“atacante”, “zagueiro”, “falta”.</p><p>Documentos são caracterizados como distribuições de</p><p>probabilidade sobre tópicos.</p><p>Introdução à Ciência de Dados</p><p>Descoberta de Tópicos em Texto</p><p>Latent Dirichlet Allocation (LDA)</p><p>Distribuições de probabilidade dos tópicos</p><p>“futebol” e “automobilismo”</p><p>Introdução à Ciência de Dados</p><p>Descoberta de Tópicos em Texto</p><p>Latent Dirichlet Allocation (LDA)</p><p>Introdução à Ciência de Dados</p><p>Descoberta de Tópicos em Texto</p><p>Latent Dirichlet Allocation (LDA)</p><p>Introdução à Ciência de Dados</p><p>Descoberta de Tópicos em Texto</p><p>[ Exercício Descoberta de</p><p>Tópicos em Texto – KNIME ]</p><p>Introdução à Ciência de Dados</p><p>Obrigado!</p><p>Agente Educacional</p><p>Marcelo Pita</p><p>marcelo.pita@serpro.gov.br | #81 8794</p><p>Demais agentes educacionais sobre o assunto</p><p>Sérgio M. Dias | sergio.dias@serpro.gov.br | #31 6539</p><p>Gustavo Torres | gustavo.gamatorres@serpro.gov.br | #31 6950</p><p>mailto:sergio.dias@serpro.gov.br</p><p>mailto:gustavo.gamatorres@serpro.gov.br</p><p>Slide 1</p><p>Slide 2</p><p>Slide 3</p><p>Slide 4</p><p>Slide 5</p><p>Slide 6</p><p>Slide 7</p><p>Slide 8</p><p>Slide 9</p><p>Slide 10</p><p>Slide 11</p><p>Slide 12</p>