BIG DATA Aula 04

Esta é uma pré-visualização de arquivo. Entre para ver o arquivo original

CIÊNCIA DE DADOS BIG DATA ANALYTIC
CICLO DE VIDA E INTRODUÇÃO À LINGUAGEM R
DESCOBERTA DO CONHECIMENTO
AGENDA
Knowledge Discovery in Databases (KDD);
Benefícios;
Novas Profissões;
Conclusão.
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
Busca por padrões e novos conhecimentos de relacionamento de dados;
Etapas
seleção;
limpeza;
enriquecimento;
transformação;
mineração;
apresentação de resultados.
Variações apontadas por alguns autores;
ETAPAS
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
Segundo Fayyad (1996), teremos 5 etapas;
Etapas de limpeza e enriquecimento efetuados na fase de pré-processamento;
Etapas
seleção;
pré-processamento;
transformação;
mineração;
apresentação de resultados;
interpretação;
avaliação.
ETAPAS
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
Uma das principais etapas;
Seleção e filtragem dos dados avaliados nas etapas seguintes;
Refletem diretamente na qualidade do resultado final da análise da mineração de dados;
Aplicações para efetuar a extração das bases de dados, das quais estas podem ser originadas de diferentes fontes de dados;
Aplicações também aplicam os filtros;
Trazer somente dados relevantes para análise.
SELEÇÃO
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
Dados coletados podem possuir caracteres indesejados, ruídos ou informações incompletas;
Ocorre quando são selecionados de: bases heterogêneas, BD sem tratamento, provêm da internet;
Descartados: caracteres indesejados, mensagens com informações incompletas ou ruídos; 
Boa solução: Data Warehouse, pois contribui e facilita com dados limpos;
Data Warehouse : melhor organização e gerenciamento.
PRÉ-PROCESSAMENTO
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
Adequar os dados em uma estrutura e formatação para os algoritmos de mineração de dados;
Para não haver interferências ou erros durante a execução da mineração de dados (travamentos, exceções, dentre outras);
Conversão de tipos de dados;
TRANSFORMAÇÃO
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
Processo automático ou semiautomático para explorar e analisar grandes massas de dados;
Envolve métodos e aplicações interativas e interações de mineração;
Busca por padrões e regras úteis e compreensíveis para o analista;
Não existe um padrão para uso dos algoritmos de mineração;
Classificação
Predição ou Atividades Preditivas;
Descrição ou Atividades Descritivas;
MINERAÇÃO
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
Predição
Análise de dados que visa encontrar formas de prever futuras situações ou acontecimentos, através da análise de dados históricos;
Aprendizado de Máquina
Criação e uso de modelos que são aprendidos a partir dos dados;
Usar os dados existentes para desenvolver modelos que possam prever possíveis saídas para os dados novos;
Exemplos
Prever se uma mensagem de e-mail é spam ou não;
Prever se uma transação de cartão de crédito é fraudulenta;
Prever qual a probabilidade de um comprador clicar em uma propaganda;
Prever qual time ganhará o campeonato Brasileiro.
MINERAÇÃO
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
Algoritmos de Predição
Redes Neurais;
Back Propagation;
Classificadores Bayesianos;
Algoritmos Genéticos;
Métodos de Estatística.
MINERAÇÃO
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
Descrição
Busca de padrões utilizados como proposta para entendimento humano;
Identificar características comuns entre um conjunto de dados;
Algoritmos Descrição
Regras de Associação e Numeração;
Agrupamento;
Lógica Indutiva;
Algoritmos Genéticos.
MINERAÇÃO
KNOWLEDGE DISCOVERY IN DATABASES (KDD)
Seleções e ordenações das descobertas interessantes;
Mapeamento de apresentação dos resultados obtidos;
Geração de relatórios de resultados.
Formas de Apresentação
Gráficos;
Relatórios;
Tabelas;
Dentre outros.
APRESENTAÇÃO DE RESULTADOS
BIG DATA
A importância do Big Data não gira em torno da quantidade de dados que possuímos, mas do que fazemos com eles;
Permite
Redução de Custos;
Redução de tempo;
Desenvolvimento de novos produtos;
Decisões mais inteligentes.
Combinação Big Data + Análise de Dados
Determinar a causa raiz de falhas, problemas e defeitos;
Otimizar ações no ponto de venda com base em hábito de compras;
Detectar comportamentos fraudulentos.
BENEFÍCIOS
BIG DATA
O crescimento do Big Data aponta novas oportunidades de emprego;
Cientista de Dados
Profissional capacitado em estatística, ciência da computação, matemática, capaz de analisar grandes volumes de dados e extrair insights que criem novas oportunidades de negócios;
Analista de Negócios
Profissional capacitado para analisar as respostas e tomar decisões estratégicas e táticas que alavanquem novo negócios ou aumentem a lucratividade da empresa;
NOVOS PROFISSIONAIS
BIG DATA
Profissional de TI
Profissional capacitado para cuidar da infraestrutura e suporte técnico para sustentar o Big Data.
NOVOS PROFISSIONAIS
CONCLUSÃO
Entender as etapas da Descoberta de Conhecimento;
Entender a importância da Mineração de Dados;
Conhecer as novas Profissões do Big Data e suas atribuições.