BIG DATA Aula 02

Esta é uma pré-visualização de arquivo. Entre para ver o arquivo original

CIÊNCIA DE DADOS BIG DATA ANALYTIC
CICLO DE VIDA E INTRODUÇÃO À LINGUAGEM R
AGENDA
Big Data 3V’s;
Big Data 5V’s;
Aplicação
Quantidade Dados Gerados
BIG DATA 3V’S
Definida por Doug Laney, 2001, no seu artigo: 3D Management Controlling Data Volume, Velocity and Variety;
Volume
Organizações coletam dados de uma grande variedade de fontes, incluindo transações comerciais, redes sociais e informações de sensores ou dados transmitidos de máquina a máquina;
Esta variável define o tamanho do conjunto de dados que se traduz num problema de armazenamento e análise de tecnologia de BD;
BIG DATA 3V’S
Definida por Doug Laney, 2001, no seu artigo: 3D Management Controlling Data Volume, Velocity and Variety;
Velocidade
Refere-se à rapidez com que dados são gerados e distribuídos, e devem ser tratados em tempo hábil;
Tags de RFID, sensores, celulares, redes sociais, aplicativos de comunicação geram imensas quantidades de dados rapidamente;
Esta variável se traduz num desafio para análise de dados em tempo real.
BIG DATA 3V’S
Definida por Doug Laney, 2001, no seu artigo: 3D Management Controlling Data Volume, Velocity and Variety;
Variedade
Os dados são gerados em todos os tipos de formatos;
Dados Estruturados: são dados organizados em tabelas com relações entre si, possuindo atributos e formato;
Geralmente armazenados em BD relacionais;
A principal fonte são Sistemas Legados, como por exemplo: transações bancárias, cadastro de clientes, estoques.
BIG DATA 3V’S
Definida por Doug Laney, 2001, no seu artigo: 3D Management Controlling Data Volume, Velocity and Variety;
Variedade
Dados não Estruturados: são dados que não possuem nenhuma estrutura definida, como dados de vídeos, imagens, e-mails, mensagens em aplicativos;
É o principal tipo de dado que impulsiona o Big Data;
Cerca de 85% dos dados de um Big Data são deste tipo, na maioria das vezes com origem na internet;
BIG DATA 5V’S
Posteriormente, os Profs. Hans Buhl e Maximillian (Universidade Augsburg), e Julia Heidemann, da Alemanha, acrescentaram mais duas dimensões:
Veracidade
Os dados devem ser verídicos, pois de nada adianta os dados estarem em grande volume, em uma imensa variedade e disponíveis em alta velocidade, se estes dados não forem confiáveis; 
Esta dimensão inclui principalmente a consistência dos dados que pode ser definida por sua confiabilidade estatística;
BIG DATA 5V’S
Posteriormente, os Profs. Hans Buhl e Maximillian (Universidade Augsburg), e Julia Heidemann, da Alemanha, acrescentaram mais duas dimensões:
Veracidade
A confiabilidade incluiu a origem dos dados, métodos de coleta, processamento e infraestrutura confiável;
Garante também que o dado é confiável, autêntico e protegido de acessos e modificações não autorizadas;
BIG DATA 5V’S
Posteriormente, os Profs. Hans Buhl e Maximillian (Universidade Augsburg), e Julia Heidemann, da Alemanha, acrescentaram mais duas dimensões:
Valor
Entender até onde se pode chegar com a análise dos dados de Big Data é um grande desafio;
É necessário saber interpretar os novos dados e que valor eles agregam para o negócio;
BIG DATA 5V’S
Um ambiente Big Data, frequentemente é composto por diversas fontes de dados interligadas, produzindo informações em larga escala;
A International Data Corporation (IDC) afirma que para considerarmos que um ambiente é Big Data é necessário observar pelo menos duas dimensões, indicando que não necessariamente um Big Data precisa conter dados não estruturados;
Por exemplo, um sistema de transações de cartão de crédito pode ser considerado um Big Data, pois possui as dimensões de volume e velocidade. 
APLICAÇÃO
Big Data provê grande potencial no processo decisório baseado em dados para uma Organização;
Benefícios: uma nova visão de negócio, habilidade de medir e monitorar fatores influentes no negócio, descoberta de novas oportunidades de vendas, dentre outros;
Hoje o Big Data modificou o cenário, pois podemos obter respostas mais rápidas e precisas;
APLICAÇÃO
APLICAÇÃO
Vejamos alguns setores que utilizam Big Data:
Finanças
utilizado para identificar clientes leais, padrões de uso de cartão de crédito e encontrar os mais diversos indicadores;
utilizado para efetuar a detecção de fraudes, através de desvios de padrões;
APLICAÇÃO
Vejamos alguns setores que utilizam Big Data:
Ciência
técnicas de mineração de dados auxiliam os cientistas nas pesquisas, para encontrar padrões moleculares, dados genéticos, mudanças climáticas;
contribuem para conclusões valiosas em um tempo menor.
APLICAÇÃO
Vejamos alguns setores que utilizam Big Data:
Governo
podem aproveitar e aplicar análises massiva de dados para gerenciar serviços públicos, lidar com o congestionamento no trânsito ou ainda prevenir a criminalidade;
policiamento preditivo (predictive policing) ;
utilizado pela primeira vez pelo Departamento Policial de Santa Cruz, na Califórnia.
APLICAÇÃO
Vejamos alguns setores que utilizam Big Data:
Marketing
Utilizado para encontrar o perfil de consumidores e padrões de compras;
pode sugerir produtos de forma personalizada para os compradores.
QUANTIDADE DADOS GERADOS
Segundo resultados do 7º. Estudo EMC Digital Universe, o tamanho do Universo Digital está dobrando a cada dois anos e se multiplicará entre 2013 e 2020, de 4.4 zettabytes para 44 zettabytes (44 trilhões de gigabytes);
QUANTIDADE DADOS GERADOS
QUANTIDADE DADOS GERADOS