Os 5 Vs do Big Data

Prévia do material em texto

*
FUNDAMENTOS E PROJETOS DE 
BIG DATA
*
AULA 2
*
OS 5Vs DO BIG DATA
 
*
 VOLUME
O conceito de volume (volume) no Big Data é melhor evidenciado pelos fatos do quotidiano: diariamente, o volume de troca de e-mails, transações bancárias, interações em redes sociais, registro de chamadas e tráfego de dados em linhas telefônicas. Todos esses servem de ponto de partida para a compreensão do volume de dados presentes no mundo atualmente. 
Estima-se que atualmente o volume total de dados que circulam na internet é de 250 Exabytes (1018 bytes) por ano. 
*
 VOLUME
Todos os dias são criados 2,5 quintilhões de bytes em forma de dados; 
 Atualmente 90% de todos os dados que estão presentes no mundo foram criados nos últimos 2 anos (IBM).
É importante também compreender que o conceito de volume é relativo a variável tempo, ou seja, o que é grande hoje, pode não ser nada amanhã. 
*
VOLUME
 Nos anos 90, um Terabyte (1012 bytes) era considerado Big Data.
 Em 2016, teremos no mundo aproximadamente um volume de informação digital de 8 Zettabytes (1021 bytes), um valor infinitamente maior (IBM).
*
 VELOCIDADE
Você cruzaria uma rua vendado se a última informação que tivesse fosse uma fotografia tirada do tráfego circulante de 5 minutos atrás? 
Provavelmente não, pois a fotografia de 5 minutos atrás é irrelevante, você precisa saber das condições atuais para poder cruzar a rua em segurança. 
A mesma lógica se aplica a empresas, pois necessitam de dados atuais sobre seu negócio, ou seja, velocidade (velocity). 
“A importância da velocidade é tamanha que em algum momento deverá existir uma ferramenta capaz de analisar os dados em tempo real.” Taurion 2014
*
 VELOCIDADE
Atualmente, os dados são analisados somente após serem armazenados, mas o tempo gasto para o armazenamento em si já desclassifica esse tipo de análise como uma análise 100% em tempo real. 
Informação é poder, e assim sendo a velocidade com a qual você obtém essa informação é uma vantagem competitiva das empresas. 
*
 VELOCIDADE
Velocidade pode limitar a operação de muitos negócios.
Ex: Quando utilizamos o cartão de crédito por exemplo, se não obtivermos uma aprovação da compra em alguns segundos normalmente pensamos em utilizar outro método de pagamento. É a operadora perdendo uma oportunidade de negócios pela falha na velocidade de transmissão e análise dos dados do comprador.
*
VARIEDADE
O volume é apenas o começo dos desafios dessa nova tecnologia, se temos um volume enorme de dados, também obtemos a variedade (variety) dos mesmos. 
 Já pensou na quantidade de informações dispersas em redes sociais? 
Facebook, Twitter entre outros possuem um vasto e distinto campo de informações sendo ofertadas em público a todo segundo.
 Podemos observar a variedade de dados em e-mails, redes sociais, fotografias, áudios, telefones e cartões de crédito. 
*
 VARIEDADE
Empresas que conseguem captar a variedade, seja de fontes ou de critérios, agregam mais valor ao negócio.
 O Big Data escalona a variedade de informações das seguintes formas: 
Dados estruturados: são armazenados em bancos de dados, sequenciados em tabelas; 
Dados semi-estruturados: acompanham padrões heterogêneos, são mais difíceis de serem identificados pois podem seguir diversos padrões; 
Dados não estruturados: são uma mistura de dados com fontes diversificadas como imagens, áudios e documentos online. 
*
VERACIDADE
Para colher bons frutos do processo do Big Data é necessário obter dados verídicos, de acordo com a realidade. 
O conceito de velocidade, já descrito, é bem alinhado ao conceito de veracidade (veracity) pela necessidade constante de análise em tempo real, isso significa, que dados condizem com a realidade daquele momento, pois dados passados não podem ser considerados dados verídicos para o momento em que é analisado. 
*
VERACIDADE
 A relevância dos dados coletados é tão importante quanto a velocidade. 
 A verificação dos dados coletados para adequação e relevância ao propósito da análise é um ponto chave para se obter dados que agreguem valor ao processo. 
*
VALOR
Informação não é só poder, informação também é patrimônio. 
A combinação "volume + velocidade + variedade + veracidade", além de todo e qualquer outro aspecto que caracteriza uma solução de Big Data, se mostrará inviável se o resultado não trouxer benefícios significativos e que compensem o investimento. Este é o ponto de vista do valor (value).
*
 VALOR
 Quanto maior a riqueza de dados, mais importante é saber realizar as perguntas certas no início de todo processo de análise.
 É necessário estar focado para a orientação do negócio, o valor que a coleta e análise dos dados trará para o negócio. 
 Não é viável realizar todo o processo de Big Data se não se tem questionamentos que ajudem o negócio de modo realístico.
Da mesma forma é importante estar atento aos custos envolvidos nessa operação, o valor agregado de todo esse trabalho desenvolvido, coleta, armazenamento e análise de todos esses dados tem que compensar os custos financeiros envolvidos. 
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
 Big Data embute mudanças na maneira de pensarmos os dados.
 Pela dificuldade e limitação tecnológica, nós acabamos construindo modelos mentais de escassez de dados., então trabalhamos com análises estatísticas por amostragem.
 Com volumes grandes o pensamento é outro.
 Quando a variável passa a ser “N=todos”, podemos fazer granulações inimagináveis no modelo de escassez. Podemos identificar tendências e descobrir correlações não pensadas antes.
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
 Outra característica interessante que afeta nossa maneira de olhar os dados é que grandes volumes não demandam precisão extra de cada dado.
Ex: Pensemos em um número grande como o PIB de um país. Não detalhamos os centavos, mas ficamos restritos aos grandes números e às tendências que eles apontam.
 É imensurável a quantidade de dados que chega às corporações por meios como a internet.
 Esses dados chegam das mais diversas formas até os analistas: de cliques em páginas na Internet até informações não estruturadas provenientes de redes sociais
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
 Hoje, o Facebook ingere 500 terabytes de dados novos todos os dias; um Boeing 737 gera 240 terabytes de dados de voo; a proliferação de telefones inteligentes, os dados de criar e consumir; sensores embutidos em objetos do cotidiano em breve vão resultar em milhares de milhões de dados novos, constantemente atualizam dados de localização e outras informações, incluindo vídeo.
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
 O ponto, hoje, “não é ficar deslumbrado com o volume de dados, mas sim analisá-los – convertê-los em conhecimento, inovação e valor de negócio” e que “estamos apenas arranhando a superfície do que é possível (de ser explorado e utilizado)”. A quantidade de gigabytes que carregamos, por exemplo, não ajuda a determinar o valor que será obtido ao explorar tais dados.
Existem três tipos de valor para nos ajudar a explorar estes dados:
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
 Redução de custos: gera oportunidade de lucros e investimentos em novas ferramentas, produtos e soluções;
 Melhoria nas tomadas de decisão: adição ou aperfeiçoamento das fontes de dados a modelos explicativos;
Melhorias em produtos e serviços: com o feedback dos usuários, principalmente nas redes sociais, fica mais fácil de se localizar um eventual erro e fazer com que os próximos produtos sejam melhores e que esteja de acordo com as vontades dos potenciais clientes.
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
 A análise adequada de tais grandesconjuntos de dados permite encontrar novas correlações, como por exemplo: “tendências de negócios no local, prevenção de doenças, combate à criminalidade e assim por diante”. Cientistas, empresários, profissionais de mídia e publicidade e Governos regularmente enfrentam dificuldades em áreas com grandes conjuntos de dados, incluindo pesquisa na Internet, finanças e informática de negócios. 
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
O desafio atual para as grandes empresas é determinar quem deve possuir grandes iniciativas de dados que atravessem toda a organização.
Computadores podem identificar com precisão padrões complexos de significância estatística que muitas vezes iludem os seres humanos, mas muitas vezes não conseguem entender nuances implícitas, padrões de diferentes fontes e, consequentemente, não identificam imediatamente coisas.
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
 Já os seres humanos são mais curiosos, fazem melhores perguntas e combinam dados aparentemente não relacionados para obterem percepções sobre um todo. Também são muito melhores na compreensão de mensagens ocultas na linguagem.
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
 É por isso que, muito frequentemente, o valor real do Big Data reside na análise e interpretação humana, e não na imensidão de dados históricos registrados em computadores.
 Colocamos o Big Data (B e D maiúsculos) em um patamar mais elevado, mas se as empresas querem lucrar com isso, não devem investir em mais de um Iotabyte de dados, mas em analistas de dados.
.
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
O que é um Analista de Dados?
 
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
O que é um Analista de Dados?
É um profissional que destrincha os dados e os transforma em algo concreto de trabalharmos.
Os analistas de dados usam o poder dos dados para direcionar questões estratégicas e resolver questões complexas, como:
os analistas de dados usam o poder dos dados para direcionar questões estratégicas e resolver questões complexas, como:
’
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
O que é um Analista de Dados?
 Onde é o melhor lugar para minha empresa expandir geograficamente?
 Como nossa campanha irá repercutir em um grupo demográfico de 14 a 18 anos versus um grupo de 35 a 45 anos?
A capacidade desses especialistas em encontrar relevância estatística em dados complexos - muitas vezes a partir de múltiplas perguntas.
O analista de dados traz sentido à informação da mesma forma que a cotação de um dólar traz significado para uma moeda.
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
 GRANDES DADOS não são tão úteis quanto DADOS RÁPIDOS
 Alguns analistas de dados, no entanto, afirmam que a decodificação do mito Big Data não é a parte mais importante da análise. 
 Big Data é um chavão que todos nós usamos, mas na verdade ele pode ser tão complexo que analisá-lo em detalhes não irá fornecer recomendações práticas para as corporações. 
 O mais importante é olhar para insights repetitivos e analisar conjuntos de dados menores, de forma mais rápida.
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
"Dados Rápidos" dão às empresas sugestões em tempo real ou feedback numérico que podem gerar impactos tangíveis, isso significa: 
• Execução de relatórios sobre conversões para anúncios pagos;
• Medição de quantas interações um representante de vendas precisa fazer para envolver uma perspectiva em um ciclo de vendas ativa;
• Determinação de quais mensagens contribuem para o aumento da velocidade do ciclo de vendas.
*
 COMO TRABALHAR COM GRANDE VOLUME DE DADOS?
Existem maneiras de filtrar essas informações e impactar nossas decisões de negócios para bons resultados. 
As empresas, especificamente, irão ganhar mais vantagem 
 concentrando-se em dados menores e mais acionáveis.
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*