FBID---UN01---Fundamentos-de-Big-Data---Slide

Prévia do material em texto

Aula 1- Fundamentos de Big Data
Objetivos
Demonstrar as características e o conceito de Big Data; 
Entender as razões para se implantar o Big Data;
Apresentar cases de aplicação do Big Data.
Profa Msc Simone Regina da Silva
contato: simone.srs13@gmail.com
 
Conteúdo Programático
1. O QUE É BIG DATA?
1.1 A importância e o volume do Big Data
2. OS 5 V’S DO BIG DATA
2.1 Razões para implantar um Big Data
3. DESAFIOS PARA SE EXTRAIR O VALOR DO BIG DATA
3.1 Áreas em potencial para aplicação do Big Data
4. CASES DE SUCESSO DE APLICAÇÃO DO BIG DATA 
4.1 Outras empresas de destaque na utilização do Big Data
BIG DATA se refere a um conjunto muito grande de dados que nenhuma ferramenta convencional de gerenciamento de banco de dados ou gerenciamento de informações consegue armazenar os diferentes tipos de dados existentes.
1. O QUE É BIG DATA?
1. O QUE É BIG DATA?
O objetivo do Big Data é extrair um grande volume de dados estruturados e não-estruturados, organizá-los e analisá-los a fim de se obter insights para negócios e prever uma determinada situação. Pode-se dizer que os dados são extraídos de qualquer lugar
1.1 A importância e o volume do big data
De acordo com o Instituto Gartner até 2020 é possível que haja um total de 40 trilhões de gigabytes de dados no mundo. São surpreendentes 2,2 milhões de terabytes de novos dados gerados todos os dias. 
A quantidade de dados gerados e armazenados diariamente, não suporta mais uma estrutura centralizada de processamento de dados, principalmente nas grandes organizações. O uso do Big Data nas organizações tem por objetivo principal conhecer o comportamento do consumidor, e saber os motivos que levam o cliente a se comportar de tal forma.
1.1 A importância e o volume do big data
De acordo com a publicação da revista Canaltech, Big Data é uma grande quantidade de dados gerados a cada segundo. Imagine em todos os e-mails, mensagens de Twitter, fotos e vídeos que circulam na rede a cada instante. Não se utiliza mais, apenas unidade de informação 
Terabytes (1.000.000.000.000 (1012), e sim 
Zetabytes (1.000.000.000.000.000.000.000 (1021) e 
Brontobytes ((1.000.000.000.000.000.000.000.000.000 (1027). 
1.1 A importância e o volume do big data
Portanto, a sua importância não gira em torno apenas de como ou quanta informação chega até você e sua empresa, mas sim os insights e os valores gerados após análises. Essas analises, se utilizam de técnicas que não eram empregadas em uma escala empresarial. Os resultados ajudam em diversas decisões estratégicas do negócio.
“O que mais importa não é se você tem os dados, mas sim como vai usá-los. […] A gente precisa entender que a pirâmide inverteu. As informações existem e precisamos saber interpretá-las rapidamente”. Fábio Sayeg, fundador e CEO da ZOLY.
2. OS 5 V’S DO BIG DATA
O conceito Big Data então propõe formas de tratar os dados e retirar deles informações para serem utilizados estrategicamente e oferecer uma abordagem consistente no tratamento do constante crescimento e da complexidade dos dados. 
Para tanto, o conceito considera os 5 V´s do Big Data: o Volume, a Velocidade, a Variedade, a Veracidade e o Valor.
OS 5 V’S DO BIG DATA
o Volume, se o Big Data se refere aos dados que circulam todos os dias, entre as organizações, certamente estamos falando de uma grande quantidade de dados. 
Aqui trata-se do Volume de dados mantidos e analisados por ferramentas matemáticas corretas que podem contribuir com informações valiosas, como perfis, tendências e etc. 
OS 5 V’S DO BIG DATA
a Velocidade, o mercado atual demanda por velocidade o tempo todo, e o Big Data é um conceito que não pode funcionar se não houver agilidade. 
A análise de dados deve ser instantânea, caso contrário as informações obtidas podem não ser úteis para a organização. 
Este V se refere à velocidade com que os dados são criados. 
OS 5 V’S DO BIG DATA
a Variedade, uma das boas qualidades do Big Data é a variedade de dados obtidos por meio de diversos caminhos, como documentos eletrônicos, e-mails, transações, etc. 
No passado, a maior parte dos dados era estruturada e podia ser colocada em tabelas e relações. Hoje, 90% dos dados do mundo não se comportam dessa forma. 
Com o Big Data, mensagens, fotos, vídeos e sons, que são dados não-estruturados, podem ser administrados juntamente com dados tradicionais. Então o Big Data beneficia-se de dados originados em diferentes aplicações, de diferentes modelos, em mídias diferentes para compor efetivamente o seu volume de dados a ser aproveitado. 
OS 5 V’S DO BIG DATA
a Veracidade, se o volume de dados disponíveis para análise é grande, certamente existe uma parcela da informação que não traz veracidade. Infelizmente, a confiabilidade dos dados, principalmente aqueles provenientes da rede, ainda não é 100% confiáveis. 
Um dos pontos mais importantes de qualquer informação é que ela seja verdadeira. 
A qualificação da fonte, a determinação de padrões, a confiabilidade do processo de captura e também, o processo de cruzamento de novos dados com outros existentes e sobretudo a compreensão dos dados capturados ajudam a definir a sua Veracidade e consequentemente o nível de confiabilidade da informação gerada.
OS 5 V’S DO BIG DATA
o Valor, o último V é o que torna Big Data relevante (o resultado do Big Data), de nada adianta um grande volume de dados, velocidade no processamento, fontes diferentes e dados verificados se estes não possuem, agregam valor ou justificam o esforço do processo de consegui-los. 
OS 5 V’S DO BIG DATA
Com o avanço de novos tipos de negócios, resultando em novos tipos de dados houve a necessidade de serem incluídos mais 2 V´s a Visualização e Variabilidade, no tratamento dos tipos de dados que possuem um Big Data. 
OS 7 V’S DO BIG DATA
a Visualização, é fundamental no mundo atual, o uso de gráficos e tabelas para visualizar grandes quantidades de dados complexos é muito mais eficaz na transmissão de significados do que planilhas e relatórios repletos de números e fórmulas.
OS 7 V’S DO BIG DATA
a Variabilidade é diferente da variedade. Um café pode oferecer 6 misturas diferentes de café, mas se você obter a mesma mistura todos os dias e o gosto for diferente a cada dia, isso é variabilidade. O mesmo acontece com os dados, se o significado estiver mudando constantemente, isso pode ter um impacto enorme na homogeneização de dados. 
OS 7 V’S DO BIG DATA
2.1 Razões para implantar um Big Data
A primeira vantagem do Big Data é a capacidade de interpretar grande quantidade de dados de uma só vez. 
A segunda é a capacidade de analisar dados não estruturados, esta capacidade de trabalhar dados não estruturados permite ao Big Data analisar informações de diferentes fontes, aumentando assim sua abrangência.
A terceira vantagem geral é a capacidade de interpretar tendências de eventos, auxiliando a visualização de situações futuras. Estas tendências podem ser de ordem econômica, de aceitação de produtos, ou até climáticas. 
2.1 Razões para implantar um Big Data
	Serviços Financeiros
	Varejo
	Saúde
	Setor público
	Ensino
	Manufatura
As vantagens do Big Data em diferentes áreas de negócios
2.1 Razões para implantar um Big Data
As vantagens do Big Data em diferentes áreas de negócios
	Desenvolvimento de produtos
	Manutenção Preditiva
	Fraude e Conformidade
	Machine Learning
	Eficiência Operacional
	Impulsione a Inovação
3. DESAFIOS PARA SE EXTRAIR O VALOR DO BIG DATA
Conforme Brown (2019) no seu artigo, o Big Data está se tornando mais popular entre as empresas em todos os setores, mas a realização de um projeto de big data não é fácil. Ele descreve alguns desafios que as empresas enfrentam são eles:
	Gerenciar o crescimento de dados
 
	Gerar insights rapidamente
 
	Recrutar talentos de Big Data
 
	Integrar fontes diversificadas de Big Data
 
	Validação do Dados
 
	Proteger o Big Data
 
	Resistência Organizacional
 
3.1 Áreas em potencial de aplicação do Big Data
Medicina deprecisão
Apólices de seguro
Gestão de tráfego
Comportamento do consumidor
Oportunidades de investimento
4. CASES DE SUCESSO DE APLICAÇÃO DO BIG DATA 
4. CASES DE SUCESSO DE APLICAÇÃO DO BIG DATA 
4. CASES DE SUCESSO DE APLICAÇÃO DO BIG DATA 
4. CASES DE SUCESSO DE APLICAÇÃO DO BIG DATA 
5. ARMAZENAMENTO DE DADOS COM O BIG DATA
A tecnologia do armazenamento vem evoluindo a passos largos para acompanhar a demanda por espaço e o crescimento na complexidade e tamanho dos arquivos. Cada vez que a resolução de um arquivo de vídeo é melhorada, por exemplo, o espaço ocupado por esses arquivos cresce vertiginosamente.
5. ARMAZENAMENTO DE DADOS COM O BIG DATA
Ter um sistema de computação em nuvem é condição para se trabalhar bem com um grande volume de dados, uma vez que isso envolve coleta, armazenamento e compartilhamento de um número gigantesco de informações.
Além disso, a constante necessidade de conhecer o resultado das ações de um negócio, muitas vezes, imediatamente, torna essa relação entre cloud computing e Big Data extremamente necessária.
5.1 O que é a computação na nuvem
O conceito da computação em nuvem (cloud computing) tem como objetivo facilitar o acesso a dados e a execução de programas utilizando a internet. 
Desse modo, o usuário tem a possibilidade de usar serviços e aplicativos sem a necessidade de uma instalação, já que tudo (ou quase tudo) será executado em servidores. 
Além disso, o acesso a dados é possível a partir de quaisquer dispositivos, desde que estejam conectados à internet e tenham a permissão do devido responsável.
5.1.1 Aplicações da Cloud Computing
Vantagens de Aplicações Cloud Computing
Servidores virtuais
Armazenamento
Softwares
Desenvolvimento de softwares 
 
5.1.2. Exemplos de computação em nuvem: SaaS, PaaS e IaaS
IaaS — Infrastructure as a Service (Infraestrutura como Serviço)
Nesse primeiro exemplo dos modelos de nuvem, a empresa contrata uma capacidade de hardware que corresponde a memória, armazenamento, processamento etc. Podem entrar nesse pacote de contratações os servidores, roteadores, racks, entre outros. Dependendo do fornecedor e do modelo escolhido, a sua empresa pode ser tarifada, por exemplo, pelo número de servidores utilizados e pela quantidade de dados armazenados ou trafegados. Em geral, tudo é fornecido por meio de um data center com servidores virtuais, em que você paga somente por aquilo que usar.
5.1.2. Exemplos de computação em nuvem: SaaS, PaaS e IaaS
PaaS — Platform as a Service (Plataforma como Serviço)
O PaaS é uma plataforma que pode criar, hospedar e gerir esse aplicativo. Nesse modelo de nuvem, contrata-se um ambiente completo de desenvolvimento, no qual é possível criar, modificar e otimizar softwares e aplicações. Tudo isso é feito utilizando a infraestrutura na nuvem. Ou seja, o time de desenvolvimento tem uma infraestrutura completa e moderna à disposição, sem que sejam necessários altos investimentos
5.1.2. Exemplos de computação em nuvem: SaaS, PaaS e IaaS
SaaS — Software as a Service (Software como Serviço)
Por fim, qualquer pessoa conhece o SaaS, mesmo que não saiba. Nesse terceiro modelo de nuvem, você pode ter acesso ao software sem comprar a sua licença, utilizando-o a partir da Cloud Computing, muitas vezes com recursos limitados.
Muitas pessoas já usam o SaaS, no Facebook, Twitter ou aplicativos como o Skype, OneDrive, Google Docs e o Office 365 funcionam dessa maneira. Neles, tudo é disponibilizado na nuvem, para que muitos usuários consigam ter acesso ao serviço pelo browser ou por um software.
Referências Bibliográficas
DAVENPORT, Thomas. Big data no trabalho: Derrubando mitos e descobrindo oportunidades. Tradução: Cristina Yamagami. Rio de Janeiro: Elsevier, 2014.
MAYER SCHÖNBERGER, Viktor; CUKIER, Kenneth. Big data: como extrair volume, variedade, velocidade e valor da avalanche de informação cotidiana. Tradução: Paulo Polznoff Junior. Rio de Janeiro: Elsevier, 2013.
TAURION, Cezar. Big data. Rio de Janeiro: Brasfort, 2015.170 p.
VELTE, Anthony T.; VELTE, Toby J.; ELSENPETER, Robert. Computação em nuvem: uma abordagem prática. Rio de Janeiro: Alta Books, 2013. 
ZIKOPOULOS, Paul et al. Big Data Beyond the Hype: A Guide to Conversations for Today’s Data Center. : Mc Graw Hilleducation, 2015. Disponível em: Acesso em: 20 de dezembro de 2016.
Referências on line
Abel, C: Análise de dados: conheça as 8 principais ferramentas de Big Data para usar nos negócios artigo publicado pela MindMiners/ 2018. Disponível em: <https://mindminers.com/blog/ferramentas-de-big-data/> acesso em 10/07/2019.
Brown, C: 7 desafios que as organizações enfrentam para extrair valor do big data artigo publicado pela CIO from IDG/2019. Disponível em: <https://cio.com.br/7-desafios-que-organizacoes-enfrentam-para-extrair-valor-do-big-data/ > acesso em 08/07/2019.
Camargo. G: 5 motivos para transformar seu negócio em business analytics: Disponível em: https://computerworld.com.br/2018/05/08/5-motivos-para-transformar-seu-negocio-em-business-analytics/> acesso em 15/06/2019.
Cordeiro, C.: Vantagens gerais e específicas do Big Data – artigo publicado pelo neomind / 2017. Disponível em: <http://www.neomind.com.br:81/blog/big-data-quais-as-vantagens-gerais-e-especificas/> acesso em 10/07/2019.
 Entenda como o big data e uma grande vantagem competitiva.
 Disponível em: https://www.santodigital.com.br/entenda-como-o-big-data-e-uma-grande-vantagem- competitiva/ . acesso em 13/06/2019.
Por que business analytics está crescendo. Disponível em: http://dataexperience.com.br/por-que-business-analytics-esta -crescendo/> acesso em 15/06/2019.
FUNDABLE. Amazon Startup Story. 2017. Disponível em: https://www.fundable.com/learn/startup-stories/amazon. Acesso em: 11 de janeiro de 2020.
GOOGLE. Google Empresa. Disponível em: https://about.google/ . Acesso em: 10 de janeiro de 2020.
IBM. História: Um pouco de história. Disponível em: https://ibm.com . Acesso em: 12 janeiro 2020.
https://canaltech.com.br/big-data/Big-Data-os-cinco-Vs-que-todo-mundo-deveria-saber/
https://culturaanalitica.com.br/os-5-vs-big-data
https://sgatecnologia.com.br/4-cases-do-uso-de-big-data-no-brasil/
https://www.oracle.com/br/big-data/guide/what-is-big-data.html
https://blog.sonda.com/big-data-no-brasil/
https://resultys.com.br/cases-de-empresas-que-usam-big-data/
https://www.ipsense.com.br/blog/internet-das-coisas-e-computacao-em-nuvem-como-se-relacionam/
Referências on line