Conteúdo Interativo2

Prévia do material em texto

Disciplina: Banco de Dados Avançado
Aula 1: Fundamentos do Big Data
Apresentação
Nesta aula, compreenderemos os fundamentos da área de Ciência de Dados. Essa é a área mais recente dentro de Banco de
Dados. Conceitos de muitas áreas distintas são necessários para o trabalho do pro�ssional da área, que é o analista de
dados ou cientista de dados. O objetivo da aplicação das técnicas sobre os dados é gerar conhecimento para tomadas de
decisões.
O segundo tópico da aula aborda o motivo do surgimento da tecnologia Big Data, não tendo ela apenas a �nalidade de
armazenar mais dados, pois o simples armazenamento não possibilita o conhecimento necessário planejado e necessário
aos tomadores de decisão. A tecnologia Big Data também possui técnicas para agilizar a análise e levantamento de
possíveis padrões sobre os dados. Serão discutidos também os tipos de usos do Big Data nas empresas.
Objetivos
Identi�car a tecnologia Big Data;
Reconhecer as propriedades que caracterizam as dimensões da tecnologia Big Data;
Analisar os tipos de aplicações e a utilização da tecnologia nas empresas.
Premissa
A disponibilização de hardwares avançados e recursos de redes como a internet tem possibilitado o armazenamento de dados
em diferentes formatos, dentre eles:
Textos Vídeos Músicas Imagens
 
 
Como consequência, o volume de dados disponível para uso da sociedade e empresas
não para de crescer.
 
 
Porém, mesmo com esses dados disponíveis, é possível fazer uso deles de uma forma rápida, analisando-se realmente o que é
relevante para cada consumidor?
Outra questão é: humanos podem processar dados da mesma forma como faziam em décadas anteriores?
Essas são perguntas que motivaram o desenvolvimento de pesquisas na busca de soluções e�cientes para o armazenamento e
processamento de dados massivos ou em grandes volumes.
Fundamentos de Ciência de Dados
A Ciência de Dados é conjunto de técnicas de banco de dados, estatística, algoritmos
de mineração de dados, inteligência arti�cial, linguagens de script, programação e Big
Data para extrair informações relevantes a partir dos dados brutos ou originais.
O pro�ssional dessa área executa o processamento de
grandes quantidades de dados, tanto nos dados das empresas
onde trabalham como nos dados disponíveis na nuvem.
Assim, o cientista de dados deve possuir competência para
capturar e analisar a qualidade de dados, padronizar e
organizar, para depois analisar os dados, extraindo padrões
que possam ser analisados por especialistas ou
compreendidos para uso em processo de tomada de decisão
nas organizações.
 (Fonte: Monkey Business Images / Shutterstock).
Importância do Big Data
Em termos de importância, Big Data descreve os grandes volumes de dados, incluindo os dados estruturados e os não
estruturados. Tais dados são gerados e armazenados nas empresas diariamente, além de sobrecarregá-las em relação à
necessidade de espaço para armazenamento e às di�culdades para a geração de conhecimento.
É importante destacar que tais grandes volumes de dados excedem o volume
tradicionalmente tratado pelos sistemas gerenciadores de bancos de dados relacionais. Mas
não é a quantidade de dados disponível o que mais importa. O importante é o que pode ser
feito com esses dados.
Com a aplicação da tecnologia, algumas vantagens podem ser obtidas. Destacam-se:
 (Fonte: mamanamsai / Shutterstock)
Redução do total de custos de
investimento
Para aumentar o valor do patrimônio e o consequente
faturamento da empresa, é de vital importância saber como
usar os recursos �nanceiros de uma forma inteligente. As
análises realizadas com Big Data podem facilitar a observação
dos maiores gastos, comparando-se com os lucros obtidos.
 (Fonte: Bakhtiar Zein / Shutterstock)
Economia de tempo em
marketing
A ampliação da carteira de novos clientes também se torna
mais rápida e precisa. Com a aplicação de algoritmos sobre
grandes bases de dados, pode-se identi�car o per�l de
consumidores e desenvolver ações direcionadas para atingir
determinado nicho de clientes.
Assim, os custos serão menores e é mais e�caz o impacto no
aumento do número de vendas, ou seja, pode-se garantir ao
mesmo tempo maior retorno e também uma maior economia.
 (Fonte: Vetreno / Shutterstock)
Economia nos custos
operacionais da empresa
É comum com a economia gerada pela redução de custos nos
setores da empresa, a partir do nível de chão de fábrica até os
níveis mais altos, como o operacional e o nível executivo, que
se possa obter uma redução nos custos operacionais da
empresa através da identi�cação dos pontos que consomem
mais tempo e necessitam de mais pessoal para o trabalho na
linha de produção. Em consequência, há uma melhora no
controle dos gastos da empresa.
A tecnologia passou a ser muito conhecida por especialistas e
pela sociedade como um todo.
 (Fonte: Macrovector / Shutterstock)
Tomada de decisões mais
inteligentes
Há vantagens de se utilizar Big Data para tomar decisões
assertivas, quando se trata de custos operacionais, entre elas
a diminuição do custo de aquisição do cliente (CAC).
Tipos de usos do Big Data nas empresas
O Big Data, combinado com Inteligência Analítica, permite a realização de análises avançadas e que muito podem contribuir para
o sucesso de um negócio. Alguns tipos de usos possibilitados por essa combinação são:
Aproximadamente 10% das solicitações de pagamentos de seguros as companhias do setor são fraudulentas.
Números impressionantes de até trilhões de dólares estão envolvidos nessas fraudes. A análise de dados realizada
com Big Data pode ser usada para detectar essas tentativas. Dados históricos como o tempo das apólices, as
solicitações médicas, os honorários pagos aos advogados, os dados demográ�cos, as gravações de call centers,
entre outros, permitem uma melhor condição para a realização das análises e previsão de comportamentos
suspeitos.
Detectar tentativas de fraudes
A construção e o uso de grandes bases de dados por parte do governo em seus diversos níveis abrem um campo
amplo de uso e aplicações de inteligência analítica com base em Big Data. Isso permite um avanço signi�cativo em
relação ao modo de gestão dos serviços públicos. Com o “governo digital” e o processamento eletrônico de
documentos, pois os órgãos de �scalização podem acompanhar automaticamente, identi�cando, assim, atividades
suspeitas que indiquem indícios de atos de corrupção, lidando com mais recursos legais para sua atuação e posterior
autuação. Mas, ainda que o uso do Big Data traga muitas vantagens, os órgãos governamentais também devem lidar
com questões de transparência de dados e se preocupar com a privacidade de dados dos contribuintes.
Órgãos Governamentais
A construção de relacionamentos com os clientes é fundamental para o sucesso do setor de varejista. Uma forma de
melhorar o gerenciamento é através da tecnologia baseada no Big Data. Para tal, os varejistas necessitam identi�car
a melhor forma de abordar os clientes, o modo mais e�caz de lidar com transações e o modo mais estratégico,
visando o aumento do número de negócios gerado. O Big Data é a tecnologia adequada para essa necessidade.
Setor de varejo
Os dados produzidos pelos sensores de calor, volume, umidade, entre outros, podem ser usados para prevenir falhas
em equipamentos ou estruturas. Como o volume de dados gerado é normalmente elevado, a tecnologia Big Data
agiliza a análise dos dados históricos, prevenindo ações com base nas ocorrências anteriores.
Determinar a causa de falhas, problemas e defeitos em
tempo real
A partir dos dados que o Big Data pode fornecer, o setor da indústria manufatureira pode aumentar a qualidade e a
quantidade de seus produtos ao mesmo tempo que diminui o desperdício de tempo e material. Os processos têm
que ser constantemente avaliados e revisados para um mercado altamente competitivo de hoje. Mais e mais
fabricantes estão trabalhando em uma cultura baseada em inteligência analítica. Isso signi�ca que eles podem
resolver problemas mais rapidamente e tomar decisões denegócio mais ágeis, saindo na frente de seus
concorrentes.
Indústria manufatureira
Algumas empresas que usam a velocidade do Big Data oferecem produtos, presencialmente ou pela rede, para seus
clientes de acordo com seu histórico de compras anteriores.
Geração de descontos nos pontos de venda para clientes
cadastrados com base em hábitos de compra
Com grandes quantidades de dados sendo enviadas e recebidas de diversas fontes, os sistemas bancários podem
ter maiores condições de encontrar novas formas de gerenciar seus bancos de dados com Big Data, considerando a
importância do atendimento aos clientes e buscando aumentar o seu nível de satisfação. O banco, por sua vez,
precisa diminuir os riscos e fraudes, como conceder um limite de crédito para um cliente com um histórico regular.
Assim, pode recalcular carteiras de riscos completas dos clientes de uma forma rápida, podendo ainda acompanhar
a legislação com a preocupação de manter suas atividades de acordo com a conformidade regulatória.
Setor Bancário
O Big Data pode ser usado em análise para a obtenção de conhecimento que podem levar a
tomadas de decisões e formulação de melhores e ações estratégicas de negócio.
O conceito ganhou força em 2001, quando o pesquisador Doug Laney articulou a de�nição da tecnologia em três propriedades ou
dimensões, ou simplesmente “3 Vs”:
Ao especi�car cada uma dessas dimensões, temos:
VOLUME
Dimensão em que as organizações buscam, selecionam e armazenam dados de diferentes fontes, como transações bancárias,
mídias de entretenimento e sociais, dados de sensores ou internet das coisas.
Tecnologias como Hadoop permitem a implementação e o gerenciamento da estrutura necessária para a resolução do trabalho
com tal quantidade de dados. Considera-se que os limites de volumes de dados trabalhos em Big Data sejam entre terabytes
(1012 bytes) ou petabytes (1015 bytes) até exabytes (1018 bytes).
Além disso, não podemos esquecer que a quantidade de dados aumentou muito graças aos
dispositivos móveis (smartphones) e pelo uso de mensagens de texto em vez de ligações
telefônicas. Outros exemplos são os sites de streaming de música.
Exemplo
Veja um exemplo <galeria/aula1/anexo/a01_13_01.pdf> que mostra a dimensão volume e sua aplicação.
VELOCIDADE
Dimensão em que a integração entre as aplicações e a velocidade de transmissão (banda) permite o �uxo constante de dados.
Exemplos de aplicações são os sensores de dados e medições automáticas, que provocam a necessidade do tratamento de
dados praticamente em tempo real. Processos de ETL (extração, transformação e carga) necessitam ser automáticos e voltadas
para grandes quantidades de dados. Não podem ser realizados como eram nas tecnologias anteriores, que envolviam bancos de
dados.
VARIEDADE
Dimensão formada por uma variedade de formatos para os dados que são armazenados nos bancos de dados — de modo que
possam ser usados dados estruturados, como os mantidos nos bancos de dados relacionais, e os dados não estruturados
(documentos de texto, e-mail, vídeo, sons em seus diversos formatos etc.). A tecnologia deve permitir o trabalho
independentemente do formato submetido ao sistema gerenciador.
Atenção
http://estacio.webaula.com.br/cursos/go0098/galeria/aula1/anexo/a01_13_01.pdf
Com a evolução do uso do Big Data, outros “Vs” além de Volume, Velocidade e Variedade, descritos anteriormente, foram
surgindo para melhor caracterizar a tecnologia ou atualizar seus conceitos.
Podem ser listadas mais duas dimensões:
VARIABILIDADE
Além das crescentes velocidade e variedade dos dados, seus �uxos podem ser altamente inconsistentes com picos de período
em período.
Por exemplo, o acompanhamento das redes sociais permite a previsão de novos fatos relevantes para a sociedade, como nas
eleições. Porém, acompanhar de uma forma tradicional pode ser uma tarefa difícil, pois, todos os dias, novos dados são gerados
por eventos particulares em diferentes formatos, como os dados não estruturados.
COMPLEXIDADE
Os dados de hoje vêm de múltiplas fontes, o que torna difícil a criação de um relacionamento entres essas fontes, como combinar
os dados, efetuar a limpeza dos dados, sua padronização e a posterior formatação de acordo com os padrões dos sistemas.
Embora essa atividade seja comum, há a necessidade de se criar uma conexão e correlacionar relações, hierarquias e seus
múltiplos relacionamentos. Essa pode ser uma tarefa complexa, mas que pode ser facilitada com o uso das ferramentas
presentes na tecnologia Big Data.
Atividade
1. Assista ao vídeo Big Data e análise de dados: como são aplicados e porque são o futuro (veja em “referências”) disponível e
analise as vantagens obtidas com a implementação da solução baseada no Big Data. Em seguida, descreva de forma sucinta
como o Big Data pode ser utilizado.
2. Cite e descreva de forma resumida as propriedades ou dimensões que caracterizam as dimensões da tecnologia Big Data,
começando pelos mais comuns ou iniciais.
3. Faça uma pesquisa sobre o caso de uso de aplicação de Big Data na UPS. Procure pelo título do estudo “Big Data Delivers Big
Results at UPS - UPS Pressroom” <https://pressroom.ups.com/pressroom/ContentDetailsViewer.page?
ConceptType=Speeches&id=1426415450350-355> e solicite a tradução da página para o português, se necessário. Avalie, de
forma sucinta, como a tecnologia Big Data ajudou na solução do problema.
Referências
BENGFOR, B.; KIM, J. Analítica de dados com Hadoop: uma introdução para cientistas de dados. 1. ed. São Paulo: Novatec, 2016.
HURWITZ,J.; NUGENT,A.; HALPER,D. ; KAUFMAN, M. Big Data para leigos. Col. Para Leigos. 1. ed. Rio de Janeiro: Alta Book, 2015.
https://pressroom.ups.com/pressroom/ContentDetailsViewer.page?ConceptType=Speeches&id=1426415450350-355
ELMASRI,R.; NAVATHE. Sistemas de banco de dados. 6 ed. São Paulo: Pearson Education, 2012.
Próxima aula
Principais tecnologias para a aplicação de Big Data;
Características do framework MapReduce / Hadoop;
Arquitetura e vantagens da tecnologia Hadoop.
Explore mais
Assista aos vídeos:
Big Data e análise de dados: como são aplicados e por que são o futuro
<https://www.infomoney.com.br/negocios/inovacao/noticia/7403487/big-data-analise-dados-como-sao-aplicados-porque-
sao-futuro> ;
EMC – o big data transforma os negócios. <https://brazil.emc.com/collateral/demos/microsites/mediaplayer-video/big-
data-transform-business.htm>
https://www.infomoney.com.br/negocios/inovacao/noticia/7403487/big-data-analise-dados-como-sao-aplicados-porque-sao-futuro
https://brazil.emc.com/collateral/demos/microsites/mediaplayer-video/big-data-transform-business.htm