BIG DATA

Prévia do material em texto

Big Data
Sumário
1 Introdução 3
2 O que é Big Data? 4
2.1 Big Data no cotidiano do mercado 7
3 Tecnologias parceiras do Big Data 8
3.1 Cloud computing 8
3.1.1 Cloud computing no cotidiano do mercado 9
3.2 Inteligência artificial 10
3.2.2 Inteligência artificial 
no cotidiano do mercado 10
3.3 Machine learning 11
3.4 Internet das coisas (IOT) 11
3.4.1 Internet das coisas 
no cotidiano do mercado 12
4 Big Data: um histórico 12
4.1 Bug do milênio 14
5 Momento atual dos dados 15
5.1 Dados estruturados 15
5.2 Dados não estruturados 17
5.3 Análise de dados e análise preditiva 17
5.4 Data science e Data analitycs 18
5.5 Coletando dados 19
6 Quarta revolução industrial, 
Big Data e o impacto no mercado 20
6.1 Big Data no varejo 21
6.2 Big data na indústria de transformação 22
Resumo do curso 23
Referências 24
Módulo 1
Big Data
1 Introdução
Na era da informação, as decisões orientadas pela geração de dados com sua inevitável co-
leta e posterior análise não constituem mais uma escolha para o mundo corporativo e os go-
vernos, mais que isso, é um paradigma de sobrevivência. O efeito globalizante que acirra a 
competitividade ao redor do planeta dispõe de um nascedouro gigantesco de dados que o 
tempo todo surgem no panorama das mídias digitais e das diversas transações digitalizadas 
presentes nos corredores da internet. A capacidade de extração da informação e produção 
de conhecimento a partir desses dados criará melhores oportunidades de produção, venda e 
otimização de gastos, atingirá um público cada vez maior e conhecerá a natureza de consu-
mo deste mesmo público, resultando em parcerias mais eficientes e na conformidade exigida 
pelas agências de regulação. O futuro que se descortina ainda carrega muitas questões, mas 
nos traz uma certeza: a de que a produção e análise de dados ocuparão (na realidade, já ocu-
pam) papel central. E mais do que nunca, esses dados que são produzidos em quantidades 
estonteantes compõem hoje o chamado Big Data.
Em nosso estudo, trataremos também das tecnologias que dão auxílio ao Big Data, por isso 
também trataremos da análise de dados, internet das coisas, computação em nuvem, inte-
ligência artificial, machine learning entre outras, bem como abordaremos fatores gerenciais 
como a business inteligence e a forte influência do Big Data nos processos estratégicos e nas 
tomadas de decisões gerenciais
5
2 O que é Big Data?
Antes de desenvolvermos melhor o amplo conceito de Big Data, vamos a uma abordagem mais 
direta: Big Data está ligado a técnicas de armazenamento de dados, muitos dados, vindos de 
todos os lugares e, em sua maioria, de forma não estruturada (AMARAL, 2016). 
Importante
O que hoje é chamado de Big Data está, em grande parte, conectado ao mer-
cado, principalmente a atividades de gestão corporativa e gestão da infor-
mação (GOLDMAN, 2012). Além da propriedade em si de reunir dados estru-
turados, não estruturados e semiestruturados, também está intimamente 
ligado a diversas e modernas técnicas e tecnologias de tratamento, compila-
ção e organização de dados (DAVENPORT, 2014).
O uso da enorme quantidade de informação presente hoje nos corredores virtuais não chega 
a ser uma novidade nos meios da ciência da informação e administração, sistemas informa-
tizados já estão coletando dados desde a década de 50 (CHEN; CHIANG; STOREY, 2012). No 
entanto, na contemporaneidade, o crescente número de fontes de informação se dá em alta 
velocidade, redes sociais, sensores em produtos diversos, registros de tráfego na internet, 
câmeras de vigilância, uso de aplicativos, entre outros. 
A quantidade de dados nesse cenário cresce, assim como as alternativas para sua utilização. 
Tal realidade constitui um grande desafio no uso desses dados, bem como na compreensão 
de como os mesmos podem melhorar o ambiente de negócios. Mais que desenvolver tecnolo-
gia, é preciso uma nova mentalidade para o trânsito na estrada da dadosfera (AMARAL, 2016).
6
FIGURA 1 – BIG DATA 
FONTE: Freepik (2021)
Os dados gerados atualmente são tão numerosos, que tecnologias mais tradicionais já não 
dão conta de lidar com eles, por isso, uma abordagem referente ao Big Data não pode se dar 
isoladamente, ela necessariamente trará em seu bojo outros implementos técnicos e tecno-
lógicos. Dentre os mais populares, trabalhando junto ao Big Data também se apresentam a 
IA (Inteligência Artificial), o aprendizado de máquina do machine learning e a IOT – Internet of 
Things (Internet das Coisas) (GOLDMAN et al., 2012). Tal força e quantidade de dados no cená-
rio moderno dá origem a grandes registros informacionais que, mais do que nunca, capaci-
tam processos de análises preditivas, ou seja, abre grandes possibilidades de planejamento 
e ações preventivas a partir do suporte fornecido pelos dados. De certa forma, em termos 
corporativos, seria com prever o futuro. 
Atenção!
O ambiente de dados, se visto em uma perspectiva temporal, em recorte de 
aproximadamente 30 anos, nos fornece um panorama de inovação informa-
cional cujas tecnologias foram se popularizando.
7
Vamos observar o quadro abaixo:
Quadro 1 – Avanços tecnológicos entre 1990 e 2020
Período Inovação tecnológica.
1990 - 2000 Vídeos, música e mídia em geral se tornam digitais.
2000 - 2010 Ascenção do comércio eletrônico e Internet Banking.
2010 - 2020 Início da hiperconectividade, cloud computing (computação em nuvem) e in-
ternet das coisas (IOT).
FONTE: Elaborado pelo autor (2021).
O Big Data não trata unicamente de grandes volumes de dados, mas também da heterogenei-
dade desses dados e toda essa diversidade é aplicada em processos de legitimação. Para tal 
tarefa, foram desenvolvidas categorias classificadas nos cinco Vs do Big Data: volume, varie-
dade, velocidade, veracidade e valor. Vejamos o quadro abaixo:
Quadro 2 – Os cinco vs do big data
Os cinco Vs
Volume Quantidade de dados e informações adquiridas em processos de coleta. Auxi-
lia modelos de negócio de naturezas diversas para tomadas de decisão que se 
apoiam em dados concretos. Após filtrados e devidamente compilados, pro-
porcionam visão ampla e holística do mercado.
Variedade Existe enorme heterogeneidade de dados à disposição. Fóruns, redes sociais, 
e-commerce, fotografias, arquivos de áudio, números de telefone, cartões de 
crédito, entre outros. Toda essa variedade gera dados que podem estar estru-
turados, semiestruturados ou ainda não estruturados.
Velocidade A informação é gerada, coletada e circula rapidamente na internet, exigindo 
agilidade no aproveitamento desses dados. A lentidão no processamento de 
informações pode resultar em uma limitação nos resultados de negócios ou 
projetos. Em um ambiente de forte concorrência, a velocidade é um pilar vital.
Veracidade O grande volume de dados coletados necessita de validação, por isso existe 
um cuidado especial com as fontes geradoras desses dados, e uma vez verifi-
cada a relevância, são possíveis ações direcionadas para públicos específicos.
Valor A utilidade dos dados após a validação deve ser criteriosa. Os insights criados 
devem ser significativos no panorama organizacional.
FONTE: Adaptado de TAURION (2013, p. 53) 
8
Taurion (2013) aponta acertadamente que um grande volume de dados por si só não possui a 
significância e relevância necessárias para a geração de processos e negócios. Para que tal 
seja suficiente, existem quatro pilares que devem ser percebidos, a saber:
• criação de uma esfera inteligente e um ecossistema de dados no interior das organi-
zações, compilando dados mais antigos, tradicionais e habituais aos formatos mais 
recentes coletados no Big Data; 
• investimentos na formação de capital intelectual, reunindo uma equipe talentosa e 
com capacidade de utilização de dados;
• criação de metodologias ativas de estruturação de dados, validando-os e propiciando 
mais operacionalização;
• cuidados no compliance e na ética processual de uso de dados e informações, respei-
tando as fontes geradoras, seu uso correto e a reputação da organização.Agora que compreendemos um pouco melhor sobre o que trata o Big Data, pensemos na quan-
tidade avassaladora de informações geradas e compartilhadas ao longo de um dia em nosso 
planeta. O bom uso de tais informações rapidamente disponibilizadas nessas plataformas é 
vital em estratégias corporativas, determinante para a elaboração de projetos voltados ao pú-
blico, para a proposição de novos produtos e serviços.
2.1 Big Data no cotidiano do mercado 
Uma das maiores empresas de logística do planeta a United Parcel Service ou UPS trabalha 
com volumes gigantescos de encomendas diárias em cerca de 200 países. São cerca de 14 mi-
lhões de encomendas diárias, por isso o uso do Big Data aliado a ferramentas de analytics tem 
sido recorrente. Assim, é possível otimizar a performance de uma frota de aproximadamente 
100.000 veículos pertencentes à empresa.
Todos os veículos são equipados com dispositivos de telemetria e rastreamento via satéli-
te, a coleta em tempo real desses dados é processada pelos servidores da UPS e utilizada 
para minimizar espaços de ociosidade veicular e agilizar manutenções preventivas na frota. 
Segundo dados da própria empresa, houve economia de milhões de litros de combustível 
desde que uso de implementações do Big Data fizeram parte dos processos da empresa 
(SANTO DIGITAL, 2019).
9
3 Tecnologias parceiras do 
Big Data 
Não é possível falar de Big Data sem abordar as diversas técnicas e tecnologias que lhe dão 
suporte.
Atenção!
Sem o apoio de outras modalidades, a enorme quantidade de dados que hoje 
temos disponíveis de nada nos serviria. 
Por isso, é interessante e necessário que tomemos conhecimento de outras premissas tecno-
lógicas que trabalham junto ao Big Data (AMARAL, 2016).
3.1 Cloud computing
A computação em nuvem dá suporte ao Big Data e já está incorporada ao mercado, pode pro-
ver serviços para usuários físicos e jurídicos e se presta a hospedagem de arquivos (TAURION, 
2013). No mundo corporativo, é comum a terceirização de serviços de armazenagem em nu-
vem, contratados sob demanda. O acesso rápido aos recursos, facilidade de manipulação de 
arquivos e compartilhamento são vantajosos aos usuários, oferece maior segurança e con-
tratação planejada. Existem quatro modalidades de nuvem, vejamos:
Quadro 3 – Formatos de nuvem
Nuvem privada Infraestrutura disponibilizada através de uma organização, 
gerenciada pela corporação ou terceiros.
Nuvem pública A infraestrutura fica disponibilizada para o público, que aces-
sa suas funcionalidades através de login e senha.
10
Nuvem 
comunitária
A infraestrutura é dividida entre empresas que têm objetivos 
e interesses em comum, dividindo dados. A gestão pode ser 
interna ou terceirizada.
Nuvem híbrida São nuvens de naturezas distintas, via níveis de acesso, cer-
tas informações não são compartilhadas, porém outras per-
manecem disponíveis a todos.
FONTE: Adaptado de SOUSA; MOREIRA; MACHADO (2009, p. 8) 
A cloud computing, devido às suas vantagens e dinamicidade, propagou-se rapidamente pelo 
mercado, atingindo empresas de segmentos variados, bem como diversos portes e estrutu-
ras. Existem pacotes de acesso dos mais acessíveis até os mais caros e complexos. Não de-
vemos nos esquecer de que o armazenamento em nuvem também atingiu o cidadão comum 
(pessoa física) para prover segurança de armazenagem a e-mails e arquivos diversos.
FIGURA 2 – COMPUTAÇÃO EM NUVEM
FONTE : Freepik (2021)
3.1.1 Cloud computing no cotidiano do mercado
Atualmente, os aplicativos baseados em nuvem são muito utilizados por usuários físicos e 
corporativos, proporcionando armazenamento instantâneo com a vantagem de que tais ar-
quivos podem ser acessados de diversos hardwares. Existem muitas opções de cloud com-
puting, e algumas são muito populares, tais como o Dropbox, Google Drive, iCloud e Micro-
soft One Drive. 
Na condição de usuários pessoa física, por vezes não temos uma dimensão maior do uso al-
tamente disseminado da cloud computing na esfera corporativa. A gigante do e-commerce 
Amazon foi uma das primeiras empresas a fornecer provimento em cloud para o mercado, no 
que foi seguida por outros grandes players como Google, Amazon e Microsoft (ZARDO, 2018).
11
3.2 Inteligência artificial 
A inteligência artificial trata de uma junção de várias tecnologias, redes neurais, algoritmos, 
aprendizado de máquina (machine learning), entre outros. O caminho é a simulação das capa-
cidades humanas ligadas à inteligência, como o ato de raciocinar, a percepção do ambiente ao 
redor e habilidades de análise de dados.
Sendo assim, o conceito de inteligência artificial é a capacidade da tecnologia de realizar ati-
vidades de uma forma que seja considerada inteligente e até intuitiva. As inteligências artifi-
ciais (IAs) aprendem por si, sistemas analisam dados (daí sua capacidade de atuar como su-
porte ao Big Data) possibilitando a ampliação de conhecimentos. 
FIGURA 3 – MACHINE LEARNING
FONTE : Freepik (2021)
3.2.2 Inteligência artificial no cotidiano do mercado
Sediada em Curitiba, a Startup Laura está se consolidando como um exemplo de sucesso na 
área de saúde e de uso de inteligência artificial. Seu robô de mesmo nome (Laura) monitorou 
cerca de 2,5 milhões de pacientes em parceria com o Hospital Nossa Senhora das Graças. Por 
meio de IA, criou-se um mapeamento das necessidades de ambientes hospitalares utilizando 
recursos digitais. No monitoramento de atividades, surgiram insights que indicaram a imple-
mentação de soluções tecnológicas que estão auxiliando médicos e enfermeiros no melhor 
gerenciamento no atendimento aos pacientes. Análises de dados otimizaram a conferência e 
encaminhamento de exames, bem como quais pacientes necessitam ser priorizados no aten-
dimento (AMARAL, 2016).
12
3.3 Machine learning
Pode-se considerar o machine learning como um segmento da IA (Inteligência Artificial), e 
que dá suporte a ela. Faz uso de tecnologias que aprendem a partir de interações e opera-
ções calcadas na tentativa e erro (como em certa medida, humanos aprendem), a partir de 
premissas básicas. 
Atenção!
Instruções básicas fornecidas por desenvolvedores são o aporte inicial para 
que então um sistema baseado em machine learning desenvolva seu proces-
so de aprendizado. Lacunas na programação vão aos poucos sendo preen-
chidas, a própria máquina vai interagindo com o ambiente.
Um exemplo do poder computacional do machine learning é o célebre caso do robô que, em 11 
de maio de 1997, venceu o enxadrista russo Garry Kasparov, que foi derrotado por um progra-
ma denominado Deep Blue. Após sucessivas derrotas, o robô aprendeu as principais jogadas 
de Kasparov e, por fim, o venceu (VEJA, 2020). 
3.4 Internet das coisas (IOT)
Tecnologias se interpenetram, desenvolvem-se e se auxiliam, junto ao Big Data, a IOT (Internet 
of Things) que é altamente interativa e possui um grande repositório de dados de interação 
com usuários, está se impondo no mercado e despertando cada vez mais interesse. Dados 
apontam que até o ano de 2025, apenas em território nacional, algo em torno de 100 milhões 
de dispositivos estarão conectados na esfera da IOT (EPOCA NEGÓCIOS, 2019). 
A busca é pela conexão de diferentes aparatos a diferentes redes, todos conectados entre 
si. Essa tecnologia oferece a ampliação de atividades diárias automatizadas, gerenciamento 
mais competente e mais controlado de diversos sistemas, prevenção e diminuição de taxas 
de retrabalho e acidentes e maior conforto para os usuários. A relação com o Big Data é bas-
tante clara, a enorme quantidade de aparelhos conectados e os dados disponibilizados entre 
eles exigem um alto poder de processamento que processos de IOT podem proporcionar. 
13
FIGURA 4 – INTERNET DAS COISAS
FONTE : Freepik (2021)
3.4.1 Internet das coisas no cotidiano do mercado 
Os mercados agrícolas estadunidense e brasileiro contam com diversas iniciativas de aplica-
ção da IOT. Na Califórnia, um dos maiores períodos de seca de sua história prejudicou a agri-
cultura local no iníciodos anos 2010. Graças ao uso de drones munidos de sensores de quali-
dade de solo, análises foram enviadas aos produtores que conseguiram identificar os locais 
mais apropriado para o plantio de novas safras, criando um novo ciclo virtuoso de plantio. Tal 
tecnologia já está presente também no Brasil, startups dedicadas ao segmento instalam junto 
às plantações sensores de meteorologia que analisam indicadores como fatores de radiação 
solar, direção do vento, pressão barométrica e umidade do solo. 
Ainda no Brasil, drones e máquinas agrícolas enviam dados sobre uso de solo e fornecem 
insghts sobre o melhor aproveitamento do mesmo, com o apoio de GPS, Wi-Fi, Bluetooth e 
tecnologias RFID (EPOCA NEGÓCIOS, 2019).
4 Big Data: um histórico
Estudiosos do assunto como Chen, Chiang e Storey (2012) e Davenport (2014) apontam cerca 
de três períodos em que o sistema de informação foi utilizado como suporte para análise de 
dados em apoio a negócios e gestão, todos esses períodos estão diretamente ligados ao nas-
cimento de inovações tecnológicas que produziram significativas alterações, ou nas fontes 
de dados ou em suas formas de processamento. Vejamos o quadro abaixo:
14
Quadro 4 – Períodos de sistemas de dados e características
Período 1: estruturas 
administráveis de 
dados
Computação comercial na década de 60, armazenamento em 
arquivo simples, ausência de estruturas, modelos detalhados de 
programação, dados relacionais, escalabilidade de hardware, ad-
ministração de dados.
Período 2: 
administração Web
Investimento em sistemas com dados estruturados, sistemas 
transacionais, gerenciamento de conteúdo corporativo, armaze-
namento e gerenciamento de conteúdo web, unificação de proto-
colos, plataformas de gestão de processos, entre outros.
Período 3: 
Administração de Big 
Data
Visualização de dados, armazenamento baseado em nuvem, 
remoção de limitações físicas, capacidade de administração de 
quantidades massivas de dados, hibridismo de dados.
FONTE: Adaptado de SILVEIRA; MARCOLIN; FREITAS (2015, p. 40)
A grosso modo, o uso de ferramentas de tecnologia da informação no universo empresarial 
já era tema de interesse de estudiosos desde o início da década de 50. Por volta dessa época, 
dados passam a ser coletados e armazenados através de sistemas estruturados de dados re-
lacionais (AGRAWAL, 2014).
A partir da década de 90, novas aplicações foram ganhando mais protagonismo na estrutura-
ção de oportunidades de negócio como forma de organizar informações das empresas. Esse 
tipo de aplicação teve forte contribuição ao estruturar modelos de negócio diversos (AGRA-
WAL, 2014). A partir de então, houve forte aprimoramento de ferramentas destinadas a con-
sulta a bancos de dados. Podemos destacar o OLAP – On-Line Analytical Processing (Processa-
mento Analítico On-line); BPM - Business Performance Management (Gestão do Desempenho 
Empresarial/Gestão); BI - Business Intelligence (Inteligência de Mercado). Essas e outras alter-
nativas promoveram aplicações que ofereceram maior segurança a processos de tomada de 
decisão. Esse período, que foi até aproximadamente o início dos anos 2000, ficou conhecido 
como Business Intelligence and Analitics 1.0 (BI&A 1.0) (CHEN; CHIANG; STOREY, 2012).
Nos anos 2000, veio uma gigantesca maré de dados gerada quase instantaneamente (DA-
VENPORT, 2014). Fluxos de cliques, operações comerciais, padrões de navegação, conteúdo 
gerado pelo usuário, blogs, imprensa alternativa, mídias sociais entre tantos outros são res-
ponsáveis por nortear um dilúvio crescente de dados (CHEN; CHIANG; STOREY, 2012). Tama-
nha produção foi apontada como a era 2.0 do Business Intelligence and Analitics (BI&A 2.0) 
(CHEN; CHIANG; STOREY, 2012), cujas ferramentas de análise de negócios ganham espaço e 
melhorias tecnológicas (AGRAWAL, 2014). Dispositivos móveis de maciça utilização, aliados 
ao Cloud Computing, às conexões da IOT e à crescente sofisticação, canalizaram um fluxo con-
tínuo e incessante de dados que constituíram o pilar central do Big Data (DAVENPORT, 2014). 
15
4.1 Bug do milênio
Um fato marcante e curioso na história do armazenamento e registro de dados foi o chamado 
de Bug do milênio, que se deu pela forma como foram estipuladas as configurações de datas 
em sistemas operacionais. Na tentativa de se poupar espaço de memória, o formato utilizado 
foi o dia/mês/ano e nele foram utilizados dois dígitos para cada sessão. Assim, se a data in-
dicada era 12/05/96 o sistema automaticamente compreenderia que a referência era ao ano 
de 1996. Os computadores até então estavam programados para interpretar o ‘00’ no final de 
uma data como 1900. Sendo assim, os sistemas, ao contrário de continuarem linearmente em 
uma linha temporal progressiva, acabariam por recuar no tempo cem anos, criando um efeito 
cascata que poderia levar a falhas sucessivas nos equipamentos em rede (GAMEHALL, 2017).
Nos anos 1960, o uso de computadores passou a ser muito mais difundido dentro da esfera 
governamental e das corporações. Naquele momento era um equipamento caro e de aces-
so limitado, desenvolvedores buscavam maneiras de diminuir o consumo de memória desses 
equipamentos. Uma forma encontrada foi a de salvar apenas dois dígitos fazendo com que o 
número “19” estivesse presente automaticamente nos registros de data. O que resultou no se-
guinte: 1º de junho de 1967 seria automaticamente reduzido para 010667 ao invés de 01041964, 
essa medida mínima representou na época uma expressiva economia.
Por décadas tal estratégia se mostrou eficiente, no entanto, com a virada do século que se 
aproximava, especialistas apontaram a possibilidade dos dígitos 1 e 9 não serem substituídos 
pelos dígitos 2 e 0, ou seja, os sistemas retornariam ao ano de 1900 automaticamente. Haveria 
enorme confusão na arquitetura dos sistemas. Alguns afirmavam que as consequências po-
deriam ser gigantescas e haver colapsos no sistema bancário, usinas nucleares, sistemas de 
aviação e na automatização de empresas. Mas o único evento relevante referente ao bug do 
milênio aconteceu em uma usina nuclear japonesa, houve uma falha no sistema de segurança, 
porém um acidente maior foi evitado pelos sistemas secundários.
Atenção!
Aparentemente, o risco ainda existe. Ao que tudo indica, um novo esforço, 
não tão intenso quanto o anterior, já está sendo realizado. Nos sistemas de 
32-bit baseados na linguagem C, o registro de tempo está configurado para 
encerrar no dia 19 de janeiro de 2038, às 01:14:07, pelo horário de Brasília, 
chamado de Y2K38. 
As operações para sanar eventuais problemas já estão em curso (GAMEHALL, 2017).
16
5 Momento atual dos dados
Para começar, abordaremos a diferença entre dados, informação e conhecimento. Existe 
uma ordem ou hierarquia entre esses três elementos: 
• dados podem ser considerados como registros mais básicos e nucleares; 
• informações são dados já trabalhados, submetidos a um processo de organização;
• conhecimento trata de informação devidamente compilada e absorvida, pronta para 
ser posta em prática.
Em um primeiro momento, podemos afirmar que dados e informações estão em toda parte: 
textos escritos, registros digitais, eletrônicos, na linguagem falada etc. (LAUDON; LAUDON, 
2010). Tomemos aqui um exemplo: vamos utilizar os números 28 29 e 30. Isoladamente, esta-
mos falando de dados que por si só têm muito pouco a nos dizer, no entanto, se associarmos 
esses dados a outros, como por exemplo, todos os dias 28, 29 e 30 de cada mês, e buscarmos 
a presença de chuva, temos então informação, e ainda mais, se aumentarmos esse leque e 
colocarmos essas mesmas datas todos os meses durante 10 anos. Certamente, poderemos 
daí estabelecer um padrão de comportamento da chuva, teremos então conhecimento. As-
sim, será possível descobrir em quais períodos do ano existe maior possibilidade de presença 
da chuva nesses dias, orientando ações preventivas para essas ocasiões.
5.1 Dados estruturados
Quando falamos de dados estruturados, normalmente nos referimos aos dadosque possuem 
formato e comprimento definidos, nesse caso incluem-se números, datas, grupos de pala-
vras, endereços e afins. É de consenso dos especialistas que aproximadamente 20% dos da-
dos existentes na internet são dessa natureza, normalmente dispostos em bases de dados e 
passíveis de consulta através de algum tipo de linguagem estruturada como a SQL (HURWITZ 
et al., 2015). Esse tipo de dado é coletado por empresas quando usuários preenchem cadas-
tros, por exemplo, mas também podem ser gerados por máquinas. No quadro abaixo, pode-
mos verificar essas diferenças:
17
Quadro 5 – tipos de dados estruturados
Dados gerados por humanos Dados gerados por máquinas
Dados de entrada: qualquer tipo de dado que 
uma pessoa possa colocar em um computa-
dor, nome, idade, renda, respostas a pesqui-
sas, etc.
Dados de sensores: etiquetas de radiofre-
quência, medidores, dispositivos médicos, 
dados de GPS.
Dados de fluxo de clique: registrados toda 
vez que o usuário clica em um link em um 
website.
Dados de web log: servidores, aplicativos, 
interações em rede e outros dispositivos que 
capturam dados e atividades de usuários.
Dados relacionados a jogos: cada movimento 
realizado em um jogo virtual pode ser regis-
trado. Isso é bastante útil para que se enten-
da como usuários se movem através de uma 
tela em uma situação de jogo.
Dados de ponto de venda: através de có-
digo de barras, nesse caso todos os da-
dos associados ao produto são gerados e 
armazenados.
Dados financeiros: gerados e armazenados 
através da automatização de processos. Sis-
temas financeiros registram interações ge-
radas por máquinas e em parte por humanos.
FONTE: Adaptado de NUGENT et al. (2015, p. 60)
FIGURA 5 – BIG DATA
FONTE : Freepik (2021)
18
5.2 Dados não estruturados
Os dados não estruturados não seguem um formato específico. Como já citamos em nosso 
estudo, são cerca de 80% dos dados na internet. Esse tipo de dado está por toda parte e, as-
sim como os dados estruturados, também são gerados por máquinas ou por humanos. Veja-
mos no quadro a seguir alguns exemplos:
Quadro 6 – tipos de dados não estruturados
Dados gerados por humanos Dados gerados por máquinas
Textos institucionais: textos contidos em do-
cumentos, registros, resultados de pesquisa 
ou e-mails enviados. Todo tipo de informação 
de caráter empresarial e textual.
Imagens via satélite: são informações de 
tempo ou vigilância através de satélites. O 
Google Earth é um exemplo.
Dados de mídias sociais: são diversos e ge-
rados a partir de plataformas sociais como 
YouTube, Facebook, Linkedin, Tik Tok etc.
Dados científicos: registros sobre variações 
energéticas, dados atmosféricos ou monito-
ramento de rotinas sísmicas.
Dados móveis: contém todo tipo de elemento 
como informações de localização, mensa-
gens de texto e arquivos diversos trocados 
entre dispositivos móveis.
Fotos e vídeos: dados que podem vir de 
vídeos de segurança, vigilância e tráfego, 
acompanhamentos por drones, câmeras do 
sistema bancário etc.
Conteúdos de website: vindos de qualquer 
site na internet que entrega conteúdo deses-
truturado como YouTube, Flickr, Instagram e 
qualquer outra plataforma com alta geração 
de conteúdo.
Registros de radar ou sonar: acompanha-
mento de sistemas veiculares, oceanográfi-
cos, meteorológicos etc.
FONTE: Adaptado de NUGENT et al. (2015, p. 62) 
Há, ainda, os dados semiestruturados, tipo de dado contido justamente entre dados estrutu-
rados e dados desestruturados. Na maior parte do tempo contêm características de ambos, 
podendo contar com uma estrutura padrão que os torna estruturados, mas como uma organi-
zação interna mais caótica que lhe confere uma desestrutura. 
5.3 Análise de dados e análise preditiva
Processos de análise de dados dizem respeito à aplicação de técnicas de caráter estático e 
lógico que avaliam informações a partir da coleta de dados presentes nos bancos informacio-
nais do Big Data. Objetiva a extração de informações úteis, decisões são tomadas de forma 
mais assertiva e orientadas para resultados efetivos (LAUDON; LAUDON, 2010).
19
Atenção!
Algumas vantagens que podem ser obtidas são a antecipação de trabalho, 
tornando-o mais proativo e menos reativo, a criação de estratégias ou de 
serviços mais efetivos, redução de riscos e de taxa de retrabalho e uma me-
lhor experiência para o cliente.
Existem quatro formas de análise de dados:
• Análise descritiva: baseada em fatos ocorridos, ou seja, é um estilo de avaliação a 
partir de resultados obtidos. É possível destacar a geração de relatórios, controle e 
segmentação de público-alvo, análises de oportunidades de negócio, aplicação de 
métricas e avaliação de resultados obtidos. 
• Análise preditiva: atualmente é a forma mais popular de análise devido ao enorme 
volume de dados disponíveis, que propiciam o modelo preditivo, essencialmente. Tal 
modalidade se ancora na previsão de possibilidades e cenários futuros. Ressalte-se 
que em uma análise de caráter preditivo as possibilidades se dão dentro de deter-
minadas condições. Busca determinar a confirmação de uma tendência, uma causa, 
uma correlação ou probabilidade.
• Análise prescritiva: normalmente empreendida após a coleta de resultados de uma 
avaliação preditiva, prescreve uma ação ou recomendação a algum acontecimento 
potencial. Nesse caso, a melhor forma de se obter uma análise prescritiva é através 
da realização de projeções ou predições. Por seu caráter mutante; uma vez que está 
condicionada às previsões; modelos de análise prescritiva estão fortemente apoia-
dos nas tecnologias da inteligência artificial, do machine learning e dos algoritmos;
• Análise diagnóstica: tal como a análise descritiva, também se baseia em fatos ocor-
ridos, no entanto diferencia-se dessa por objetivar encontrar relações de causa e 
efeito. O processo é baseado em probabilidades, e a partir de então determina-se um 
diagnóstico da situação analisada.
5.4 Data science e Data analitycs
Não faz tanto tempo que tais nomenclaturas se popularizaram no meio corporativo, a ciência 
de dados (data science) e a análise de dados (data analitycs) também, a cada dia, estreitam sua 
ligação com Big Data (LAUDON; LAUDON, 2010). No quadro a seguir podemos verificar suas 
principais características:
20
Quadro 7 – data science e data analitycs
Data science Data analitycs
Campo que une estatística, matemá-
tica, programação e atua na extração, 
triagem e preparação de dados. Busca 
padrões em dados estruturados e não 
estruturados.
Analisa dados brutos em busca de pa-
drões e usa algoritmos para isso. Pro-
cura correlações significativas entre 
dados de uma base.
FONTE: Elaborado pelo autor (2021).
FIGURA 6 – DATA SCIENCE E DATA ANALITYCS
FONTE : Freepik (2021)
5.5 Coletando dados
Já sabemos que qualquer projeto que envolva Big Data trabalhará com extensa coleta de da-
dos. Mas de onde vêm esses dados? Como eles são coletados? Quais os pontos centrais des-
sas atividades de coleta de dados?
Nos tópicos sobre dados estruturados e dados não estruturados já vislumbramos parte desse 
processo, mas para maior entendimento, vamos nos centrar em um objetivo de marketing. 
Pensemos aqui que uma empresa qualquer, ao executar uma campanha de marketing, preci-
sa coletar dados referentes aos usuários que interajam com os elementos de tal campanha, 
como anúncios em redes sociais, mídia display, links patrocinados e afins. Para tanto, uma es-
trutura de e-commerce devidamente programada estará ligada aos implementos já citados, e 
pode realizar essa coleta através de cliques de usuários em anúncios, visualizações, comen-
tários e compartilhamentos, ou ainda com o preenchimento de um formulário. Não esque-
21
çamos também a coleta de dados através de máquinas, mas nesse momento enfatizaremos 
dados de interação daquele que utiliza a internet voluntariamente.
Esses dados primários dos usuários são registrados, e com eles uma ‘espionagem’ maior aca-
ba sendo efetivada, pois são coletados mais dados, como o dispositivoutilizado (smartphone, 
PC, tablet, notebook etc), o sistema operacional que está rodando nesses dispositivos, horá-
rio, localização geográfica, endereço de IP, endereços de e-mail e até mesmo seu histórico 
de buscas, logins e senhas, mapas de calor, entre outros. Lembrando que na estrutura de um 
e-commerce (como de qualquer site devidamente programado para isso) ainda temos o histó-
rico de navegação e compras. Todos esses dados coletados passam por um processo de mi-
neração, que nada mais é que a procura por padrões dos usuários dentro de uma estrutura di-
gital qualquer. É nesse momento que tecnologias que já citamos, como a inteligência artificial 
e a ciência de dados, dentre outras, entram em ação. Nessa fase, dados gerados dão origem a 
mapas comportamentais de extratos definidos de usuários e consumidores.
Através de um complexo sistema de protocolos presentes na internet, é possível que cada 
passo de um usuário seja rastreado, esses protocolos registram toda vez que um usuário 
acessa a internet, quantos cliques ele deu em uma foto ou link, quais áreas da rede mais aces-
sa e quanto tempo ficou on-line nesses locais. O ambiente digital está permeado de mecanis-
mos de rastreamento e são esses mecanismos que fornecem continuamente os dados que 
são diariamente aproveitados pelo Big Data (AMARAL, 2016).
6 Quarta revolução 
industrial, Big Data e o 
impacto no mercado
A essa altura de nosso estudo, já pudemos perceber o enorme impacto que o Big Data e as 
tecnologias de lhe dão suporte causaram no dia a dia do mercado, mas é chegado o momento 
de nos debruçarmos mais assertivamente sobre esse tópico. Sabe-se que 59% dos habitantes 
do globo é de usuários ativos da rede (E-COMMERCE BRASIL, 2020), a internet como canal de 
negócios é uma incontestável realidade e faz parte de linha histórica que trouxe mudanças 
fundamentais nas formas de organização social e modelos econômicos, interferindo nos as-
pectos da vida comum (AMARAL, 2016).
Historicamente, a primeira revolução lançou mão de água e vapor, trouxe a mecanização da 
produção; na segunda revolução, a energia elétrica incrementou e ampliou muito a produção 
em massa; na terceira revolução, a eletrônica e a tecnologia da informação aumentaram as 
possibilidades ao promoverem a automatização da produção.
https://www.ecommercebrasil.com.br/author/redacaoecb/feed/
22
Atenção!
Neste momento, atravessamos a quarta Revolução Industrial. Seu maior 
atributo é um amálgama de tecnologias que interagem entre si: computado-
res pessoais, smartphones, smart TVs, e-mails, redes sociais, e-commerce, 
o emergir das Startups, bancos on-line, a transformação digital e o cloud 
computing.
6.1 Big Data no varejo
Imaginemos todo esse mar de informações e seu uso no varejo. A força do Big Data nesse seg-
mento está centrada na análise e determinação de padrões e tendências de consumo. É es-
tatisticamente mensurável toda a movimentação do usuário em rede, que indica preferências 
através de seus hábitos de navegação e compra em ambientes digitais. Isso permite ao varejo 
o planejamento de ações mais certeiras na captura e fidelização de clientes. O varejo é um dos 
setores que utiliza o Big Data, principalmente o comércio eletrônico. 
Os já citados hábitos de navegação e consumo dos usuários são coletados para estratégias 
diversas como o lançamento de novos produtos, determinação de seu ciclo de vida, distribui-
ção geográfica por demanda, ou ainda a identificação de falhas no processo de atendimento, 
gargalos logísticos e afins. No que tange à logística, o Big Data é uma excelente ferramenta 
de controle que impacta diretamente na performance do varejo eletrônico (AMARAL, 2016). O 
trabalho de fidelização de clientes não passa somente pela elaboração de mensagens efica-
zes de marketing, mas também por toda uma cadeia de produção, atendimento e pós-venda, 
permite a adequação de preços de acordo com cada segmento com base nos dados deixados 
pelos consumidores. 
Essas informações impactam até mesmo em mudanças no design das lojas, que vão se 
adaptando a tendências indicadas pelo usuário, personalização de ofertas para clientes 
distintos, administração de escalabilidade de vendas e consequente redução de custos. 
Através da mineração de dados, o varejo pode trabalhar com muito mais precisão e rápida 
atualização através de ferramentas de análise como o Google Analytics, Google Tag Mana-
ger, Search Console e tantas outras que monitoram dados em tempo real da movimentação 
de usuários em ambientes digitais de varejo. Isso é controle, o que gera estabilidade e pla-
nejamento (DAVENPORT, 2014).
23
6.2 Big data na indústria de transformação
O Big Data possui aplicação em praticamente todos os setores e a indústria de transforma-
ção certamente não ficaria de fora desse paradigma. Nesse segmento, os dados coletados 
têm contribuído significativamente na redução de falhas e diminuição de taxas de retrabalho, 
aumentado a qualidade da produção e eficiência, otimização de tempo e dinheiro. Alguns tó-
picos relevantes que têm sido destacados em pesquisas são o aumento da qualidade do pro-
duto e a rápida determinação das causas que geram defeitos de fabricação, proporcionam 
um planejamento preciso da cadeia de suprimentos, maior monitoramento em processos de 
fabricação, controle de prazos e relacionamento com fornecedores, previsões de entrada e 
saída de mercadorias e matéria-prima, eficiência energética, prototipação mais rápida de no-
vos produtos e personalização massificada. 
Outro fator se debruça nas análises preditivas do data science, a indústria de transformação 
busca indicações nos dados de oportunidades e tendências futuras, seja no desenvolvimento 
de novos materiais, processos, paradigmas, otimização e afins. A personalização é um grande 
exemplo disso, as movimentações de usuários em rede revelaram ao mercado fortes segmen-
tos que antes passavam despercebidos, como por exemplo, o mercado vegano, a sustentabi-
lidade ou as representações étnicas e culturais. A indústria percebeu que em grande medida 
produtos, embalagens e afins não poderiam mais ser homogêneos, existe a necessidade de 
buscar identificação com segmentos distintos e seus interesses. Esses segmentos deixam 
claras suas preferências nos dados do Big Data.
O impacto do Big Data pode ser medido em todas as esferas de convivência, tanto pessoal 
quanto mercadológica. A humanidade, sem dúvida, vive na contemporaneidade sua mais 
massiva quantidade de dados criados e registrados em nível pessoal e profissional, o aces-
so cada vez mais facilitado às mídias digitais abarrotam as nuvens virtuais. A comunicação e 
interação entre dispositivos aumenta exponencialmente (JENKINS; FORD; GREENE, 2014), as 
informações necessárias para a criação de verdadeiros mapas comportamentais de consu-
midores, bem como diversos outros processos mercadológicos estão na pauta do dia. Exis-
tem plataformas com capacidade de processamento e administração de dados que suportam 
massas gigantescas de arquivos. 
A automatização da indústria utiliza máquinas inteligentes que decidem ações de forma autô-
noma e descentralizada em sistemas que interagem e colaboram mutuamente. O advento da 
fibra ótica, o desenvolvimento dos computadores e a abrangência dos smartphones impulsio-
nam a revolução digital, a erupção dos dados na quarta Revolução Industrial (AMARAL, 2016).
Assim, quando alcançarmos a consolidação desses processos, teremos um grau de eficiência 
nunca antes visto. Obviamente a tecnologia apenas não é suficiente, é necessária a maturida-
de digital nas organizações e corporações, com mão de obra especializada e visão estratégica 
para tirar o maior proveito da enorme quantidade de dados presente no Big Data. 
24
Resumo do curso
Neste curso, você aprendeu que o Big Data, com as premissas da exploração de dados, é vi-
tal para o presente e futuro dos negócios. Buscar novas formas de lidar com a informação é 
a palavra de ordem, ter estratégia e novas perspectivas de gestão nosimpulsionam em uma 
maior competitividade e resultados mais promissores. 
A esfera do Big Data também se presta na determinação de modelos preditivos de proteção a 
fraudes, possibilitando processos de alerta que possam garantir respostas oportunas quan-
do dados de natureza incomum são reconhecidos. Com a emergência dos dados, cria-se um 
olhar abrangente e analítico para todo tipo de operação a ser executada dentro do ambiente 
corporativo. À medida que as empresas compreendem isso, mais promissores serão seus re-
sultados no caminho da competitividade e diferenciação no mercado. 
25
Referências
AGRAWAL, D. Analytics based decision making. Journal of Indian Business Research, v. 6, n. 4, p. 332-
340, 2014.
AMARAL, F. Big Data: uma visão gerencial. São Paulo: Polo Books, 2016.
CHEN, C. P.; ZHANG, C. Y. Data-intensive applications, challenges, techniques and technolo-
gies: a survey on Big Data. Information Sciences, 275, 314–347, 2014.
CHEN, H.; CHIANG, R. H. L.; STOREY, V. C. Business intelligence and analytics: from Big Data to 
big impact. MIS quarterly, v. 36, n. 4, p.1165-1188, 2012.
_____. Big data: a survey. Mobile networks and applications, v. 19, n. 2, 171–209, 2014.
DAVENPORT, T. H. Big Data no trabalho: derrubando mitos e descobrindo oportunidades. Rio 
de Janeiro: Elsevier, 2014.
E-COMMERCE BRASIL. Gonçalves, D. Big Data: o que é, como funciona e como usar a favor da
minha empresa? Disponível em: https://www.ecommercebrasil.com.br/artigos/big-data-o-
-que-e-como-funciona-e-como-usar-a-favor-da-minha-empresa/. Acesso em: 30 ago. 2021.
EPOCA NEGOCIOS. Conheça 6 aplicações da internet das coisas que já estão tornando o mun-
do melhor. Disponível em: https://epocanegocios.globo.com/Tecnologia/noticia/2019/03/co-
nheca-6-aplicacoes-da-internet-das-coisas-que-ja-estao-tornando-o-mundo-melhor.html. 
Acesso em:12/08/2021.
GAMEHALL, V. Apocalipse ou enganação: o que foi o Bug do Milênio? 2017. Disponível em: ht-
tps://www.uol.com.br/tilt/noticias/redacao/2017/08/20/apocalipse-ou-enganacao-o-que-
-foi-o-bug-do-milenio.htm. Acesso em: 30 ago. 2021.
GOLDMAN, A. et al. Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibili-
dades. XXXI Jornadas de atualizações em informática, 2012.
HURWITZ, J. et al. Big Data para leigos. Rio de Janeiro: Alta Books, 2015.
JENKINS, H.; FORD, S.; GREENE, J. Cultura da conexão. São Paulo: Aleph, 2014.
LAUDON, K.; LAUDON, J. Sistemas de informação gerenciais. 9. ed. São Paulo: Pearson Pren-
tice Hall, 2010.
NUGENT, A. et al. Data science and Big Data computing: frameworks and Methodologies. 
Springer International Publishing, 2015.
SANTO DIGITAL. 4 cases para você entender o impacto do Big Data na prática. Disponível em: 
https://santodigital.com.br/4-cases-para-voce-entender-o-impacto-big-data-na-pratica/. 
Acesso em: 30 ago. 2021.
https://www.ecommercebrasil.com.br/artigos/big-data-o-que-e-como-funciona-e-como-usar-a-favor-da-minha-empresa/
https://www.ecommercebrasil.com.br/artigos/big-data-o-que-e-como-funciona-e-como-usar-a-favor-da-minha-empresa/
https://epocanegocios.globo.com/Tecnologia/noticia/2019/03/conheca-6-aplicacoes-da-internet-das-coisas-que-ja-estao-tornando-o-mundo-melhor.html
https://epocanegocios.globo.com/Tecnologia/noticia/2019/03/conheca-6-aplicacoes-da-internet-das-coisas-que-ja-estao-tornando-o-mundo-melhor.html
26
SOUSA, F. R.C.; MOREIRA, L. O.; MACHADO, J. C. Computação em nuvem: conceitos, tecnolo-
gias, aplicações e desafios. II Escola Regional de Computação Ceará, Maranhão e Piauí (ERCE-
MAPI), p. 150-175, 2009.
SILVEIRA, M.; MARCOLIN, C.; FREITAS, H. O Big Data e seu uso corporativo: uma revisão de li-
teratura, 2015. Disponível em: https://singep.org.br/4singep/resultado/245.pdf. Acesso em: 30 
ago. 2021.
TAURION, C. Cloudcomputing-computação em nuvem. Brasport, 2009.
_____. Big Data. Brasport, 2013.
VEJA. Demasiado humano: há 20 anos, Kasparov era esmagado por Deep Blue. Disponível em: 
https://veja.abril.com.br/blog/reveja/demasiado-humano-ha-20-anos-kasparov-era-esma-
gado-por-deep-blue/. Acesso em: 30 ago. 2021. 
ZARDO, P. As tecnologias digitais e o processo de projeto contemporâneo. Dissertação Mes-
trado em Arquitetura e Urbanismo. Faculdade IMED, 2018. Disponível em: https://www.pas-
seidireto.com/arquivo/89606659/mes-zardo-2018-as-tecnologias-digitais-e-o-processo-de-
-projeto-contemporaneo. Acesso em: 30 ago. 2021.
	1 Introdução
	2 O que é Big Data?
	2.1 Big Data no cotidiano do mercado 
	3 Tecnologias parceiras do Big Data 
	3.1 Cloud computing
	3.1.1 Cloud computing no cotidiano do mercado
	3.2 Inteligência artificial 
	3.2.2 Inteligência artificial no cotidiano do mercado
	3.3 Machine learning
	3.4 Internet das coisas (iot)
	3.4.1 Internet das coisas no cotidiano do mercado 
	4 Big Data: um histórico
	4.1 Bug do milênio
	5 Momento atual dos dados
	5.1 Dados estruturados
	5.2 Dados não estruturados
	5.3 Análise de dados e análise preditiva
	5.4 Data science e Data analitycs
	5.5 Coletando dados
	6 Quarta revolução industrial, Big Data e o impacto no mercado
	6.1 Big Data no varejo
	6.2 Big data na indústria de transformação
	Resumo do curso
	Referências