Big Data_ como funciona, exemplos, importância e desafios

Prévia do material em texto

Big Data: como funciona, exemplos, importância e desafios
| 1
O que acha de fazer do Big Data o futuro da sua carreira profissional?
Se esse é um conceito ainda estranho para você, é bom se atualizar.
Quando falamos na definição de Big Data, nos referimos a uma verdadeira revolução
tecnológica, capaz de qualificar os resultados das empresas.
Isso explica o grande interesse pelo recurso em todo o mundo.
E no Brasil isso não é diferente.
Por aqui, no entanto, a ciência de dados ainda dá os primeiros passos, o que representa uma
oportunidade para quem correr na frente para aperfeiçoar o conhecimento sobre o tema.
E tem muita gente precisando de profissionais qualificados que, com uso de ferramentas Big
Data, possam analisar e interpretar dados para conduzir negócios a decisões mais
assertivas.
É por isso que construímos este artigo com tudo sobre Big Data.
A partir de agora, você vai ver:
O que é Big Data?
A história do Big Data
Para que serve o Big Data?
Como funciona o Big Data?
Informações estruturadas e não estruturadas
Exemplos de aplicações do Big Data
Por que o Big Data é importante?
Quais são os principais desafios do Big Data?
Entenda os 7 V’s
Como aplicar o Big Data com sucesso? [Passo a passo]
Quais as principais tendências de Big Data?
Big Data x Business Intelligence
Big Data e Inteligência Artificial
Big Data e Indústria 4.0
Quais os diferentes tipos de dados?
Relação entre a ciência de dados e o Big Data
Big Data: como funciona, exemplos, importância e desafios
| 2
Ferramentas Big Data: o que você precisa saber
Geração de critérios para a tomada de decisões
Quais principais empresas utilizam o Big Data?
Como me torno um analista ou cientista de dados em Big Data?
O que procurar em um curso de Big Data?
Pós-graduação em Big Data
MBA em Big Data.
Siga a leitura e domine esse conhecimento para avançar na carreira.
O que é Big Data?
O que é Big Data?
Big Data: como funciona, exemplos, importância e desafios
| 3
Big Data é um processo de análise e interpretação de um grande volume de dados
armazenados remotamente.
Tudo que está disponível de forma online, de modo não sigiloso, por maior que seja a
quantidade de informações, está ao alcance do Big Data, podendo ser agrupado conforme o
interesse.
E isso inclui não apenas os bancos de dados públicos, como o YouTube é para os vídeos, ou
o Wikipedia, que funciona como a maior enciclopédia da internet.
O Big Data pode integrar qualquer dado coletado sobre um assunto ou uma empresa,
como os registros de compra e venda e mesmo os canais de interação não digital
(telemarketing e call center).
Onde há um registro feito, a tecnologia o alcança.
Só ficam de fora as informações realmente inacessíveis, como as suas movimentações
financeiras e informações privadas de algumas organizações, por exemplo.
Já o que vaga pela web pode ser acessado, coletado e agrupado.
O mais incrível é que isso é realizado em grande velocidade, com uso de ferramentas
específicas de Tecnologia da Informação (TI).
E se pararmos para pensar, é necessário que seja assim, dada a gigantesca quantidade de
informações geradas a cada dia por dispositivos diversos.
Com o Big Data, portanto, é possível fazer a interpretação e a análise desses dados para
variados usos.
Entre eles, definir as estratégias de marketing de uma empresa, reduzir custos, aumentar a
produtividade e dar um rumo mais inteligente ao próprio negócio.
Recentemente, gestores têm utilizado muito a “filosofia” de Big Data como uma ferramenta
de apoio estratégico.
O que acontece é que eles passaram a entender a sua importância para obter insights sobre
as tendências de mercado e o comportamento dos consumidores, além de melhorar o
próprio processo de trabalho.
https://www.youtube.com/
https://pt.wikipedia.org/wiki/Wikip%C3%A9dia:P%C3%A1gina_principal
http://sergioricardorocha.com.br/8-regras-vencedoras-telemarketing-de-vendas/
http://www.adamsilva.com.br/tecnologia/o-que-e-ti/
Big Data: como funciona, exemplos, importância e desafios
| 4
Os indicativos são capazes de ajudar na tomada de decisões mais assertivas e,
principalmente, mais adiantadas do que a concorrência.
Nem seria preciso dizer o quanto isso é fundamental para garantir o sucesso de qualquer
negócio.
Sendo assim, todas essas informações, disponíveis online e também offline, são capazes
de ajudar a empresa a crescer.
Mas isso ainda não é tudo a saber sobre a importância do Big Data.
Nos próximos tópicos, vamos aprofundar mais essa questão.
Aproveite para dar um play neste vídeo e conferir um conteúdo especial que preparamos
para explicar o que é Big Data.
A história do Big Data
https://www.youtube.com/watch?v=W6NcuJObQr0
Big Data: como funciona, exemplos, importância e desafios
| 5
A história do Big Data
Apesar de seu uso ter se tornado mais frequente em tempos recentes, o termo Big Data
nasceu ainda na década de 1990.
E veja só onde: na NASA (National Aeronautics and Space Administration), a agência
espacial norte-americana.
Na época, o BD era utilizado na descrição de conjuntos de dados complexos que desafiavam
os tradicionais limites computacionais de captura, de processamento, de análise e de
armazenamento de informações.
Em 2001, o então vice-presidente e diretor de pesquisas do Enterprise Analytics Strategies
(Estratégias Analíticas Empresariais), Doug Laney, articulou a definição de Big Data em
três V’s:
Big Data: como funciona, exemplos, importância e desafios
| 6
Volume
Variedade
Velocidade.
Porém, 12 anos mais tarde, o chefe de dados da Express Scripts, Inderpal Bhandar,
argumentou que existiam outros três V’s adicionais
Valor
Volatilidade
Veracidade.
Como veremos no próximo tópico, a história do Big Data ainda reservaria a proposição de
um sétimo V:
Visualização.
O modelo, então, estava completo.
E devido à eficiência, as organizações começaram a perceber o poder do uso do Big Data.
Segundo está reportagem (em inglês), publicada pelo site da Revista Forbes no ano de 2015,
cerca de 90% das empresas de nível médio a grande já investiam em BD.
Para que serve o Big Data?
A quantidade de dados gerada no mundo inteiro é absurda, e a velocidade desse processo
está aumentando de maneira exponencial.
De 2021 a 2024, a previsão é que se crie mais informações do que nos últimos 30 anos
somados, segundo levantamento (em inglês) da IDC.
Só para se ter uma ideia, até 2020, foram gerados cerca de 40 trilhões de gigabytes, o
que dá uma média de 2,2 milhões de terabytes por dia.
Esse oceano de conteúdo esconde informações que podem ser valiosas se forem
corretamente coletadas, processadas e analisadas.
É justamente aí que entra o Big Data e suas tecnologias, para trabalhar com um grande
volume de dados de forma rápida, por um custo acessível e de maneira efetiva.
https://www.forbes.com/sites/gilpress/2015/09/04/6-observations-from-a-new-survey-on-the-state-of-big-data-analytics/
https://fia.com.br/blog/gestao-de-dados/
https://www.idc.com/getdoc.jsp?containerId=prUS46286020
https://fia.com.br/blog/ciencia-de-dados-data-science/
https://fia.com.br/blog/desenvolvimento-tecnologico/
Big Data: como funciona, exemplos, importância e desafios
| 7
Graças a essas soluções, é possível tomar decisões e desenvolver insights mais embasados e
assertivos.
Como funciona o Big Data?
Para entender melhor como funciona o Big Data, fica mais fácil dividir esse processamento
em etapas.
Então, vamos a elas:
Coleta de dados
Coleta de dados
Também chamada de aquisição ou gravação de dados, é a fase de reunir todo aquele grande
volume e diversidade de informações.
Big Data: como funciona, exemplos, importância e desafios
| 8
Enquanto são coletadas, é necessário que essas informações já passem por algum tipo de
filtragem ou formatação, eliminando erros e dados incompletos.
Esse tipo de cuidado é fundamental para que não haja prejuízo nas etapas seguintes, como
pode acontecer no processo de análise, caso existam dados corrompidos.
Integração dos dados
Passado esse primeiro momento, é hora de integraresses dados.
Como eles são de fontes, formatos e características diferentes, devem receber tratamentos
específicos.
É aqui, portanto, que devem ser definidos critérios de validação, aceitação, segurança e
categorias dos dados, conforme as suas fontes.
Análise e modelagem dos dados
Trata-se de uma das fases mais importantes no Big Data, pois é onde os dados começam a
ganhar valor e se transformar em informação.
Para isso, é necessário ter profissionais capacitados e o suporte de tecnologias de
inteligência artificial e machine learning, que vão tornar esse trabalho mais ágil e assertivo.
Além disso, é importante também pesquisar novos tipos de visualização de dados para que
sejam feitas descobertas valiosas, que favoreçam uma melhor interpretação das
informações.
Interpretação dos dados
A fase de interpretação dos dados é a última e também aquela que faz valer todo o
investimento em big data.
Afinal, é aqui que você vai conseguir extrair insights que vão garantir ao seu negócio
diferenciais competitivos e oferecer uma ótima experiência ao cliente.
Informações estruturadas e não estruturadas
Quando falamos de Big Data, é muito importante fazer uma distinção a respeito do que são
https://fia.com.br/blog/data-mining/
https://fia.com.br/blog/engenharia-de-dados/
https://fia.com.br/blog/inteligencia-artificial/
https://fia.com.br/blog/machine-learning/
Big Data: como funciona, exemplos, importância e desafios
| 9
informações estruturadas e não estruturadas, pois essa diferença impacta diretamente
em todo o processo de coleta, integração, análise e interpretação de dados.
As informações estruturadas são aquelas possíveis de se categorizar com maior facilidade,
pois possuem um padrão mais rígido.
Usando uma linguagem mais técnica, são aqueles tipos de dados que podem ser colocados
em linhas e colunas, como os formulários, por exemplo.
Em uma landing page, quando o usuário vai preencher um cadastro, ele só precisa
completar os campos, como nome, idade, e-mail, entre outros, e, eventualmente, responde
uma pergunta de sim ou não.
Sendo assim, é muito mais fácil extrair informações desses dados, pois eles já estão
estruturados.
É diferente, por exemplo, de um vídeo, uma imagem, um áudio, um e-mail ou qualquer outro
tipo de texto em que não há uma estrutura padrão.
Todos esses exemplos são de dados não estruturados.
Estima-se que cerca de 80% do conteúdo disponível na Internet seja de dados não
estruturados.
Exemplos de aplicações do Big Data
A aplicação do processo de Big Data pode trazer resultados bem práticos para a sua
empresa.
Confira alguns exemplos de como esse conjunto de tecnologias pode colaborar para a sua
alta performance corporativa:
Desenvolvimento de produtos
Um dos principais benefícios que o processamento de dados e sua consequente
transformação em informações relevantes podem trazer para um negócio é o
desenvolvimento de insights.
A partir de uma análise massiva de redes sociais, banco de dados de clientes e outros tipos
https://fia.com.br/blog/digital-analytics/
https://fia.com.br/blog/avaliacao-de-desempenho/
https://fia.com.br/blog/redes-sociais/
Big Data: como funciona, exemplos, importância e desafios
| 10
de materiais, a empresa consegue desenvolver produtos que atendam a necessidade do seu
público alvo com maior assertividade.
O Big Data ajuda a antecipar demandas e produzir tendências antes mesmo que elas
estourem no mercado.
Eficiência operacional
Essa talvez seja a implicação prática que o Big Data e suas tecnologias mais agregam às
empresas.
Até pouco tempo atrás, os processos eram muito mais burocráticos e manuais, o que,
além de atrasar tomadas de decisões, também torna qualquer ação muito mais passível ao
erro.
Com um processamento de dados mais automatizado, veloz e eficaz, é possível encontrar
soluções, analisar cenários, entregar feedbacks aos clientes, desenvolver produtos, projetar
e se preparar para momentos de crise de maneira muito mais organizada e proativa.
Experiência do cliente
https://fia.com.br/blog/business-intelligence/
Big Data: como funciona, exemplos, importância e desafios
| 11
Experiência do cliente
Já faz um tempo que a experiência do cliente passou a ser um dos principais fatores que
levam uma pessoa a consumir e continuar consumindo de determinada marca.
Com o Big Data, ficou muito mais fácil dar a atenção e o valor que o seu público-alvo espera.
Afinal, você consegue ter acesso a diversos dados dos clientes e, assim, manter uma
interação mais próxima com ele, oferecendo conteúdos personalizados às suas demandas.
Manutenção preditiva
Poucas falhas são de fato imprevisíveis, que acontecem mesmo quando todos os cuidados
necessários são tomados.
Para a esmagadora maioria dos problemas, é possível realizar uma manutenção preditiva e
evitar transtornos futuros.
https://fia.com.br/blog/customer-centric/
https://fia.com.br/blog/customer-success/
https://fia.com.br/blog/business-intelligence/
Big Data: como funciona, exemplos, importância e desafios
| 12
Com o Big Data, você consegue prevenir defeitos relacionados aos dados estruturados,
como panes mecânicas que têm a ver com o ano de fabricação ou o modelo do maquinário
em questão, por exemplo.
Além disso, ao processar dados não estruturados, é possível encontrar problemas em
códigos de atualização de softwares e relatórios de sensores, por exemplo.
Tudo isso antes de essas falhas realmente acontecerem e atrasarem a produção.
O custo também é bem menor do que o de uma manutenção reparativa.
Fraude e conformidade
Com tanta geração de dados, é preciso ter alguns cuidados para manter essas informações
(especialmente as relacionadas aos clientes) seguras dos criminosos virtuais.
Com as tecnologias de Big Data, é possível encontrar alguns padrões em dados que indicam
algum tipo de fraude.
A partir daí, torna-se possível desenvolver ações preventivas e enviar relatórios
regulamentares de maneira muito mais ágil.
Por que o Big Data é importante?
https://fia.com.br/blog/desenvolvimento-de-softwares/
https://fia.com.br/blog/crimes-ciberneticos/
https://fia.com.br/blog/compliance/
Big Data: como funciona, exemplos, importância e desafios
| 13
Por que o Big Data é importante?
Engana-se quem pensa que a importância do Big Data está relacionada apenas ao volume de
dados disponíveis.
O que deve ser levado em consideração é o que você faz com eles.
Sendo assim, podemos dizer que o Big Data é importante para ajudar as empresas a analisar
os seus dados e utilizá-los na identificação de novas oportunidades.
Obviamente, isso varia de acordo com o seu modelo de negócio, a atividade exercida e as
metas e objetivos traçados para a organização.
Mas há benefícios em comum ao alcance de todo o tipo de empresa.
Entre eles, economia de tempo, redução de custos, otimização de ofertas, fornecimento de
novos produtos, maiores lucros, clientes mais satisfeitos e decisões mais eficientes.
http://revistapegn.globo.com/Revista/Common/0,,EMI125197-17171,00-MANEIRAS+DE+CORTAR+CUSTOS.html
Big Data: como funciona, exemplos, importância e desafios
| 14
Ainda é possível combinar o Big Data com o Analytics, que ajuda a entender o que esse
volume de informações pode nos dizer.
Juntos, eles conseguem atender às necessidades de empresas de vários mercados.
Veja alguns exemplos:
Marketing: analisando o perfil do consumidor, o seu comportamento, estilo de vida e
preferências, o que facilita a criação de novos produtos e uma comunicação mais
direcionada
Financeiro: prevenindo fraudes e realizando previsões de flutuações econômicas e
mercadológicas, o que torna o investimento mais seguro
Relacionamento e vendas: oferecendo produtos mais relevantes, com a fidelização
dos clientes e a diminuição de taxas de churn (cancelamento de clientes).
Quais são os principais desafios do Big Data?
Ainda que o Big Data seja uma realidade, estamos falando de uma série de tecnologias que
são relativamente novas e estão em constante evolução.
Portanto, um dos principais desafios do momento écapacitar profissionais para lidarem
com a coleta, integração, análise e interpretação de dados e se manterem atualizados sobre
as principais tendências do setor.
Além disso, o volume de dados fica maior a cada dia.
É preciso encontrar novas alternativas para armazenar essas informações e fazer a
curadoria delas, pois de nada adianta ter o conteúdo e não saber extrair o que há de
relevante nele.
Por fim, é importante haver cada vez mais políticas que regulamentem o acesso, o uso e a
privacidade dos dados.
A Lei Geral da Proteção de Dados (LGPD) é um ótimo começo, mas ainda há muito para
evoluir.
Neste vídeo, você confere um conteúdo especial sobre os desafios trazidos pelo Big Data.
https://resultadosdigitais.com.br/blog/churn/
https://fia.com.br/blog/anonimato-na-internet/
https://fia.com.br/blog/lgpd/
https://www.youtube.com/watch?v=MP791CNMzjc
Big Data: como funciona, exemplos, importância e desafios
| 15
Entenda os 7 V’s
Entenda os 7 V’s
Como falamos anteriormente, Doug Laney definiu o Big Data baseado em três V’s.
Eram três que viraram seis e, hoje, são sete.
Vamos compreender melhor o que cada um representa nesse gerenciamento de dados?
1. Volume
O Big Data agrupa uma enorme quantidade de dados que são gerados a cada segundo.
É só imaginar todos os e-mails, vídeos, fotos e mensagens que circulam nas redes
diariamente.
Assim, o BD atua de maneira a lidar com esse volume de dados com eficiência, tornando
possível o seu agrupamento através de softwares.
Big Data: como funciona, exemplos, importância e desafios
| 16
2. Velocidade
É a agilidade com a qual os dados são produzidos e manipulados.
O Big Data vai analisar os dados no instante em que são criados sem precisar armazená-
los.
Isso acontece com as transações de cartão de crédito, viralização de mensagens em redes
sociais, publicações em sites e blogs, entre outras.
3. Variedade
Os dados podem ser gerados em vários formatos estruturados (numéricos) ou não
estruturados.
Nessa última categoria, estão incluídos os arquivos de áudio, vídeo, e-mail, textos e cotações
e transações financeiras.
4. Valor
De nada adianta ter acesso a uma grande quantidade de informação se ela não puder
agregar valor, certo?
Pode-se dizer que o valor do Big Data está na análise precisa dos dados e nas informações
e insights fornecidos para as empresas a partir do seu conteúdo.
5. Veracidade
Nem seria preciso lembrar quanto à importância de as informações reunidas serem
verdadeiras.
Em tempos de fake news, contudo, parece impossível controlar a geração e disseminação
desse tipo de conteúdo, que muitas vezes acaba sendo aproveitado como se fosse real.
O que o Big Data faz, contudo, é permitir a análise de grandes volumes de dados, o que
compensa possíveis informações equivocadas.
Se várias fontes apontam para um entendimento contrário, aí está um indicativo de alerta
de falsidade quanto à mensagem original.
https://pt.wikipedia.org/wiki/Not%C3%ADcia_falsa
Big Data: como funciona, exemplos, importância e desafios
| 17
6. Volatilidade
Esse é um dos grandes desafios atuais do Big Data.
Os fluxos de dados são crescentes em relação à velocidade e variedade, mas também
possuem picos periódicos, que variam de acordo com as tendências.
Alguns deles podem ser muito difíceis de serem gerenciados, ainda mais os não
estruturados.
Difícil, mas não impossível.
7. Visualização
No último dos V’s, o recado é curto e grosso: os dados precisam ser apresentados de
forma acessível e legível.
Sem isso, afinal, como compreendê-los e tirar proveito deles?
Como aplicar o Big Data com sucesso? [Passo a Passo]
Qualquer empresa só tem a ganhar ao incluir o Big Data e suas tecnologias na sua rotina
corporativa, mas é preciso tomar alguns cuidados para que essa aplicação seja bem-
sucedida.
Com o intuito de evitar erros, montamos um passo a passo para aproveitar todos os
benefícios que o Big Data tem a oferecer:
Defina os objetivos para a análise de dados: quais informações você pretende1.
extrair a partir desse processamento?
Utilize métricas para ajudar nessa definição:antes de pensar em “como” essa2.
verificação vai ser feita, foque no “que” será analisado
Prepare bem os dados primeiro:filtre e formate os dados antes do processamento3.
(ferramentas como o Big Query podem ser úteis)
Mergulhe na análise:utilize critérios descritivos e preditivos para fazer um relatório4.
mais completo
Garanta uma melhor visualização dos dados: para favorecer uma interpretação5.
mais assertiva das informações, é ideal que o conteúdo esteja facilmente
compreensível, de preferência em formato gráfico
Big Data: como funciona, exemplos, importância e desafios
| 18
Encontre os principais insights: é a sua hora de brilhar. Depois de todo o6.
processamento pronto, é chegado o momento de extrair o que há de mais relevante na
análise e fazer a diferença.
Quer mais dicas para implementar o Big Data? Confira neste vídeo.
Quais as principais tendências de Big Data?
As tecnologias de Big Data estão em constante evolução e já é possível apontar algumas
tendências que estão sendo colocadas em prática e têm tudo para continuar em alta.
Confira:
Big Data na nuvem: 45% das organizações já estão armazenando seus dados na
Internet, e com o acesso às nuvens públicas, esse número deve crescer para 90%
Integração com a IoT: as maiores empresas do mundo já estão utilizando a Internet
das Coisas para aumentar a flexibilidade e a precisão no processamento de dados, e
2021 foi considerado um ano chave para essa integração
Data-as-a-Service (DaaS): cada vez mais, o uso de dados como serviços tem ajudado
as organizações a entender melhor os requisitos da experiência do usuário
Blockchain na análise de dados: tecnologia bastante comum no mercado das
criptomoedas, vai integrar também o Big Data
Marketplaces de dados: 35% das empresas comercializarão dados de terceiros até
2022, quando já vão existir leis e políticas mais transparentes sobre acesso e
privacidade aos dados.
Big Data x Business Intelligence
https://www.youtube.com/watch?v=dTecOM_ptwk
https://www.zdnet.com/article/big-data-2019-cloud-redefines-the-database-and-machine-learning-runs-it/
https://www.gartner.com/smarterwithgartner/gartner-top-10-trends-in-data-and-analytics-for-2020
https://fia.com.br/blog/internet-das-coisas/
https://fia.com.br/blog/internet-das-coisas/
https://www.forrester.com/blogs/predictions-2021-technology-diversity-drives-iot-growth/
https://www.gartner.com/smarterwithgartner/gartner-top-10-trends-in-data-and-analytics-for-2020
https://www.gartner.com/smarterwithgartner/gartner-top-10-trends-in-data-and-analytics-for-2020
Big Data: como funciona, exemplos, importância e desafios
| 19
Big Data x Business Intelligence
É relativamente comum haver certa confusão entre os conceitos de Big Data e Business
Intelligence.
Muitos acham que o BD é o substituto do BI, o que de verdade não tem nada.
Para entender melhor, pense na grande quantidade de dados do Big Data.
Nesse volume estratosférico de informações, há muitas delas que são relevantes,
enquanto outras não se traduzem em valor sem a análise adequada.
É aí então que entra o Business Intelligence.
Para esclarecer, vamos explicar o significado de cada um deles.
Big Data: como funciona, exemplos, importância e desafios
| 20
Big Data
É o ato de gerar, capturar e processar uma grande quantidade de dados.
As empresas investem em BD, pois as informações armazenadas são capazes de oferecer
insights que podem favorecer o futuro do negócio.
Business Intelligence
É a forma genérica de se referir a sistemas e softwares que importam fluxos de dados e os
utilizam para gerar informação que pode indicar uma decisão específica.
Ele serve para obter informações comerciais valiosas, que podem estar escondidas do
BD.
Fazendo uso de uma metáfora, podemos dizer que o Big Data é a pedra bruta, enquanto o
Business Intelligence oferece o diamante lapidado.
Big Data e Inteligência Artificial
Podemos definir a Inteligência Artificial como uma das principaistecnologias que se
beneficia do Big Data ou o Big Data como a principal fonte da qual a IA bebe.
Como mostramos, o Big Data é um conjunto de dados que não para de crescer e exige
ferramentas que vão além das tradicionais para dar conta de gerenciar e processar essas
informações todas.
É aí que entra a Inteligência Artificial.
Dotada de um processo de machine learning constante, a IA consegue encontrar padrões
em determinados códigos e, a partir deles, extrair informações relevantes dentro de um
volume grande de dados.
Big Data e Indústria 4.0
O velho ditado “tempo é dinheiro” nunca fez tanto sentido quanto nos dias atuais.
A velocidade com que uma empresa responde a um feedback do cliente, atende a uma
demanda pontual ou traz uma solução personalizada é um diferencial competitivo dentro da
Big Data: como funciona, exemplos, importância e desafios
| 21
Indústria 4.0.
E se tempo é dinheiro, uma das maiores riquezas que um negócio pode ter é um
gerenciamento assertivo de dados.
Afinal, quem consegue decifrar os sinais que o consumidor deixa e transformar essas pistas
em informações relevantes sai na frente da concorrência.
Isso tem tudo a ver com Big Data.
Além do mais, quando você pensa em Indústria 4.0, a era do aperfeiçoamento das máquinas,
quais são as palavras que vêm à mente?
Provavelmente inovação, tecnologia e modernização estão entre elas.
Pois o Big Data é basicamente um sinônimo para tudo isso, especialmente quando entram
na equação os seguintes tópicos: Inteligência Artificial, Machine Learning, Internet das
Coisas e Business Intelligence.
Quais os diferentes tipos de dados?
https://fia.com.br/blog/industria-4-0/
Big Data: como funciona, exemplos, importância e desafios
| 22
Quais os diferentes tipos de dados?
Até aqui, já aprendemos bastante sobre o Big Data, sua história, importância e os principais
componentes, todos representados pela letra inicial V.
Você deve ter percebido que a questão da variedade de dados é marcante.
Eles vêm de fontes diversas, mudando também de acordo com o formato, em estruturados
e não estruturados.
Os dados estruturados são aqueles disponíveis em um formato rígido ou específico.
Dessa maneira, é possível prever o que será inserido em determinado campo de uma tabela,
por exemplo.
Já os dados não estruturados, como o nome sugere, não seguem uma regra e são
apresentados como aparecem.
Big Data: como funciona, exemplos, importância e desafios
| 23
Esse é o caso de imagens, vídeos, documentos de texto, e-mails e posts em redes sociais.
Todos esses dados são provenientes de três locais.
Dados das redes sociais: são normalmente capturados em forma não estruturada,
porém, estão se tornando cada vez mais atraentes para marketing e vendas
Dados transmitidos ou streaming data: são aqueles que chegam aos sistemas de TI
a partir de uma rede de dispositivos conectados
Fontes publicamente disponíveis: são os dados disponíveis através de canais
públicos.
Após a identificação da fonte dos dados, é preciso começar a considerar as decisões a serem
tomadas pela empresa com o uso dessas informações disponíveis.
Vamos avançar nessa questão mais à frente.
Antes, contudo, vale entender melhor a relação do Big Data com a ciência de dados.
Relação entre a ciência de dados e o Big Data
https://marketingdeconteudo.com/marketing-e-vendas/
Big Data: como funciona, exemplos, importância e desafios
| 24
Relação entre a ciência de dados e o Big Data
O Big Data não existe sem a ciência de dados. Isso é inegável.
Ela representa a importância de saber lidar de maneira científica com as informações
coletadas, a fim de garantir resultados confiáveis e que auxiliem na tomada de decisões
com maior precisão.
Podemos dizer que a ciência de dados permite se antecipar ao futuro, direcionando os
usuários a escolher determinados caminhos com base em recomendações, por exemplo.
Ela pode ser aplicada em setores diversos, como:
E-commerce
Entretenimento
Marketing digital
Big Data: como funciona, exemplos, importância e desafios
| 25
Mídias sociais
Serviços financeiros
Energia
Saúde
Astronomia
Segurança da Informação.
Dessa maneira, podemos dizer que a ciência de dados equivale a hipóteses, modelos
matemáticos e estatísticos aplicados à análise de informações para atestar a qualidade dos
resultados atingidos.
É onde o Big Data se encaixa, fazendo uso de ferramentas como as que iremos destacar no
próximo tópico.
Ferramentas Big Data: o que você precisa saber
Ferramentas Big Data: o que você precisa saber
Big Data: como funciona, exemplos, importância e desafios
| 26
Como você já sabe, o interesse das empresas pelo Big Data tem se acentuado nos últimos
anos.
Este artigo cita uma pesquisa não tão recente, de 2013, realizada pela Universidade de
Oxford, na Inglaterra.
Na época, 1.144 gestores ouvidos em 95 países informaram que 53% das organizações já
utilizavam Big Data com foco na maior compreensão e qualificação da experiência dos
clientes.
Cinco anos depois, o interesse tinha se acentuado, como era de se esperar, mas ainda
havia limitações no uso do BD.
O obstáculo central envolvia tecnologia e capital humano.
Ainda hoje, apesar de uma parcela das empresas já contar com especialistas na área,
capazes de realizar a organização dessas informações, outra parte ainda enfrenta
dificuldades para lidar com a análise e compreensão delas.
Como os projetos de Big Data possuem dados estruturados e não estruturados, provenientes
dos mais diferentes locais, é necessário realizar uma análise criteriosa para que eles sejam
utilizados da melhor forma possível.
E isso precisa ocorrer no ritmo dos 7 V’s, o que nem sempre está ao alcance de todas as
organizações.
A boa notícia é que existem ferramentas de Big Data disponíveis no mercado capazes de
melhor gerenciar os dados armazenados.
Neste link, por exemplo, você encontra informações sobre 20 delas (em inglês).
Quer saber o que há de mais importante a saber sobre essas ferramentas?
A preocupação aqui é com relação às características.
Podemos chamar de pré-requisitos para que elas possam efetivamente ajudar você nessa
missão de encarar o Big Data e usá-lo a seu favor.
Na hora de escolher a ferramenta com a qual irá trabalhar, o ideal é saber:
http://www.bigdatabusiness.com.br/tudo-sobre-big-data/
http://www.gazetadopovo.com.br/opiniao/artigos/tecnologia-e-capital-humano-b5jupas0ejo0pnqxe34qijmmm
http://bigdata-madesimple.com/review-of-20-best-big-data-visualization-tools/
Big Data: como funciona, exemplos, importância e desafios
| 27
Como é a sua interface?
Como os usuários irão filtrar os dados?
O que é oferecido em termos de atualizações?
Quais as restrições de segurança?
Como os relatórios são apresentados?
Big Data Analytics
Big Data Analytics
Já ouviu falar no Big Data Analytics?
Ele é importante dentro de uma empresa para a realização de negócios mais atraentes e
inteligentes, com operações mais eficientes, capazes de gerar mais lucro e deixar os clientes
mais satisfeitos.
Quando o Big Data é combinado com o Analytics (análises de alta potência), é possível que a
organização consiga realizar mais tarefas relacionadas a negócios.
http://www.intelliplan.com.br/clientes-satisfeitos
http://www.intelliplan.com.br/clientes-satisfeitos
Big Data: como funciona, exemplos, importância e desafios
| 28
Veja só algumas delas:
Identificar fraudes antes que afetem o andamento da empresa
Descobrir a causa de falhas, defeitos e problemas praticamente em tempo real
Recalcular os riscos em minutos
Criar cupons no ponto de venda baseados nos hábitos de compra do consumidor.
Sendo assim, é possível afirmar que o Big Data Analytics tem grande impacto sobre a
redução de custos, criação de novos produtos ou serviços, tomada de decisões mais rápidas
e assertivas e reduções de tempo.
É a forma mais efetiva de confirmar todos os benefícios já conhecidos sobre ele.
Análise da Concorrência e Big Data
Para conseguir entender os movimentos de consumo de um público-alvo ou até mesmo
prever uma mudança,é imprescindível que a organização utilize o Big Data Analytics.
Ele é capaz de apontar caminhos diferentes daqueles já percorridos pela concorrência.
Isso passa, por exemplo, pela proposição de novos produtos e promoções específicas, assim
como pelo aumento do estoque de uma mercadoria que será mais procurada pelos clientes
futuramente.
Uma das maneiras mais inteligentes de usar o Big Data a seu favor é compreender os
dados para análise dos movimentos da concorrência.
A partir daí, criar ações que despertem maior interesse do público do que o praticado por
aqueles que disputam o mercado com você.
Para que isso seja feito da melhor forma possível, é necessário trabalhar com uma
ferramenta com alta capacidade de armazenamento e processamento de dados,
coletando informações do mercado e as manifestações dos consumidores.
Atrelado a isso, a empresa ainda deve lidar com algoritmos estatísticos, técnicas de
aprendizagem de máquina e análise de sentimento.
É o que permite apresentar ao gestor, em tempo real, o que está acontecendo no mercado.
https://mindminers.com/consumo/fatores-que-influenciam-comportamento-do-consumidor
https://pt.wikipedia.org/wiki/Aprendizado_de_m%C3%A1quina
https://pt.wikipedia.org/wiki/Aprendizado_de_m%C3%A1quina
Big Data: como funciona, exemplos, importância e desafios
| 29
Data-driven Marketing
Data-driven Marketing
O data-driven marketing nada mais é do que o marketing orientado a dados.
Como tal, diz respeito às decisões tomadas a partir da análise de informações coletadas
sobre um cliente.
Esse tipo de ação tem o consumidor como o centro da estratégia.
Assim, acaba gerando um maior engajamento, justamente por entregar mensagens
relevantes àquele público, resultando em mais vendas.
As ações de data-driven marketing são 100% mensuráveis e, dessa forma, as empresas
conseguem saber o que deu certo e o que não, além de fazer ajustes na estratégia a tempo
de evitar prejuízos maiores.
http://economia.ig.com.br/2017-02-23/engajamento.html
Big Data: como funciona, exemplos, importância e desafios
| 30
Através do ROI (return on investment ou retorno sobre o investimento) é possível saber
quanto a organização ganhou ou perdeu com os investimentos feitos em treinamentos,
ferramentas, mídia paga, entre outros.
Depois de analisar esses resultados, o gestor pode pensar no que deve ser feito para
melhorar seus resultados e garantir o crescimento sustentável da empresa.
Geração de critérios para a tomada de decisões
Hoje em dia, qualquer organização precisa analisar dados antes de tomar decisões, sejam
elas sobre os mais variados temas.
E quando se fala em dados, não existe nada parecido com o potencial do Big Data.
Mas é preciso ter condições de trabalhar suas informações, como já destacado.
Este artigo do CanalTech cita uma pesquisa realizada pela consultoria global de negócios,
Bain & Company.
Veja só algumas conclusões muito interessantes do estudo:
As empresas com capacidades analíticas avançadas possuem duas vezes mais chances
de estarem entre as de melhor desempenho financeiro
São cinco vezes mais propensas a tomar decisões mais rápidas
Têm três vezes mais chances de executar tarefas conforme programado.
Aí você se pergunta: como é possível transformar tamanha tecnologia em resultado
financeiro?
Não há grandes segredos.
Imagine que uma rede de supermercados faça a análise do perfil do cliente.
Ela investiga os produtos mais comprados, os dias de maior circulação, a frequência de
compras, a forma de pagamento preferida, entre outros dados.
Após coletar e entender tais informações, a empresa pode adotar medidas para vender
mais e atrair o consumidor.
E isso pode ocorrer em diversas áreas da empresa, como no controle do orçamento, uma
https://endeavor.org.br/roi/
https://canaltech.com.br/infra/Big-Data-melhora-resultados-empresariais-em-ate-3-vezes-afirma-pesquisa/
http://blog.sebrae-sc.com.br/marketing-para-iniciantes-como-entender-qual-o-perfil-do-cliente-da-sua-empresa/
Big Data: como funciona, exemplos, importância e desafios
| 31
possível expansão, a capacidade de investimento, entre outras possibilidades.
A forma como o Big Data funciona varia de acordo com o objetivo final de cada empresa.
O que importa é que ele oferece valiosos elementos para a tomada de decisões.
Quais principais empresas utilizam o Big Data?
Quais principais empresas utilizam o Big Data?
Big Data não se limita apenas a grandes empresas.
Sua importância é tamanha que negócios de todos os portes, dos mais variados
segmentos, podem fazer uso de suas contribuições.
Para você ter uma ideia melhor, observe os itens abaixo.
Big Data: como funciona, exemplos, importância e desafios
| 32
Usamos como exemplos alguns setores da economia e possíveis benefícios gerados a partir
de uma estratégia de Big Data.
Bancos: entender e aumentar a satisfação dos clientes; minimizar riscos e fraudes
Governo: lidar com congestionamentos; prevenir criminalidade e gestão de serviços
públicos
Manufatura: aumentar a qualidade e a produção; minimizar o desperdício
Educação: assegurar que o aprendizado esteja ocorrendo de maneira correta;
identificar os alunos com dificuldades e implementar melhores sistemas de avaliação
Saúde: saber como anda o atendimento ao paciente e melhorar a assistência
Varejo: aumentar o número de negócios repetidos; descobrir a melhor forma de
abordar os clientes e saber a maneira correta de lidar com transações.
Exemplos de empresas que revolucionaram o mercado com o Big Data
Depois de compreender que o Big Data está em todo lugar, vamos falar de empresas que já
usam o potencial da tecnologia para qualificar seus resultados.
Confira três exemplos que separamos para você:
Maplink
Com o uso de um software de rastreamento por satélite, a empresa conseguiu cruzar os
dados dos mais de 400 mil automóveis de São Paulo e, então, fazer um diagnóstico do
trânsito da cidade.
Dessa forma, é possível indicar os pontos de lentidão, a causa deles e as alternativas para
aliviar o fluxo.
Nike
Através de uma parceria com uma empresa de tecnologia, ela conseguiu desenvolver um
software usado durante corridas que informa a velocidade, a distância, os batimentos
cardíacos e outros dados do atleta.
A grande sacada foi integrar o aplicativo com as redes sociais, estimulando outras pessoas a
também compartilharem as suas conquistas.
Com esses dados postados na rede, a Nike ainda consegue compreender melhor o seu
público e melhorar seus produtos.
https://revistapegn.globo.com/Empreendedorismo/noticia/2016/12/7-dicas-para-eliminar-desperdicios-na-empresa.html
https://exame.abril.com.br/pme/5-jeitos-de-abordar-o-cliente-da-maneira-certa/
https://exame.abril.com.br/pme/5-jeitos-de-abordar-o-cliente-da-maneira-certa/
Big Data: como funciona, exemplos, importância e desafios
| 33
UPS (United Parcel Service)
A empresa de logística começou a usar uma tecnologia para otimizar rotas de entrega.
Ao cruzar os dados dos sensores dos veículos, informações de mapa e requisitos das
encomendas dos clientes, conseguiu reduzir incríveis 136 milhões de quilômetros
percorridos por ano.
Como me torno um analista ou cientista de dados em
Big Data?
Como me torno um analista ou cientista de dados em Big Data?
Big Data indica oportunidades não apenas para empresas, mas também para executivos.
Se você busca uma carreira de gestor ou uma recolocação profissional, vale ficar ligado
quanto ao espaço que o mercado oferece e o que ele exige para se tornar um analista na
área.
Para trabalhar no cargo, é preciso ter conhecimento técnico em programação e também
Big Data: como funciona, exemplos, importância e desafios
| 34
entender de negócios, é claro.
Além disso, o profissional precisa ter noção de matemática e estatística aplicada a dados.
O cientista ou analista de dados é responsável por atender às solicitações das áreas de
planejamento de uma organização.
Veja um resumo das competências e habilidades desejadas para se tornar um analista de
Big Data:
Habilidades analíticas para obterinsights a partir da variedade de dados obtidos
Criatividade de produção de métodos novos para reunir, para interpretar e para
analisar uma estratégia de dados
Noções de matemática e habilidades estatísticas
Domínio do computador, uma vez que os programadores precisam constantemente
criar algoritmos de modo a transformar dados em insights
Competência empresarial e saber os objetivos de negócio em vigor e os processos que
impulsionam o crescimento da empresa e seu lucro.
Como um curso de graduação voltado especificamente para a formação de cientistas de
dados ainda é raro em todo o mundo, esses profissionais costumam vir de áreas que têm
como base a matemática, como Ciência da Computação, Engenharia e Estatística.
Se é o que deseja para a sua carreira, já tem aí uma dica por onde começar.
E vale a pena? É o que vamos descobrir agora, falando sobre o mercado de trabalho.
Mercado de Trabalho
Big Data: como funciona, exemplos, importância e desafios
| 35
Mercado de Trabalho
Boa notícia para quem deseja trabalhar com Big Data.
Segundo a Michael Page, empresa de recrutamento, o cargo de especialista em Big Data
está entre os cinco mais procurados pelo mercado brasileiro.
Ela já havia chegado à mesma conclusão ao analisar o mercado português, atestando as
boas oportunidades na área.
Isso ocorre porque o volume de dados gerados diariamente chega a ser um desafio para as
empresas.
Em resposta, elas buscam profissionais para armazenar, entender e fazer bom uso das
informações.
Um analista ou especialista em Big Data faz a gestão e a análise de dados, a fim de
assegurar eficiência e rentabilidade para a empresa, além de propor ideias inovadoras
https://www.itforum365.com.br/carreira/head-de-bi-e-big-data-e-cientista-de-dados-sao-cargos-de-ti-mais-demandados-por-empresas/
https://www.michaelpage.pt/not%C3%ADcias-estudos/comunicados-de-imprensa/michael-page-revela-fun%C3%A7%C3%B5es-mais-procuradas-na-%C3%A1rea-digital
Big Data: como funciona, exemplos, importância e desafios
| 36
para o negócio.
Interessante destacar ainda que a remuneração costuma ser atrativa, em especial quando o
profissional evolui na carreira.
Engenheiros de Big Data ou Heads (líderes de equipe) podem ter salários superiores a R$
30 mil mensais, de acordo com está reportagem do jornal Extra.
Outro aspecto interessante sobre essa carreira é que, como a profissão é relativamente
nova, quem se antecipar têm mais chances de se destacar e conseguir uma oportunidade
em uma ótima empresa.
Talvez seja mesmo a hora de buscar a sua qualificação para isso, concorda?
O que procurar em um curso de Big Data?
Antes de falarmos das especificidades importantes de um curso de Big Data, vale ressaltar
que a formação é bastante democrática.
Seja em nível de especialização ou como uma segunda graduação, é um campo aberto a
profissionais oriundos das mais diversas áreas.
Egressos de faculdades de TI, Publicidade, Jornalismo, Marketing, Estatística e
Administração de Empresas são bons exemplos.
Se você procura um bom curso, saiba que ele depende de algumas características para ser
bem aproveitado.
O aprendizado deve demonstrar as formas mais usadas de Big Data e as suas variações,
como o Analytics e o Business Intelligence, sobre os quais já falamos por aqui.
Além disso, o aluno deve entender, após o curso, quais são as tecnologias mais comuns
NoSql (Not Only Sql) e Hadoop, além de compreender como ele pode entrar para esse
mundo.
Quer uma dica?
A sua busca deve ser por uma proposta de ensino voltado à aplicação, com uma diretriz
menos acadêmica e mais direcionada ao mercado.
https://extra.globo.com/noticias/educacao/profissoes-de-sucesso/profissionais-de-big-data-estao-entre-os-cinco-mais-contratados-no-brasil-22098050.html
https://blog.4linux.com.br/4linux-atualiza-seus-cursos-na-area-de-big-data/
https://imasters.com.br/artigo/17043/banco-de-dados/nosql-voce-realmente-sabe-do-que-estamos-falando/
https://pt.wikipedia.org/wiki/Hadoop
Big Data: como funciona, exemplos, importância e desafios
| 37
Pode estar começando aí a sua nova e promissora carreira.
Pós-graduação em Big Data
Big Data é um tema que chegou para ficar e que vai demandar cada vez mais uma
compreensão aprofundada com aplicação no contexto corporativo.
Pensando nisso, a Fundação Instituto de Administração (FIA) desenvolveu em seu programa
de pós-graduação uma série de cursos que têm o Big Data como eixo central.
Confira algumas das principais formações na área nas modalidades presencial e também
de ensino a distância:
Curso de pós-graduação EAD em Análise de Big Data – Data Science
Curso de pós-graduação em Análise de Big Data
Curso de pós-graduação em Análise de dados, data mining e inteligência artificial
Curso de pós-graduação EAD em Analytics de inteligência artificial e data science.
MBA em Big Data
Levando em conta a diversidade de público e os diferentes interesses, a FIA também
desenvolveu uma série de cursos com ênfase em Big Data em seu programa de MBA.
Confira algumas das principais formações na área nas modalidades presencial e também de
ensino a distância:
MBA em Analytics de Big Data para gestão de negócios
MBA EAD em Analytics de Big Data para gestão de negócios
MBA em Big Data
MBA em Analytics de Big Data
MBA EAD em Analytics de Big Data e data science.
Conclusão
https://fia.com.br/
https://fia.com.br/pos-graduacao-ead/analise-big-data-data-science/
https://fia.com.br/pos-graduacao-analise-de-big-data/
https://fia.com.br/pos-graduacao/data-mining-inteligencia-artificial/
https://fia.com.br/pos-graduacao-ead/analytics-inteligencia-artificial-data-science/
https://fia.com.br/mba-analytics-big-data-para-gestao-de-negocios/
https://fia.com.br/mba-ead/analytics-big-data-gestao-negocios-2/
https://fia.com.br/mba-em-big-data/
https://fia.com.br/mba-analytics-big-data/
https://fia.com.br/mba-ead/analytics-big-data-data-science/
Big Data: como funciona, exemplos, importância e desafios
| 38
Big Data
Você conferiu neste artigo que o Big Data é um grande conjunto de dados armazenados,
capazes de fornecer insights sobre as tendências de mercado e o perfil dos consumidores,
além de otimizar o processo de trabalho.
No momento, poucos são os assuntos que despertam tanto a atenção de gestores pelo
mundo afora como esse.
Com um modelo baseado em 7 V’s (volume, variedade, velocidade, valor, veracidade,
volatilidade e visualização), o BD promete ajudar empresas a tomar decisões muito mais
assertivas, qualificar suas ações, reduzir gastos e aumentar a produtividade.
Ao mesmo tempo em que gera oportunidades para as organizações qualificarem seus
resultados, abre portas também para bons profissionais.
O capital humano é um dos aspectos ainda limitantes ao recurso, o que pode ser bom para
você, que busca se capacitar e avançar na carreira.
Big Data: como funciona, exemplos, importância e desafios
| 39
Seja a partir de uma nova graduação, especialização, MBA ou mestrado, investir nos
estudos é essencial para ir além.
A excelência da Fundação sustenta-se nas iniciativas de pesquisas realizadas pelos seus
diferentes programas institucionais, que desenvolvem atividades nos diversos campos
temáticos da administração.
Um dos programas é o LABDATA FIA (Laboratório de Análise de Dados da FIA), que atua
nas áreas de ensino, pesquisa e consultoria em análise de informação utilizando técnicas de
Big Data, Analytics e Inteligência Artificial. O LABDATA FIA é reconhecido por apresentar
os seguintes diferenciais:
É um dos pioneiros no lançamento dos cursos de Big Data, Analytics e Inteligência1.
Artificial no Brasil
Os diretores do programa são referências no mercado de Big Data, Analytics e2.
Inteligência Artificial
Mais de 10 anos de atuação, mais de 9000 alunos formados com mais de 85 turmas3.
formadas
Infraestrutura de ponta com 5 laboratórios e aulas 100% práticas voltadas para4.
aplicação de negócios
Docentes com sólida formação acadêmica: doutores e mestres em sua maioria com5.
larga experiência de mercado
Professor titular e professor assistenteem todas as aulas.6.
Gostou deste conteúdo? Então, compartilhe com sua rede.
Siga navegando pelo blog da FIA para aprender mais sobre tecnologias e ferramentas que
auxiliam na gestão empresarial.
https://labdata.fia.com.br/
https://fia.com.br/blog/gestao-empresarial/