Aula 2- Big Data e Data Analytics

Prévia do material em texto

Big Data e Data Analytics
Introdução
Nesta parte inicial das aulas vamos tentar compreender a essência do conceito de Big Data a partir da correlação entre transformação digital, inteligência de negócios e valor da análise de dados. Mas, antes de continuarmos, devemos esclarecer que, aqui, no material de apoio, vamos retomar o conteúdo das nossas videoaulas. No entanto, o material de apoio não é apenas um resumo do vídeo, mas sugestões e reflexões adjacentes para servir de complemento para os estudos. Tudo bem? Além disso, ao longo do texto, estaremos indicando fontes adicionais para quem quiser se aprofundar no assunto. Lembre-se: a prática leva à excelência. Assim, além das videoaulas e do material de apoio, continue estudando, praticando e refletindo sobre o conteúdo da aula.
Agora, retornando ao nosso conteúdo, vamos continuar estudando sobre as características definidoras do Big Data Analytics, realizando uma breve análise sobre o seu surgimento e desenvolvimento, além dos principais desafios para lidar com o crescimento dos dados. Em particular, ao longo das nossas videoaulas, enfatizamos a importância de compreender as nuances das atividades econômicas frente ao progresso das novas tecnologias da informação e comunicação; isto é, o impacto da transformação digital na práxis social. Isso é importante para entender a importância dos dados na indústria 4.0.
Vamos lá?
 Objetivos da aula
· Apresentar um panorama geral sobre Big Data e Data Analytics;
· Comentar sobre a transformação digital.
· Apresentar as principais características de Big Data.
 
Resumo
De acordo com Provost e Fawcett (2016, p. 32), "os últimos quinze anos testemunharam grandes investimentos em infraestrutura de negócios que têm melhorado a capacidade de coletar dados em toda a empresa". À primeira vista, podemos observar que a situação sociocultural vivida hoje nos oferece vários sinais de que estamos diante de uma transição para uma nova ordem tecnológica e econômica. Assim, antes de chegar perto de desenvolver uma estratégia digital, as organizações e profissionais da indústria 4.0 devem dar um passo atrás e lembrar que estamos diante de uma transformação digital.
Todavia, convém lembrar, que a 'transformação digital' é um termo complexo de definir; pois, de fato, a reorganização dos processos de negócios com o uso de recursos digitais para sua execução é aqui a soma de vários fatores. Por exemplo, Stanley Aronowitz (1996), professor de sociologia e estudos culturais, usa os termos ontologia, fenomenologia e pragmática para enfatizar que a digitalização dos processos é uma nova forma de pensar em um ambiente complexo e dinâmico (BELL, 2011; ROGERS, 2017). Além disso, quero sugerir que a lógica transformacional tem mais a ver com a disrupção dos negócios, pois existem diferentes formas de transformação digital. Por exemplo, com base em inteligência artificial, é possível construir soluções tecnológicas para reagir a novas informações ou as dinâmicas do mercado; além de detectar, compreender e aprender por conta própria.
De qualquer forma, a transformação digital vai muito além da digitalização dos processos, mas um processo orientado a reimaginar e otimizar o valor dos dados de uma organização. “Mas isso não significa que as empresas pré-digitais estejam condenadas à extinção, elas podem sim se adaptar, se transformar a era digital” (Rogers, 2017, p. 23). Então, retomando a questão do início do nosso diálogo, definir o termo 'transformação digital' é em si uma tarefa complexa, pois envolve uma ampla gama de ideias. Para contrariar isso, observe a seguir algumas perspectivas que se delineiam na literatura sobre a lógica transformacional.
Fonte: Adaptado de Queiroz et al. (2018, p. 31).
É evidente que devemos partir do fato de que o conhecimento é um dos pilares do sucesso no mundo dos negócios (ROGERS, 2017). Reconhecendo essa afirmação, Provost e Fawcett (2016, p. 41) comentam que a "tomada de decisão orientada por dados (DOD) refere-se à prática de basear as decisões na análise dos dados, em vez de apenas na intuição". A polêmica, conviria lembrar, é que diante da transformação digital, as organizações devem trabalhar com um grande volume de informações e composição diversificada; muitas vezes localizadas em diferentes fontes. Por isso, embora seja temerário fazer generalizações, não existe uma área da indústria 4.0 onde o uso de recursos tecnológicos de Big Data não dê um retorno positivo. Mas, o que é Big Data? Na verdade, caberia pensar além e realizar o seguinte questionamento: qual a influência do Big Data na tomada de decisão?
Para responder a tais questionamentos, precisamos compreender que, à primeira vista, o termo 'Big Data’ está relacionado a um conjunto de métodos aprimorados para processar informações. Há, portanto, uma imensa verdade quando falamos que as perspectivas para Big Data são enormes. De fato, os dados estão sendo gerados cada vez com mais frequência, todavia os métodos tradicionais de análise de informações não conseguem acompanhar essa grande avalanche de dados. Nesse sentido, Rogers (2017) está certo ao afirmar que Big Data é considerado um fenômeno socioeconômico, pois está associado ao surgimento de novas tecnologias de análise e gerenciamento de informações. De qualquer forma, à medida que a transformação digital reorienta a práxis social, mais dados são gerados e, consequentemente, o processo de análise torna-se mais relevante e complexo. Antes de falarmos sobre as principais características do Big Data, observe a seguir as definições do termo supracitado.
Fonte: Adaptado de Queiroz et al. (2018, p. 31).
Big Data é uma paisagem de dados que está associada à expansão das fontes de informação no âmbito da indústria 4.0. Admitindo provisoriamente a pertinência dessa hipótese, podemos concluir que Big Data não está apenas associado ao volume de informações, mas também a velocidade de transferência e variedade de fontes de dados. Não é por acaso que Ohlhorst (2012, p. 3) afirma que "extrair valor é muito mais fácil de dizer do que de fazer"; nesse sentido, "talvez seja melhor pensar em Big Data em termos multidimensionais". Por isso, alguns autores argumentam que Big data é um fenômeno que está em constante evolução (PROVOST e FAWCETT, 2016; ALI e ABDALLAH, 2019). De fato, desde a década de 1990, muitas definições e características foram formuladas para tentar definir o conceito de Big Data. Assim, em termos práticos, Doug Laney (2001), analista e diretor de dados do Gartner, identificou e articulou as primeiras três características da Big Data: Volume, Variedade e Velocidade. Conforme comenta Ohlhorst (2012, p. 4), esses Vs "traçam o caminho para a análise, cada um com valor intrínseco no processo de descoberta de valor. No entanto, a complexidade do Big Data não termina com apenas" poucas dimensões. Logicamente, existem outros fatores que devemos levar em consideração ao longo do processo de análise de dados. Assim, não é por acaso que diversas outras características foram sendo atribuídas ao Big Data. A seguir, veja algumas características que foram acrescentadas no tratamento e análise dos dados (que denominamos de 'Os Vs da Big Data').
Fonte: Adaptado de Souza (2021, p. 45).
Normalmente, Big Data é descrito usando as seguintes características (OHLHORST, 2012; PROVOST e FAWCETT, SOUZA, 2020):
· Volume: a quantidade de dados gerados e armazenados.
· Variedade: tipo de dados. Os dados podem ser texto, imagens, áudio, vídeo, e assim por diante.
· Velocidade: Refere-se à velocidade com que dados são gerados e processados (inclusive, em tempo real).
· Variabilidade: nos diz que a inconsistência dos fluxos de dados pode interferir no seu processamento; isto é, quanto mais instável for o conjunto de dados, mais difícil será analisar.
· Veracidade: a confiabilidade dos dados afeta diretamente o resultado de sua análise.
Fonte: Adaptado de Buyya (2016, p. 9).
Atualmente, as principais fontes de big data são:
· Websites, redes sociais, blogs e mídias; 
· Dados transacionais (pedidos de bens e serviços,tabelas de bancos de dados, são organizados em um formato predefinido, facilitando seu processamento e análise. Já os dados não estruturados, como textos, imagens e vídeos, carecem dessa organização rígida, exigindo técnicas e ferramentas específicas para sua análise. Os dados semi-estruturados, por sua vez, situam-se em um ponto intermediário, possuindo alguma organização, mas não tão rígida quanto os dados estruturados.
A arquitetura analítica fornece a base para a coleta, armazenamento, processamento e análise de dados em larga escala. Soluções como Hadoop e Spark permitem lidar com a vastidão do Big Data, distribuindo o processamento entre diversos computadores. A arquitetura de microserviços, por sua vez, divide sistemas complexos em serviços menores e independentes, facilitando o desenvolvimento, a implantação e a manutenção.
As características do Big Data, conhecidas como os "Vs" (Volume, Velocidade, Variedade, Veracidade e Variabilidade), impõem desafios únicos à análise de dados. O enorme volume de dados exige poder computacional e técnicas de processamento eficientes. A velocidade com que os dados são gerados demanda análises em tempo real para capturar insights instantâneos. A variedade de fontes e formatos de dados exige flexibilidade na coleta e no processamento. A veracidade dos dados é crucial para garantir a confiabilidade das análises, enquanto a variabilidade exige métodos robustos para lidar com dados inconsistentes.
A transformação digital, impulsionada pelo Big Data e pela análise de dados, está revolucionando a maneira como as empresas operam e interagem com seus clientes. A inteligência de negócios, alimentada por dados, permite tomar decisões estratégicas mais eficazes, otimizar processos e criar novos produtos e serviços. A personalização em massa, baseada na análise do comportamento do consumidor, oferece experiências personalizadas e relevantes.
No entanto, a crescente importância dos dados também levanta preocupações sobre privacidade e ética. É fundamental garantir o uso responsável e ético dos dados, protegendo a privacidade individual e evitando vieses discriminatórios. A compreensão das implicações éticas da análise de dados é crucial para construir um futuro digital mais justo e equitativo.
Em suma, o Big Data e a análise de dados desempenham um papel fundamental na transformação digital, impulsionando a inovação, a otimização e a criação de valor em diversos setores. A capacidade de extrair insights acionáveis ​​de dados massivos está se tornando cada vez mais crucial para o sucesso das organizações e para a resolução de problemas complexos que afetam a sociedade como um todo.
image6.png
image3.png
image5.png
image7.png
image1.png
image2.png
image4.pngtabelas de bancos de dados, são organizados em um formato predefinido, facilitando seu processamento e análise. Já os dados não estruturados, como textos, imagens e vídeos, carecem dessa organização rígida, exigindo técnicas e ferramentas específicas para sua análise. Os dados semi-estruturados, por sua vez, situam-se em um ponto intermediário, possuindo alguma organização, mas não tão rígida quanto os dados estruturados.
A arquitetura analítica fornece a base para a coleta, armazenamento, processamento e análise de dados em larga escala. Soluções como Hadoop e Spark permitem lidar com a vastidão do Big Data, distribuindo o processamento entre diversos computadores. A arquitetura de microserviços, por sua vez, divide sistemas complexos em serviços menores e independentes, facilitando o desenvolvimento, a implantação e a manutenção.
As características do Big Data, conhecidas como os "Vs" (Volume, Velocidade, Variedade, Veracidade e Variabilidade), impõem desafios únicos à análise de dados. O enorme volume de dados exige poder computacional e técnicas de processamento eficientes. A velocidade com que os dados são gerados demanda análises em tempo real para capturar insights instantâneos. A variedade de fontes e formatos de dados exige flexibilidade na coleta e no processamento. A veracidade dos dados é crucial para garantir a confiabilidade das análises, enquanto a variabilidade exige métodos robustos para lidar com dados inconsistentes.
A transformação digital, impulsionada pelo Big Data e pela análise de dados, está revolucionando a maneira como as empresas operam e interagem com seus clientes. A inteligência de negócios, alimentada por dados, permite tomar decisões estratégicas mais eficazes, otimizar processos e criar novos produtos e serviços. A personalização em massa, baseada na análise do comportamento do consumidor, oferece experiências personalizadas e relevantes.
No entanto, a crescente importância dos dados também levanta preocupações sobre privacidade e ética. É fundamental garantir o uso responsável e ético dos dados, protegendo a privacidade individual e evitando vieses discriminatórios. A compreensão das implicações éticas da análise de dados é crucial para construir um futuro digital mais justo e equitativo.
Em suma, o Big Data e a análise de dados desempenham um papel fundamental na transformação digital, impulsionando a inovação, a otimização e a criação de valor em diversos setores. A capacidade de extrair insights acionáveis ​​de dados massivos está se tornando cada vez mais crucial para o sucesso das organizações e para a resolução de problemas complexos que afetam a sociedade como um todo.
image6.png
image3.png
image5.png
image7.png
image1.png
image2.png
image4.png