Exercícios Big Data

Prévia do material em texto

Princípio de Big Data
Desafio 1
Você foi recentemente contratado por uma empresa de análise de dados como analista de Big Data. Durante uma reunião com a equipe de TI, o gerente explicou que a empresa está lidando com volumes massivos de dados
provenientes de diversas fontes, e eles esperam que você utilize técnicas de Big Data para extrair informações valiosas. No entanto, ele enfatizou que o conceito de Big Data vai além do simples volume de dados,
envolvendo desafios de processamento que os métodos tradicionais não conseguem resolver. Considerando a situação descrita, qual das seguintes afirmações melhor representa a verdadeira abrangência do conceito de Big
Data?
A Big Data refere-se exclusivamente ao grande volume de dados que uma empresa deve armazenar.
B Big Data é definido principalmente pela capacidade de utilizar métodos estatísticos avançados para analisar
grandes volumes de dados.
C Big Data se refere a grandes volumes de dados que podem ser facilmente processados por métodos tradicionais
de gestão da informação.
D Big Data envolve grandes conjuntos de dados que exigem novas abordagens para serem adquiridos,
gerenciados e processados eficientemente em tempo hábil.
E Big Data se concentra na criação de sistemas para armazenar dados sem considerar o tempo de processamento.
Parabéns! A alternativa D está correta.
Desafio 2
Você está trabalhando como arquiteto de dados em uma empresa que está migrando seus sistemas para uma solução baseada em Big Data. Durante uma reunião com a equipe de TI, foi discutido que a complexidade do Big
Data requer uma arquitetura específica que difere significativamente dos sistemas tradicionais de banco de dados. Considerando a discussão mencionada, qual das seguintes afirmações descreve corretamente a arquitetura
de Big Data?
A A arquitetura de Big Data é baseada exclusivamente em bancos de dados relacionais para garantir a eficiência.
B Em sistemas de Big Data, os dados são armazenados em bancos de dados tradicionais, garantindo simplicidade
no processamento.
C Data lakes são usados em Big Data para armazenar uma variedade de dados, permitindo que sejam
processados e analisados de forma eficiente, mesmo em tempo real.
D A arquitetura de Big Data não precisa considerar a ingestão de dados, pois todos os dados são previamente
organizados.
E Sistemas de Big Data não diferem em nada dos sistemas tradicionais de banco de dados, exceto pelo volume
de dados.
Responda
A) Big Data refere-se exclusivamente ao grande volume de dados que uma empresa deve armazenar: Incorreta.
Esta alternativa simplifica excessivamente o conceito de Big Data, limitando-o apenas ao aspecto do volume de
dados. Embora o volume seja uma característica importante, Big Data abrange mais do que apenas armazenar
grandes quantidades de dados; envolve também os desafios de processamento e análise que surgem ao lidar com
esses volumes.
 
B) Big Data é definido principalmente pela capacidade de utilizar métodos estatísticos avançados para analisar
grandes volumes de dados: Incorreta. Embora a análise de grandes volumes de dados seja uma aplicação comum
em Big Data, o conceito é mais abrangente. Big Data envolve a necessidade de novas técnicas para aquisição,
gerenciamento e processamento de dados, que métodos tradicionais não conseguem atender, indo além da simples
aplicação de métodos estatísticos.
 
C) Big Data se refere a grandes volumes de dados que podem ser facilmente processados por métodos tradicionais
de gestão da informação: Incorreta. O principal desafio do Big Data é justamente que esses grandes volumes de
dados não podem ser tratados eficientemente por métodos tradicionais de gestão da informação, devido à sua
complexidade e ao tempo necessário para processamento.
 
D) Big Data envolve grandes conjuntos de dados que exigem novas abordagens para serem adquiridos,
gerenciados e processados eficientemente em tempo hábil: Correta. Esta alternativa capta a essência do conceito
de Big Data. O termo não se refere apenas ao volume de dados, mas também às novas abordagens e tecnologias
necessárias para adquirir, reconhecer, gerenciar e processar esses dados em um tempo razoável, superando as
limitações dos métodos tradicionais.
 
E) Big Data se concentra na criação de sistemas para armazenar dados sem considerar o tempo de processamento:
Incorreta. Esta afirmação ignora a importância do tempo de processamento e a complexidade associada ao Big
Data. O conceito de Big Data envolve não apenas o armazenamento de dados, mas também o desenvolvimento de
novas técnicas para processar esses dados rapidamente e de maneira eficaz.
Para saber mais sobre esse conteúdo, acesse: 
 
Módulo 1:
 
CONCEITOS SOBRE BIG DATA
“De modo geral, associamos o termo Big Data a um grande volume de dados e entendemos que este viabiliza a
aplicação de métodos estatísticos e outras análises para extrairmos informações importantes. No entanto, Big Data
é bem mais amplo que essa percepção, pois abrange conjuntos de dados que não podem ser tratados pelos
métodos tradicionais de gestão da informação, ou seja, serem adquiridos, reconhecidos, gerenciados e
processados em um tempo aceitável. Assim, o Big Data pode ser visto como uma fronteira para inovação,
competição e produtividade.”
Parabéns! A alternativa C está correta.
Desafio 3
Como arquiteto de sistemas em uma grande organização de tecnologia, você está liderando um projeto que envolve a implementação de uma infraestrutura baseada em computação distribuída para suportar a expansão da
empresa. Com base no conceito de computação distribuída, qual das seguintes alternativas reflete corretamente o funcionamento e os princípios dessa arquitetura?
A A computação distribuída centraliza todos os processos em um único servidor para garantir a eficiência.
B Na computação distribuída, os dados são processados exclusivamente em dispositivos locais, sem depender de
uma rede.
C A computação distribuída permite que todos os elementos conectados na rede trabalhem de forma
descentralizada, ajustando-se ao crescimento dos dados e dispositivos.
D Na computação distribuída, a rede é projetada para operar de forma linear, processando dados de maneira
sequencial.
E A computação distribuída depende exclusivamente de uma conexão estável à internet para funcionar
corretamente.
Parabéns! A alternativa C está correta.
Responda
A) A arquitetura de Big Data é baseada exclusivamente em bancos de dados relacionais para garantir a eficiência:
Incorreta. Bancos de dados relacionais têm limitações significativas quando aplicados a Big Data devido à sua
incapacidade de lidar com a heterogeneidade e volume de dados, além de sua ineficiência em processos em tempo
real, o que contradiz a necessidade de soluções específicas e mais flexíveis como data lakes.
 
B) Em sistemas de Big Data, os dados são armazenados em bancos de dados tradicionais, garantindo simplicidade
no processamento: Incorreta. Embora bancos de dados tradicionais possam armazenar dados, eles não são
adequados para o processamento de Big Data devido à complexidade e variedade dos dados. A simplicidade de
bancos de dados tradicionais não atende às demandas complexas de Big Data, onde data lakes são preferidos para
sua flexibilidade.
 
C) Data lakes são usados em Big Data para armazenar uma variedade de dados, permitindo que sejam
processados e analisados de forma eficiente, mesmo em tempo real: Correta. Data lakes são essenciais na
arquitetura de Big Data, pois permitem o armazenamento de grandes volumes de dados de diferentes tipos e
origens, inclusive em tempo real. A eficiência no processamento e análise desses dados depende de arquiteturas
flexíveis e adaptáveis como a que os data lakes oferecem.
 
D) A arquitetura de Big Data não precisa considerar a ingestão de dados, pois todos os dados são previamente
organizados: Incorreta. A ingestão de dados é uma parte crucial da arquitetura de Big Data, pois envolve a coleta e
integração de dados de várias fontes, muitas vezes em tempo real, o que exige sistemas especializadospara
gerenciar essa complexidade.
 
E) Sistemas de Big Data não diferem em nada dos sistemas tradicionais de banco de dados, exceto pelo volume
de dados: Incorreta. Além do volume, Big Data difere dos sistemas tradicionais em termos de variedade,
velocidade e veracidade dos dados, o que requer uma abordagem arquitetônica diferente, incluindo o uso de data
lakes e outros componentes especializados.
Para saber mais sobre esse conteúdo, acesse: 
 
Módulo 1:
 
ARQUITETURA BÁSICA DE BIG DATA
"A complexidade que envolve o gerenciamento de todas as características do Big Data exige que tratemos sua
arquitetura de modo específico, o que, mais uma vez, o diferencia dos sistemas de banco de dados tradicionais
que teriam dificuldade em lidar com operações de dados em sistemas heterogêneos. Esses sistemas são chamados
de data lake, que, literalmente, pode ser traduzido como “lago de dados”. Basicamente, trata-se de um enorme
repositório de arquivos e objetos de dados. Portanto, as soluções da arquitetura de Big Data precisam ser
eficientes para que possam produzir resultados com tempos de resposta aceitáveis. Os componentes da arquitetura
de Big Data são:”.
Responda
A) A computação distribuída centraliza todos os processos em um único servidor para garantir a eficiência:
Incorreta. Um dos princípios fundamentais da computação distribuída é a descentralização dos processos. Ao
contrário de um sistema centralizado, onde um único servidor gerencia todas as operações, na computação
distribuída, várias unidades de processamento colaboram para gerenciar tarefas, garantindo escalabilidade e
resistência a falhas.
 
B) Na computação distribuída, os dados são processados exclusivamente em dispositivos locais, sem depender de
uma rede: Incorreta. A computação distribuída depende de uma rede interconectada de servidores e nós que
trabalham juntos, distribuindo tarefas e compartilhando dados entre si. A interdependência e colaboração entre
diferentes dispositivos e servidores são características essenciais desse modelo.
 
C) A computação distribuída permite que todos os elementos conectados na rede trabalhem de forma
descentralizada, ajustando-se ao crescimento dos dados e dispositivos: Correta. Essa alternativa descreve com
precisão o funcionamento da computação distribuída, onde todos os elementos da rede colaboram de maneira
descentralizada para lidar com a crescente complexidade e o aumento dos volumes de dados e dispositivos
conectados, garantindo eficiência e escalabilidade.
 
Desafio 4
Como engenheiro de dados, você está desenvolvendo uma solução para uma empresa que processa grandes volumes de dados provenientes de dispositivos IoT. O projeto envolve a coleta, armazenamento e análise desses
dados para identificar padrões e tomar decisões em tempo real. Qual das seguintes opções melhor descreve a abordagem ideal para gerenciar grandes volumes de dados em um projeto de Big Data que envolve IoT?
A Utilizar um sistema de banco de dados relacional centralizado para armazenar todos os dados coletados.
B Armazenar e processar os dados localmente em cada dispositivo IoT.
C Implementar uma solução que utilize computação distribuída para coletar, processar e analisar grandes
volumes de dados de forma eficiente e em tempo real.
D Dependendo de soluções de armazenamento em fita magnética para manter uma cópia segura dos dados e
processá-los posteriormente.
E Utilizar apenas redes peer-to-peer para compartilhar dados entre dispositivos, sem um sistema de análise
centralizado.
Parabéns! A alternativa C está correta.
Desafio 5
Você está atuando como engenheiro de dados em um projeto que envolve a análise de fluxos de dados em tempo real provenientes de sensores e sistemas de monitoramento. Durante o planejamento, você percebe que esses
fluxos de dados apresentam características desafiadoras, que precisam ser tratadas de maneira diferente em comparação com os dados históricos tradicionais. Considerando os desafios relacionados ao processamento de
fluxos de dados em tempo real, qual das seguintes alternativas reflete corretamente esses desafios?
A Os fluxos de dados em tempo real são sempre homogêneos e vêm de uma única fonte, o que facilita o
processamento.
B A imperfeição dos fluxos de dados refere-se à falta de variação nos formatos e fontes, tornando o
processamento mais simples.
D) Na computação distribuída, a rede é projetada para operar de forma linear, processando dados de maneira
sequencial: Incorreta. A computação distribuída é, por natureza, paralela, não linear. Os processos são distribuídos
entre vários nós, permitindo que várias tarefas sejam executadas simultaneamente, o que é fundamental para lidar
com grandes volumes de dados de forma eficiente.
 
E) A computação distribuída depende exclusivamente de uma conexão estável à internet para funcionar
corretamente: Incorreta. Embora uma conexão de rede seja essencial para a computação distribuída, ela não
depende exclusivamente da internet. A computação distribuída pode ocorrer em redes locais ou específicas de
uma organização, sem necessidade de depender da conectividade com a internet.
Para saber mais sobre esse conteúdo, acesse: 
 
Módulo 2:
 
ASPECTOS DA COMPUTAÇÃO DISTRIBUÍDA
“Na computação distribuída, todos os elementos conectados na rede – servidores e nós – trabalham em conjunto
de forma descentralizada para gerenciar toda a complexidade do sistema e ajustar-se ao crescimento do volume de
dados e de dispositivos conectados. Para alcançar esse objetivo, a computação distribuída segue alguns
princípios-chave, que são:”
Responda
A) Utilizar um sistema de banco de dados relacional centralizado para armazenar todos os dados coletados:
Incorreta. Embora bancos de dados relacionais sejam eficientes para certas aplicações, eles não são ideais para o
contexto de Big Data e IoT devido à sua incapacidade de lidar com grandes volumes de dados e à necessidade de
processar dados em tempo real.
 
B) Armazenar e processar os dados localmente em cada dispositivo IoT: Incorreta. Embora o processamento local
possa ser útil em certos casos, ele não permite a análise centralizada e em tempo real necessária em um ambiente
de Big Data, onde a computação distribuída é mais eficaz.
 
C) Implementar uma solução que utilize computação distribuída para coletar, processar e analisar grandes
volumes de dados de forma eficiente e em tempo real: Correta. A computação distribuída é ideal para lidar com o
volume e a complexidade dos dados gerados por dispositivos IoT, permitindo o processamento em tempo real e a
análise eficiente dos dados à medida que são coletados.
 
D) Dependendo de soluções de armazenamento em fita magnética para manter uma cópia segura dos dados e
processá-los posteriormente: Incorreta. A fita magnética é uma solução de armazenamento de longo prazo e não é
adequada para o processamento e análise em tempo real exigidos por Big Data e IoT.
 
E) Utilizar apenas redes peer-to-peer para compartilhar dados entre dispositivos, sem um sistema de análise
centralizado: Incorreta. Redes peer-to-peer podem facilitar a troca de dados entre dispositivos, mas não são
adequadas para a análise e processamento centralizados necessários em um ambiente de Big Data.
Para saber mais sobre esse conteúdo, acesse: 
 
Módulo 2:
 
COMPUTAÇÃO DISTRIBUÍDA E BIG DATA
“Em um projeto de Big Data, de modo geral, temos que coletar uma grande quantidade de dados, armazená-los,
processá-los e analisá-los para detectar padrões relevantes que demandem, quando necessário, algum tipo de ação.
Agora, quando aplicamos Big Data para IoT, precisamos tratar a complexidade das características intrínsecas dos
seus componentes, ou seja, utilizar uma solução que dê suporte para o alto volume de dados e consiga se
comunicar com os dispositivos. Mas qual solução seria essa?”
C A heterogeneidade dos fluxos de dados implica na necessidade de processar dados de diferentes formatos e
origens geográficas, o que aumenta a complexidade do sistema.
D A imperfeição dos fluxos de dados é um problema menor,pois todos os dados chegam em ordem e de forma
consistente.
E Os fluxos de dados em tempo real não apresentam desafios específicos em comparação com dados históricos,
exceto pelo volume.
Parabéns! A alternativa C está correta.
Responda
A) Os fluxos de dados em tempo real são sempre homogêneos e vêm de uma única fonte, o que facilita o
processamento: Incorreta. Na realidade, os fluxos de dados em tempo real geralmente são heterogêneos, o que
significa que eles podem vir de várias fontes e em diferentes formatos, aumentando a complexidade do
processamento.
 
B) A imperfeição dos fluxos de dados refere-se à falta de variação nos formatos e fontes, tornando o
processamento mais simples: Incorreta. A imperfeição nos fluxos de dados está relacionada a problemas como
perda de dados, corrupção, e chegada fora de ordem, o que exige que o sistema tenha mecanismos de tolerância e
ajuste, tornando o processamento mais complexo.
 
C) A heterogeneidade dos fluxos de dados implica na necessidade de processar dados de diferentes formatos e
origens geográficas, o que aumenta a complexidade do sistema: Correta. A heterogeneidade é uma característica
fundamental dos fluxos de dados em tempo real, e representa um grande desafio devido à variedade de formatos,
fontes, e localizações geográficas dos dados, exigindo sistemas capazes de lidar com essa diversidade.
 
D) A imperfeição dos fluxos de dados é um problema menor, pois todos os dados chegam em ordem e de forma
consistente: Incorreta. A imperfeição é um problema significativo, pois dados podem chegar fora de ordem,
corrompidos, ou podem até ser perdidos, o que exige que o sistema seja capaz de gerenciar essas irregularidades.
 
E) Os fluxos de dados em tempo real não apresentam desafios específicos em comparação com dados históricos,
exceto pelo volume: Incorreta. Além do volume, os fluxos de dados em tempo real apresentam desafios
específicos como heterogeneidade e imperfeição, que exigem abordagens diferentes das usadas para dados
históricos.
Para saber mais sobre esse conteúdo, acesse: 
 
Módulo 4:
 
CARACTERÍSTICAS E DESAFIOS EM RELAÇÃO AO PROCESSAMENTO DE FLUXOS DE DADOS
“Os conceitos de aplicações de Big Data sempre precisam levar em consideração a complexidade em que estão
contextualizados. Isso ocorre com os dados de streaming de sensores, navegadores da web e outros sistemas de
monitoramento que possuem características que precisam ser tratadas de um modo diferente em relação aos dados
históricos tradicionais. [...] Heterogeneidade: os dados de fluxo podem vir de diferentes fontes com diferentes
formatos e que podem estar geograficamente distantes. Uma das características de Big Data é a variedade que
abrange estas situações: formatos, fontes de dados e localização geográfica. [...] Imperfeição: muitos fatores
podem influenciar para que os elementos de um fluxo de dados sejam prejudicados por perda e corrupção. Devido
à variedade das fontes e dos formatos, esse processo é ainda mais complexo de ser gerenciado. Ainda há a
possibilidade de que os elementos de dados em um fluxo possam chegar fora de ordem. Isso implica que o
sistema também precisa levar em consideração essas falhas e ter uma medida de tolerância para fazer ajustes,
quando for possível, e o processamento dos dados.”