Apol 04

Prévia do material em texto

1. AVALIAÇÃO
2. NOVO
Parte superior do formulário
Parte inferior do formulário
MARCELO LUIZ BRUDER - RU: 1331240 
Nota: 20
PROTOCOLO: 20220904133124053060A0
Disciplina(s):
Big Data
	Data de início:
	04/09/2022 21:20
	Prazo máximo entrega:
	-
	Data de entrega:
	04/09/2022 21:44
Atenção. Este gabarito é para uso exclusivo do aluno e não deve ser publicado ou compartilhado em redes sociais ou grupo de mensagens.
O seu compartilhamento infringe as políticas do Centro Universitário UNINTER e poderá implicar sanções disciplinares, com possibilidade de desligamento do quadro de alunos do Centro Universitário, bem como responder ações judiciais no âmbito cível e criminal.
Questão 1/10 - Big Data
O Flink é projetado para executar aplicações de fluxos de eventos com estados em qualquer escala, uma vez que é capaz de escalar horizontalmente de forma ilimitada.
A respeito da arquitetura do Flink avalie as seguintes afirmações:
I – O Flink utiliza um algoritmo síncrono e incremental de checkpoints garante que o impacto da latência computacional seja mínimo e ainda capaz de garantir a entrega de mensagens.
II – Os fluxos podem ser processados em tempo real, assim que são gerados, ou de forma gravada, ou seja, os dados são recebidos integralmente para então serem processados.
III – Cada aplicação de fluxo trivial possui estados, dessa forma as aplicações que aplicam transformações em eventos individuais possuem estados.
IV – Flink oferece diversos processos de estados que armazenam estados em memória, no RockDB, uma forma de armazenamento em disco incorporado nativamente, ou outro processo customizado de armazenamento.
V – Fluxos de eventos podem possuir uma semântica temporal inerente uma vez que cada evento é criado em um ponto específico no tempo. Isso quer dizer várias operações de fluxo são dependentes de tempo, como por exemplo: agregações de janelas, sessões, detecção de padrões, e JOINS.
Dentre essas afirmações estão INCORRETAS:
Nota: 0.0
	
	A
	Nenhuma
	
	B
	I e II
	
	C
	III, IV e V
	
	D
	I e III
Justificativa: O Flink utiliza um algoritmo assíncrono e incremental de checkpoints garante que o impacto da latência computacional seja mínimo e ainda capaz de garantir a entrega de mensagens. Portanto percebemos que a afirmação I está INCORRETA. Diferentemente do que diz INCORRETAMENTE a afirmação III, cada aplicação de fluxo não-trivial possui estados, ou seja, apenas aplicações que aplicam transformações em eventos individuais não possuem estados. As afirmações II, IV e V estão CORRETAS.
	
	E
	II e IV
Questão 2/10 - Big Data
Os sistemas de recomendação podem ser divididos em grupos baseados em como são construídos. 
Avalie as seguintes afirmações a respeito dos diferentes tipos de recomendadores:
I – Uma lista de favoritos é considerada uma curadoria ou editorial. Uma de suas características é que não considera nenhuma característica do usuário para ser criada.
II – Listas de popularidade ou de mais recentes são agrupamentos que podem utilizar alguma característica do produto (lançamento, preço) ou dos usuários (soma das interações, vendas, views).
III – Recomendadores individualizados são aqueles que consideram características dos produtos e dos usuários para gerar uma experiência individualizada.
IV – Recomendadores individualizados utilizam uma função utilidade para relacionar um usuário e um produto a uma avaliação.
V – A função utilidade só pode ser preenchida com as avaliações que os usuários fazem a respeito de um produto.
Dentre essas afirmações estão CORRETAS:
Nota: 0.0
	
	A
	I, II e IV
	
	B
	Todas
	
	C
	II, III e V
	
	D
	I, IV e V
	
	E
	Todas, exceto V
Justificativa: A afirmação V diz que a função utilidade só pode ser preenchida com as avaliações que os usuários fazem a respeito de um produto, porém existe uma outra maneira de coletar avaliações que é determinar as avaliações de acordo com o comportamento do usuário. Portanto a afirmação V está INCORRETA. Todas as outras afirmações (I, II, III e IV) estão CORRETAS.
Questão 3/10 - Big Data
Analisar os requisitos de um projeto é um dos pontos mais importantes no desenvolvimento de aplicações, uma vez que tais requisitos devem refletir todas as necessidades e críticas dos usuários.
A respeito dos requisitos de aplicações de Big Data, avalie as seguintes afirmações:
I – Deve-se utilizar uma solução com tecnologias de Big Data para qualquer tamanho de dados, uma vez que as vantagens da aplicação de tais tecnologias são vantajosas em diversos cenários.
II – Pode ser muito caro mover os dados armazenado em um determinado sistema de armazenamento para outro lugar, uma vez que o local de armazenamento foi definido. Por isso deve-se tentar prever cenários futuros da melhor forma possível.
III – Escalar a complexidade de um sistema para atender uma demanda além do previsto é uma boa estratégia que pode auxiliar na antecipação de custos de manutenção futuros. É sempre uma boa estratégia, avaliar qual é o máximo de infraestrutura necessária para operar a aplicação.
IV – Em muitos casos pode ser necessário manter os dados armazenados por um tempo maior por motivos de auditoria ou por necessidades jurídicas. Por isso é importante a definição de uma política de retenção de dados.
V – É importante avaliar a relação do sistema com o teorema CAP. É sempre necessário saber se devemos priorizar a disponibilidade ou a consistência dos dados.
Dentre essas afirmações estão INCORRETAS:
Nota: 0.0
	
	A
	I, II e V
	
	B
	I e III
Justificativa: Não devemos utilizar uma tecnologia de big data, como o armazenamento distribuído se o volume de dados previsto não é grande o suficiente. Pois corre-se o risco de ter uma solução demasiadamente complexa desnecessariamente. Assim a afirmação I está INCORRETA. Escalar a complexidade de um sistema para atender uma demanda além do previsto não é uma boa estratégia. Você pode aumentar os custos de manutenção sem que haja demanda para tal. Além disso, várias das tecnologias em big data são intercambiáveis e, dessa forma, podem ser substituídas facilmente. Tente sempre avaliar qual é o mínimo de infraestrutura necessária para operar a aplicação. Portanto a afirmação III é INCORRETA. As demais afirmações (II, IV e V) estão CORRETAS.
	
	C
	Nenhuma
	
	D
	II, III e IV
	
	E
	II, IV e V
Questão 4/10 - Big Data
Avalie as seguintes afirmações sobre os componentes do Hadoop: Redis, Ignite e NiFi:
I – Redis é um sistema de armazenamento baseado em chave-valor e uma de suas características é que os seus dados podem ser configurados para possuir um tempo de vida (TTL). Dessa forma os dados podem ser removidos automaticamente depois de um tempo determinado.
II – No Redis os dados são replicados de forma assíncrona por diversos servidores através de uma arquitetura de replicação circular.
III – Ignite é um sistema de computação em memória distribuído, escalável e tolerante a falhas com a capacidade de armazenar dados. Uma de suas características é a garantia das propriedades ACID.
IV – NiFi é um sistema de processamento e distribuição de dados que oferece uma interface para projetar, controlar e monitorar fluxos de dados. Uma de suas características é utilizar grafos dirigidos acíclicos.
V – FlowFile Processor é um dos componentes do Nifi que atua como um scheduler para facilitar a troca de FlowFiles entre os processadores de fluxos de dados.
Dentre essas afirmações estão INCORRETAS:
Nota: 10.0
	
	A
	I e III
	
	B
	I, II e III
	
	C
	II e V
Você acertou!
Justificativa: Uma das principais características do Accumulo é a segurança em nível de célula, onde cada par chave-valor possui o seu próprio rótulo de segurança que tem a capacidade de limitar os resultados de uma consulta baseado nas autorizações de acesso do usuário. Ou seja, a afirmação II encontra-se INCORRETA. Flow File Processors são os elementos processadores de fluxos de dados que realizam operações como roteamento de dados, transformação ou mediação entre sistemas. O elemento que atua como um scheduler é o Flow Controller. Dessa forma a afirmação V está INCORRETA.As outras afirmações (I, III e IV) estão CORRETAS.
	
	D
	II, III e IV
	
	E
	Nenhuma
Questão 5/10 - Big Data
Uma vez que conhecemos os conceitos que envolvem a arquitetura big data assim como as aplicações que implementam suas características, podemos pensar em como combinar todas essas tecnologias e ideias para o desenvolvimento de um produto visando atender a alguma necessidade existente.
Avalie as seguintes afirmações a respeito do desenvolvimento e design de soluções Big Data:
I – O desenvolvimento de aplicações Big Data possui grandes desafios em como combinar todas as suas tecnologias e ideias para desenvolver novos produtos. Porém a integração com tecnologias tradicionais é uma questão trivial atualmente.
II – Em muitos casos as soluções de Big Data têm como objetivo otimizar processos de negócios, adquirir vantagens competitivas ou otimizar operações. Dessa forma podem representar muitas vantagens para uma empresa.
III – O entendimento das necessidades que nossa aplicação busca atender é uma das maneiras mais importantes de se obter as informações necessárias para guiar o desenvolvimento
IV – A documentação de requisitos é capaz de evitar desperdícios e garantir que a implementação está alinhada com as necessidades do usuário.
V – Working Backwards é uma abordagem de desenvolvimento de produtos que prioriza o entendimento dos requisitos e o feedback do usuário antes mesmo do início do desenvolvimento.
Dentre essas afirmações estão CORRETAS:
Nota: 10.0
	
	A
	II, III e IV
	
	B
	I, IV e V
	
	C
	I, II e IV
	
	D
	Todas, exceto I
Você acertou!
Todas exceto I
Justificativa: Existem desafios no que se trata da complexidade em integrar sistemas de big data com os sistemas tradicionais existentes. Ao contrário do que alega a afirmação I que está INCORRETA. Todas as outras afirmações (II, III, IV e V) estão CORRETAS.
	
	E
	Todas
Questão 6/10 - Big Data
Recomendações se baseiam nas previsões de preenchimento das avaliações desconhecidas. Existem duas principais abordagens para isso: recomendações baseadas em conteúdo (content-based recommendations) e filtragem colaborativa (collaborative filtering).
Avalie as seguintes avaliações sobre as duas principais abordagens de recomendações:
I – O sistema de recomendações baseadas em conteúdo possuem como estratégia a recomendação de itens mais parecidos aos que o usuário avaliou.
II – Antes de recomendar um novo item, o sistema de recomendações baseadas em conteúdo precisa que algum usuário avalie o novo item.
III – O cálculo de similaridade entre os usuários é utilizado por sistemas de filtragem colaborativa para medir a chance de um par de usuários avaliar determinado item de forma parecida.
IV – Métodos de filtragem colaborativa pode ser aplicado apenas para medir a semelhança entre usuários.
V – É possível utilizar métodos de diferentes abordagens de recomendação de uma forma híbrida para tentar melhorar a qualidade das predições.
Dentre essas afirmações estão INCORRETAS:
Nota: 0.0
	
	A
	Todas, exceto V
	
	B
	I e III
	
	C
	Nenhuma
	
	D
	Apenas IV
Justificativa: A afirmação IV diz que os métodos de filtragem colaborativa podem ser aplicados apenas para medir a semelhança entre usuários, porém podemos aplicar o mesmo princípio para as avaliações entre itens (ou Item-Item Collaborative Filtering). Portanto tal afirmação está INCORRETA. As demais afirmações (I, II, III e V) estão corretas.
	
	E
	II e V
Questão 7/10 - Big Data
Para que o valor dos dados contidos em um Data Lake não seja perdido, se faz necessário criar uma solução de Data Lake que inclua as noções de gerenciamento, acessibilidade e governança.
Avalie as seguintes afirmações a respeito do gerenciamento de Data Lake:
I – Um Data Lake oferece o mesmo nível de complexidade que outras estratégias de armazenamento como Data Mart e Data Warehouse.
II – Uma das características que podem ser agregadas aos dados armazenados em uma estratégia de Data Lake utilizando bons esquemas de governança é a transparência no uso dos dados.
III – Entre as informações que se podem obter dos dados em um Data Lake podemos destacar os metadados técnicos que fornecem informações sobre a qualidade, perfil, origem, e a sua linhagem.
IV – Os metadados técnicos de um Data Lake podem fornecer informações a respeito da forma ou estrutura dos dados tais como tamanho, tipo de dado ou esquema.
V – Os metadados de um Data Lake permitem buscar, localizar e aprender sobre os dados armazenados.
Dentre essas afirmações estão CORRETAS:
Nota: 0.0
	
	A
	II, IV e V
Justificativa: A estratégia de armazenamento de dados Data Lake pode oferecer uma redução de complexidade, que as estratégias Data Warehouse e Data Mart não são capazes de oferecer. Dessa forma entendemos que a afirmação I está INCORRETA. Metadados técnicos são os metadados que fornecem informações a respeito da forma ou estrutura dos dados tais como: tamanho, tipo de dado, esquema. Portanto a afirmação III está INCORRETA. As demais afirmações (II, IV e V) estão CORRETAS.
	
	B
	Todas, exceto IV
	
	C
	I, II e V
	
	D
	III, IV e V
	
	E
	Todas
Questão 8/10 - Big Data
Uma das características implementada pela Speed Layer em sistemas de Big Data é a atualização de views com baixa latência.
A respeito da Speed Layer avalie as seguintes afirmações:
I – Na Speed layer os dados devem ser processados de forma incremental, escalável e tolerante a falhas tão logo são recebidos.
II – O processamento de fluxo de dados realizado pela Speed layer é importante em situações onde os dados são constantemente gerados e o valor da informação contida nos dados cresce rapidamente com o tempo.
III – A Speed layer é capaz de atualizar as Batch views em tempo real.
IV – A Speed layer faz a computação incremental dos dados ao invés da computação de todo o conjunto de dados.
V – As views da Speed layer podem ser descartados em caso de falha, uma vez que rapidamente novas views são geradas pela camada e o funcionamento normal é restaurado.
Dentre essas afirmações estão INCORRETAS:
Nota: 0.0
	
	A
	IV e V
	
	B
	Nenhuma
	
	C
	Apenas III
	
	D
	I, III e V
	
	E
	II e III
Justificativa: A afirmação II possui um engano e afirma INCORRETAMENTE que “o valor da informação contida nos dados cresce rapidamente”. Na verdade, o valor da informação normalmente decresce com o tempo. A afirmação III confunde as views dizendo ERRONEAMENTE que a Speed Layer atualiza as Batch views ao invés de dizer que ela atualiza as Realtime views. As demais afirmações (I, IV e V) estão CORRETAS.
Questão 9/10 - Big Data
RDDs suportam basicamente dois tipos de operações: transformações e ações.
Avalie as seguintes afirmações a respeito das operações suportadas pelo Spark:
I – map é uma ação que passa cada elemento de um conjunto de dados por uma função e retorna um novo RDD representando os resultados.
II – reduce é uma ação que agrega todos os elementos de um RDD utilizando alguma função e retorna o resultado final ao DriverProgram.
III – Todas as transformações em Spark são preguiçosas, ou seja, são computadas apenas quando uma ação requisita um resultado para ser retornado para o Driver Program.
IV – É possível garantir a ordenação entre as execuções de cada tarefa utilizando a ação sort.
V – O método persist é utilizado para tornar-se um RDD persistente, esse método é importante para otimizar acessos futuros.
Dentre essas afirmações estão INCORRETAS:
Nota: 0.0
	
	A
	II e IV
	
	B
	Nenhuma
	
	C
	Todas, exceto II
	
	D
	I, III e V
	
	E
	I e IV
Justificativa: Diferentemente do que alega ERRONEAMENTE a afirmação I, a operação map não é uma ação, mas uma transformação, pois retorna um novo RDD com os resultados. Sort não é uma ação. Porém certas operações no Spark desencadeiam um evento conhecido como shuffe (ou embaralhamento). O shuffle é um mecanismo em Spark utilizado para redistribuir os dados de forma a serem agrupados de uma forma diferente pelas partições. Com isso entendemos que a afirmação IV está INCORRETA. As demais afirmações (II, III e V) estão CORRETAS.
Questão 10/10 - Big Data
Umavez que a tecnologia de cloud computing se propõe a oferecer serviços para atender às demandas de computação de entidades externas, podemos classificar os serviços oferecidos em categorias.
Avalie as seguintes afirmações sobre as diferentes categorias de serviço de Cloud Computing:
I – Infraestrutura como um serviço (IaaS) é o modelo de Cloud Computing que oferece o acesso a equipamentos e recursos computacionais tais como armazenamento, servidores, dispositivos de rede e outros tipos de hardware.
II – O IaaS é muito utilizado para oferecer os serviços de recuperação de desastres, serviços de computação, serviços de armazenamento, serviços de data center, infraestrutura de desktop virtual, além de serviços de testes de aplicação, versionamento, integração e hospedagem.
III – Todos os fornecedores de serviços de cloud computing o fazem sobre uma nuvem de IaaS
IV – O modelo de Cloud Computing Plataforma como um serviço (PaaS) é capaz de reduzir os requisitos para o desenvolvimento de novos sistemas, além de permitir uma redução de custos e riscos, uma vez que oferece plataformas de desenvolvimento e uso de aplicações.
V – O modelo de Software como um serviço (SaaS) oferece soluções de software customizadas. Dessa forma é capaz de atender a necessidades específicas.
Dentre essas afirmações estão CORRETAS:
Nota: 0.0
	
	A
	Todas, exceto III
	
	B
	I, II e IV
	
	C
	I, III e IV
Justificativa: Serviços de testes de aplicação, versionamento, integração e hospedagem são oferecidos por sistemas PaaS. Desta forma, a afirmação em II está INCORRETA. Diferentemente do modelo PaaS, o modelo SaaS não oferece soluções customizadas de software. Portanto a afirmação V está INCORRETA. As afirmações I, III e IV estão CORRETAS.
	
	D
	Todas
	
	E
	II, IV e V