Big Data 2

Prévia do material em texto

Questão 1/10 - Big Data
  Ler em voz alta
Avalie as seguintes afirmações sobre os componentes do Hadoop: Impala e Accumulo:
I – Impala é um motor de consultas SQL capaz de realizar consultas de baixa latência em HDFS ou Hive.
II – O Impapa foi projetado para consultas analíticas em Haddop utilizando SQL ou ferramentas de business 
inteligence (BI).
III – Accumulo é um sistema de armazenamento distribuído baseado em chave-valor que implementa segurança e 
nível de célula.
IV – Todos os dados armazenados no Accumulo devem possuir os mesmos requisitos de segurança em uma 
mesma tabela.
V – O Accumulo permite realizar operações em pares de chave-valor assim que são inseridos.
Dentre essas afirmações estão CORRETAS:
A I, II e III
B Todas
C I, II e IV
D
II, III e V
Você assinalou essa alternativa (D)
E Apenas III
javascript:void(0)
Questão 2/10 - Big Data
  Ler em voz alta
Avalie as seguintes afirmações sobre os componentes do Hadoop: Redis, Ignite e NiFi:
I – Redis é um sistema de armazenamento baseado em chave-valor e uma de suas características é que os seus 
dados podem ser configurados para possuir um tempo de vida (TTL). Dessa forma os dados podem ser removidos 
automaticamente depois de um tempo determinado.
II – No Redis os dados são replicados de forma assíncrona por diversos servidores através de uma arquitetura de 
replicação circular.
III – Ignite é um sistema de computação em memória distribuído, escalável e tolerante a falhas com a capacidade 
de armazenar dados. Uma de suas características é a garantia das propriedades ACID.
IV – NiFi é um sistema de processamento e distribuição de dados que oferece uma interface para projetar, 
controlar e monitorar fluxos de dados. Uma de suas características é utilizar grafos dirigidos acíclicos.
V – FlowFile Processor é um dos componentes do Nifi que atua como um scheduler para facilitar a troca de 
FlowFiles entre os processadores de fluxos de dados.
Dentre essas afirmações estão INCORRETAS:
A I e III
B I, II e III
C
II e V
Você assinalou essa alternativa (C)
D II, III e IV
E Nenhuma
javascript:void(0)
Questão 3/10 - Big Data
  Ler em voz alta
Uma vez que conhecemos os conceitos que envolvem a arquitetura big data assim como as aplicações que 
implementam suas características, podemos pensar em como combinar todas essas tecnologias e ideias para o 
desenvolvimento de um produto visando atender a alguma necessidade existente.
Avalie as seguintes afirmações a respeito do desenvolvimento e design de soluções Big Data:
I – O desenvolvimento de aplicações Big Data possui grandes desafios em como combinar todas as suas 
tecnologias e ideias para desenvolver novos produtos. Porém a integração com tecnologias tradicionais é uma 
questão trivial atualmente.
II – Em muitos casos as soluções de Big Data têm como objetivo otimizar processos de negócios, adquirir 
vantagens competitivas ou otimizar operações. Dessa forma podem representar muitas vantagens para uma 
empresa.
III – O entendimento das necessidades que nossa aplicação busca atender é uma das maneiras mais importantes 
de se obter as informações necessárias para guiar o desenvolvimento
IV – A documentação de requisitos é capaz de evitar desperdícios e garantir que a implementação está alinhada 
com as necessidades do usuário.
V – Working Backwards é uma abordagem de desenvolvimento de produtos que prioriza o entendimento dos 
requisitos e o feedback do usuário antes mesmo do início do desenvolvimento.
Dentre essas afirmações estão CORRETAS:
A II, III e IV
B I, IV e V
C I, II e IV
D
Todas, exceto I
Você assinalou essa alternativa (D)
E Todas
javascript:void(0)
Questão 4/10 - Big Data
  Ler em voz alta
Uma topologia é uma rede de spouts e bolts, onde cada aresta na rede representa um bolt ligado a um fluxo de 
saída de um spout ou outro bolt.
Sobre as topologias e arquitetura Storm avalie as seguintes afirmações:
I – O agrupamento de fluxos é parte da definição da topologia de forma a especificar quais fluxos de tuplas devem 
ser recebidas para cada bolt. Cada agrupamento de fluxo define como o fluxo deve ser particionado entre as 
tarefas de cada bolt.
II – No agrupamento conhecido por Shuffle grouping tuplas são distribuídas aleatoriamente às tarefas dos bolts de 
forma que as tuplas sejam distribuídas de maneira igualitária.
III – Atualmente no agrupamento conhecido por None grouping tuplas são distribuídas aleatoriamente às tarefas 
dos bolts de forma que as tuplas sejam distribuídas de maneira igualitária.
IV – No Direct grouping o fluxo é alocado diretamente a uma tarefa especificada pelo consumidor.
V – No Global grouping o fluxo é replicado para todas as tarefas dos bolts.
Dentre essas afirmações estão INCORRETAS:
A
IV e V
Você assinalou essa alternativa (A)
B Nenhuma
C Apenas III
D I, II e III
E Todas, exceto III
javascript:void(0)
Questão 5/10 - Big Data
  Ler em voz alta
O Flink é projetado para executar aplicações de fluxos de eventos com estados em qualquer escala, uma vez que 
é capaz de escalar horizontalmente de forma ilimitada.
A respeito da arquitetura do Flink avalie as seguintes afirmações:
I – O Flink utiliza um algoritmo síncrono e incremental de checkpoints garante que o impacto da latência 
computacional seja mínimo e ainda capaz de garantir a entrega de mensagens.
II – Os fluxos podem ser processados em tempo real, assim que são gerados, ou de forma gravada, ou seja, os 
dados são recebidos integralmente para então serem processados.
III – Cada aplicação de fluxo trivial possui estados, dessa forma as aplicações que aplicam transformações em 
eventos individuais possuem estados.
IV – Flink oferece diversos processos de estados que armazenam estados em memória, no RockDB, uma forma de 
armazenamento em disco incorporado nativamente, ou outro processo customizado de armazenamento.
V – Fluxos de eventos podem possuir uma semântica temporal inerente uma vez que cada evento é criado em um 
ponto específico no tempo. Isso quer dizer várias operações de fluxo são dependentes de tempo, como por 
exemplo: agregações de janelas, sessões, detecção de padrões, e JOINS.
Dentre essas afirmações estão INCORRETAS:
A Nenhuma
B I e II
C III, IV e V
D
I e III
Você assinalou essa alternativa (D)
E II e IV
javascript:void(0)
Questão 6/10 - Big Data
  Ler em voz alta
Para que o valor dos dados contidos em um Data Lake não seja perdido, se faz necessário criar uma solução de 
Data Lake que inclua as noções de gerenciamento, acessibilidade e governança.
Avalie as seguintes afirmações a respeito do gerenciamento de Data Lake:
I – Um Data Lake oferece o mesmo nível de complexidade que outras estratégias de armazenamento como Data 
Mart e Data Warehouse.
II – Uma das características que podem ser agregadas aos dados armazenados em uma estratégia de Data Lake 
utilizando bons esquemas de governança é a transparência no uso dos dados.
III – Entre as informações que se podem obter dos dados em um Data Lake podemos destacar os metadados 
técnicos que fornecem informações sobre a qualidade, perfil, origem, e a sua linhagem.
IV – Os metadados técnicos de um Data Lake podem fornecer informações a respeito da forma ou estrutura dos 
dados tais como tamanho, tipo de dado ou esquema.
V – Os metadados de um Data Lake permitem buscar, localizar e aprender sobre os dados armazenados.
Dentre essas afirmações estão CORRETAS:
A
II, IV e V
Você assinalou essa alternativa (A)
B Todas, exceto IV
C I, II e V
D III, IV e V
E Todas
javascript:void(0)
Questão 7/10 - Big Data
  Ler em voz alta
RDDs suportam basicamente dois tipos de operações: transformações e ações.
Avalie as seguintes afirmações a respeito das operações suportadas pelo Spark:
I – map é uma ação que passa cada elemento de um conjunto de dados por uma função e retorna um novo RDD 
representando os resultados.
II– reduce é uma ação que agrega todos os elementos de um RDD utilizando alguma função e retorna o resultado 
final ao DriverProgram.
III – Todas as transformações em Spark são preguiçosas, ou seja, são computadas apenas quando uma ação 
requisita um resultado para ser retornado para o Driver Program.
IV – É possível garantir a ordenação entre as execuções de cada tarefa utilizando a ação sort.
V – O método persist é utilizado para tornar-se um RDD persistente, esse método é importante para otimizar 
acessos futuros.
Dentre essas afirmações estão INCORRETAS:
A II e IV
B Nenhuma
C Todas, exceto II
D I, III e V
E
I e IV
Você assinalou essa alternativa (E)
javascript:void(0)
Questão 8/10 - Big Data
  Ler em voz alta
Spark SQL é o módulo do Spark utilizado o processamento de dados estruturados. Diferentemente da API básica 
de RDDs do Spark, a interface fornecida pelo Spark SQL oferece mais informações sobre a estrutura tanto dos 
dados quanto da computação a ser realizada. Internamente essa informação extra é utilizada para otimizações 
adicionais.
Sobre os diferentes formatos de dados suportados pelo Spark SQL avalie as seguintes afirmações:
I – O formato de dados padrão suportado pelo Spark SQL é o CSV, um formato de arquivos que armazena texto 
em formato tabular que utiliza vírgulas para separar valores.
II – O ORC é um formato de arquivos que busca otimizar o tempo de processamento e reduzir o tamanho dos 
arquivos. É um formato de dados utilizado também pelo Hive e é considerado uma forma altamente eficiente de 
armazenamento.
III – O Parquet é um formato de armazenamento baseado em chave-valor amplamente utilizado por diversos 
sistemas. É um formato otimizado para suportar sistemas de compressão muito eficientes.
IV – LibSVM é um formato de dados que implementa Support-Vector Machines e é muito utilizado em modelos de 
aprendizagem.
V – O Spark SQL permite o uso de conectores JDBC e ODBC para atuar como um motor de consultas distribuídas 
a tabelas de dados externas.
Dentre essas afirmações estão CORRETAS:
A
II, IV e V
Você assinalou essa alternativa (A)
B I, II e IV
C Todas, exceto I
D II, III e IV
E Todas
javascript:void(0)
Questão 9/10 - Big Data
  Ler em voz alta
Recomendações se baseiam nas previsões de preenchimento das avaliações desconhecidas. Existem duas 
principais abordagens para isso: recomendações baseadas em conteúdo (content-based recommendations) e 
filtragem colaborativa (collaborative filtering).
Avalie as seguintes avaliações sobre as duas principais abordagens de recomendações:
I – O sistema de recomendações baseadas em conteúdo possuem como estratégia a recomendação de itens mais 
parecidos aos que o usuário avaliou.
II – Antes de recomendar um novo item, o sistema de recomendações baseadas em conteúdo precisa que algum 
usuário avalie o novo item.
III – O cálculo de similaridade entre os usuários é utilizado por sistemas de filtragem colaborativa para medir a 
chance de um par de usuários avaliar determinado item de forma parecida.
IV – Métodos de filtragem colaborativa pode ser aplicado apenas para medir a semelhança entre usuários.
V – É possível utilizar métodos de diferentes abordagens de recomendação de uma forma híbrida para tentar 
melhorar a qualidade das predições.
Dentre essas afirmações estão INCORRETAS:
A Todas, exceto V
B I e III
C Nenhuma
D
II e IV
Você assinalou essa alternativa (D)
E II e V
javascript:void(0)
Questão 10/10 - Big Data
  Ler em voz alta
Flume é um sistema distribuído, confiável e de alta disponibilidade para coletar, agregar e mover eficientemente 
grandes quantidades de dados de log de muitas fontes diferentes para um armazenamento centralizado.
Avalie as seguintes afirmações a respeito do Flume:
I – O Flume possui um plugin para atuar como um sistema de agregação de log para o Hadoop.
II – O Flume pode ser utilizado como um tipo de buffer quando a taxa de dados recebidos supera a capacidade de 
escrita do destino.
III – O roteamento contextual de dados é uma das possibilidades de uso do Flume.
IV – Os eventos são removidos de um canal apenas ao serem recebidos pelo repositório final.
V – Os dados nos canais do Flume podem ser armazenados tanto no sistema de arquivos local quanto em 
memória. Independente da opção de armazenamento, os eventos armazenados podem ser recuperados de falhas.
Dentre essas afirmações estão CORRETAS:
A Todos, exceto IV
B I, II e III
C II e IV
D
II e III
Você assinalou essa alternativa (D)
E I e V
javascript:void(0)