Atividade 3_ Big Data

Prévia do material em texto

Atividade 3
Entrega 26 nov em 23:59 Pontos 1 Perguntas 5
Disponível 14 ago em 0:00 - 26 nov em 23:59 Limite de tempo Nenhum
Tentativas permitidas 2
Instruções
Este teste foi travado 26 nov em 23:59.
Histórico de tentativas
Tentativa Tempo Pontuação
MAIS RECENTE Tentativa 1 100 minutos 1 de 1
Pontuação desta tentativa: 1 de 1
Enviado 10 nov em 11:02
Esta tentativa levou 100 minutos.
Importante:
Caso você esteja realizando a atividade através do aplicativo "Canvas Student", é necessário que você clique em
"FAZER O QUESTIONÁRIO", no final da página.
0,2 / 0,2 ptsPergunta 1
Leia o texto a seguir:
Sistemas Gerenciadores de Bancos de Dados são a essência da evolução em Big
Data e em ciências de dados em geral. Graças aos tradeoffs da segurança
limitante de velocidade e flexibilidade dos sistemas SQL ou relacionais pela
flexibilidade e velocidade dos dados não estruturados de sistemas NoSQL ou não
relacionais, é possível receber dados de diferentes fontes, aplicações e usuários
em tempo real e ter inteligência gerada destes dados para tomada de decisão.
Sobre estes sistemas interconectados que recebem dados de milhares de
aplicativos, contas de redes sociais, entradas manuais e leitura de bancos de
dados com milhares de formatos diferentes, podemos dizer que um sistema de
fluxo de dados como Apache Kafka permite que tudo isso aconteça sem a
necessidade de softwares middleware para tradução de dados e estruturação de
acordo com o esquema de dados que um banco tradicional ou relacional teria.
A+
A
A-
https://famonline.instructure.com/courses/31314/quizzes/157838/history?version=1
Refletindo sobre Apache Kafka e sistemas de bancos de dados não relacionais,
avalie as seguintes asserções e a relação proposta entre elas.
I. Todo sistema que emprega um banco de dados NoSQL ou não relacional deve
necessariamente empregar Apache Kafka.
PORQUE
II. Todo sistema não relacional necessariamente se conecta com milhares de
fontes de dados não estruturados e precisam gerar inteligência em tempo real
para tomada de decisões.
Acerca dessas asserções, assinale a opção correta:
 
As asserções I e II são proposições verdadeiras, mas a II não é uma justificativa da
I.
 A asserção I é uma proposição verdadeira, e a II é uma proposição falsa. 
 As asserções I e II são proposições falsas. Correto!Correto!
 As asserções I e II são proposições verdadeiras, e a II é uma justificativa da I. 
 A asserção I é uma proposição falsa, e a II é uma proposição verdadeira. 
A alternativa está correta. Nem todo sistema NoSQL precisa de Kafka, pois
é possível usar um sistema não estruturado para projetos menores que
não exijam tamanha conectividade e poder de processamento. De fato,
planejar e estruturar um sistema com Kafka é uma tarefa difícil que exige
muito conhecimento e poder de processamento que geralmente é
encontrado e necessário em empresas como Netflix e Amazon.
0,2 / 0,2 ptsPergunta 2
Leia o texto a seguir:
Hadoop é um ecossistema com diversas soluções embutidas que podem ou não
funcionar independentemente. Spark, Map/Reduce, YARN e HDFS são exemplos
A+
A
A-
destas soluções nativas do Hadoop. 
Considerando o texto, avalie as afirmações abaixo:
I. Hadoop pode funcionar sem Spark, pois possui seu próprio processamento.
II. Map/reduce é uma solução pronta que não exige programação.
III. HDFS é o sistema de arquivos distriuídos do Hadoop.
É correto o que se afirma em:
 III, apenas. 
 II e III, apenas. 
 I, apenas. 
 I e III, apenas. Correto!Correto!
 I e II, apenas. 
A Alternativa está correta.
Apesar de Spark melhorar as funções de processamento e comunicação
de dados através de processamento em memória e facilidade de conexão
através de APIs, Apache Hadoop pode realizar processamento de dados e
aplicações Map/Reduce sem Spark. Um dos motivos dessa habilidade de
funcionamento sem Spark é seu sistema de arquivos distribuídos (HDFS)
baseado no Google File System.
0,2 / 0,2 ptsPergunta 3
Leia o texto a seguir:
Linguagens de programação podem ser de baixo ou alto nível. Uma linguagem de
baixo nível se aproxima mais da linguagem de máquina, o que dificulta sua
aprendizagem, mas também aumenta as possibilidades de criação. Linguagens
de alto nível, porém, são mais parecidas com a linguagem humana, o que facilita
a aprendizagem e ao mesmo tempo limita certas funções. Por este motivo, quanto
mais alto o nível de uma linguagem, mais específica para determinados projetos
A+
A
A-
ela se torna.
Linguagens de programação acessíveis são o objetivo de todo desenvolvedor de
soluções e fabricante de dispositivos. Isso acontece, pois quanto mais pessoas
dominarem uma linguagem de programação, mais popular e inovadora esta
linguagem se torna. Isso, por sua vez, faz com que mais fabricantes e empresas
usem esta linguagem em suas soluções, dispositivos e projetos. 
Em Big Data não é diferente. Apache Hive e Apache Pig são exemplos de
diferentes soluções para facilitação de scripts de programação em ambientes de
processamento de dados e Big Data.
Considerando as reflexões apresentadas, assinale a opção correta:
 
É importante levar em consideração o objetivo do projeto antes de decidir entre uma
linguagem de alto nível e uma de baixo nível, uma vez que seus propósitos são
parecidos e, por mais difíceis que linguagens de alto nível podem ser, existem
milhares de profissionais prontos para usá-las.
 
Não é necessário levar em consideração a dificuldade de aprendizagem e o objetivo
de uma linguagem de programação, uma vez que uma estratégia de contratação
eficaz seleciona os melhores funcionários que, independentemente de seu
departamento, terá conhecimento suficiente para operar as tecnologias.
 
É importante levar em consideração o objetivo do projeto antes de decidir entre
Apache Hive e Apache Pig, uma vez que seus propósitos são diferentes e, por mais
fáceis que possam ser, contornar suas limitações pode ser um atraso para qualquer
projeto.
Correto!Correto!
 
É muito importante levar em consideração o objetivo de cada empresa antes de
decidir qual linguagem de programação deve ser empregada, uma vez que o nível
de conhecimento dos funcionários, não as limitações da linguagem, deve ser
respeitado.
 
Por serem linguagens de alto nível, as linguagens usadas em Apache Pig e Apache
Hive são de fácil aprendizado, o que significa que suas limitações também são de
fácil solução.
A+
A
A-
A alternativa está correta. É importante considerar o objetivo do projeto
antes de empregar uma linguagem de programação, pois funções e
propriedades cruciais de algumas linguagens podem ser limitantes em
determinados projetos. Apache Pig, por exemplo, foi criado para ser
voltado para programadores e pesquisadores, enquanto Apache Hive é
mais voltado para analistas de dados dentro de corporações.
0,2 / 0,2 ptsPergunta 4
Leia o texto a seguir:
Sabe-se que sistemas gerenciadores de bancos de dados são o coração da
revolução dos dados. Por mais rápido que um conjunto de computadores possa
ser, muito se deve ao software em uso para que se tenha um processamento de
dados seguro, rápido e eficaz.
Considerando o texto, avalie as afirmações abaixo:
I. Operações CRUD em dados podem atrasar todo um sistema que preza pela
segurança e consistência de dados.
II. É recomendável contornar as limitações de software adicionando mais
hardware ao sistema distribuído ao invés de usar NoSQL.
III. Sistemas NoSQL podem abrir mão de aspectos de segurança e até perder
dados para focar na velocidade de processamento distribuído.
IV. Em grandes empresas, não é permitido abrir mão de consistência de dados ou
alguns aspectos de segurança em prol da velocidade.
É correto o que se afirma em:
 I e III, apenas. Correto!Correto!
 I e IV, apenas. 
 I e II, apenas. 
 II, apenas. 
 IV, apenas. 
A+
A
A-
Alternativa correta.
Operações CRUD, que são as de criar, ler atualizar e excluir dados, podem
travar dados e gerar fila de esperas grandes demais, que não só atrasam o
processamento geral como também podemparar aplicações e usuários
dependentes de dados que estejam sendo usados com consistência de
dados e segurança.
Por isso é que sistemas NoSQL são usados em sistemas Big Data e em
processamento analítico onde, mesmo que possa haver alguma perda, a
velocidade e disponibilidade são mais importantes.
0,2 / 0,2 ptsPergunta 5
Leia o texto a seguir: 
Map Reduce é um processo programável geralmente em Python muito importante
para Big Data, uma vez que ajuda a entender comportamentos e tendências de
grandes volumes de dados de uma forma simples e eficaz que colabora
imensamente para a tomada de decisões em tempo real baseada em dados.
Qual alternativa indica a ordem correta do processo de Map/Reduce?
 
Planejamento – Identificação de fonte de dados – listagem de termos desejados –
programação – mapeamento – atribuição de chaves únicas – contagem – contagem
de termos – geração de arquivo final com quantidade de ocorrências.
Correto!Correto!
 
Planejamento – Identificação de fonte de dados – listagem de termos desejados –
programação – mapeamento – geração de arquivo final com quantidade de
ocorrências – atribuição de chaves únicas - contagem – contagem de ocorrências.
 
Programação – planejamento – Identificação de fonte de dados – listagem de
termos desejados – contagem de termos – mapeamento – atribuição de chaves
únicas – contagem – geração de arquivo final com quantidade de ocorrências.
A+
A
A-
 
Planejamento – Identificação de fonte de dados – listagem de termos desejados –
mapeamento – atribuição de chaves únicas – contagem – contagem de termos –
geração de arquivo final com quantidade de ocorrências – programação.
 
Planejamento – mapeamento – Identificação de fonte de dados – listagem de
termos desejados – programação – atribuição de chaves únicas – contagem –
geração de arquivo final com quantidade de ocorrências – contagem de ocorrências.
A alternativa está correta. Antes de mapear a frequência de termos e
frases em uma base de dados volumosa, é preciso planejar junto com o
time de negócios e entender os objetivos da tarefa, então identificar de
onde os dados sem estrutura estão para realizar a tarefa. Logo após a
identificação dos dados originais, é necessário identificar os termos ou
frases que serão mapeados para aí sim começar a programação do
programa Map Reduce, que ao ser executado mapeará todos os termos e
frases presentes nas fontes de dados identificadas anteriormente e
atribuirá uma chave única para cada um dos termos, que ao se repetirem
ao longo do mapeamento, ganham incremento em seu valor como uma
variável inteira, que após a redução, ou seja, limpeza dos dados, será
exibida em um documento em frente do termo como no exemplo abaixo,
onde a palavra “horrível” e “cancelar” foram encontradas 150 e 90 vezes,
respectivamente:
 
Horrível (150);
Cancelar (90).
Pontuação do teste: 1 de 1
A+
A
A-