Tópicos de Big Data em Python- Principios de Desenvolvimento de Spark Com Python (6)

Prévia do material em texto

Questão 2 MapReduce é uma técnica clássica de computação Ela é utilizada por vários frameworks, inclusive pelo Spark. MapReduce, apesar de clássico, é uma técnica muito eficiente para processa- mento distribuído e é composta por diversas etapas. Nesse sentido, selecione a opção correta a res- peito das etapas do MapReduce: A fase de entrada de dados consiste no tratamento dos dados de modo a evitar que as próxi- A mas etapas sejam sobrecarregadas com a detecção de inconsistências nos dados que pode- ria levar a dificuldades do processamento. A etapa de mapeamento é a parte mais importante do MapReduce, pois direciona como os B dados serão separados e, posteriormente, agrupados para obter O resultado. Na fase de embaralhamento, os pares de dados com a mesma chave são agrupados para se- C rem processados posteriormente pela etapa de redução. Quando processamento dos dados se aproxima da fase final, passam pela etapa de redu- D ção que consiste na contagem de ocorrências de cada par com a mesma chave. Na fase de separação, os dados são separados em grupos de pares com a mesma chave que E serão processados pela etapa seguinte de redução.