Simulado 01 - Arquitetura e RDDs

Prévia do material em texto

Simulado 01: Arquitetura do Apache Spark e RDDs em Python
Tópicos de Big Data em Python — Avaliação Prática
QUESTÃO 01
No ecossistema Apache Spark com PySpark, qual é a principal diferença entre uma Operação de
Transformação (Transformation) e uma Operação de Ação (Action)?
A Transformações são executadas instantaneamente na memória RAM do Driver, enquanto Ações são salvas em
disco no Cluster.
B Transformações utilizam avaliação preguiçosa (Lazy Evaluation) e constroem o DAG, enquanto Ações
desencadeiam a execução efetiva do plano computacional.
C Transformações alteram diretamente os arquivos de origem no HDFS/S3, enquanto Ações apenas exibem dados
no console.
D Ações requerem obrigatoriamente o uso de funções UDF (User Defined Functions), enquanto Transformações só
aceitam funções nativas SQL.
QUESTÃO 02
Considere o trecho de código PySpark abaixo aplicado a um RDD contendo números inteiros:
 rdd = sc.parallelize([1, 2, 3, 4, 5]) resultado = rdd.map(lambda x: x * 2).filter(l
ambda x: x > 5).collect()
 
Qual será o valor contido na variável resultado após a execução?
A [6, 8, 10]
B [3, 4, 5]
C [2, 4, 6, 8, 10]
D [6]
QUESTÃO 03
Ao trabalhar com Apache Spark em um ambiente de cluster distribuído, o papel do componente 'Driver Node' é:
A Armazenar os blocos primários de dados no HDFS de forma replicada.
B Executar as tarefas (Tasks) individuais enviadas pelos Workers e armazenar os dados em cache.
C Converter o código do programa em um plano de execução (DAG), orquestrar a distribuição e gerenciar as tarefas
nos Executores.
D Realizar apenas o balanceamento de carga de rede entre o banco de dados relacional e o cluster Spark.
QUESTÃO 04
Qual das seguintes operações no PySpark causará um 'Shuffle' de dados através da rede entre os nós do
cluster?
A rdd.map(lambda x: x + 1)
B rdd.filter(lambda x: x % 2 == 0)
C rdd.groupByKey()
D rdd.flatMap(lambda x: x.split(" "))
Simulado Tópicos de Big Data em Python — Módulo 1 Página 1 de 1