Simulado 05 - SQL e Performance

Prévia do material em texto

Simulado 05: PySpark SQL, UDFs e Performance Tuning
Tópicos de Big Data em Python — Avaliação Prática
QUESTÃO 01
Por que o uso de Python UDFs (User Defined Functions) tradicionais via @udf pode degradar severamente a
performance de uma consulta PySpark?
A Porque as UDFs impedem a execução de tarefas em paralelo em múltiplos executores.
B Por exigirem a serialização/deserialização constante de dados entre a JVM (Java Virtual Machine) e o processo
Python do executor.
C Porque forçam a gravação imediata de dados temporários em disco rígido mecânico.
D Porque desativam a checagem de tipos estáticos da linguagem Python.
QUESTÃO 02
Para mitigar o gargalo de performance de UDFs tradicionais mantendo a sintaxe em Python, qual alternativa
avançada baseada em Apache Arrow deve ser adotada?
A Pandas UDFs (Vectorized UDFs) decoradas com@pandas_udf.
B UDFs compiladas dinamicamente com Cython dentro do RDD.
C Subqueries em SQL ANSI nativo utilizando o comandoEXECUTE PYTHON.
D Funções lambda nativas do pacotefunctools.
QUESTÃO 03
O problema de 'Data Skew' (Desbalanceamento de Dados) ocorre em um cluster Spark quando:
A Os nós executores possuem quantidades diferentes de memória física instalada.
B Uma chave de agrupamento ou join possui uma quantidade desproporcional de registros em relação às outras,
sobrecarregando uma única partição/task.
C Os arquivos Parquet de entrada possuem esquemas divergentes entre partições.
D O Driver Node fica sem espaço no disco local para armazenar logs de execução.
QUESTÃO 04
No PySpark SQL, qual é a sintaxe correta para registrar uma janela deslizante (Window Specification) para
calcular a média móvel dos últimos 3 registros ordenados por data?
A Window.orderBy("data").rowsBetween(-2, 0)
B Window.groupBy("data").rangeBetween(0, 3)
C Window.partitionBy("data").limit(3)
D Window.select("data").rollingWindow(3)
Simulado Tópicos de Big Data em Python — Módulo 5 Página 1 de 1