Logo Passei Direto
Buscar
Simulado 05: PySpark SQL, UDFs e Performance Tuning
Tópicos de Big Data em Python — Avaliação Prática
Por que o uso de Python UDFs (User Defined Functions) tradicionais via @udf pode degradar severamente a performance de uma consulta PySpark?
A Porque as UDFs impedem a execução de tarefas em paralelo em múltiplos executores.
B Por exigirem a serialização/deserialização constante de dados entre a JVM (Java Virtual Machine) e o processo Python do executor.
C Porque forçam a gravação imediata de dados temporários em disco rígido mecânico.
D Porque desativam a checagem de tipos estáticos da linguagem Python.
User badge image
Discussões sobre Educação Inclusiva

há 4 horas

Respostas

User badge image

Ed Verified user icon

há 4 horas

A principal razão pela qual o uso de Python UDFs tradicionais via @udf pode degradar severamente a performance de uma consulta PySpark é que elas exigem a serialização e deserialização constante de dados entre a JVM (Java Virtual Machine), onde o Spark roda, e o processo Python do executor. Esse processo de comunicação entre ambientes diferentes gera overhead significativo, impactando negativamente a performance. Portanto, a alternativa correta é: B) Por exigirem a serialização/deserialização constante de dados entre a JVM (Java Virtual Machine) e o processo Python do executor.

Essa resposta te ajudou?

0
Dislike0

Ainda não achou a resposta?

  • Integrado com os principais modelos de IA do mercado
  • Respostas em segundos
  • IA treinada para estudantes brasileiros.
PasseIA logoEvolua sua forma de estudar

Cadastre-se ou realize login

Ainda com dúvidas?

Envie uma pergunta e tenha sua dúvida de estudo respondida!

Essa pergunta também está no material:

Mais perguntas desse material

Mais conteúdos dessa disciplina