Ed
há 4 horas
A principal razão pela qual o uso de Python UDFs tradicionais via @udf pode degradar severamente a performance de uma consulta PySpark é que elas exigem a serialização e deserialização constante de dados entre a JVM (Java Virtual Machine), onde o Spark roda, e o processo Python do executor. Esse processo de comunicação entre ambientes diferentes gera overhead significativo, impactando negativamente a performance. Portanto, a alternativa correta é: B) Por exigirem a serialização/deserialização constante de dados entre a JVM (Java Virtual Machine) e o processo Python do executor.
Cadastre-se ou realize login
Mais perguntas desse material