Princípios de Desenvolvimento de Spark com Python Desafio 1 Você está trabalhando como analista de dados em uma empresa que decidiu adotar novas tecnologias para melhorar o processamento de grandes volumes de dados. Durante uma reunião, seu supervisor questiona sobre a escolha entre Hadoop e Spark para a implementação de um novo projeto de Big Data. Considerando a evolução das tecnologias de Big Data e as demandas crescentes no processamento de dados, qual das alternativas abaixo faz a afirmativa correta sobre o Apache Spark e o Hadoop? A O Spark foi o primeiro framework a ser desenvolvido pela Apache Foundation, superando as limitações do Hadoop com o uso exclusivo de Java. B O Hadoop, apesar de suas limitações, ainda é mais eficiente que o Spark em tarefas de processamento intensivo por não utilizar cache de memória. C O Spark é um framework de código aberto que supera o Hadoop em eficiência devido à sua capacidade de utilizar cache de memória e algoritmos de processamento otimizados. D O Hadoop e o Spark são igualmente eficientes, pois ambos utilizam as mesmas técnicas de processamento distribuído e cache de memória. E O Spark não fornece suporte para linguagens como Python e Scala, o que o torna menos flexível que o Hadoop para aplicações de Big Data. Responda Desafio 2 Como engenheiro de dados, você está implementando uma aplicação de processamento distribuído utilizando o Apache Spark em um ambiente de cluster. Durante uma reunião de planejamento, o time técnico discute como o Spark gerencia a execução das tarefas distribuídas. Um dos aspectos importantes a ser considerado é o papel do Driver Program e como ele interage com o gerenciador de cluster e os executores. Com base na arquitetura do Spark, qual das alternativas abaixo descreve corretamente a função do Driver Program no contexto de execução de uma aplicação Spark? A O Driver Program é responsável por executar as tarefas diretamente nos executores, sem a necessidade de comunicação com o gerenciador de cluster. B O Driver Program se conecta ao gerenciador de cluster, distribui as tarefas aos executores e retorna os resultados para o usuário. C O Driver Program processa diretamente os dados e envia o resultado final para o gerenciador de cluster, que o distribui aos executores. D O Driver Program apenas cria a aplicação Spark, sem se envolver no agendamento ou execução das tarefas nos executores. E O Driver Program é o responsável por monitorar a performance dos executores e ajustar automaticamente o número de executores conforme a necessidade. Responda Desafio 3 Você está colaborando em um projeto de ciência de dados que envolve o uso de PySpark para processar grandes volumes de dados. Durante uma reunião, seu time discute diferentes maneiras de integrar PySpark com a biblioteca Pandas para melhorar a análise dos dados. Sua tarefa é avaliar as diferentes abordagens sugeridas e identificar a forma correta de utilização. Ao utilizar PySpark em conjunto com Pandas para manipulação e análise de dados em um ambiente de Big Data, qual das alternativas abaixo descreve corretamente uma aplicação válida dessa integração? A Utilizar PySpark para transformar os dados em um DataFrame Pandas diretamente dentro do cluster, evitando a necessidade de processamento distribuído. B Usar PySpark para distribuir o processamento dos dados e então converter partes menores do DataFrame Spark em Pandas DataFrames para análise local mais detalhada. C Processar os dados inteiramente com PySpark e Pandas simultaneamente, o que elimina a necessidade de conversões entre DataFrames. D Implementar o Pandas diretamente em PySpark para otimizar o processamento distribuído em grandes clusters de dados. E Utilizar PySpark para criar visualizações gráficas com Pandas diretamente no ambiente de cluster, aproveitando o processamento distribuído. Responda Desafio 4 Você é um engenheiro de dados trabalhando em um projeto de Big Data que utiliza Apache Spark para processar grandes volumes de dados de clientes. Durante uma reunião técnica, a equipe discute como o processamento distribuído pode ser aplicado para melhorar o desempenho das tarefas de análise de dados, e você precisa explicar essa abordagem ao seu time. No contexto do Apache Spark, qual das alternativas abaixo melhor descreve a importância do processamento distribuído? A Permite que o Spark execute todas as operações em um único nó, garantindo maior controle sobre os dados. B Facilita a divisão de tarefas de processamento entre vários nós de um cluster, aumentando a eficiência e escalabilidade. C Substitui a necessidade de uso de memória distribuída, processando todos os dados localmente. D Garante que todas as tarefas sejam executadas sequencialmente para evitar conflitos de dados. E Elimina a necessidade de comunicação entre os nós do cluster, centralizando o processamento em um único executor. Responda Desafio 5 Você está trabalhando como desenvolvedor em um projeto que utiliza o Apache Spark para processar grandes volumes de dados. Durante o desenvolvimento, você precisa explicar aos membros do time como as transformações em Spark RDD funcionam, destacando a característica de "lazy evaluation" e como ela impacta o fluxo de processamento dos dados. No contexto das transformações em Spark RDD, qual das alternativas abaixo descreve corretamente o conceito de "lazy evaluation" e sua implicação no processamento de dados? A As transformações em RDD são executadas imediatamente após serem aplicadas, garantindo que os dados estejam sempre atualizados. B A "lazy evaluation" significa que as transformações em RDD não são executadas imediatamente, mas apenas quando uma ação é aplicada, otimizando o processamento. C Ao aplicar uma transformação, o RDD original é modificado, e a "lazy evaluation" permite que o Spark execute a transformação em tempo real. D A "lazy evaluation" faz com que as transformações em RDD sejam armazenadas em disco, aguardando a execução de uma ação. E As transformações em Spark RDD são consideradas "preguiçosas" porque não criam novos RDDs e apenas modificam os existentes.