Exercícios de PySpark

Prévia do material em texto

Lista de exercícios ≡ Principios De Desenvolvimento De Spark Com Python QuestõesVocê acertou 9 de 9 questões Verifique o seu desempenho e continue treinando! Você pode refazer o exercício quantas vezes quiser. Verificar Desempenho 1 Marcar para revisão O PySpark caracteriza-se como uma biblioteca Spark responsável por executar programas usando recursos do Apache Spark. Selecione a opção correta que contenha itens que são pré-requisitos de instalação para utilização do PySpark. A Hadoop e Spark Casandra e Spark Java e Python D Python e Escala E Java e R Libras Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado Gabarito: Java e Python Justificativa: Para a utilização do PySpark, é necessário cumprir alguns pré-requisitos, sendo os principais a instalação e configuração do Java e do Python. Além disso, é preciso instalar e configurar Spark, que é a plataforma na qual o PySpark será executado. Em alguns casos, como no Google Colab, é necessário também instalar FindSpark e o próprio PySpark. Portanto, a alternativa correta é a "C", que menciona Java e Python como pré-requisitos para a instalação do PySpark. 2 Marcar para revisão Os componentes do Spark têm como objetivo facilitar desenvolvimento de projetos com finalidades específicas. Selecione a opção que contém componente do ecossistema do Spark especializado em aplicações de aprendizado de máquina. A MLlib B Spark LearningGraphX Learning D RDDs E MLSpark Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado componente MLlib é o componente do ecossistema do Spark que é utilizado para implementar algoritmos estatísticos e de aprendizado de máquina. Ele tem como objetivo simplificar os pipelines de aprendizado de máquina em projetos de big data. As alternativas Spark Learning, GraphX Learning e MLSpark não são componentes válidos do Spark. Por outro lado, os RDDs (Resilient Distributed Datasets) são componentes do Spark, mas são utilizados para a criação de conjuntos de dados resilientes, e não especificamente para aplicações de aprendizado de máquina. 3 Marcar para revisão Observe o trecho de código abaixo import numpy as from pyspark import SparkContext spark spark_contexto contexto = SparkContext() np.array([1, 5, 1, 6, 4, 7, 7]) Acessivel.com teste = Libras Selecione a opção correta a respeito dele. A A utilização do SparkContext é opcional. A linha "spark_contexto.parallelize(a)" aplica a técnica MapReduce para processar o vetor "a". A variável "teste" corresponde a um RDD. D A execução do trecho de código vai gerar um erro. E objetivo do trecho de código é contar a quantidade de ocorrências dos valores do vetor "a". Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado O trecho de código apresentado está sintaticamente correto e seu objetivo é criar um RDD (Resilient Distributed Dataset), que é uma estrutura de dados fundamental do Spark. O RDD é representado pela variável "teste". Para a criação do RDD, é obrigatório o uso do "SparkContext", que é a conexão para executar operações no Spark. pacote4 Marcar para revisão O MapReduce é uma técnica clássica de programação e é bastante utilizada por diversos frameworks, como o Spark, por exemplo. Em relação à técnica MapReduce, selecione a opção correta. A Consiste em uma técnica de programação sequencial B É uma técnica lenta para processamento de grandes volumes de dados c Foi substituída no Spark por acesso direto à memória D Só pode ser aplicada para grandes volumes de dados E É uma técnica de computação distribuída Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado Gabarito: É uma técnica de computação distribuída Justificativa: A técnica MapReduce é um modelo de programação que permite a fácil distribuição de processamento de Libras dados em um cluster de computadores. Essa técnica é muito eficiente para lidar com grandes volumes de dados, sendo amplamente utilizada em projetos de big data. No entanto, ela não é exclusiva para grandes volumes de dados, podendo ser aplicada também em volumes menores, embora não seja a mais apropriada para esses casos devido à sua natureza distribuída. Portanto, a alternativa correta é a E: "É uma técnica de computação distribuída". 5 Marcar para revisão Apache Spark é um framework de código aberto aplicado para projetos de Big Data. Selecione a opção correta que contenha apenas funções que podem ser categorizadas como ações no Spark. A take, filter e sample. reduce, map e filter. collect, flatMap e sample. D count, collect e map. E first, take e reduce.Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado As ações uma categoria de operações que fazem cálculos nos RDDs, ou seja, essas operações fazem o processamento dos dados. Algumas das funções de ação no Spark são: first, take, reduce, collect e count. 6 Marcar para revisão O Spark é uma ferramenta computacional voltada para aplicações de Big Data. Selecione a opção correta a respeito do componente que pode ser tratado com Spark SQL. A DAG Executor RDD D Work Node E Tasks Libras Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado Gabarito: RDD Justificativa: Spark SQL, um componente do ecossistema Spark, oferece suporte à linguagem SQL para manipulação de RDDs (Resilient Distributed Datasets). Os RDDs são coleções de elementos distribuídos que podem ser processados em paralelo. Por outro lado, DAGs (Directed Acyclic Graphs) são abstrações que representam a sequência de operações a serem executadas. Executor é componente responsável pela execução de tarefas individuais dentro do Spark. Work Node é o conjunto de máquinas que executam as tarefas, que são denominadas Tasks, ou seja, são subdivisões do processo. Portanto, a alternativa correta é a "C", que menciona o RDD, o único componente entre as opções que pode ser diretamente manipulado pelo Spark SQL. 7 Marcar para revisão Selecione a opção correta que contenha a operação responsável por retornar um subconjunto aleatório dos dados de entrada. A sample filterrandom D mapRandom E distinct Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado Gabarito: sample Justificativa: A operação "sample" é a responsável por retornar um subconjunto aleatório dos dados de entrada. Ela pertence à categoria de transformações e se enquadra em transformações amplas, uma vez que pode ser necessário realizar movimentações entre as partições. A função "filter", por outro lado, retorna um subconjunto de dados baseado em uma condição específica, não envolvendo aleatoriedade. As funções "random" e "mapRandom" não são válidas para Spark. Por fim, a função "distinct" retorna um RDD (Resilient Distributed Dataset) com elementos distintos de um RDD de entrada, também não envolvendo aleatoriedade. 8 Marcar para revisão Atualmente, o Apache Spark é o mais bem-sucedido framework para Big Data. Selecione a opção correta que contenha apenas funções que podem ser categorizadas como transformações no Spark. A count, collect e take. map, sample e collect. map, filter e union. D reduce, first e map. E map, take e reduce. Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado As funções map, filter e union são exemplos de transformações no Apache Spark. As transformações são operações que produzem um novo DataFrame a partir do existente. No caso específico das funções citadas, elas são classificadas como transformações estreitas, pois resultam da aplicação de funções de mapeamento e de filtragem, onde os dados se originam de uma única partição. Portanto, a alternativa correta é a letra C: map, filter e union.paradigma MapReduce é uma estratégia de computação com capacidade de processar grandes conjuntos de dados de maneira distribuída em várias máquinas. Em relação à técnica MapReduce, selecione a opção que é responsável por consolidar os resultados produzidos ao longo do processamento. A Mapeamento Separação D Redução E Processamento Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado termo "Redução" é a resposta correta. No contexto do paradigma MapReduce, a redução é a etapa que consolida os resultados produzidos durante processamento. Após a fase de mapeamento e embaralhamento, a função de redução é aplicada para agrupar os pares, concluindo assim o processamento dos dados. Este é um conceito fundamental na programação distribuída e é amplamente utilizado em diversos frameworks, como o Spark, por exemplo. Libras