Operações e Visualizações em Spark

Prévia do material em texto

Seja Premium Ajude estudantes e ganhe conteúdos liberados! O HDFS é um acrônimo para sistema de arquivos distribuídos do Hadoop (do inglês Hadoop Distributed File System). Ele componente responsável pelo armazenamento e gerenciamento de dados, de forma similar aos sistemas gerenciadores de bancos de dados relacionais (RDBMS). 5. Selecione a opção correta que contenha a operação responsável por retornar um subconjunto aleatório dos dados de entrada. filter distinct mapRandom random sample Data Resp. 14/04/2022 09:09:30 Explicação: Gabarito: sample Justificativa: A operação responsável por retornar um subconjunto aleatório dos dados é a sample. É uma operação da categoria de transformação, sendo que se encaixa em transformações amplas, pois pode ser necessário realizar movimentações entre as partições. Filter é uma função que retorna um subconjunto de dados em relação a alguma condição imposta, portanto não há aleatoriedade. Random e mapRandom não são funções válidas para Spark. Distinct retorna um RDD com elementos diferentes de um RDD de entrada. 6. Atualmente, Apache Spark, mais bem-sucedido framework para Big Data. Selecione a opção correta que contenha apenas funções que podem ser categorizadas como transformações no Spark. map, filter union. map, sample e collect. map, take reduce. count, collect take. reduce, first map. Data Resp. 14/04/2022 09:09:45 Explicação: Gabarito: map, filter e union. Justificativa: Algumas das funções de transformação no Spark são: map, filter, union, flatMap, mapPartitions e sample. As citadas transformações, denominadas de transformações estreitas, resultam da aplicação de funções de mapeamento e de filtragem, sendo que dados se originam de uma única partição. 7. A visualização dos dados é fundamental no processo de análise, interpretação e obtenção de conhecimento. Dentre as visualizações mais adequadas para dados numéricos estão: I Histograma II Gráfico de Dispersão III Gráfico de Pizza