Buscar

O Spark Streaming oferece uma abstração de alto nível conhecida como DStreams (ou Discretized Streams) que representa um fluxo contínuo de dados. A...

O Spark Streaming oferece uma abstração de alto nível conhecida como DStreams (ou Discretized Streams) que representa um fluxo contínuo de dados. Avalie as seguintes afirmações sobre os DStreams:

I – DStreams são representados em Spark como uma sequência de RDD.
II – Toda operação aplicada a um DStream é traduzida em operações em seus respectivos RDDs.
III – DStreams podem possuir como fontes de dados tanto arquivos e conexões de socket quanto fontes externas como Kafka, Kinesis, Flume e outros.
IV – Operações de saída permitem que os dados de um DStream sejam direcionados a sistemas externos como um banco de dados ou um sistema de arquivos.
V – DStreams não armazenam estados. Dessa forma não é possível armazenar informações entre o processamento de cada RDD.
A) Todas
B) I, II e V
C) I, IV e V
D) Todas, exceto V
E) Apenas IV

Essa pergunta também está no material:

Apol2 - Big Data
6 pág.

Big Data Universidade Federal do ParanáUniversidade Federal do Paraná

Respostas

User badge image

Carlos Alberto

A opção correta é a C) I, IV e V.

Vamos avaliar cada afirmação individualmente:

I - DStreams são representados em Spark como uma sequência de RDD.

Essa afirmação está correta. DStreams são uma abstração de alto nível que representa um fluxo contínuo de dados no Spark. Internamente, eles são implementados como uma sequência de RDDs (Resilient Distributed Datasets).

II - Toda operação aplicada a um DStream é traduzida em operações em seus respectivos RDDs.

Essa afirmação está incorreta. Embora um DStream seja representado internamente como uma sequência de RDDs, as operações aplicadas a um DStream não são traduzidas diretamente em operações nos RDDs subjacentes. As operações aplicadas a um DStream são otimizadas e executadas de forma transparente pelo Spark Streaming.

III - DStreams podem possuir como fontes de dados tanto arquivos e conexões de socket quanto fontes externas como Kafka, Kinesis, Flume e outros.

Essa afirmação está correta. DStreams podem ser alimentados por uma variedade de fontes de dados, incluindo arquivos, conexões de socket e fontes externas como Kafka, Kinesis e Flume.

IV - Operações de saída permitem que os dados de um DStream sejam direcionados a sistemas externos como um banco de dados ou um sistema de arquivos.

Essa afirmação está correta. O Spark Streaming fornece operações de saída que permitem direcionar os dados de um DStream para sistemas externos, como bancos de dados, sistemas de arquivos ou qualquer outro sistema de armazenamento.

V - DStreams não armazenam estados. Dessa forma não é possível armazenar informações entre o processamento de cada RDD.

Essa afirmação está correta. DStreams são projetados para serem processados em lotes discretos e não mantêm estados entre o processamento de cada RDD individual. Cada RDD em um DStream representa um lote de dados e é processado independentemente dos RDDs anteriores ou futuros.

Portanto, as afirmações corretas são I, IV e V, e a opção correta é a C) I, IV e V.


0
Dislike0

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Responda

SetasNegritoItálicoSublinhadoTachadoCitaçãoCódigoLista numeradaLista com marcadoresSubscritoSobrescritoDiminuir recuoAumentar recuoCor da fonteCor de fundoAlinhamentoLimparInserir linkImagemFórmula

Para escrever sua resposta aqui, entre ou crie uma conta

User badge image

Continue navegando