Simulado 04 - Structured Streaming

Prévia do material em texto

Simulado 04: Processamento em Tempo Real com Structured
Streaming
Tópicos de Big Data em Python — Avaliação Prática
QUESTÃO 01
No Spark Structured Streaming, qual é o conceito central subjacente ao modelo de processamento de dados
em tempo real?
A Os dados em streaming são tratados como uma "Tabela Não Limitada" (Unbounded Table) à qual novos dados são
constantemente anexados.
B Os dados são processados registro por registro usando threads do sistema operacional sem abstração de
DataFrame.
C O streaming é convertido internamente para requisições REST HTTP a cada segundo.
D O motor desativa o Catalyst Optimizer para reduzir a latência de processamento.
QUESTÃO 02
Ao configurar uma consulta de streaming no PySpark, qual Output Mode (Modo de Saída) grava APENAS as
novas linhas processadas no micro-batch para o coletor de destino (sink)?
A outputMode("complete")
B outputMode("append")
C outputMode("update")
D outputMode("overwrite")
QUESTÃO 03
Para lidar com dados que chegam atrasados (late-arriving data) em agregações baseadas em janelas
temporais no Structured Streaming, utiliza-se a técnica de:
A withWatermark(timeColumn, delayThreshold)
B setTimeout(delayTime)
C dropDuplicatesAndDelay()
D coalesceLateData()
QUESTÃO 04
O mecanismo de Checkpointing em aplicações de Structured Streaming no PySpark é essencial para garantir:
A A compressão automática de arquivos de dados antigos em formato ZIP.
B A recuperação de falhas mantendo o estado do fluxo e a semântica de processamento "exactly-once".
C A criptografia ponta a ponta dos dados trafegados entre os Workers e o Broker Kafka.
D A limpeza automática das tabelas temporárias do metastore do Hive.
Simulado Tópicos de Big Data em Python — Módulo 4 Página 1 de 1