TÓPICOS DE BIG DATA EM PYTHON

Prévia do material em texto

Disc.: TÓPICOS DE BIG DATA EM PYTHON 
Aluno(a): 
Acertos: 10,0 de 10,0 02/10/2022 
 
 
 
1a 
 Questão 
Acerto: 1,0 / 1,0 
 
Selecione a opção em que a computação se refere à execução de aplicações e serviços em uma rede distribuída 
usando recursos virtualizados. 
 
 Computação em Nuvem 
 
Computação Paralela 
 
Computação centralizada 
 
Computação de banco de dados 
 
Computação de Big Data 
 
 
Explicação: 
As aplicações de computação em nuvem são acessadas por protocolos de Internet e padrões de rede. As demais opções 
estão erradas, pois nenhuma delas trabalha obrigatoriamente com protocolos de internet. 
 
 
2a 
 Questão 
Acerto: 1,0 / 1,0 
 
Selecione a opção em que a camada fornece comunicação ponta a ponta nas aplicações de internet das coisas. 
 
 
Camada de enlace de dados 
 Camada de transporte 
 
Camada lógica 
 
Camada de aplicação 
 
Camada de sessão 
 
 
Explicação: 
A camada de transporte é encarregada pela comunicação ponta a ponta entre as aplicações e oferece confiabilidade, além 
de garantir que os pacotes serão entregues da mesma forma que o usuário os enviou. Em relação às outras opções, a 
camada lógica simplesmente não existe. Já a camada de enlace de dados detecta erros e, quando necessário, os corrige. 
A camada de sessão trata dos processos responsáveis pela transferência de dados. Por fim, a camada de aplicação é 
responsável pela comunicação fim-a-fim entre processos. 
 
 
3a 
 Questão 
Acerto: 1,0 / 1,0 
 
Em relação ao Hadoop, selecione a opção correta que trata da otimização da relação custo e benefício a respeito da 
expansão de uma infraestrutura. 
 
 
Variedade dos dados 
 Escalabilidade 
 
Volume de dados 
 
Flexibilidade 
 
Tempo de resposta 
 
 
Explicação: 
A escalabilidade trata da expansão de um sistema. Essa situação é bastante comum em projetos de Big Data. No caso do 
Hadoop, ele pode utilizar equipamentos comuns, como computadores pessoais formando clusters de escalabilidade 
horizontal. 
 
 
4a 
 Questão 
Acerto: 1,0 / 1,0 
 
Reconhecer os conceitos de Data Lake é fundamental para o profissional de Tecnologia da Informação. Selecione a 
opção correta a respeito do Data Lake. 
 
 
Aplicam processos de tratamento nos dados. 
 
Possui alta latência para acesso dos dados. 
 
São exclusivos da distribuição Hadoop Apache. 
 Armazenam os dados de modo eficiente. 
 
Demandam por equipamentos especiais. 
 
 
Explicação: 
O Data Lake utiliza um método muito eficiente para fazer o armazenamento dos dados. Dessa forma ele possui baixa 
latência para acessar os dados. Além disso, o Data Lake não demanda por equipamentos especiais e não é de uso 
exclusivo da distribuição Hadoop Apache. 
 
 
5a 
 Questão 
Acerto: 1,0 / 1,0 
 
O Spark é uma ferramenta computacional voltada para aplicações de Big Data. Selecione a opção correta a respeito 
do componente que pode ser tratado com o Spark SQL. 
 
 
Executor 
 
DAG 
 
Work Node 
 RDD 
 
Tasks 
 
 
Explicação: 
Gabarito: RDD 
Justificativa: O componente Spark SQL do ecossistema do Spark fornece suporte à linguagem SQL para manipular 
RDDs. DAGs correspondem a abstrações sobre as execuções dos processos. O Executor é responsável pela execução de 
tarefas individuais, enquanto o Work Node corresponde ao conjunto de máquinas que executam as tarefas que são as 
Tasks, ou seja, subdivisões do processo. 
 
 
6a 
 Questão 
Acerto: 1,0 / 1,0 
 
Observe o trecho de código abaixo 
import numpy as np 
from pyspark import SparkContext 
spark_contexto = SparkContext() 
a = np.array([1, 5, 1, 6, 4, 7, 7]) 
teste = spark_contexto.parallelize(a) 
Selecione a opção correta a respeito dele. 
 
 
O objetivo do trecho de código é contar a quantidade de ocorrências dos valores do vetor "a". 
 
A execução do trecho de código vai gerar um erro. 
 
A linha "spark_contexto.parallelize(a)" aplica a técnica MapReduce para processar o vetor "a". 
 
A utilização do SparkContext é opcional. 
 A variável "teste" corresponde a um RDD. 
 
 
Explicação: 
Gabarito: A variável "teste" corresponde a um RDD. 
Justificativa: O trecho de código está sintaticamente correto. O objetivo é criar um RDD que, no caso, é representado 
pela variável "teste" para isso é obrigatório utilizar o "SparkContext". O pacote "numpy" foi utilizado por causa da variável 
vetor "a". 
 
 
 
7a 
 Questão 
Acerto: 1,0 / 1,0 
 
A linguagem Python se destaca como intuitiva e de fácil aprendizagem. Analise o código abaixo que apresenta laços 
condicionais e instruções de repetição. 
for i in range(10): 
 if (i%2==0): 
 print(i) 
 Qual a saída esperada após a execução do programa? 
 
 
Serão impressos no console os números ímpares entre 0 e 9. 
 
Serão impressos no console os números pares entre 1 e 10. 
 
Serão impressos no console os números ímpares entre 0 e 10. 
 
Serão impressos no console os números racionais entre 0 e 9. 
 Serão impressos no console os números pares entre 0 e 9. 
 
 
Explicação: 
O constructo de laço que itera sobre uma sequência dos números reais de 0 a 9, e cujo condicional dentro do laço escolhe 
apenas os números cujo resto de sua divisão por 2 seja 0, condição lógica que define se um número é par ou não. 
 
 
8a 
 Questão 
Acerto: 1,0 / 1,0 
 
Compreender a análise de dados em Python é fundamental para o cientista de dados. Qual o papel do sistema pip da 
linguagem Python? 
 
 
Motor de Busca da IDE do Python. 
 Gerenciador de Pacotes do Python. 
 
Gerenciador de espaços virtuais do Python. 
 
Biblioteca de Processamento de Linguagem Natural. 
 
Gerenciador de memória do Python. 
 
 
Explicação: 
O papel do comando pip é gerenciar os pacotes a serem importados no Python, bem como instalá-los via comando pip install. 
Gerenciar memória é papel do sistema operacional, não do pip. A função de gerenciar espaços virtuais é atribuída ao venv, o 
virtualenv. Motor de busca é uma atribuição de IDE, não de linguagem de programação. O processamento de linguagem 
natural é função de biblioteca, diferente de gerenciamento de pacotes. 
 
 
9a 
 Questão 
Acerto: 1,0 / 1,0 
 
As redes neurais são implementadas em Python através de uma biblioteca de processamento de cálculos em 
paralelo baseada em grafos. Qual o nome desta biblioteca? 
 
 Tensorflow 
 
Numpy 
 
Plotly 
 
Scipy 
 
Pandas 
 
 
Explicação: 
A biblioteca TensorFlow foi criada com a finalidade de processar cálculos de forma paralela, em estruturas de grafos a fim 
de otimizar estes tipos de processamento, mas, devido à natureza dos modelos conexionistas, tal biblioteca foi redefinida 
como a principal biblioteca para implementação de redes neurais. 
 
 
10a 
 Questão 
Acerto: 1,0 / 1,0 
 
A qual técnica de Aprendizado de Máquina o Algoritmo de Árvore de Decisão Classificadora pertence? 
 
 Classificação 
 
Regressão 
 
Modelos Generativos 
 
Q-Learning 
 
Agrupamento 
Respondido em 02/10/2022 02:38:34 
 
Explicação: 
O algoritmo de árvore de decisão é um dos mais simples e poderosos algoritmos de aprendizado de máquina que pode ser 
utilizado tanto para regressão quanto para classificação, mas muda sua terminação dependendo da técnica em questão, 
por exemplo, para classificação é a Árvore de Decisão Classificadora, enquanto para regressão se chama Árvore 
Regressora, ou Árvore de Decisão Regressora.