TÓPICOS DE BIG DATA EM PYTHON _ simulado 1

Prévia do material em texto

Disc.: TÓPICOS DE BIG DATA EM PYTHON   
	Aluno(a): 
	
	Acertos: 9,0 de 10,0
	08/04/2022
		1a
          Questão
	Acerto: 1,0  / 1,0
	
	Em relação aos desafios do processamento de fluxo de dados, selecione a opção correta.
		
	 
	Garantir a consistência da informação através da ordenação dos dados.
	
	Garantir a qualidade dos dados através de ferramentas de controle que não aceitem qualquer inconsistência.
	
	Dimensionar o projeto logo no início para evitar a necessidade de expansão posteriormente.
	
	Usar algoritmos de criptografia nos dados para evitar o acesso indevido.
	
	Aplicar recursos de redundância no projeto para reduzir a volatilidade dos dados.
	Respondido em 08/04/2022 14:51:52
	
	Explicação:
Nas aplicações de streaming de dados, dificilmente não vai ocorrer alguma inconsistência, pois, normalmente, elas estão contextualizadas em ambientes dinâmicos. Portanto, deve-se ordenar os dados para manter a consistência dos dados e, além disso, o sistema deve ter uma tolerância a falhas sendo capaz de operar ainda que haja problemas, desde que estejam dentro de um patamar de qualidade pré-estabelecido.
	
		2a
          Questão
	Acerto: 1,0  / 1,0
	
	Em relação ao protocolo de transporte para transmissão de aplicações de streaming, selecione a opção correta.
		
	
	MQTT
	
	TCP
	
	CoAP
	 
	UDP
	
	HTTP
	Respondido em 08/04/2022 14:55:53
	
	Explicação:
O protocolo UDP - protocolo de datagrama do usuário - é utilizado para aplicações de streaming por ser mais rápido. O protocolo TCP é orientado à confiabilidade e, no caso de aplicações de streaming, ele é muito lento inviabilizando a aplicação. Os protocolos HTTP, MQTT e CoAP não se enquadram no transporte de dados.
	
		3a
          Questão
	Acerto: 1,0  / 1,0
	
	O Hadoop é uma tecnologia especializada em atender as demandas de Big Data. Selecione a opção correta que contenha a linguagem de programação utilizada para o desenvolvimento e implementação do Hadoop.
		
	
	Lua
	
	Perl
	
	Java Script
	
	Python
	 
	Java
	Respondido em 08/04/2022 14:55:58
	
	Explicação:
O Hadoop foi desenvolvido usando, originalmente, a linguagem de programação Java na distribuição livre da Apache Foundation. Atualmente, diferentes distribuições do framework estão implementadas em diversas linguagens, entre as quais o Python.
	
		4a
          Questão
	Acerto: 1,0  / 1,0
	
	O Hadoop é um framework de código aberto voltado para aplicações de Big Data. Neste sentido, selecione a alternativa correta que apresenta um grande desafio no processo de configuração e gerenciamento do Hadoop.
		
	
	Gerenciamento do armazenamento de dados.
	
	Tratar dados não-estruturados.
	
	Processos de extração, transformação e carregamento dos dados.
	
	Mecanismo para melhorar o processamento dos dados.
	 
	Aplicar políticas de segurança.
	Respondido em 08/04/2022 14:56:07
	
	Explicação:
O tratamento da segurança da informação é um grande desafio para o Hadoop, pois o profissional responsável por essa etapa terá que configurar o sistema que, pela natureza dos problemas de Big Data, é uma tarefa complexa.
	
		5a
          Questão
	Acerto: 1,0  / 1,0
	
	Selecione a opção correta que contenha a operação responsável por retornar um subconjunto aleatório dos dados de entrada.
		
	
	distinct
	
	mapRandom
	
	filter
	 
	sample
	
	random
	Respondido em 08/04/2022 14:56:18
	
	Explicação:
Gabarito: sample
Justificativa: A operação responsável por retornar um subconjunto aleatório dos dados é a sample. É uma operação da categoria de transformação, sendo que se encaixa em transformações amplas, pois pode ser necessário realizar movimentações entre as partições. Filter é uma função que retorna um subconjunto de dados em relação a alguma condição imposta, portanto não há aleatoriedade. Random e mapRandom não são funções válidas para o Spark. Distinct retorna um RDD com elementos diferentes de um RDD de entrada.
	
		6a
          Questão
	Acerto: 1,0  / 1,0
	
	Atualmente, o Apache Spark, é o mais bem-sucedido framework para Big Data. Selecione a opção correta que contenha apenas funções que podem ser categorizadas como transformações no Spark.
		
	
	map, sample e collect.
	
	reduce, first e map.
	
	map, take e reduce.
	
	count, collect e take.
	 
	map, filter e union.
	Respondido em 08/04/2022 14:56:27
	
	Explicação:
Gabarito: map, filter e union.
Justificativa: Algumas das funções de transformação no Spark são: map, filter, union, flatMap, mapPartitions e sample. As citadas transformações, denominadas de transformações estreitas, resultam da aplicação de funções de mapeamento e de filtragem, sendo que os dados se originam de uma única partição.
	
		7a
          Questão
	Acerto: 0,0  / 1,0
	
	Bibliotecas poderosas de análise e manipulação de dados podem ser utilizadas com a linguagem Python. Qual o método utilizado para fazer a junção entre DataFrames no pandas?
		
	 
	values
	
	reset_index
	
	set_index
	
	sum
	 
	merge
	Respondido em 08/04/2022 15:00:57
	
	Explicação:
O método merge é equivalente ao join da SQL que junta dois DataFrames a partir de indexes do mesmo nome, ou de indexes pré-definidos pelo cientista de dados. As demais alternativas não dizem respeito à operação de junção entre DataFrames.
	
		8a
          Questão
	Acerto: 1,0  / 1,0
	
	Compreender a análise de dados em Python é fundamental para o cientista de dados. Qual o papel do sistema pip da linguagem Python?
		
	
	Gerenciador de espaços virtuais do Python.
	
	Motor de Busca da IDE do Python.
	 
	Gerenciador de Pacotes do Python.
	
	Gerenciador de memória do Python.
	
	Biblioteca de Processamento de Linguagem Natural.
	Respondido em 08/04/2022 15:01:38
	
	Explicação:
O papel do comando pip é gerenciar os pacotes a serem importados no Python, bem como instalá-los via comando pip install. Gerenciar memória é papel do sistema operacional, não do pip. A função de gerenciar espaços virtuais é atribuída ao venv, o virtualenv. Motor de busca é uma atribuição de IDE, não de linguagem de programação. O processamento de linguagem natural é função de biblioteca, diferente de gerenciamento de pacotes.
	
		9a
          Questão
	Acerto: 1,0  / 1,0
	
	Qual o processo irmão do KDD que é utilizado comumente no âmbito industrial?
		
	
	KDM.
	
	SIGM.
	
	SIGKDD.
	 
	CRISP-DM.
	
	KDD-DM.
	Respondido em 08/04/2022 15:01:57
	
	Explicação:
O processo de tamanho similar ao KDD cujo âmbito industrial se beneficia mais devido à suas etapas de entendimento do negócio é o CRISP-DM, processo esse que, diferentemente do KDD, contempla a entrega do artefato de aprendizado de máquina.
	
		10a
          Questão
	Acerto: 1,0  / 1,0
	
	A qual técnica de Aprendizado de Máquina o Algoritmo de Árvore de Decisão Classificadora pertence?
		
	 
	Classificação
	
	Agrupamento
	
	Q-Learning
	
	Modelos Generativos
	
	Regressão
	Respondido em 08/04/2022 15:04:54
	
	Explicação:
O algoritmo de árvore de decisão é um dos mais simples e poderosos algoritmos de aprendizado de máquina que pode ser utilizado tanto para regressão quanto para classificação, mas muda sua terminação dependendo da técnica em questão, por exemplo, para classificação é a Árvore de Decisão Classificadora, enquanto para regressão se chama Árvore Regressora, ou Árvore de Decisão Regressora.