AV-Linguagens de programação para ciência de dados (Python com Spark)

Prévia do material em texto

16/06/2021 Cosmos · Cosmos
https://kroton.platosedu.io/lms/m/aluno/disciplina/index/2322484/2343530 1/7
Linguagens de programação para ciência de dados
(Python com Spark)
Professor(a): Marcelo Tavares De Lima (Mestrado acadêmico)
1)
2)
Prepare-se! Chegou a hora de você testar o conhecimento adquirido nesta
disciplina. A Avaliação Virtual (AV) é composta por questões objetivas e
corresponde a 100% da média final. Você tem até cinco tentativas para
“Enviar” as questões, que são automaticamente corrigidas. Você pode
responder as questões consultando o material de estudos, mas lembre-se de
cumprir o prazo estabelecido. Boa prova!
Big Data significa grande volume de dados. Esses dados são criados e
armazenados pelas mídias sociais, aplicativos de negócios e
telecomunicações; vários outros domínios estão levando à formação de
Big Data. O Apache Spark é um framework que fornece APIs para
análise e processamento de Big Data. 
Sobre Big Data e Apache Spark, assinale a alternativa correta.
Alternativas:
Velocidade é a principal característica do Big Data e refere-se à
velocidade na distribuição dos dados.
Logs de servidores e aplicativos; imagens e vídeos gerados pela
câmera de segurança são exemplos de dados semi-estruturados.
Os dados são classificados em semi-estruturados e estruturados e
podemos extrair informações desses dados utilizando o framework
Apache Spark.
O Apache Spark é um framework para processamento Big Data e tem
como principais características: velocidade no processamento de
grande volume de dados tem suporte para diversos tipos de
linguagem de programação como Python, Java, R, Scala e C.
O Apache Spark é um framework para processamento Big Data e tem
como suporte para diversos formatos de dados (não-estruturado,
semiestruturado e estruturado).  CORRETO
Código da questão: 48970
Sobre os conceitos de Big Data e Apache Spark, considere as
seguintes afirmações: 
I. O Apache Spark é um framework para análise e processamento de Big
Resolução comentada:
Os dados são classificados em não-estruturados (logs de
servidores e aplicativos; imagens e vídeos) semiestruturados
(CSV, XML e JSON) e estruturados (banco de dados). O Apache
Spark não tem suporte para linguagem de programação C. A
propriedade Velocidade (Velocity) em Big Data refere-se à
velocidade na qual os dados estão sendo criados, armazenados e
atualizados e não na sua distribuição.
16/06/2021 Cosmos · Cosmos
https://kroton.platosedu.io/lms/m/aluno/disciplina/index/2322484/2343530 2/7
3)
Data. Além da API principal do Apache Spark, existem diversas
bibliotecas adicionais para processamento de dados, SQL, grafos e
aprendizado de máquina (machine learning) e processamento de
imagens. 
II. Spark SQL é a biblioteca mais importante do framework Apache
Spark. Através dela você pode executar consultas SQL nativas em
apenas dados estruturados. Tem suporte para linguagem em Java, Scala,
Python e R. 
III. Spark MLlib é uma biblioteca de aprendizado de máquina (machine
learning), que consiste em diversos algoritmos de aprendizagem de
máquina supervisionado e não-supervisionado. 
IV. A biblioteca Spark GraphX contém funções para trabalhar com
grafos e processamento de imagem (segmentação, filtragem e
transformação geométrica). 
São verdadeiras:
Alternativas:
II - III - IV.
II - III.
Apenas III.  CORRETO
Todas as afirmações.
Apenas I.
Código da questão: 48972
O Apache Spark é uma plataforma de computação em cluster
projetada para trabalhar com grande volume de dados (Big Data) de
forma simples e eficiente (KARAU, 2015). O projeto Spark foi
desenvolvido na linguagem ________ e executa em uma ____________.
Além da API principal do Spark, existem diversas bibliotecas adicionais
para processamento de dados, SQL, grafos e aprendizado de máquina
(machine learning). O Apache Spark contém duas estruturas de dados
para trabalhar com coleções distribuídas: ____________ e _____________. 
Assinale a alternativa que completa adequadamente as lacunas.
Alternativas:
Python; máquina virtual Java; Hashset; ArrayLis.t
Java; máquina virtual Java; DataFrame; DataSet.
Scala; máquina virtual Java; DataFrame; DataSet.  CORRETO
Resolução comentada:
Apache Spark não contém API para processamento de imagens,
portanto a opção I e IV são falsas. 
A API SQL Spark tem suporte para dados semiestruturados e
estruturados, portanto a opção II também é falsa. 
Spark MLlib é uma biblioteca de aprendizado de máquina
(machine learning), que consiste em diversos algoritmos de
aprendizagem de máquina supervisionado e não-supervisionado,
portando a opção III é correta.
16/06/2021 Cosmos · Cosmos
https://kroton.platosedu.io/lms/m/aluno/disciplina/index/2322484/2343530 3/7
4)
5)
Python; máquina virtual Java; DataFrame; ArrayList.
Scala; máquina virtual Linux; DataFrame; ArrayList.
Código da questão: 48971
Alternativas:
III - IV.  CORRETO
Todas as afirmações são verdadeiras.
Apenas I.
Apenas III.
I - II - IV.
Código da questão: 48964
Analise as sentenças sobre o framework Apache Spark e a linguagem
de programação Python.
I. O framework Apache Spark tem suporte para outras ferramentas de
armazenamento de Big Data, como o Elasticsearch, Cassandra e
MongoDB. 
II. O framework Apache Spark tem como principal característica o
processamento de grande quantidade de dados (Big Data) com alta
Resolução comentada:
O Apache Spark foi desenvolvido na linguagem Scala, em 2009,
pelo grupo de pesquisa do AMPLab da Universidade de
Califórnia – Berkeley, e executado em uma máquina virtual Java
(JVM). 
O Apache Spark contém duas estruturas de dados para trabalhar
com coleções distribuídas: DataFrame e DataSet.
Resolução comentada:
16/06/2021 Cosmos · Cosmos
https://kroton.platosedu.io/lms/m/aluno/disciplina/index/2322484/2343530 4/7
6)
latência e tem suporte para as seguintes linguagens de programação: C,
Java, R, Python, Scala e Matlab. 
III. Spark Context é o objeto (ou uma classe) que faz a conexão do Spark
ao algoritmo que está sendo desenvolvido. Ele pode ser acessado como
uma variável em um programa para utilizar os seus recursos. 
IV. Utilizando a biblioteca Spark SQL é possível obter os dados de
arquivos semiestruturados (XML, CSV e JSON) e salvar essas
informações em um banco de dados relacional (MySQL, Postgres,
Oracle). 
Assinale todas as afirmações verdadeiras
Alternativas:
I - III - IV.  CORRETO
I - II.
Apenas I.
I - II - III.
Apenas IV.
Código da questão: 48974
A linguagem de programação Python foi criada em 1991, mas só
recentemente vem sendo utilizada em grandes proporções. Isso se deve
por algumas facilitações e otimizações que a linguagem proporciona no
momento do desenvolvimento. 
Com relação a essas características, podemos afirmar sobre Python: 
I. Facilita a legibilidade. 
II. A expressividade da linguagem dificulta no desenvolvimento de
algoritmos complexos de Machine Learning. 
III. Eficiência no gerenciamento de memória. 
IV. Comunidade muito ativa contribuindo para melhoria de bibliotecas. 
V. Possibilidade de vários paradigmas de programação. 
São verdadeiras:
Alternativas:
V.
I - II - IV.
IV - V.
I - II.
I - III - IV - V.  CORRETO
Código da questão: 48943
Resolução comentada:
Apenas a alternativa II está incorreta, pois o Python apresenta
diversas vantagens, a expressividade da linguagem facilita o
desenvolvimento de algoritmos mais complexos, sendo uma
preocupação a menos para o desenvolvedor a dificuldade com a
sintaxe da linguagem.
16/06/2021 Cosmos · Cosmos
https://kroton.platosedu.io/lms/m/aluno/disciplina/index/2322484/2343530 5/7
7)
8)
O Spark tem algumas características que podem ser citadas, como,
por exemplo, o armazenamento é realizado primeiramente em memória
e somente após o processamento passa a enviar os dados para
memória, agilizando o processamento das informações. 
Além dessas características, assinale como verdadeira ou falsa as outras
mencionadas a seguir: 
( ) Otimização de operações para grafos. 
( ) Suporte para funções que vão além do Map e Reduce. 
( ) Disponibiliza umShell interativo para as linguagens Python e Scala. 
( ) A avaliação de consultas para Big Data sob demanda, contribuindo
para a otimização do fluxo do processamento de dados. 
( ) O Spark não suporta armazenamento de dados distribuídos.
Alternativas:
F – V – F – V – F.
V – F – V – V – V.
F – V – V – V – V.
F – F – V – V – F.
V – V – V – V – F.  CORRETO
Código da questão: 48947
I. O aprendizado de máquina (machine learning) é largamente
utilizado para resolver problemas complexos em diversas áreas do
conhecimento (engenharia, psicologia, medicina e computação), que
muitas vezes seria impossível de se resolver ou demoraria muito tempo
para serem resolvidos. Exemplo de aplicação bastante utilizada são
sistemas para reconhecimento facial e aplicações para segurança em
diversos países. 
II. Kyoto é um importante destino turístico que recebe mais de 8,7
milhões de visitantes por ano - um número impressionante, mesmo
para os padrões globais. A Prefeitura se juntou à companhia japonesa
para desenvolver o projeto denominado "Criando espaços públicos e
cidades seguras". O sistema combina teoria criminal com dados sobre
crimes cometidos em todas as áreas da cidade e analisa esses dados
para prever quando e onde certos tipos de crimes tendem a acontecer.
(Fonte: NEC. Tecnologia de reconhecimento facial movida a IA e
machine learning. 06/03/2018. Disponível em:
https://computerworld.com.br/brandpost/tecnologia-de-
reconhecimento-facial-movida-ia-e-machine-learning/. Acesso em: 13
nov. 2019). 
III. Entretanto, algumas questões relacionadas com moralidade e ética
precisam ser levadas em consideração antes do desenvolvimento de
aplicações que usam IA. Muitas vezes, nem percebemos que estamos
sendo manipulados e monitorados o tempo todo por aplicações
desenvolvidas utilizando inteligência artificial. 
Resolução comentada:
Somente a última afirmativa é falsa, pois o Spark suporta
armazenamento de dados distribuídos.
16/06/2021 Cosmos · Cosmos
https://kroton.platosedu.io/lms/m/aluno/disciplina/index/2322484/2343530 6/7
9)
IV. Um drone militar americano, em 2011, eliminou, por comportamento
suspeito, um grupo de homens em Datta Khel, no Paquistão, que
estavam em assembleia para resolver um conflito local; o Google, em
2017, estava sendo processado na Inglaterra em uma ação coletiva por
coletar dados de 5,4 milhões de usuários de iPhone, teoricamente
protegidos por políticas. (Fonte: KAUFMAN, Dora. A ética e a
inteligência artificial. Valor, 21/12/2017. Disponível em:
https://valor.globo.com/eu-e/noticia/2017/12/21/a-etica-e-a-
inteligencia-artificial.ghtml. Acesso em: 13 nov. 2019). 
Assinale a alternativa acerca das asserções supracitadas, bem como a
relação entre elas.
Alternativas:
A primeira asserção está incorreta, na segunda e na quarta são
citados exemplos para confirmação para a terceira.
A primeira asserção está correta, a segunda são exemplos de
contradição para a primeira, a terceira é a confirmação da primeira e a
quarta são citados exemplos para confirmação para a terceira.
A primeira asserção está correta, a segunda são exemplos para ajudar
na confirmação para a primeira, a terceira é a contradição da primeira
e na quarta são citados exemplos para confirmação para a
terceira. CORRETO
A primeira asserção está correta, na segunda e quarta são citados
exemplos para confirmação para a terceira.  INCORRETO
A primeira asserção está incorreta, a segunda é complemento para a
primeira, a terceira é a contradição da primeira e a quarta são citados
exemplos para confirmação para a terceira.
Código da questão: 48969
Sobre os conceitos de Estatística, Probabilidade e bibliotecas do
Python, considere as seguintes afirmações: 
( ) Utilizando algumas bibliotecas do Python como Numpy, pandas e
Matplotlib é possível criar e visualizar histogramas. 
( ) Na distribuição normal, o valor da média, moda e mediana são
sempre iguais. 
( ) Na correlação, se o valor da magnitude se aproxima de 1 ou -1,
indica que temos uma correlação fraca. 
( ) A biblioteca Pandas é uma poderosa biblioteca do Python usada
Resolução comentada:
A primeira asserção está correta e explica a importância do
aprendizado de máquina (machine learning) em diversas áreas. A
segunda asserção cita um exemplo de uma aplicação para
confirmar a primeira asserção. Já a terceira asserção se contradiz
com a primeira, explicando que aplicações com inteligência
artificial, muitas vezes, são utilizadas sem se preocupar com
problemas éticos e morais. Na quarta são citados dois exemplos
para confirmação da terceira asserção.
16/06/2021 Cosmos · Cosmos
https://kroton.platosedu.io/lms/m/aluno/disciplina/index/2322484/2343530 7/7
10)
principalmente para realizar cálculos em arrays e matrizes
multidimensionais. 
Assinale a alternativa que contenha a sequência correta.
Alternativas:
V – F – F – V.
V – V– F – F.  CORRETO
F – F – V – V.
F – F – F – V.
V – V – V – F.
Código da questão: 48963
Uma das principais estruturas que o Pandas disponibiliza para a
utilização são os__________. Os __________ têm estruturas que trabalham
de maneira__________. Sendo assim, eles são organizados em __________ e
__________, onde cada linha é um registro e cada coluna um campo. 
Assinale a alternativa que completa adequadamente as lacunas.:
Alternativas:
Dataframes; Dataframes; tabular; linhas; colunas.  CORRETO
Dataframes; Repositórios; tabular; X; Y.
Repositórios; Repositórios; linear; colunas; linhas.
Dataframes; Dataframes; linear; linhas; colunas.
Frames; Frames; organizada; x; y.
Código da questão: 48951
Resolução comentada:
Na correlação, se o valor da magnitude se aproxima de 1 ou -1,
indica que temos uma correlação forte. 
A biblioteca NumPy é uma poderosa biblioteca do Python usada
principalmente para realizar cálculos em arrays e matrizes
multidimensionais.
Resolução comentada:
Os DataFrames têm organização tabular, portanto são
organizados em linhas e colunas.
Arquivos e Links