Avaliação da Disciplina Big Data Analytic e a Tomada de Decisões

Prévia do material em texto

01/12/2022 12:07 Avaliação da Disciplina
about:blank 1/9
Prova Impressa
GABARITO | Avaliação da Disciplina (Cod.:645387)
Peso da Avaliação 10,00
Prova 59544116
Qtd. de Questões 20
Nota 10,00
O Apache Hadoop contém uma série de componentes que podem ser integrados ao framework. Esses 
componentes podem ser úteis para as mais diversas finalidades, como armazenamento, transferência 
de grandes volumes de dados ou até mesmo aplicação de algoritmos preditivos.
 A partir das opções abaixo, classifique V para as sentenças verdadeiras e F para as falsas: 
( ) O Apache Hive é um componente que pode ser integrado ao Hadoop para coletar dados de 
fontes estruturadas.
 
( ) O Apache HBase é um banco de dados não relacional propício a ambientes Big Data, uma vez 
que suporta um grande volume de dados mantendo alto desempenho.
 ( ) O Apache Sqoop permite mover grandes volumes de dados das fontes para o HDFS. 
( ) O Apache Mahout é um componente responsável por trabalhar diretamente com os dados da 
fonte: extraindo e coletando dados tanto para processamento em lote como em tempo real.
 A partir das alternativas abaixo, assinale a CORRETA: 
A V – V – V – F. 
B F – F – V – V. 
C V – V – F – F. 
D F – V – F – V.
No dia a dia as decisões para análise de Big Data precisam ser assertivas, ou seja, é necessário saber 
qual o objetivo da análise para que as soluções realmente possam atender ao real desejo da 
organização.
 
Nesse sentido, imagine um pequeno cenário: - Um gestor de uma grande empresa alimentícia possui 
diversos sistemas com grandes volumes de dados de TI (CRM, ERP, Bases relacionais e diversos 
formatos de arquivos). Ele gostaria de monitorar os clientes que são mais aderentes (ou mais fiéis) à 
empresa, com informações mais atualizadas possíveis. O objetivo é, além de manter aqueles clientes 
com maior aderência, aproximar aqueles que porventura estejam um pouco mais distantes da empresa 
e com real possibilidade de deixarem de ser clientes fixos.
 
Qual seria a solução mais viável para auxiliar esse gestor? A partir das alternativas abaixo, assinale a 
CORRETA:
A
 Monitoramento das atividades dos clientes nas redes sociais através da coleta de dados via Spark
Streaming, armazenar todos os dados (externos e internos) no HDFS para manter uma base
histórica e realizar análises preditivas atribuindo scores para mensurar a aderência do cliente à
organização.
 VOLTAR
A+ Alterar modo de visualização
1
2
01/12/2022 12:07 Avaliação da Disciplina
about:blank 2/9
B Coleta dos dados estruturados utilizando o HiveQL e armazenamento em batch (lote) utilizando
o HDFS do Hadoop e análise tradicional em cluster para agrupar clientes com mais fidelidade em
um mesmo grupo, enquanto que outros formam um segundo grupo. 
C
 Construção de uma arquitetura de BI híbrida (lote e dados em tempo real). A coleta de dados
poderia ficar a cargo do Sqoop e o armazenamento de dados a cargo do Spark. Os dados podem
ser analisados por algoritmos de mineração de dados para mapear as atividades dos clientes. 
D
 Aplicação de processos tradicionais de ETL e armazenamento de dados no Data Lake ou Data
Warehouse. Posteriormente esses dados podem ser processados via Hadoop MapReduce. Além
disso, modelos de Machine Learning podem ser aplicados para prever se um cliente sairá ou não
da empresa.
Os métodos tradicionais de agrupamento (clustering) podem ser implementados por uma diversidade 
de algoritmos. Relacione a classe de algoritmos com os métodos, associando os itens, conforme o 
código abaixo:
 I – Algoritmos DIANA, ROCK. II – Algoritmos DBSCAN, OPTICS. 
III – Algoritmos Expectation-Maximization (EM), Self-Organization Map (SOM) 
IV – Algoritmos K-Means, CLARANS. V – Algoritmos STING, WAVECLUSTER. 
( ) Métodos hierárquicos. ( ) Métodos baseados em grid. ( ) Métodos de particionamento. 
( ) Métodos baseados em modelos. ( ) Métodos baseados em densidade. 
Assinale a alternativa que apresenta a sequência CORRETA: 
A II – V – III – IV – I. 
B III – IV – II – I – V.
C I – IV – V – II – III. 
D I – V – IV – III – II. 
A demanda por profissionais de análise de dados ampliou o escopo de exigências destes profissionais. 
As empresas estão interessadas em profissionais capacitados e que tenham habilidades em trabalhar 
com dados. Tendo isso em mente, quais são as principais habilidades requeridas para um 
profissional de dados?
A partir das alternativas abaixo, assinale a CORRETA:
A Raciocínio lógico apurado, capacidade para extrair insights de dados não estruturados,
experiência prévia em aprendizagem de máquina e pouco conhecimento do conceito de Big Data.
B
 Forte capacidade analítica, amplo conhecimento em ferramentas de visualização de dados e
frameworks de Big Data como Apache Spark e PowerBI e domínio de bancos de dados não
relacionais.
C
 Capacidade para manipulação de dados, conhecimentos em estatística e aprendizado de máquina,
habilidades com ferramentas e/ou linguagens de programação e capacidade para transmitir
resultados.
D
 Domínio de técnicas de aprendizagem de máquina, amplo conhecimento em matemática,
experiência com todos os tipos de dados ou banco de dados (extração e manipulação) e amplo
conhecimento do negócio.
3
4
01/12/2022 12:07 Avaliação da Disciplina
about:blank 3/9
Os métodos tradicionais de agrupamento (clustering) podem ser implementados por uma diversidade 
de algoritmos.
 Relacione a classe de algoritmos com os métodos, associando os itens, conforme o código abaixo: 
I – Algoritmos DIANA, ROCK.II – Algoritmos DBSCAN, OPTICS.
III – Algoritmos Expectation-Maximization (EM), Self-Organization Map (SOM)
IV – Algoritmos K-Means, CLARANS.V – Algoritmos STING, WAVECLUSTER. 
( ) Métodos hierárquicos.( ) Métodos baseados em grid.( ) Métodos de particionamento.
( ) Métodos baseados em modelos.( ) Métodos baseados em densidade. 
Assinale a alternativa que apresenta a sequência CORRETA: 
A I – V – IV – III – II. 
B II – V – III – IV – I.
C I – IV – V – II – III.
D III – IV – II – I – V.
Empresas de muitos ramos têm investido em tecnologias e análise de dados para expandirem seus 
negócios. Em geral, que circunstâncias-chave tem incentivado empresas a investirem parte de seus 
recursos em análise de dados?
 A partir das alternativas abaixo, assinale a CORRETA: 
A Mensurar retorno de investimentos, incentivos governamentais e garantia de lucro.
B Melhoria dos processos de negócio, aumento de competitividade e o valor que pode ser obtido. 
C Automatização de processos, incentivos fiscais e mão de obra barata. 
D Algoritmos cada vez mais inteligentes, redução de mão de obra e incremento tecnológico.
A análise de cluster pode ser utilizada em inúmeras aplicações do cotidiano. Além disso, as técnicas e 
algoritmos que podem ser empregados precisam ser bem escolhidos para aumentar as chances de 
sucesso. Diante disso, no que é necessário refletir antes de implementar uma aplicação para análise 
de cluster?
 A partir das alternativas abaixo, assinale a CORRETA:
A Garantir uma arquitetura robusta para suportar o volume e variedade dos dados, bem como optar
por uma ferramenta que possa fornecer suporte à análise paralela em cluster. 
B
 Verificar a quantidade de dados que será processada, bem como a variedade, mensurar os
parâmetros que serão necessários para as próximas etapas, assim como avaliar a
dimensionalidade. 
C
 Checar a quantidade de parâmetros que serão úteis para a aplicação, decidir que tipo de banco de
dados (relacional ou não relacional) será utilizado e estruturar uma arquitetura capaz de suportar
o tráfego de dados.
5
6
7
01/12/2022 12:07 Avaliação da Disciplina
about:blank 4/9
D Verificar e validar requisitos da aplicação, assim como selecionar uma ferramenta de Big Dataadequada para garantir o rápido armazenamento e processamento dos dados.
Uma das principais vantagens da clusterização baseada em MapReduce é, sem dúvida, a 
transparência de toda complexidade de implementação envolvidacom a distribuição dos dados entre 
os clusters ou mesmo a capacidade para detectar e corrigir falhas que eventualmente possam ocorrer 
durante o processo.
 
Relacione as técnicas com os algoritmos que as compõem, associando os itens, conforme o código 
abaixo:
 I – Clusterização Paralela. II – Clusterização baseada em MapReduce. ( ) GPMR. ( ) PBIRCH. 
( ) MR-DBSCAN. ( ) G-DBSCAN. A partir das alternativas abaixo, assinale a CORRETA: 
A I – II – I – II. 
B II – I – I – II. 
C II – I – II – I. 
D I – II – II – I.
O Apache Spark oferece não somente a capacidade de processamento, como também a possibilidade 
de realizar análises mais avançadas através de um conjunto de bibliotecas. Considerando isso, 
associe os itens, conforme o código abaixo:
 I – Spark SQL.II – Spark Streaming.III – Spark MLlib.IV – Spark GraphX. 
( ) Contém um conjunto de algoritmos otimizados de Machine Learning projetados para 
trabalharem em paralelo.
( ) Projetadas para processar estruturas em rede de forma otimizada e com elevada eficiência.
( ) É possível realizar consultas e processar dados estruturados em ambiente Big Data de forma ágil.
( ) Útil para manipular e processar dados de tempo real, analisando microbacths de dados de tempos 
em tempos.
 A partir das alternativas abaixo, assinale a CORRETA:
A IV – III – I – II.
B III – IV – I – II. 
C III – II – I – IV.
D II – III – IV – I. 
A etapa de pré-processamento de dados é uma das etapas mais custosas do processo, especialmente 
em dados não estruturados, que são carregados de erros advindos da linguagem humana.
 Com base nisso, classifique V para as sentenças verdadeiras e F para as falsas: 
( ) O processo de Stemming visa extrair um conjunto de palavras-chave em uma sentença. 
8
9
10
01/12/2022 12:07 Avaliação da Disciplina
about:blank 5/9
( ) A remoção de stopwords é necessária para eliminar termos que apenas fazem o elo de ligação 
entre os elementos do texto.
 
( ) Erros ortográficos precisam ser corrigidos para melhorar a qualidade dos dados e não penalizar a 
análise desses dados, é possível realizar essa correção manualmente.
 
( ) A remoção de números e espaços em branco ou caracteres especiais, muitas vezes, não é 
necessária, pois não comprometem a análise.
 
( ) A ‘tokenização’ é o processo de quebrar o texto em tokens e assim extrair termos que podem ser 
utilizados, por exemplo, para análise de frequência.
 A partir das alternativas abaixo, assinale a CORRETA: 
A F – V – V – V – V.
B F – V – V – F – V. 
C V – F – V – V – F. 
D F – F – F – V – V.
A definição de uma arquitetura que atenda às necessidades é algo central em projetos de Big Data e 
pode ajudar diretamente gestores de negócio em suas tomadas de decisão.
 
Dessa forma, em termos de projetos: que requisitos e componentes principais uma arquitetura 
tradicional deve ter? A partir das alternativas abaixo, assinale a CORRETA: 
A
 Capacidade para armazenar e processar grandes volumes de dados entregando a informação
certa no tempo certo. Para isso é necessário definir uma camada de extração e ingestão de dados
eficiente, política de armazenamento, definição do tipo de análise e uma camada para
apresentação de resultados. 
B
 Alto investimento em infraestrutura para suportar as demandas de Big Data. Implementação de
um sólido mecanismo de coleta e armazenamento de dados no Hadoop para processar grandes
volumes de dados em tempo real e uma camada de visualização que será útil para gestores de
negócio extrair insights.
C
 Lidar com dados de quaisquer naturezas obtidos a partir de diversas fontes (internas e externas).
Implementação de estrutura que suporte armazenamento e processamento em larga escala tanto
para dados em lote quanto em fluxo contínuo. 
D
 Forte mecanismo de integração de dados para entregar ao gestor de negócios informações de
forma transparente e única. É necessário alto investimento em máquinas que possam suportar o
armazenamento e processamento paralelo a fim de que seja possível analisar os dados e entregá-
los à camada de apresentação.
Além da Internet das Coisas, as pesquisas apontam para o surgimento de diversas outras tendências 
para análise de Big Data.
 A respeito disso, classifique V para as sentenças verdadeiras e F para as falsas:
( ) A forma de processamento tradicional dos computadores poderá dar espaço para os 
computadores quânticos, que prometem alto poder de armazenamento e processamento.
11
12
01/12/2022 12:07 Avaliação da Disciplina
about:blank 6/9
( ) A computação de borda (“Edge Computing”) poderá ou não substituir a computação em nuvem. 
A ideia é tratar e analisar dados tão logo sejam coletados das fontes, por isso o termo “borda”, ou 
seja, próximo a elas.
( ) A intensificação do uso de análise preditiva é algo que será percebido ao longo dos anos. A 
aposta é de que esse campo da Inteligência Artificial seja incorporado nas empresas e se tornará 
onipresente dentro de seus processos.
( ) A presença dos chatbots é uma outra forte tendência, porque à medida que mais dados chegam e 
são apresentados a estes robôs, maiores são as chances de aprendizado e automação de tarefas 
cotidianas.
 A partir das alternativas abaixo, assinale a CORRETA: 
A V – V – V – V. 
B F – V – F – F.
C V – F – V – V.
D F – V – F – V.
A clusterização é uma técnica de aprendizagem não supervisionada que visa classificar um conjunto 
de dados semelhantes em um mesmo grupo.
 No que se refere à clusterização é CORRETO afirmar que: 
A É empregada em situações onde não há conhecimento prévio de uma classe. A classificação é
feita mediante agrupamento através de alguma medida de distância. 
B Composto por várias medidas de distância, entre estas a distância Euclidiana que, devido à sua
popularidade, pode se aplicar a praticamente todas as classes de problemas.
C Dados que fazem parte do mesmo grupo apresentam um grau de similaridade ou
dissimilaridade elevado. 
D É útil para classificar um grupo de objetos com classes já definidas, por exemplo, prever a
média de vendas de casas em uma determinada região. 
O HDFS é um sistema de arquivos do Hadoop que permite armazenar grandes volumes de dados e 
possui uma arquitetura que apresenta alguns componentes importantes.
 Dentre os componentes principais da arquitetura do HDFS, assinale a alternativa CORRETA.
A
 O HDFS é formado pelo NameNode e DataNode. O primeiro é considerado mestre porque
controla todas as atividades relacionadas ao armazenamento físico dos dados em cada nó,
enquanto o segundo processa os dados e comunica ao mestre. 
B
 O HDFS é formado pelo JobTracker e o TaskTrack. O primeiro está relacionado ao
armazenamento e processamento dos dados diretamente no cluster “pai”, enquanto que o segundo
apenas obedece às instruções do pai e o notifica quando for o caso. 
C
 O HDFS é formado pelo NameNode e DataNode. O primeiro é considerado vital, pois gerencia
todos os dados que chegam ao sistema e notifica aos escravos (Data Node) em caso de falha.
Estes apenas executam as tarefas solicitadas.
D
 O HDFS é formado pelo JobTracker e o TaskTrack. O primeiro é responsável por agendar e
gerenciar as tarefas de armazenamento, enquanto que o segundo realiza as atividades diretamente
nas máquinas destino
13
14
01/12/2022 12:07 Avaliação da Disciplina
about:blank 7/9
nas máquinas destino. 
As limitações advindas de técnicas tradicionais de análise em cluster motivaram o surgimento de 
propostas, especialmente para melhoria de desempenho. Dentre essas propostas surgiram as novas 
técnicas de clusterização.
 Tendo isso em mente, classifique V para as sentenças verdadeiras e F para as falsas:
( ) As técnicas de Single Machine Clustering (SMC) representaram uma das primeiras iniciativas 
para análise de dados de grande volume.
( ) As técnicas de Multi Machine Clustering (MMC) processam e analisam grandes conjuntos de 
dados de forma paralela e dessa forma são mais eficientes que técnicas de SMC.
( ) Embora astécnicas de MMC sejam mais eficientes que abordagens tradicionais, a complexidade 
do seu uso é um fator determinante para apostar em técnicas de SCM.
 A partir das alternativas abaixo, assinale a CORRETA: 
A V – V – F. 
B F – V – V.
C V – F – F.
D V – V – V
Existem diversos métodos tradicionais que podem ser empregados para análise em cluster e são 
potencialmente interessantes em cenários de baixa complexidade - com quantidade de dados 
reduzida.
 Em relação aos métodos hierárquicos é CORRETO afirmar que:
A Divide o cluster através de níveis, onde os objetos alocados nos níveis superiores da árvore são
mais próximos entre si. 
B Apresenta como vantagem a simplicidade e o fato de ser eficiente, mesmo em situações onde o
conjunto de dados é significativo.
C Define aleatoriamente um ponto de partida para o parâmetro K e assim tenta otimizar o
resultado ao longo das iterações.
D Agrupa um conjunto de pontos de dados em uma estrutura de árvore (dendograma) e fornece
boa capacidade para comunicação dos resultados. 
Uma das soluções mais empregadas em Big Data para armazenamento, processamento e análise de 
grandes volumes de dados é conhecida como Hadoop. É uma solução open-source da Apache que 
possui diversas bibliotecas ou módulos.
 
Que características do Apache Hadoop são consideradas centrais, tanto para termos de 
armazenamento como processamento? A partir das alternativas abaixo, assinale a CORRETA: 
A
 Armazenamento por meio de um sistema de arquivos próprio que armazena grandes volumes de
dados de forma distribuída e processamento distribuído por intermédio de um modelo simples e
eficiente de programação.
15
16
17
01/12/2022 12:07 Avaliação da Disciplina
about:blank 8/9
B
 Armazenamento por meio de um sistema de arquivos distribuído e processamento
computacional veloz e paralelo utilizando GPU para tornar o processo mais eficiente. 
C Armazenamento por meio de um sistema de arquivos simples, robusto e escalável que pode ser
gerenciado por uma única máquina além de processamento em GPU para ganho de performance. 
D
 Armazenamento por intermédio de um sistema de arquivos distribuído: NTFS para máquinas em
Windows e Ext4 para sistemas Linux, o processamento é feito pelo Hadoop MapReduce que
processa paralelamente os dados de forma eficiente.
Um processo de análise de dados pode ser representado em quatro etapas. Cada uma dessas etapas 
possui particularidades que vão desde a base para implementação de análise de dados nas empresas 
até profundos e sofisticados mecanismos de análise dentro das organizações.
 
Em se tratando dos tipos de análises existentes, qual a opção que descreve a análise prescritiva? A 
partir das alternativas abaixo, assinale a CORRETA:
A
 É um tipo de análise voltado para responder apenas perguntas de situações que ainda não
ocorreram, mas que provavelmente venham a ocorrer. Isso é obtido através da criação de modelos
de aprendizagem de máquina avançados.
B
 É um processo voltado para responder perguntas do passado para inferir situações que venham a
ocorrer. Por isso, a participação humana é importante para fornecer suporte e aprimorar as
decisões obtidas pelos algoritmos implementados.
C
 Etapa mais avançada da análise de dados que fornece apoio à tomada de decisão de forma
automatizada com mínima intervenção humana. Isso é possível graças às experiências
desenvolvidas que são aperfeiçoadas ao longo do tempo.
D
 Análise prescritiva refere-se ao tipo de análise que é responsável por tomar as decisões com
independência. Procura responder perguntas como: “Por que esse evento aconteceu?” e obtém
respostas através de algoritmos de classificação.
Dados não estruturados ou desestruturados compreendem cerca de 80% de toda gama de dados 
disponíveis para extração e análise de dados.
 Em relação a esses tipos de dados é correto afirmar que: 
A Apresentam formato livre e são produzidos pela linguagem humana. Para que seja possível
realizar a análise existe a necessidade de transformá-los em um formato estruturado. 
B
 São pouco percebidos pelas empresas por conta da complexidade em lidar com essas estruturas.
São extremamente custosos se comparados ao formato estruturado e carecem de técnicas para
melhorar o processo de análise. 
C
 São de vital importância para as empresas, porém, são pouco explorados e apresentam baixo
poder de aplicabilidade. Google e IBM são algumas das poucas empresas que investem recursos
em análise de dados textuais.
D
 São dados difíceis de serem decifrados ou compreendidos pela máquina, por conta da sua
estrutura. A linguagem humana é incompreensível pela máquina, o que torna o processo de
descoberta de conhecimento inviável. 
18
19
01/12/2022 12:07 Avaliação da Disciplina
about:blank 9/9
As técnicas de Multi Machine Clustering surgiram para otimizar e melhorar a escalabilidade e o 
desempenho das análises em cluster para atender às demandas do Big Data. Em relação às técnicas 
de Multi Machine Clustering, o que é possível afirmar?
 A partir das alternativas abaixo, assinale a CORRETA:
A Apresentam como grande característica o alto poder de processamento com implementação de
baixa complexidade e algoritmos como PAM, DBSCAN e PIRBICH. 
B É constituída pelas técnicas de clusterização paralela e baseada em MapReduce que tornam o
processo de paralelização menos complexo para o desenvolvedor.
C São mais velozes que as abordagens tradicionais de agrupamento, no entanto, a alta
complexidade de implementação inviabiliza projetos de análises mais amplos. 
D É composta pela clusterização paralela e pela clusterização baseada em MapReduce. A segunda,
inclusive, torna o processo de paralelização mais transparente para o desenvolvedor. 
20
Imprimir