Atividade_04-Respostas - Anhembi Morumbi - Engenharia de Dados

Prévia do material em texto

Usuário
Curso
Teste
Iniciado
Enviado
Status
GRA0691 ENGENHARIA DE DADOS
ATIVIDADE 4 (A4)
Completada
Resultado da tentativa 9 em 10 pontos 
Tempo decorrido 33 minutos
Resultados exibidos Respostas enviadas, Respostas corretas, Comentários
Pergunta 1
Resposta Selecionada:
c. 
Resposta Correta:
c. 
Comentário
da
resposta:
“Engenheiros de dados são o elo entre as estratégias de gerenciamento do Big Data e os cientistas de
dados que precisam trabalhar com dados. O que eles fazem é construir as plataformas que permitem aos
cientistas de dados fazerem sua mágica.”
Fonte: KRETZ, Andreas. The Data Engineering Cookbook. Github, 2019. Disponível em: <https://github.
com/andkret/Cookbook>. Acesso em: 27/08/2020. p. 12.
A engenharia de dados é responsável pela realização de algumas atividades fundamentais para que os
gestores consigam ter acesso a dados qualificados e que possam ser fontes para extração de
conhecimento. Com base nessas informações e no conteúdo estudado, uma das atividades que
contribuem para essa qualificação dos dados é a:
coleta e transformação de dados.
coleta e transformação de dados.
Muito bem! A coleta e a transformação de dados realizadas através de processos, por
exemplo, de ETL, possibilitam a construção de dados organizados às necessidades de
negócios. São ajustes em dados que assumiram valores inesperados, ausentes, ou até
composição de dados e muitas outras possibilidades
Pergunta 2
“Dados semiestruturados costumam ser uma combinação de diferentes tipos de dados que têm algum
padrão ou estrutura que não é tão estritamente definida como estruturada. Por exemplo, os registros da
central de atendimento podem conter o nome do cliente + data da ligação + reclamação, em que a
informação da reclamação não é estruturada e não é de fácil manipulação em um armazenamento de
dados.”
Fonte: MINELI, M.; CHAMBERS, M.; DHIRAJ, A. Big data, big analytics: emerging business intelligence
and analytic trends for today's businesses. New Jersey: John Wiley & Sons, 2013, p. 32.
As características do dado, quanto seu formato e armazenamento, são elementos importantes a serem
considerados para sua extração e consumo de algum repositório. Com base nessas informações e no
1 em 1 pontos
1 em 1 pontos
Resposta Selecionada:
b. 
Resposta Correta:
b. 
Comentário
da
resposta:
conteúdo estudado, um modelo de armazenamento qualificado como semiestruturado é:
JSON.
JSON.
Exatamente. Os dados no formato JSON (JavaScript Object Notation) seguem um modelo
de armazenamento flexível, apresentando uma estrutura mínima, contudo, sem rigidez.
Pergunta 3
Resposta Selecionada:
d. 
Resposta Correta:
d. 
Comentário
da
resposta:
Com a “sistematização” acelerada dos processos dentro das organizações resultando em uma geração
cada vez maior de dados, desenvolver meios que permitam identificar as necessidades dos gestores que
possam ser atendidas através da exploração dessa massa de dados gerada é um desafio.
 
Quando as necessidades de gestores podem ser atendidas através do consumo dos dados disponíveis,
podemos utilizar de alguns processos para auxiliar no entendimento da demanda e dos dados. Assim, a
ação necessária nesse processo de entendimento junto aos gestores é:
extrair perguntas estratégicas do negócio.
 
extrair perguntas estratégicas do negócio.
 
Exatamente. Estimular aos gestores a externalizar questões relevantes ao negócio que
permitam o entendimento junto aos dados disponíveis é essencial para esse mapeamento.
Pergunta 4
O entendimento dos requisitos de negócios junto aos gestores e identificação dos dados necessários são
tarefas que podem ser realizadas de diferentes maneiras. Entrevistas, utilização de formulários, planilhas
(matriz de necessidades), consultas etc. Em todas essas formas, deve ser sempre levando em conta as
respostas e descobertas alcançáveis que a coleta e a construção dos dados permitirão.
Matriz de necessidades de uma organização de Saúde. Fonte: Elaborado pelo autor, 2020.
 
Com base nessas informações da matriz apresentada e no que foi estudado sobre sua leitura, qual
informação sobre as necessidades de negócio, alinhado aos dados, pode ser extraída de sua
interpretação?
1 em 1 pontos
1 em 1 pontos
Resposta
Selecionada:
c.
Resposta
Correta:
c.
Comentário
da
resposta:
É possível avaliar a quantidade de medicamentos distribuídos e o estoque por
hospital e medicamento.
É possível avaliar a quantidade de medicamentos distribuídos e o estoque por
hospital e medicamento.
Exatamente! Avaliando a matriz, verificamos que temos mapeado os assuntos distribuição,
estoque e receituário, que podem ser descritos através de medicamentos, hospitais,
pacientes e fornecedores. Esses cruzamentos estão representados pelo “x”, e assim
visualizamos que é possível obtermos indicadores da distribuição de medicamentos e do
estoque tanto por hospital quanto por medicamento.
Pergunta 5
Resposta Selecionada:
c. 
Resposta Correta:
c. 
Comentário
da
resposta:
A etapa de transformação é uma das principais de um ETL, principalmente por adicionar mais valor aos
dados através de ajustes essenciais. As outras etapas de extração e carga são necessárias, mas eles
essencialmente movem dados.
 
Muitas são as tarefas que podem ser realizadas na transformação em um ETL. Com base nessas
informações e no conteúdo estudado, qual tarefa é realizada nessa etapa?
Tratar ausência de valores.
Tratar ausência de valores.
Muito bem! Na transformação, atributos com valores em branco ou nulos, por exemplo,
podem ser tratados, por exemplo, assumindo um valor que se adeque à necessidade do
negócio ou tendo esse registro suprimido da carga.
Pergunta 6
Resposta Selecionada: b. 
Com a expansão da Internet e o aparecimento de soluções que se utilizam desse mesmo meio para sua
sobrevivência, a geração de dados se tornou algo incontrolável. Dados são continuamente gerados a
partir de redes sociais, de aplicativos de mensagens, de transações do comércio eletrônico e de diversas
outras fontes.
 
Nessa diversificação de fontes e tipos de dados, Avro e Parquet são modelos de armazenamentos de
dados que podem atender a essa diversificação e variedade de estruturas atuais. Diante desse contexto,
os dados em Avro ou Parquet podem ser caracterizados diante desses cenários como:
não estruturados.
1 em 1 pontos
1 em 1 pontos
Resposta Correta: b. 
Comentário
da
resposta:
não estruturados.
Muito bem! Avro e Parquet são modelos de armazenamento que se caracterizam por não
ter necessariamente uma estrutura ou layout rígido, possibilitando a criação de estruturas
diversas em aderência a como os dados oriundos de redes sociais ou aplicativos muitas
vezes são gerados.
Pergunta 7
Resposta Selecionada:
a. 
Resposta Correta:
a. 
Comentário
da resposta:
O dado pode ser armazenado de diversas formas. Essas diferentes formas impactam mais ou menos no
esforço de extração e consumo desse dado. Um exemplo disso é a simples demanda de obtenção de
todos os comentários relativos a um assunto em uma rede social, pois a diversidade de como o dado será
armazenado torna essa atividade complexa.
 
Da mesma maneira que existem formas de armazenamento complexas, temos outros modelos bem mais
fáceis de serem consumidos, tipificados como estruturados. Dessa forma, um modelo de armazenamento
de dado estruturado pode ser:
uma tabela de banco de dados relacional.
 
uma tabela de banco de dados relacional.
 
Muito bem! Os dados armazenados em uma tabela de banco de dados seguem uma
estrutura definida sem flexibilidade quanto ao layout acordado.
Pergunta 8
Resposta Selecionada:
O processo de Extração, Transformação e Carga de dados (ETL) envolve o entendimento das
necessidades de negócio para que assim as devidas fontes de dados sejam selecionadas e consultadas,
eventuais tratamentos sejam aplicados e a inserção qualificada no repositório de destino seja realizado.
 
A execução completa do fluxo de ETL resulta em um conjunto de dados que pode ser fonte para outras
ações na busca de conhecimentoou para a exploração direta pelo gestor na busca de respostas. Entre as
alternativas a seguir, quais representam outros resultados que podem ser alcançados com o ETL?
 
I. Mineração de dados.
II. Migração de dados.
III. Visualização de dados.
IV. Integração de dados.
V. Qualificação de dados.
 
Está correto apenas o que se afirma em:
1 em 1 pontos
1 em 1 pontos
b. 
Resposta Correta:
b. 
Comentário
da
resposta:
II, IV e V.
II, IV e V.
Muito bem. Com o ETL é possível migrar bases de dados, sejam homogêneas ou
heterogêneas. Pode-se também realizar a integração, combinando dados de fontes
diversas, além de utilizar o ETL para realizar a qualificação, aplicando tratamentos para
limpeza dados, por exemplo.
Pergunta 9
Resposta Selecionada: c. 
Resposta Correta: c. 
Comentário
da
resposta:
“Com grandes quantidades de dados agora disponíveis, as empresas em quase todos os setores estão
focadas sobre a exploração de dados para obter vantagem competitiva”. Essa definição traduz a
importância de encontrar relevância sobre os dados, não esquecendo do desafio de encontrar meios de
processar essa grande massa.
Fonte: MINELI, M.; CHAMBERS, M.; DHIRAJ, A. Big data, big analytics: emerging business intelligence
and analytic trends for today's businesses. New Jersey: John Wiley & Sons, 2013, p. 1.
 
A depender do volume de dados apresentado, a percepção de valor não é algo trivial de ser alcançado,
exigindo esforço multidisciplinar de conhecimento para essa descoberta. A partir desse contexto, quais
áreas de conhecimento a seguir estão envolvidas?
 
I. Tecnologia e Computação.
II. Matemática e Estatística.
III. Suporte de Dados.
IV. Ciência e Administração.
V. Áreas de negócio.
 
Está correto apenas o que se afirma em:
I, II e V.
I, II e V.
Muito bem! O entendimento das questões existentes e dados disponíveis passa pelo
envolvimento das áreas de negócio para extrair e determinar qual conhecimento será
relevante para a demanda. Somado a isto, utiliza-se de soluções de tecnologia e
computação que validam e se apoiam em medidas matemáticas e estatísticas que
embasam e validam o sucesso do resultado.
1 em 1 pontos
Pergunta 10
Resposta
Selecionada:
e.
Resposta
Correta:
b.
Comentário
da
resposta:
“Os dados podem ser estruturados ou não estruturados. Você pode então usar uma variedade de
processos-ferramentas – normalmente novas ferramentas do ecossistema de Big Data estendido para
extrair valor rapidamente e informar as principais decisões organizacionais.”
Fonte: LAPLANTE, Alice; SHARMA, Ben. Architecting Data Lakes: Data management architectures for
advanced business use cases. 2. ed. Califórnia: O’Reilly Media, 2018. p. 2.
A partir dessas informações e do conteúdo estudado sobre as características do processo de Extração,
Transformação e Carga (ETL), pode-se afirmar que a qualidade dos dados entregues dependerá de:
quais tipos de dados serão extraídos, visto que a construção do ETL tem limitações
quanto aos formatos de dados possíveis.
adequada compreensão dos dados de origem, pois isso será fundamental para
construção e realização com sucesso do ETL.
Resposta incorreta. Avaliar os elementos que transitam na organização desde o princípio é
essencial para planejar as atividades e tratamentos que serão necessários no ETL
garantindo um dado qualificado ao final do processamento.
0 em 1 pontos