Big data

Prévia do material em texto

4. 
Analise o seguinte cenário: 
Uma empresa fintech realiza empréstimo, prospecção de clientes, análise de fotos 
de perfis e verificação de análise de sentimento em comentários do aplicativo; faz 
uso de bloco de notas (arquivo CSV) para anotar registros em formato 
tabular dentro de departamentos; e envia e-mails automáticos de marketing para 
bons perfis, de acordo com um sistema de machine learning de análise de crédito. 
Para iniciar o processo de organização dos dados dessa empresa, o que se pode 
afirmar sobre os dados estruturados e não estruturados citados? 
Resposta correta 
C. 
Os dados não estruturados são diferentes dos estruturados. Um exemplo de um contexto 
não estruturado seria a ingestão de textos dos comentários em uma estrutura Hbase, 
dentro do Hadoop, e a posterior análise de sentimento. 
Os dados não estruturados e os estruturados podem ser alocados em uma estrutura de 
arquivos HDFS do Apache Hadoop e, ainda, possibilitam realizar diversas análises, 
incluindo a de sentimento, com os serviços disponíveis dentro do ecossistema Hadoop. 
Destaca-se que os arquivos CSV contêm dados estruturados (formato tabular) e as fotos 
são dados não estruturados. 
 
3. 
O conjunto big data & analytics é uma denominação da IBM para a correlação 
entre big data, mineração de dados e inteligência do negócio. No entanto, para que 
se tenha uma mineração com êxito, precisa-se do conceito de veracidade no 
contexto do big data. 
Considerando um cenário em que não há o controle de qualidade dos dados, o que 
pode ser feito para garantir a veracidade? 
Você acertou! 
C. 
Utilizar um padrão organizado de governança de dados, por meio do DAMA DMBok 
framework, e realizar análises exploratórias para verificação dos dados e 
acompanhamento contínuo de qualidade. 
 
2. 
Uma parte muito importante do contexto big data é a ingestão dos dados. A partir 
disso, analise o seguinte cenário: 
Uma empresa tem dados oriundos do sensor RFID do sistema de ponto eletrônico e 
também diversas planilhas eletrônicas em cinco diferentes departamentos, 
totalizando mais de 15 milhões de registros feitos nos últimos 20 anos. É 
necessário unificar esses dados em um repositório único, a fim de que a análise e o 
processamento fiquem mais fáceis. 
Diante do exposto, qual é a solução possível no contexto de big data? 
Você acertou! 
C. 
É possível unir todos os arquivos em um repositório comum, em um sistema HDFS, 
inclusive, em estrutura de cluster, a fim de compor a segurança, a replicação e a 
confiabilidade. 
 
1. 
A definição de big data parte de cinco características, conhecidas como 5 Vs do big 
data, a saber: volume, velocidade, variedade, valor e veracidade. 
Das alternativas a seguir, aponte aquela que apresenta circunstâncias em que a 
velocidade é o motor principal e, assim, é preciso tomar decisões rápidas: 
C. 
Caldeira com monitoramento de temperatura; dados de um vírus altamente contagioso; 
e monitoramento de hashtags na ocorrência de desastre natural. 
5. 
A mineração de dados é um processo de aquisição de conhecimento por meio do 
que o big data entrega como informação, ou seja, é a descoberta da informação por 
meio dos dados. 
Considere uma empresa que precisa ter mais conhecimento para a melhoria de 
suas vendas. Essa empresa tem vendas mensais de 50 peças, visitação de 10 clientes 
diários, em média, e dispõe de dados pessoais do cliente, incluindo sexo, idade e 
frequência de compra; dados completos do fornecedor; links das redes sociais de 
cada cliente, por meio de um cadastro voluntário após a compra; e dados oriundos 
de um sensor que realiza a contagem de quantas vezes o cliente passa por cada 
corredor. No entanto, não há nada formal cadastrado em bancos de dados ou 
qualquer outra estrutura, além de planilhas e anotações digitais. 
Diante desse cenário, pode-se concluir que: 
Você acertou! 
B. 
pelo relato, a empresa não tem um ambiente big data, e, portanto, é possível 
simplesmente organizar dados estruturados em bancos relacionais e dados não 
estruturados em bancos NoSQL, a fim de que, posteriormente, seja realizada alguma 
mineração. 
 
 
Padrão de resposta esperado 
Considerando que os usuários têm necessidades comuns em alguns aspectos, é possível 
propor a criação de papéis. 
DENTISTAS --> CONSULTAS, CLIENTES, PROCEDIMENTOS, HISTÓRICO, 
FATURAMENTO. 
SECRETÁRIA --> CONSULTAS, CLIENTES. 
TÉCNICOS --> CONSULTAS, CLIENTES, PROCEDIMENTOS, HISTÓRICO. 
Muitas são as formas de concessão, mas, buscando a otimização, é possível criar um 
papel para consultas e clientes, e outro papel para procedimentos e histórico. Assim, em 
vez de conceder privilégio de todos os objetos a todos os usuários, serão concedidos 
privilégios aos papéis e, depois aos usuários, otimizando o processo de concessão de 
privilégio. 
create role dadosCliente; 
create role dadosConsultorio; 
grant all on table CONSULTAS to dadosCliente; 
grant all on table CLIENTES to dadosCliente; 
grant all on table PROCEDIMENTOS to dadosConsultorio; 
grant all on table HISTORICO to dadosConsultorio; 
grant dadosCliente to DENT01, DENT02, DENT03, TEC01, TEC02, SEC01; 
grant dadosConsultorioto DENT01, DENT02, DENT03, TEC01, TEC02; 
grant all on table FATURAMENTO to DENT01, DENT02, DENT03;