Desafios - 2 Semestre - Copia-13

Prévia do material em texto

Aula 8 
 
 
A análise de big data tem se tornado cada vez mais relevante e tem por objetivo 
desenvolver métodos eficazes que permitam gerar novas informações úteis para 
realizar previsões ou compreender relações não triviais entre os dados. Ainda há 
muito trabalho de pesquisa e desenvolvimento a ser realizado para que esse 
objetivo seja plenamente atendido. Um dos desafios é armazenar, processar e 
recuperar eficientemente grandes volumes de dados. 
 
De forma geral, uma única máquina não possui recursos suficientes para 
armazenar e processar essa quantidade de dados e, nessas situações, as 
alternativas de processamento paralelo e distribuído tornam-se necessárias. 
 
O Hadoop é um framework projetado para atender a esse tipo de aplicação. 
Assim, juntamente com MapReduce, ele facilita o trabalho com big data. 
 
A instituição em que você trabalha está interessada em utilizar o big data para 
fazer análise e cruzamento de diversas informações. 
 
Padrão de resposta esperado: 
Padrão de resposta esperado 
 
1) Para trabalhar com big data é necessário ter diversas fontes de dados, com 
informações históricas e registros de diversos dados que se complementam, assim 
se torna possível fazer diversas análises e descobrir correlações entre os dados. 
 
2) - É possível analisar as provas e perceber as palavras que mais aparecem, 
identificando os conteúdos mais avaliados. 
 
- Identificar o perfil dos alunos (sexo, idade, região, etc.) e relacioná-los com os 
conteúdos das questão que mais acertaram ou erraram. 
 
- Identificar o perfil dos alunos que terminam o ensino médio e não ingressam no 
ensino superior. 
 
Diversas análises são possíveis, estes são apenas exemplos.