Descoberta de conhecimento com BIG DATA - Desafio

Prévia do material em texto

Descoberta de conhecimento com BIG DATA
TL
Desafio
Descoberta de conhecimento em bancos de dados (KDD) é um processo utilizado a partir de uma grande coleção de dados. Essa técnica amplamente usada inclui preparação e seleção de dados, limpeza de dados, incorporação de conhecimento prévio em conjuntos de dados e interpretação de soluções precisas a partir dos resultados observados. 
Você atua como analista de banco de dados em uma empresa de crédito. Em uma base de dados de clientes da empresa, é necessário realizar um processo de mineração de dados que permita eleger os clientes mais adequados para realizar novas propostas de crédito.
Nessa base de dados, existem alguns campos de dados que não têm um padrão adequado para realização de análises com qualidade.
Com base nessas informações, responda:
1) Quais cuidados são necessários na etapa de transformação, a fim de garantir êxito na mineração dos dados? 
2) Qual a importância de realizar a adequação desses dados, garantindo uma padronização?
Padrão de resposta esperado
1) Na etapa de transformação dos dados é importante realizar a sua padronização, a fim de garantir que na etapa seguinte, de mineração, os algoritmos e técnicas processem os dados de modo a garantir o reconhecimento de padrões e uma qualificação na extração de conhecimento.
2) Neste caso é importante analisar as bases de dados em busca de campos que não tenham um padrão de preenchimento. Por exemplo, o campo data, que normalmente tem entradas nos formatos dd/mm/aaaa ou dd/mm/aa.