Metodologias de Gerenciamento de Projetos de Ciência de Dados

Prévia do material em texto

Metodologias de Gerenciamento de
Projetos de Ciência de Dados -
Análise comparativa entre KDD,
SEMMA e CRISP-DM
Mário Mitsuo Akita
Instituto Federal de São Paulo - campus Campinas
CP3013626
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
Introdução
Muito comuns nos dias de hoje, as metodologias para gerenciamento de projetos
datam de um longo período desde que começaram a propostas. Só para se ter uma ideia, o
KDD (Knowledge Discovery in Data), uma das primeiras iniciativas na área, foi proposto em
1993 e, por tanto, já tem quase 20 anos de existência! Naturalmente, conforme os projetos
escalam e ficam cada vez maiores e mais complexos, as metodologias têm de ser revistas e
aprimoradas.
Neste trabalho, percorremos algumas metodologias de desenvolvimento de
trabalhos em Ciência de Dados enfatizando suas similaridades, diferenças e como ocorreu
a evolução de cada nova geração.
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
Metodologias
“O principal motivo para se adotar uma
metodologia em algum processo é para
torná-lo reproduzível, gerenciável e
mensurável.” (MARBÁN et al., 2009, p. 2).
As metodologias para gerenciamento de projetos são atualmente muito populares na
área de Engenharia de Software sendo que sua popularização acompanhou o boom de
produtos e serviços onlines que marcou o período dos anos 2000 e 2010. Atualmente, as
chamadas metodologias ágeis de desenvolvimento de software encabeçam a lista de
metodologias utilizadas na indústria de tecnologia sendo utilizada em mais da metade das
organizações de TI. (WEST & GRANT, 2010)
Em Ciência de Dados, no entanto, o cenário é um pouco diferente. Em 2014, em
uma pesquisa publicada pela KDNuggets (PIATETSKY, 2014), observou que quase 40%
dos entrevistados utilizam uma metodologia proprietária ou específica para conduzir seus
trabalhos em ciência de dados e mineração de dados. (VAZ, 2018) Entretanto, conforme
vamos ver em detalhes a seguir, existe uma vasta gama de processos e metodologias que
podem ser utilizadas sendo os principais o KDD (Knowledge Discovery in Data), o
CRISP-DM (Cross Industry Standard Process for Data Mining) e o SEMMA (Sample,
Explore, Modify, Model and Access) que serão vistos neste trabalho com maior detalhe.
Concebidos com a intenção de organizar melhor o processo de desenvolvimento de
trabalhos em Mineração de dados (ou Ciência de Dados, termo mais comumente utilizado
atualmente) e torná-los mais fáceis de serem desenvolvidos, mantidos e suportados.
KDD ⎼ Knowledge Discovery in Data
Apesar da origem do termo “KDD process” datar do começo da década de 1990, o
termo KDD usualmente refere-se ao artigo de FAYYARD et al. (1996) em que são descritas
técnicas e aplicações do mundo real na disciplina referida no artigo como "mineração de
dados e extração de conhecimento em banco de dados” [em tradução livre]. Apesar do KDD
não ser exatamente uma metodologia por não definir as técnicas para desenvolver cada
etapa, esse processo é considerado uma base comum para muitas das metodologias
atualmente em uso nos estudos e trabalhos do campo da Ciência de Dados.
O processo KDD é composto de 9 passos divididos em 6 fases: seleção,
pré-processamento, transformação (ou formatação), mineração de dados e
interpretação de resultados. Estas fases abrangem todo o processo de extração de
conhecimento de dados abrangendo desde o entendimento dos dados disponíveis até a
avaliação dos resultados obtidos após o processamento. Por se tratar de um processo
iterativo, as saídas das fases mais avançadas podem servir de feedback para as fases
iniciais e modificarem as etapas iniciais. Além disso, por ser dependente de decisões a
serem tomadas pelo usuário, o processo é, também, interativo.
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
Fig 1 - Desenho esquemático do processo KDD traduzido livremente de FAYYARD et al., 1996
A seguir, será feita uma breve descrição do que cada fase representa. Cabe
observar que apesar da figura do cientista de dados ser presente nas descrições dos
passos, ela não está presente originalmente no artigo que descreve o processo, pois é um
termo mais recente e que foi introduzido neste trabalho com o intuito de facilitar a
compreensão das descrições.
1. Developing and Understanding of the Application Domain
(Desenvolvendo e Entendendo o Domínio da Aplicação)
Neste primeiro passo, são feitos os primeiros estudos e adquiridos os primeiros
entendimentos do significado dos dados a serem processados. É neste momento que o
cientista de dados irá descobrir sobre o domínio da aplicação a ser desenvolvida, isto é, a
origem do dado e qual é o assunto a ser tratado. Outro ponto importante a ser tratado neste
passo inicial são as competências que o cientista de dados deve possuir ou adquirir para
que possa trabalhar no assunto de interesse. Além disso, é aqui que o entendimento sobre
qual o objetivo do estudo a ser realizado é firmado e as expectativas do seu cliente são
discutidas.
2. Creating a Target Data Set (Criando um Conjunto de Dados-Alvo)
Neste passo, o conjunto de dados inicial é selecionado. Também são consideradas
as amostras a serem utilizadas e o conhecimento a ser extraído ao final do processo.
Basicamente, é neste passo que o cientista de dados irá delimitar o início de onde ele irá
partir e o objetivo final no qual ele quer chegar.
3. Data Cleaning and Pre-processing (Limpeza de Dados e
Pré-processamento)
Definido o conjunto de dados inicial, começa o processamento dos dados
propriamente dito. É neste momento que ocorre o tratamento de possíveis ruídos nos dados
coletados. Além disso, pode-se efetuar o tratamento de dados inválidos ou faltantes,
tratamento de outliers, definição dos tipos de dados a serem trabalhados, conversão de
dados, dentre outras operações que têm o objetivo de preparar os dados para facilitar o
processamento nas etapas posteriores.
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
4. Data Reduction and Projection (Redução e Projeção de Dados)
Aqui é realizada uma espécie de filtragem em que são selecionadas as features
mais representativas para o objetivo final do trabalho. Usualmente, aplica-se técnicas de
redução de features para que o conjunto de dados fique mais enxuto e otimizado. É
importante observar que, apesar do passo ser nomeado “Redução de Dados”, atualmente,
também é comum realizar técnicas de “Aumento de Dados” para melhorar a variabilidade
dos dados processados. Essa prática é muito comum, por exemplo, em visão
computacional para aumentar o grau de generalização dos modelos obtidos e evitar o
fenômeno de overfitting. (CLARO et al., 2020)
5. Choosing DM task (Escolhendo a Tarefa de Mineração de Dados)
Nesta fase, deve-se escolher qual o tipo do problema a ser solucionado. Por
exemplo, o problema a ser resolvido pode ser uma tarefa preditiva de classificação ou
regressão, ou ainda, pode ser uma tarefa descritiva de associação, agrupamento,
sumarização, dentre outros tipos (LIMA & PEREZ, n.d.).
6. Choosing DM Algorithm (Escolhendo o Algoritmo de Mineração de
Dados)
Após definido o tipo de problema a ser resolvido, deve-se definir qual o Algoritmo
mais adequado para sua resolução. De posse dos dados, da definição do problema e do
resultado vislumbrado, chega o momento de decidir como o problema será atacado. Aqui,
fica evidenciado o caráter iterativo do processo pois, a depender do algoritmo escolhido,
pode ser necessário voltar para os primeiros passos e ajustar algum pré-processamento,
por exemplo, ou ainda selecionar uma quantidade maior ou menor de features na etapa 4.
7. Data Mining (Mineração de dados)
Aqui são extraídos os padrões descobertos. Nestaetapa, serão obtidos os produtos
finais da mineração de dados que podem ser árvores de decisão, regras de agrupamento,
regressão, dentre outros dependendo do problema a ser resolvido.
8. Interpreting Mined Patterns (Interpretando os Padrões Minerados)
Nesse passo, os padrões obtidos são interpretados e analisados para que se
verifique se atingiram os objetivos. Aqui também há grande potencial iterativo pois, a
depender dos resultados obtidos, deve-se voltar para os passos anteriores e ajustar os
procedimentos realizados, uma vez que o resultado da mineração de dados é altamente
sensível aos dados de entrada.
9. Consolidating Discovered Knowledge (Consolidando o
Conhecimento Descoberto)
O último passo do processo é a aplicação do conhecimento obtido. Isto pode ser
feito de múltiplas formas tais como: incorporação dos modelos em sistemas maiores,
apresentação de relatórios para o cliente, desenvolvimento de ferramentas para tomada de
decisão ou simplesmente a documentação dos achados para usos futuros.
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
SEMMA ⎼ Sample, Explore, Modify, Model and Access
O processo SEMMA foi proposto pela SAS™ Institute e é um acrônimo em que cada
letra da sigla corresponde a uma tarefa do processo. Claramente inspirado no processo
KDD, o SEMMA foi originalmente concebido como uma documentação do software SAS™
Enterprise Miner, por isso é mais focada no processamento de dados, deixando um pouco
de lado o ponto de vista dos negócios. Um diagrama dos passos que compõem o SEMMA
está representado na figura 2 abaixo.
Fig 2 - Diagrama representativo das etapas do processo SEMMA (SAS INSTITUTE INC, 2017)
Como é possível observar no diagrama acima, o SEMMA, ao contrário do KDD, pula
as fases de entendimento do problema e aplicação da solução presentes no KDD e foca na
mineração de dados propriamente dita. Esta característica pode ser explicada quando
consideramos a hipótese do software SAS™ Enterprise Miner estar acoplado a outras
aplicações da empresa que podem se encarregar de cuidar dos processos de negócio.
Por outro lado, conforme evidenciado no diagrama, o processo SEMMA também tem
um caráter iterativo, pois as saídas de fases posteriores podem retroalimentar as fases
anteriores aprimorando o conhecimento a ser extraído dos dados de entrada. A seguir,
vamos visitar as cinco etapas do processo SEMMA:
1. Sample (Amostra)
Essa primeira fase abrange a seleção dos dados que irão compor a entrada do
modelo a ser construído. O objetivo é identificar, dentre uma vasta quantidade de dados, o
que realmente é importante para resolver o problema proposto e quais os fatores podem
influenciar o resultado final do processo. Dependendo da fonte de dados utilizada, este
passo pode ser opcional. (AZEVEDO & SANTOS, 2008)
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
2. Explore (Explorar)
Nesse passo, são realizadas análises nos dados selecionados da fase anterior.
Dentre as tarefas que podem ser realizadas nesse passo estão: análise de dependência
entre os dados de entrada, procura de anomalias estatísticas, tratamento de dados
faltantes, dentre outras.
3. Modify (Modificar)
Aqui ocorre a preparação dos dados para que sejam modelados. A limpeza de
dados que não serão processados, criação de novos dados no formato que serão
processados e conversão de tipos de dados são algumas das tarefas a serem realizadas
nessa fase.
4. Model (Modelar)
Nesta fase ocorre a modelagem de dados propriamente dita. Considerada a fase
principal em qualquer trabalho de mineração de dados, é aqui que o conhecimento será de
fato construído através de algoritmos e softwares específicos. O produto dessa fase é o
modelo.
5. Assess (Avaliar)
O estágio final do SEMMA consiste em avaliar se o modelo obtido é relevante e se
ele apresenta uma generalização da realidade. Nesse ponto, pode-se utilizar métricas e
técnicas de validação para avaliar a qualidade do produto final e, dependendo dos
resultados, há a possibilidade de utilizar esses resultados para rever as fases anteriores e
tentar melhorar a qualidade do modelo final.
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
CRISP-DM ⎼ Cross Industry Standard Process for Data Mining
O modelo de processo mais utilizado para gerenciamento de projetos de análise de
dados, mineração de dados ou ciência de dados em 2014, de acordo com uma enquete
realizada pela KDNuggets.com (PIATETSKY, 2014), o CRISP-DM foi concebido em 1996
por um consórcio de empresas de tecnologia da área de mineração de dados. (CHAPMAN
ET AL., 2000, p. 3)
Fig 3 - Representação esquemática do ciclo de vida do CRISP-DM (adaptado de
CHAPMAN ET AL., 2000, p. 13)
O CRISP-DM, como podemos observar na Figura 3, é composto de 5 fases e
também pressupõe um processo interativo como o KDD e o SEMMA. Diferente do SEMMA,
o CRISP-DM foi concebido para ser aplicado independentemente da ferramenta ou técnica
utilizada. Além disso, a padronização de tarefas proposta por esse processo pode ser
aplicada em variados domínios de problemas. A seguir, veremos as 5 fases que compõem
esse modelo de processo:
1. Business Understanding (Compreensão do negócio)
Nesta primeira fase, a ideia é formar um entendimento dos objetivos e requisitos do
projeto do ponto de vista dos negócios. A partir daí, pode-se definir o escopo e o problema a
ser resolvido pela mineração de dados bem como esboçar um plano dos recursos
necessários para que o projeto seja desenvolvido.
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
2. Data Understanding (Compreensão dos dados)
Corresponde à coleta e ao estudo mais aprofundado dos dados disponíveis. Nessa
fase ocorre uma análise mais minuciosa dos dados de entrada do projeto para que sejam
asseguradas sua qualidade e relevância - o que fatalmente irá interferir na qualidade do
modelo gerado nas próximas etapas.
3. Data Preparation (Preparação dos dados)
Geralmente, ocorrem nesta fase a limpeza de dados, as rotinas de
pré-processamento, o tratamento dos dados faltantes, a conversão de tipos de dados,
dentre outras atividades cujo objetivo é formatar adequadamente o conjunto de dados para
que o algoritmo de modelagem consiga processá-lo de maneira eficiente.
4. Modeling (Modelagem)
Análoga às fases de Modelagem e Mineração de dados dos processos SEMMA e
KDD, respectivamente, é a fase em que o modelo é efetivamente gerado. Iniciando na
escolha da técnica e algoritmo de modelagem, esta fase compreende todas as atividades
que culminarão no modelo minerado tais como: geração de conjuntos de dados para teste,
construção do algoritmo, calibração de parâmetros e determinação do desempenho do
algoritmo de modelagem.
5. Evaluation (Avaliação)
De posse do modelo gerado, precisamos avaliar qual a qualidade desse resultado e
qual sua utilidade para resolver os problemas levantados na fase de Compreensão dos
negócios. Esta fase também compreende uma revisão de todo o processo de modelagem e
pode levar a ajustes nas fases anteriores de modo a aprimorar a qualidade do modelo
obtido.
6. Deployment (Desenvolvimento / Implantação)
Após criado o modelo, é necessário aplicá-lo para que os problemas levantados
sejam efetivamente resolvidos. Esta fase trata justamente de disponibilizar o conhecimento
gerado para uso de seus clientes. Seja através de relatórios para tomada de decisão em
uma empresa, seja integrando o modelo gerado em sistemas de produção, é aqui que o
planejamento dessa implantação é executado. Também fazem parte dessa etapa final uma
extensiva revisão de todo o processo desenvolvido, o planejamento para monitoramento,
manutenção e suporte dos modelos criados, a documentaçãodo projeto de Mineração de
dados através de relatórios, guias ou outros documentos que forem julgados necessários.
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
Análise e comparação das metodologias
Sendo modelos de processos para padronizar a extração de conhecimento em
mineração de dados, é de se esperar que KDD, CRISP-DM e SEMMA compartilhem muitas
especificações e tarefas, afinal, CRISP-DM e SEMMA podem ser considerados
implementações das ideias que foram modeladas no KDD. Entretanto, há diferenças:
● KDD e CRISP-DM tentam generalizar as tarefas ao máximo para que
possam ser utilizados no maior número possível de domínios.
● SEMMA nasceu como uma implementação para um software específico e
ganhou vida própria sendo generalizada para outras ferramentas.
● Talvez por ser integrada a outras ferramentas da empresa, SEMMA não dá
tanta ênfase ao entendimento do negócio ou às tarefas de aquisição de
dados. É possível que essas fases tenham sido suprimidas por não fazerem
parte do escopo da ferramenta de Data Mining da empresa.
● Por ter uma documentação que detalha melhor as fases e quais tarefas a
serem realizadas, o CRISP-DM parece mais fácil de ser entendido e aplicado
em um projeto de mineração de dados, sendo, provavelmente, o motivo pelo
qual esta metodologia é mais utilizada nos projetos de produção.
Apesar de suas diferenças, é inegável que todos os três processos estudados têm
etapas muito similares, afinal, em um projeto de mineração de dados, não há como fugir do
ciclo básico de adquirir dados, tratá-los, extrair um modelo e analisar a qualidade do
resultado obtido. A tabela a seguir, traça uma correspondência entre KDD, SEMMA e
CRISP-DM ainda que as tarefas realizadas nas fases não sejam totalmente iguais:
KDD SEMMA CRISP-DM
Developing and Understanding of the
Application Domain - Business Understanding
Creating a Target Data Set Sample
Data Understanding
Data Cleaning and Pre-processing Explore
Data Reduction and Projection Modify Data Preparation
Choosing DM task
Model ModelingChoosing DM algorithm
Data Mining
Interpreting Mined Patterns Assess Evaluation
Consolidating Discovered Knowledge - Deployment
Tabela 1 - Equivalência de fases entre KDD, SEMMA e CRISP-DM adaptada de AZEVEDO et al.
(2008) e MARBÁN et al (2009)
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
Conclusão
Considerando que KDD, SEMMA e CRISP-DM se prestam ao objetivo de
sistematizar o processo de obtenção de conhecimento através de técnicas de mineração de
dados, é possível afirmar que todas elas possuem o núcleo muito similar mas diferem em
pontos acessórios que podem impactar na produtividade do seu projeto de mineração de
dados e, por isso, devem ser considerados na hora de escolher qual metodologia aplicar.
Por exemplo: digamos que a empresa cujo projeto será desenvolvido utilize
softwares da empresa SASⓇ, então a escolha mais lógica seria utilizar o SEMMA para que
a utilização das ferramentas seja otimizada. Entretanto, desconsiderando esse caso em
especial e os domínios que eventualmente tenham uma metodologia muito específica, dos
três modelos de processo estudados, o CRISP-DM tende a ser a escolha mais racional para
um projeto genérico.
Por possuir uma vasta documentação, ser a metodologia mais utilizada no mercado
(o que implica em uma grande quantidade de conteúdo disponível na internet e na literatura
acadêmica) e ter especificadas quais as tarefas a serem executadas em cada fase de modo
mais detalhado, este modelo seria a minha escolha pessoal para um projeto de ciência de
dados, ou pelo menos a primeira opção que eu pesquisaria.
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
Bibliografia
AZEVEDO, Ana; SANTOS,M. F.. KDD, SEMMA AND CRISP-DM: A PARALLEL OVERVIEW. 2008.
Disponível em: https://recipp.ipp.pt/bitstream/10400.22/136/3/ KDD-CRISP-SEMMA.pdf. Acesso em
02/06/2021.
CHAPMAN, Pete et al. CRISP-DM 1.0: Step-by-step data mining guide. 2000. Disponível em:
https://www.semanticscholar.org/paper/CRISP-DM-1.0%3A-Step-by-step-data-mining-
guide-Chapman-Clinton/54bad20bbc7938991bf34f86dde0babfbd2d5a72. Acesso em 03/06/2021.
CLARO, Maíra et al. Utilização de Técnicas de Data Augmentation em Imagens: Teoria e
Prática. In: Minicursos da ERCEMAPI 2020, 2020.
FAYYARD, Usama et al. From Data Mining to Knowledge Discovery in Databases. In: Advances in
Knowledge Discovery and Data Mining, 1996, p. 1-34.
LIMA, Clodoaldo A.M.; SAJANE M. Perez. “Uma introdução à Mineração de Dados (Data Mining)
– com Inteligência Artificial.” In: Minicurso da Segunda Semana de Sistemas de Informação.
LIMA, Luis O. CRISP-DM – Conceitos. Gran Cursos Online, 2020. Disponível em:
https://blog.grancursosonline.com.br/processo-de-mineracao-de-dados-com-crisp-dm/. Acesso em
03/06/2021.
MARBÁN, Óscar et al. A Data Mining & Knowledge Discovery Process Model. In: Data Mining and
Knowledge Discovery in Real Life Applications, 2009. Disponível em: www.intechopen.com. Acesso
em 15/05/2021.
PIATETSKY, Gregory. CRISP-DM, still the top methodology for analytics, data mining, or data
science projects. In: KDNuggets.com, 2014. Disponível em: https://www.kdnuggets.com/2014/10/
crisp-dm-top-methodology-analytics-data-mining-data-science-projects.html. Acesso em 02/06/2021.
SAS® INSTITUTE INC. SAS® Enterprise Miner™ 14.3: Reference Help. In: SAS® Help Center,
2017. Disponível em: https://documentation.sas.com/doc/en/emref/14.3/
n061bzurmej4j3n1jnj8bbjjm1a2.htm. Acesso em 01/06/2021.
VAZ, Arthur L. Gerenciamento de Projetos de Data Science com CRISP, 2018. Disponível em:
https://medium.com/data-hackers/project-data-science-pds-39d5a78e058a. Acesso em 24/5/2021.
WEST, Dave; GANT, Tom. Agile Development: Mainstream Adoption Has Changed Agility, 2010.
Disponível em: https://www.forrester.com/report/Agile+Development+Mainstream+Adoption+Has
+Changed+Agility/-/E-RES56100#. Acesso em 4/6/2021.
https://danielteofilo.wordpress.com/2015/02/16/kdd-knowlegde-discovery-in-database/
https://www.semanticscholar.org/paper/CRISP-DM-1.0%3A-Step-by-step-data-mining-guide-
Chapman-Clinton/54bad20bbc7938991bf34f86dde0babfbd2d5a72
https://www.kde.cs.uni-kassel.de/wp-content/uploads/lehre/ws2012-13/kdd/files/CRISPWP-0
800.pdf
https://en.wikipedia.org/wiki/Cross-industry_standard_process_for_data_mining#cite_note-cr
ispDMguide-6
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
https://danielteofilo.wordpress.com/2015/02/16/kdd-knowlegde-discovery-in-database/
https://www.semanticscholar.org/paper/CRISP-DM-1.0%3A-Step-by-step-data-mining-guide-Chapman-Clinton/54bad20bbc7938991bf34f86dde0babfbd2d5a72
https://www.semanticscholar.org/paper/CRISP-DM-1.0%3A-Step-by-step-data-mining-guide-Chapman-Clinton/54bad20bbc7938991bf34f86dde0babfbd2d5a72
https://www.kde.cs.uni-kassel.de/wp-content/uploads/lehre/ws2012-13/kdd/files/CRISPWP-0800.pdf
https://www.kde.cs.uni-kassel.de/wp-content/uploads/lehre/ws2012-13/kdd/files/CRISPWP-0800.pdf
https://en.wikipedia.org/wiki/Cross-industry_standard_process_for_data_mining#cite_note-crispDMguide-6
https://en.wikipedia.org/wiki/Cross-industry_standard_process_for_data_mining#cite_note-crispDMguide-6
https://blog.grancursosonline.com.br/processo-de-mineracao-de-dados-com-crisp-dm/
https://s2.smu.edu/~mhd/8331f03/crisp.pdf
https://recipp.ipp.pt/bitstream/10400.22/136/3/KDD-CRISP-SEMMA.pdf
https://www.datascience-pm.com/semma/
https://www.datascience-pm.com/crisp-dm-2/
https://paulovasconcellos.com.br/crisp-dm-semma-e-kdd-conhe%C3%A7a-as-melhores-t%C
3%A9cnicas-para-explora%C3%A7%C3%A3o-de-dados-560d294547d2
https://medium.com/data-hackers/project-data-science-pds-39d5a78e058a
https://en.wikipedia.org/wiki/SEMMAhttps://www.datascience-pm.com/semma/
https://drive.google.com/viewerng/viewer?url=https://cdn.intechopen.com/pdfs/5937/InTech-
A_data_mining_amp_knowledge_discovery_process_model.pdf
https://www.kdnuggets.com/gpspubs/aimag-kdd-overview-1996-Fayyad.pdf
https://itforum.com.br/coluna/kdd-e-data-mining-mais-do-que-apenas-conceitos/
Material não revisado. Use com cautela.
Ao utilizar este conteúdo (ou partes) é obrigatório referência a este artigo.
Proibido utilização comercial.
https://blog.grancursosonline.com.br/processo-de-mineracao-de-dados-com-crisp-dm/
https://s2.smu.edu/~mhd/8331f03/crisp.pdf
https://recipp.ipp.pt/bitstream/10400.22/136/3/KDD-CRISP-SEMMA.pdf
https://www.datascience-pm.com/semma/
https://www.datascience-pm.com/crisp-dm-2/
https://paulovasconcellos.com.br/crisp-dm-semma-e-kdd-conhe%C3%A7a-as-melhores-t%C3%A9cnicas-para-explora%C3%A7%C3%A3o-de-dados-560d294547d2
https://paulovasconcellos.com.br/crisp-dm-semma-e-kdd-conhe%C3%A7a-as-melhores-t%C3%A9cnicas-para-explora%C3%A7%C3%A3o-de-dados-560d294547d2
https://medium.com/data-hackers/project-data-science-pds-39d5a78e058a
https://en.wikipedia.org/wiki/SEMMA
https://www.datascience-pm.com/semma/
https://drive.google.com/viewerng/viewer?url=https://cdn.intechopen.com/pdfs/5937/InTech-A_data_mining_amp_knowledge_discovery_process_model.pdf
https://drive.google.com/viewerng/viewer?url=https://cdn.intechopen.com/pdfs/5937/InTech-A_data_mining_amp_knowledge_discovery_process_model.pdf
https://www.kdnuggets.com/gpspubs/aimag-kdd-overview-1996-Fayyad.pdf
https://itforum.com.br/coluna/kdd-e-data-mining-mais-do-que-apenas-conceitos/