Prévia do material em texto
Inteligência Artificial e Engenharia Biomédica:
Casamento Perfeito ou Amantes Eternos?
Jorge Muniz Barreto
Laboratório de Conexionismo e Ciências Cognitivas (L3C), Depto. de Informática e de Estatística (INE)
Universidade Federal de Santa Catarina (UFSC), Brasil, 88040-900
Fone (0XX48)331-7515, Fax (0XX48)331-9770
barreto@inf.ufsc.br
Resumo - Este artigo descreve um caso de simbiose entre Engenharia Biomédica e a Inteligência Artificial (IA). Inicia-
se com um curto histórico da IA, ressaltando sua evolução no Grupo de Pesquisas em Engenharia Biomédica (GPEB)
da UFSC. Mostra como a inteligência artificial foi progressivamente entrando na biomédica, inicialmente com os
sistemas especialistas, para depois utilizar redes neurais e a matemática nebulosa. Ao longo da apresentação, algumas
vezes informal, apresenta dificuldades e sucessos que ajudam a responder a pergunta "Casamento perfeito ou amantes
eternos?" O trabalho conclui com conjecturas sobre futuras aplicações, tais como bases de dados inteligentes.
Palavras-chave: Inteligência Artificial, Engenharia Biomédica, Sistemas Especialistas, Redes Neurais.
Abstract - This paper describes the symbiosis between Biomedical Engineering and Artificial Intelligence (AI). It starts
by a short historical account of IA with emphasis on its evolution inside the Research Group on Biomedical
Engineering of UFSC. It is shown how AI was progressively being more used in Biomedical Engineering, where it
begun with Expert Systems and after neural networks and fuzzy mathematics. The presentation, sometimes informal,
mentions difficulties and success, to answer the question: "Perfect Marriage or Eternal Lovers?" The work ends with
conjectures about future applications, such as intelligent data bases.
Key-words: Artificial Intelligence, Biomedical Engineering, Expert Systems, Neural Networks.
Introdução
O título do trabalho contém dois domínios de
estudo de natureza bem distintas. O primeiro,
Inteligência Artificial (IA) pode ser considerado como
uma metodologia de resolver problemas. O segundo
como um campo de onde podem ser extraídos os mais
variados problemas envolvendo a vida e a medicina.
Esta diferença foi a base da complementaridade
destes domínios e o fundamento para um passível
casamento, em que a IA encontra um campo de
aplicação motivador, provocando novas pesquisas
metodológicas e a EB recebe soluções capazes de
melhorar a qualidade dos conhecimentos sobre a vida e
do tratmento das moléstias.
O estudo do passado das IA serve para fazer a
projeção de um futuro em que ela melhor se adapte ao
problema de suma importância que é o da compreensão
e manutenção da vida.
Histórico da IA
Será o interesse em IA recente? Não! O desejo
de criar artefatos capazes de reproduzir um
comportamento inteligente encontra suas origens nas
brumas do passado. Exemplos vão desde o distribuidor
de água em Delfos, na Grécia antiga, passando por
dispositivos mecânicos de tempos remotos aos quais se
atribuia inteligência; (alguns ainda podem ser vistos nos
dias de hoje, tais como alguns antigos relógios dentre os
quais o da catedral de Estrasburgo, encerram um
complicado mecanismo responsável pelo movimento de
inúmeras peças: galo que canta, personagens
encarnando as estações do ano, dias da semana, etc.).
Estas peças se movem cada uma a seu devido momento,
com seu ritmo próprio, de modo perfeitamente
coordenado dando a real impressão de serem totalmente
autônomas. Mais recentemente, o mito do Dr.
Frankenstein que criou, usando peças de cadáveres, um
ser inteligente, ajudou a formar toda uma mentalidade
dos perigos de ter objetos artificiais munidos de
inteligência. Não mereceria o castigo o homem
desejasse se igualar a ÊÊEle, criando uma ciatura
munida de inteligência? A mãe de Leibnitz não havia
sido presa pela Inquisição por haver seu filho construído
uma máquina capaz de efetuar as quatro operações e
converter dinheiro em moedas européias de diferentes
países (para ajudar seu pai que era contador) umas nas
outras?
Isaac Asimov [1], conhecido escritor de ficção
científica, com suas leis da robótica (1-Preservar,
proteger os humanos; 2-obedecer aos humanos; 3-
preservar sua própria integridade) ajudou a apagar o
medo dos artefatos inteligentes.
Pode-se dizer que a história da IA passou pelas
seguintes épocas [2]:
1. Época pré-histórica (antes de 1875). Nada se
conhecia sobre os mecanismos da mente, nem sob o
prisma fisiológico nem psicológico e por esta razão
seu término é em 1875, quando Camillo Golgi [2]
fisiologista italiano, usando processo que em um
mailto:Primeiro@gpeb.ufsc.br
https://www.researchgate.net/profile/Jorge_Barreto2?el=1_x_100&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
tecido constituído por muitos neurônios apenas uma
pequena percentagem ficava opaca, conseguiu
visualizar o neurônio.
Objetivo: Criar seres e mecanismos apresentando
comportamento inteligente.
Metodologia e Conquistas: Mecanismos usando
mecânica de precisão desenvolvida nos autômatos,
mecanismos baseados em teares, etc. Apelo ao
sobrenatural.
Limitações: Complexidade dos mecanismos,
dificuldades de construção. Insucesso dos apelos ao
sobrenatural.
2. Época Antiga (1875-1943). Época em que a Lógica
formal apareceu (Russel, Gödel, etc) bem como se
passou a reconhecer o cérebro como órgão
responsável pela inteligência. É nesta época que, são
colocadas as bases da IA, terminando com a
publicação do trabalho de McCulloch e Pitts [3]
modelando o neurônio.
Objetivo: Entender e reproduzir a inteligência
humana. Acredita-se ser possível tudo formalizar e
que exista o Paraiso de Hilbert.
Metodologia e Conquistas: Estudos de psicologia e
de neurofisiologia. Nascimento da psicanálise.
Desenvolvimento da Lógica formal.
Limitações: Grande distância entre as conquistas da
psicologia e da neurofisiologia. Teorema de Gödel
mostrando limites à formalização.
3. Época Romântica (1943-1956). É o otimismo
desordenado, em que se crê tudo possível. Acaba
com a reunião no Darthmouth College [4] onde
nasce a denominação IA. Ela se apresenta com
trabalhos que hoje se classificam como pertencentes
à IA simbólica (IAS), e a IA conexionista (IAC)
(com redes neurais).
Objetivo: Simular a inteligência humana em
situações pré-determinadas. Acredita-se ser possível
construir um Resolvedor Universal de Problemas.
Com efeito, o programa GPS "General Problem
Solver" é um esforço nesta direção.
Metodologia e Conquistas: Inspiração na Natureza.
Nascimento da Cibernética. Primeiros mecanismos
imitando funcionamento de redes de neurônios.
Primeiros programas imitando comportamento
inteligente.
Limitações: Limitação dos computadores.
4. Época Barroca (1956-1969). IA se retrai nos
laboratórios esperando o futuro quando tudo será
fácil será conseguido. O livro Perceptrons [5] mostra
que nem tudo é possível.
Objetivo: Encontrar aplicações da IA tanto usando a
abordagem simbólica quanto a conexionista.
Metodologia e Conquistas: Perceptron. Primeiros
sistemas especialistas usando a abordagem
simbólica. Grandes esperanças da IAS. Nasce a IA
evolutiva [6].
Limitações: Limitação dos computadores.
Dificuldades em técnicas de aprendizado das redes
neurais mais complexas.
5. Época das Trevas (1969-1981) Retraimento dos
pesquisadores em IA. Acabou quando, em outubro
de 1981, os japoneses anunciaram seus planos para a
Quinta Geração [7] de Computadores
Objetivo: Encontrar para a IA aplicações práticas.
Metodologia e Conquistas: Primeiro sistema
especialista de diagnóstico médico MYCIN [8],
preparando o renascimento.
Limitações: Interesses econômicos. Grandes firmas
procurando desmistificar os computadores,
apresentando-os como máquinas capazes de executar
ordens com grande velocidade, mas isentas de
raciocínio, atacam a IA. Convém notar, que na época
a mídia apresentava a criação de entes inteligentes
como algo ruim, por exemplo em filmes com
computadores dominando o mundo, etc. Assim o
termo cérebro eletrônico é substituído por
" ignorânciaatrevida'' para, levando ao ridículo,
afastar o público da idéia de máquinas inteligentes.
6. Renascimento (1981-1987). Começou a corrida para
IA. Os resultados obtidos nas épocas anteriores
atingem o público em geral. Sistemas especialistas
se popularizaram. Primeira conferência internacional
em Redes Neurais marca o final do período.
Objetivo: Renascimento da IA com aplicações.
Metodologia e Conquistas: Popularidade da
linguagem Prolog adotada pelos japoneses. Cresce a
importância da Lógica. Proliferação de máquinas
suportando ferramentas para IA.
Limitações: IAS e IAC evoluindo separadamente.
7. Época Contemporânea (1987 - atual). A IA penetra
nos mais diversos campos de aplicação, perde suas
características iniciais de manipular pequenos
problemas de interesse limitado e se esconde sob o
nome da aplicação. Por exemplo, nas redes de
computadores, na manipulação simbólica em
matemática, etc.
Objetivo: Alargamento das aplicações da IA. Uso
em tomografia, pesquisas em campos de petróleo, e
bases de dados inteligentes.
Metodologia e Conquistas: Redes diretas como
aproximador universal. Lógica nebulosa usada
largamente em indústrias para controle inteligente.
Sistemas especialistas se torna tecnologia dominada.
Bons resultados em problemas mal definidos com
sistemas usando hibridismo neural-nebuloso.
Aplicações: Quem sabe???. Uma possibilidade é
uma grande expansão das bases de dados
inteligentes.
Inteligência Artificial na Biomédica
Foi exatamente durante os anos em que redes
neurais ficaram com seu estudo congelado, e a IA era
chamada ignorância atrevida que apareceram as
primeiras aplicações de IA na medicina, com a tese
doutoral de Shortliffe, em 1974 [8]. Foi o início de uma
ligação que dura até os dias de hoje, em que a medicina
ajudou a IA a sair do anonimato.
https://www.researchgate.net/publication/234816828_MYCIN_A_Rule-Based_Computer_Program_For_Advising_Physicians_Regarding_Antimicrobial_Therapy_Selection?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
Tal como em um frutífero casamento, vários
outros programas, cada um com uma inovação, se
seguiram; muitos na área médica.
MYCIN ficou famoso por ter introduzido duas
idéias em IA: 1.separação de base de conhecimentos e
modo de manipular estes conhecimentos (motor de
inferência); 2.introdução dos fatores de certeza, para
tratar imprecisão. Esvaziando-se MYCIN de sua base de
conhecimentos nasceu EMYCIN ou "Empty Mycin",
que pode ser considerado como um precursor dos atuais
"shells" para construção de sistemas especialistas.
Colocou-se uma base de conhecimentos relativa a
problemas respiratórios e nasceu PUFF, sistema
especialista de diagnóstico de problemas respiratórios.
Mantendo a base de conhecimentos de MYCIN, mas
alterando seu motor de inferência, Clancey [9] criou
GUIDON, com a finalidade de ensinar o conteúdo da
base de conhecimentos de MYCIN. Acreditando na
importância do computador se adaptar ao aluno,
personalizando o ensino, foram criados os ITS
("Intelligent Tutorial Systems"), incluindo um modelo
dos conceitos do aluno sobre a matéria a aprender.
Juntamente com estes programas, vários outros
nasceram na mesma época e aí cabe a pergunta: foram
utilizados? Era o casamento da IA e Biomédica sólido?
Quem responde é o próprio Shortliffe [9]. Ele conta ter
encontrado, em uma visita ao Japão, pela primeira vez,
um sistema especialista de diagnóstico médico sendo
usado de modo rotineiro. Curioso, pediu para ver o
código do programa. Mais curioso diz ter ficado quando
constatou que o sistema seguia exatamente as idéias do
seu MYCIN. Por que usavam este programa e não os
outros que conhecia? A resposta veio da recepcionista e
era evidente: "o diretor do hospital tinha feito o sistema
e quem não o usasse seria despedido…" Era prova que o
casamento da IA com a EB estava em crise! Razões? As
de sempre, e principalmente a falta de diálogo:
• Como em todo casamento que vai mal, a culpa pode
ser atribuída a ambos.
• Os médicos não pediram ajuda de um programa para
fazer exatamente o que sabem fazer tão bem:
diagnosticar.
• Os especialistas de IA não perguntaram o que os
médicos queriam.
Veio o divórcio!
Passou-se algum tempo; os programas de
"diagnóstico" passaram a ser de ajuda à decisão, de
avaliação de risco, de suporte à pesquisa. Os médicos
começaram a se interessar. E que maravilha reconstituir
um casamento em outras bases, sem obrigações,
procurando conhecer novas possibilidades, até não
casando…
Esta é a abordagem atual. A EB impulsionou os
sistemas especialistas. Fez germinar os ITS, e agora
novos horizontes se abrem. Novos encontros voluntários
e emocionantes. Tanto o profissional da computação
quanto o médico que acreditem que o problema da
saúde é por demais complexo para ser abordado por
pessoas com um único tipo de formação.
A interdisciplinaridade se faz mister!
IA no GPEB
O início da IA no GPEB, pode ser traçada em
uma mudança de atitude da IBM quanto à IA, após o
grande movimento da imprensa em torno da quinta
geração anunciada pelos japoneses. Assim é que a IA,
de ignorância atrevida passou a ser considerada
prioritária. Desta forma, em 1984 a IBM patrocinou
uma Escola de IA (com cerca de 450 horas) para os
países europeus, fornecendo recursos para trazer
professores de várias partes do mundo (Escócia,
Inglaterra, USA, Japão, etc.) Esta escola funcionou nas
cidades de Namur e Mons, ambas na Bélgica, sendo
editado livro dos cursos [10] com ajuda de assistentes
de ambas entidades.
Ainda ocupado com esta tarefa, recebi a visita do
então Coordenador do GPEB em 1985, Professor Walter
Celso de Lima, ao término de uma viagem a países do
então bloco comunista. Tinhamos um passado de
colaboração frutífera, mas restrito ao domínio da
molelagem de sistemas fisiológicos. Este encontro abriu
novas perspectivas. Como, segundo ele, pouco havia de
IA aplicada à Biomédica, no Brasil no momento,
resolvemos escrever um trabalho conjunto. Deveria seer
um trabalho de divulgacão e motivação científica de alto
nível, a ser publicado em revista de larga difusão
nacional. Ciência Hoje estava perfeita. Foi o primeiro
trabalho publicado pelo GPEB no assunto [11].
No ano seguinte publicamos mais 4 trabalhos,
em Cuba, Brasil, Chile e Itália, começando a atrair
alunos no GPEB para o assunto. De mesma forma
estabelecendo bases sólidas para um Projeto de
Cooperação Científica, no convênio Brasil-Bélgica, que
durou 4 anos financiado pelo CNPq no Brasil e seu
correspondente na Bélgica, o FNRS ("Fond National de
la Recherche Scientifique") que teve o Prof. Lima como
Diretor do lado brasileiro e o autor do presente trabalho
pelo lado belga. Este projeto foi continuado por outro,
desta vez no âmbitro da CAPES e do Ministério da
Educação do lado belga, cuja última atividade foi
minicurso sobre redes neurais, em 1993 ministrado pelo
autor deste trabalho no GPEB. Durante estes 7 anos
foram publlicados perto de 30 trabalhos em parceria e
em nível internacional. Foi ainda em 1993 que o atual
Coordenador do GPEB [12] e presidente do presente
Congresso defendeu seu doutorado na Bélgica fruto
desta colaboração de tantos anos.
Tabela 1:Produção Científica de IA no GPEB nos 10
primeiros anos
Ano Publicações Teses e disertações
1987 1 -
1988 5 -
1989 7 -
1990 16 -
1991 11 -
1992 3 1
1993 44 -
1995 15 4
1996 19 1
1997 23 4
https://www.researchgate.net/publication/220605272_From_Guidon_to_Neomycin_and_Heracles_in_Twenty_Short_Lessons_ORN_Final_Report_1979-1985?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/33937009_Transfer_of_rule-based_expertise_through_a_tutorial_dialog?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/33937009_Transfer_of_rule-based_expertise_through_a_tutorial_dialog?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4A primeira tese de doutorado desenvolvida no
GPEB foi de IA, apresentada pelo atual Professor
Renato Garcia sobre um sistema usando redes neurais
[13]. Seguiu-se uma fase na qual os sistemas
especialistas foram assunto do mais alto interesse.
Em sistemas especialistas abordaram-se vários
aspectos encadeados, em que uma tese se baseou em
conhecimentos que o grupo ia progressivamente
obtendo com as anteriores. Houve dissertação sobre
diagnóstico de epilepsia quase em paralelo com outra,
sobre metodologia de extração do conhecimento de um
especialista médico. Outros trabalhos abordaram
traumatismos cranianos, dores toráxicas, etc. Nestes
pode-se notar uma característica importante: não são
meros sistemas especialistas em que se fez uma
excelente extração de conhecimento dos especialistas,
mas têm por trás, algo metodológico e que pode ter
usado em IA. Por exemplo, na tese sobre traumatismos
cranianos foi desenvolvido módulo de ensino com
computador em que o estudante de medicina pode, por
exploração do programa, aprender a atender futuros
pacientes [14]
Sistemas de Informação Inteligentes
No passado, por volta dos anos 60, era comum se
acreditar que as memórias enormes dos computadores
da época os tornassem verdadeiras enciclopédias
ambulantes, e houve mesmo programa de televisão em
que a demostração das capacidades de um computador
foram testadas com perguntas do tipo "quem é o
presidente do Brasil?''. Foi nesta época que se
desenvolveram os primeiros conceitos de bases de
dados e suas visões de dados, de usuários e de gerência.
Falava-se de modelos de redes e modelos hierárquico e
muito se fez com estes conceitos. Naqueles dias também
se firmou a certeza que:
De uma base de dados só se pode extrair o que se
introduziu e a qualidade das respostas depende apenas
da qualidade dos dados de entrada. O computador
serve para memorizar e extrair dados e com estes dados
vêm as informações que estão associadas.
Imaginem o que se pensaria daquele que dissesse
ser possível introduzir dados em um computador e
modos de combinar estes dados para gerar outros novos,
segundo as necessidades e estes novos dados poderiam
ser usados! O computador teria deixado de ser um
instrumento que passivamente fazia o que lhe era
comandado para se tornar um colaborador do usuário,
ou seja, seria inteligente! Imaginação fecunda de quem
nisso acreditasse... Pois é exatamente para isto que se
caminha nos dias de hoje, se bem que as bases do que se
pode chamar de um Sistema de Informação Inteligente
foram lançadas em On conceptual modeling [15]. Neste
livro se procurava estabelecer pontes entre bases de
dados, inteligência artificial e linguagens de
programação, e para isto havia, além dos trabalhos
submetidos, tais como em um congresso (não
presencial) uma abordagem destes três tópicos por
especialista de outra área.
Definições e conceitos básicos
Frequentemente muitas das dúvidas que se tem
ao estudar um assunto novo são devidas a problemas de
vocabulário. Assim, para facilitar o leitor serão
apresentados alguns conceitos básicos.
A palavra dados deve ser familiar a todo
profissional de computação, por ter estudado no início
de seu curso um assunto denominado Estrutura de
dados, no qual as arrumações principais de dados são
apresentadas (árvores, pilhas, filas, etc), e se aprende a
manipular dados. Estas manipulações são
essencialmente de caráter sintático, modificando-se a
estrutura dos dados. Pode-se portanto considerar que a
palavra dados se refere a um objeto sujeito a
manipulações sintáticas.
Definição (Sistema de Informação:) Um sistema de
informação é o objeto ℑ :
ℑ = <D,A,F,M,R,η,V>
onde:
D: conjunto de dados
A: atributos considerados relevantes e disponíveis
F: dados provindos de uma fonte de dados
M: memória de dados
R: regras de combinação de dados
f: função que fornece as visões dos dados armazenados
V: conjunto de visões sobre dados manipulados.
Sendo:
R: F x M -> M
f: M -> V
e: M, F são subconjuntos do conjunto total de dados
Exemplo (Pesquisa em arquivo): Seja a lista de
pessoas conhecidas e seus telefones. A fonte de dados
são cartões de visita, telefones ditados, etc. Estes dados
são geralmente colocados em um livro de endereços e
telefones e raras vêzes sofrem modificações. A visão é
única, a própria lista de nomes e telefones.
Exemplo (Base de dados relacional): Sejam os
dados referentes a alunos, professores e salas de aula de
um curso e deseja-se um sistema de informações capaz
de, tendo a grade curricular, fazer atribuição de
disciplinas a professores com suas preferências de
horários e alunos matriculados em cada turma, fornecer:
lista de alunos por disciplina, etc.
Neste caso os dados são representados por
relações. Definindo operações entre relações, evidencia-
se fatos que não estavam explícitos.
Definição (Informação explícita): é a que se encontra
em informação associada aos dados contidos na fonte de
dados F.
Note-se existir distinção entre dados e
informação contida nestes dados, entretanto tal nível de
detalhamento não é útil para a presente exposição. os
dados transmitindo muita informação.
https://www.researchgate.net/publication/3659708_The_student_freedom_of_a_tutor_system?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
Definição (Informação implícita): é a gerada pela
aplicação das regras sobre os dados na memória e
entrada, não está contida na entrada.
Definição (Informação de entrada supérflua): Uma
informação de entrada é dita supérflua se ela pode ser
obtida a partir dos dados de entrada e do uso das regras.
Definição (Sistema de Informações Inteligente): Um
SI é dito ser inteligente se ele é capaz de gerar
informações implícitas.
Níveis de Inteligência de um SI
O que se chama nível de inteligência de um SI
corresponde ao nível de novidade que se obtém na saída
do SI, em comparação com a entrada.
Em um SI onde só se podem obter na saída dados
que foram introduzidos na entrada, tem-se o que pode
ser chamado um sistema sem inteligência. Um sistema
de pesquisa em arquivo, como o do exemplo da lista
telefônica, é um sistema sem característica de
inteligência. Este sistema não entra na classificação a
ser apresentada.
Seja agora um SI baseado em um banco de dados
relacional, como o do segundo exemplo, em que se
tenham as tabelas das relações de atribuição de
disciplinas a professores e alunos matriculados em cada
disciplina. Pode-se facilmente responder a perguntas do
tipo "quais professores o aluno X terá?''. Ora este dado
não está explícito nas fontes de dados, mas pode ser
obtido por regras. No caso estas regras são aplicadas
manualmente, usando conectivos entre as relações
conhecidas para obter novas relações, onde se deseja.
De acordo com a definição vista acima, este é um
sistema SI inteligente, entretanto esta inteligência é
fornecida pelo usuário do sistema sob a forma da
linguagem de manipulação de dados. Diz-se que o
sistema é de Nível-0.
Nível~0 corresponde à Lógica de Proposições, por
não trabalhar com variáveis. O uso de variáveis
permitiria colocar regras como dados e ter uma base de
dados dedutiva ou Lógica, trabalhando com a Lógica
dos Predicados ou Lógica de primeira ordem, tendo-se
então um SI de Nível-1. Nestes dá-se como entradas
dados F e regras de manipulação destes dados R. Estas
regras permitem deduzir fatos implícitos e, de uma certa
forma, tem estrutura bastante semelhante a de um
sistema especialista. Descobrem-se fatos.
Tanto no caso do nível-0 como nível-1, os dados
de saída são obtidos por manipulações sintáticas. É
possível também que se deseje extrair conhecimento de
uma base de dados e aí as regras serão tratadas como
objetos que podem ser nossa incógnita (aquilo que se
deseja descobrir), memorizadas na base de regras e
quantizadas. Trata-se de Lógica de segunda ordem e o
nível de inteligência passa a ser dois. Isto ocorre no caso
das técnicas de descobrimento de conhecimento em
bases de dados, incluindo KDD ("Knowledge in Data
Discovery'')sendo o "Datamining'' uma de suas fases.
Descobrem-se regras.
Base de Dados Dedutivas
No caso dos sistemas trabalhando com o nível-1
de inteligência, as entradas do sistema são: dados F
constituindo a Base de Fatos e regras de manipulação
destes dados, R constituindo a Base de Regras. Neste
caso, a Base de dados é construída e explorada usando
ferramentas da Programação em Lógica, e tudo é feito
de modo sintático, considerando-se geralmente apenas
dois valores verdade.
Programação em Lógica está sujeita a uma
limitação de caráter teórico bastante interessante, como
consequência de um teorema devido à Gödel.
Informalmente, este teorema diz o seguinte: Todo
sistema formal consistente não é completo e todo
sistema completo não é consistente. Um sistema não é
consistente se existe alguma contradição nos seus
axiomas, tal como existir um axioma a1 e sua negação.
Um sistema formal é completo se todo teorema pode ser
provado pertencer ou não à teoria. Como normalmente
se trabalha com um conjunto de axiomas consistente
pode-se ter certeza que haverá teoremas que não se pode
provar pertencer ou não ao sistema formal.
Programação em Lógica tem sido pouco usada
em bases de dados, guardando ainda hoje muito de sua
potencialidade. Trata-se portanto de um assunto
convidativo para pesquisa. Pode-se atribuir este fato aos
seguintes pontos:
• Conhecimento limitado dos profissionais em
computação de IA, e um certo preconceito de seu uso
na solução de problemas práticos.
• Quase como conseqüência do item anterior, existe um
número muito limitado de ferramentas permitindo
integração das facilidades de um programa de apoio a
bancos de dados relacionais (por exemplo), e regras. O
mais comum são interfaces entre os dois tipos de
programas.
Extração de Conhecimento em Bases de Dados
A Extração de Conhecimento em Bases de
Dados consiste na seleção e processamento de dados
com a finalidade de identificar novos padrões, dar maior
precisão em padrões conhecidos e modelar o mundo
real. "Data mining'', em vernáculo Mineração de Dados,
se refere ao exame de grandes quantidades de dados,
procurando encontrar relações não explícitas entre
dados que possam ser usadas em modelos do mundo
com capacidade preditiva e explanatória.
Figura 1: Processo completo de descoberta de
conhecimento em bases de dados
Conhecimento
Dados
organizados
Consolidação
Pré-
processamento
Data-Mining
Interpretação
e avaliação
����
����
����
����
������
������
Repositório
Um ciclo completo está representado na Figura.1
(inspirada em Fayyad, [14]). Toma-se como ponto de
partida todos os dados que seja possível obter referentes
a um assunto, o que está representado na figura pelos
dados brutos. O passo seguinte é consolidar estes dados,
procurando dar uma estrutura conveniente para serem
explorados e para serem armazenados. Esta fase, de
grande importância, é conhecida por "Data Warehouse",
ou Armazenagem de Dados.
Neste momento é conveniente que se tenha
alguma hipótese sobre o possível modelo que se vai
obter, para que um Pré-processamento coloque os dados
de modo conveniente à obtenção deste modelo. A
obtenção do modelo, que se chama "data mining'', o
qual deve ser interpretado para se extrair o
conhecimento desejado.
Em princípio espera-se que este conhecimento
seja utilizado. Neste caso, seu uso dará frutos que
poderão ou não interferir com novos dados a serem
obtidos como mostra a Figura 1. Um exemplo real foi o
de um programa de "data mining'' que previu a subida
de preços das memórias de computador, devido a um
incêndio em uma fábrica de tintas no extremo oriente.
Claro que as pessoas nos USA (onde se deu o fato) que
souberam a previsão do programa, compraram todos os
chips disponíveis, fazendo subir ainda mais os preços.
Dois fatos aparentemente sem correlação, um incêndio e
a subida do preço de memórias de computador,
detetados por um programa, fazendo gente enriquecer...
e a razão? A fábrica era quem produzia a tinta para
pintar todos os chips fabricados na região!
Houve uma mudança no ambiente devido às
ações tomadas. Cabe agora avaliar o efeito destas ações
gerando novas estratégias para pesquisa de novas
oportunidades e novos problemas. Nova coleta de
dados, e o processo se repete.
Um outro exemplo* é o do estudo feito na
PUC/RJ sobre alunos de vestibular. O programa de
obtenção de conhecimento, depois de examinar milhares
de alunos, forneceu a regra: se o candidato é do sexo
feminino, trabalha e teve aprovação com boas notas,
então não efetiva matrícula. Estranho, ninguem havia
pensado nisso... mas uma reflexão justifica a regra
oferecida pelo programa: de acordo com os costumes do
Rio, uma mulher em idade de vestibular, se trabalha é
porque precisa, e neste caso deve ter feito inscrição para
ir para universidade pública gratuita. Se teve boas notas
provavelmente foi aprovada na universidade pública
onde efetivará matrícula. Claro que há excessões:
pessoas que moram em frente à PUC, pessoas mais
velhas, de alto poder aquisitivo e que voltaram a estudar
por outras razões que ter uma profissão, etc. Mas a
grande maioria obedece à regra enunciada!
As principais tecnologias usadas em KDD são:
•Organização de dados ("data warehousing'').
•Banco de dados distribuídos se fazem úteis pois
frequentemente se é obrigado a trabalhar com grande
* Comunicação pessoal do Prof. Emmanuel Piseses
L. Passos em 1997
volume de dados que se encontram distribuídos em
diferentes plataformas.
•Estatística.
ª Técnicas de agrupamento usando conceitos da
matemática nebulosa.
•Técnicas gráficas com suas vantagens principalmente
no caso de um número de dimensões pequeno.
•IA e sistemas especialistas, principalmente os
conceitos apresentados em seção anterior referentes
à programação em lógica.
•Redes neurais e seus paradigmas de aprendizado
supervisionado e não supervisionado.
Principalmente neste segundo caso estas redes se
mostram úteis por suas características de mostrar
agrupamentos de dados semelhantes, fato
dificilmente detetável sem seu auxílio.
•Interfaces amigáveis incluindo realidade virtual.
Figura 2: Ciclo iterativo de descoberta de conhecimento
em bases de dados e seu uso.
Organizando os Dados
As primeiras etapas para descoberta de
conhecimento em grande quantidade de dados envolve
operações sobre estes dados e que muitas vezes
são executadas de modo imperativo. Elas são:
• Estudar o domínio da aplicação e tentar ter um
conhecimento prévio que julgue relevante. Tente
identificar o objetivo do cliente sob o seu ponto de
vista, mas atenção: muita cautela no uso de
conhecimento prévio vindo do cliente. Com efeito, é
necessário que o profissional de IA conheça
perfeitamente os objetivos do cliente. Sem estes
conhecimentos, ele não poderá selecionar dados de
modo conveniente. Por outro lado, é necessário evitar
ao máximo todo o conhecimento prévio oriundo do
cliente pois este conhecimento poderá estar ocultando
fatos ou dando interpretações apressadas que é o que
se deseja encontrar. Quando o cliente sugerir soluções
que possivelmente serão obtidas depois do processo de
descoberta de conhecimentos "data mining", a melhor
política seria fingir que prestou atenção e nem ouví-las
para não ficar influenciado por elas. Cuidado especial
deve-se ter com clientes que acreditam não precisar de
inteligência artificial e que tentarão dar soluções por já
terem ouvido falar da experiência de outros. Não os
ouça.
• Criar um conjunto de dados alvo a partir de todos os
dados disponíveis. Retirar atributos que são
desnecessários, e verificar se os atributos do modelo
Descoberta de
Conhecimento em
Base de Dados
Uso do
Conhecimento
Conhecimento
Identificação
do Problema
Resultados
Efeito das
Ações
Estratégia
Problema
Ciclo Básico
https://www.researchgate.net/publication/3659708_The_student_freedom_of_a_tutor_system?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
que se desejacriar estão presentes. Note-se que todos
os atributos que possam ter alguma influência sobre o
resultado final, devem ser incorporados. Se alguns
destes atributos não forem relevantes, os algoritmos de
"data mining" descobrirão e se terá certeza de modo
científico e não intuitivo, que, aquele atribuído não é
relevante.
• Finalmente deve-se fazer um pré-processamento.
Neste passo os dados passam por uma "limpeza'', na
qual, pode-se eliminar registros incompletos ou
inconsistentes e calcular alguns atributos (ex: médias,
variâncias,...)
As Etapas da Descoberta de Conhecimentos
As etapas de "Data Mining" dependem
fundamentalmente do método utilizado para tratamento
dos dados.
Seja o caso de um gerente de banco [14] que
deseja um auxílio à avaliação de seus clientes em vistas
de empréstimo. Para isto ele dispõe das fichas de
empréstimos passados, com vários dados sobre cada
cliente: idade, renda mensal, dívida total, casa própria
ou não, etc, e anotado na ficha se é ou não bom pagador.
Em uma primeira fase é conveniente eliminar
atributos que não influenciem em ser ou não bom
pagador. Para isto devem ser usadas técnicas
estatísticas. Seja o atributo idade. Obtém-se a
distribuição de número de clientes por faixa de idade
para os dois casos e usa-se teste de hipóteses para saber
se as duas distribuições são diferentes ou iguais. Se o
teste estatístico indicar que as mesmas devem ser iguais,
o atributo pode ser desprezado, caso contrário ele
deverá ser levado em conta.
Suponha-se que foram considerados relevantes
os atributos: renda mensal e dívida total (apenas dois
para permitir uma representação gráfica no plano; no
caso real de n atributos relevantes se deveria trabalhar
de modo análogo em n dimensões. A Figura 3 mostra o
gráfico deste caso, onde os pontos marcados com uma
cruz são representativos de clientes bom pagadores e os
com um pequeno zero dos mau pagadores. Vários
modelos podem ser tentados para separar os pontos
marcados com "x" dos marcados com um "o" Mostra-se
o melhor que pode ser obtido com um separador linear,
tal como o Perceptron e a utilização de um separador
não linear, como por exemplo uma rede direta
multicamada.
Figura 3: Data mining efetuado graficamente.
Quando o número de dimensões envolvidas não
é grande, métodos gráficos são de grande valia .
Aplicações de Data Mining
A descoberta de conhecimentos em grandes
bases de dados já transpôs os muros dos laboratórios de
pesquisa e está sendo largamente utilizada. Sem ir muito
longe, a primeira tese de doutorado defendida na UFSC,
em Ciência da Computação por Mirela S. M. A. Notare
pode se enquadrar neste tópico e como um último
exemplo, distinto de nosso assunto biomédica, será
mencionado. Existe atualmente uma explosão no
número de telefones celulares e com ela crimes, dentre
os quais, a clonagem, se tornam correntes. Os
telefonemas dados pelos possuidores de telefone são
armazenados para fins de contabilidade podem ser
organizados para detetar hábitos dos usuários de
celulares. Quando um telefonema for feito e que seja
considerado pelo sistema como uma excessão, o
programa faz uma chamada ao assinante do celular
origem da chamada para confirmar se foi ou não uma
fraude. Simples, não?
Presentemente existe ainda muito pouca
penetração das técnicas de "data mining" em medicina.
Um esforço neste sentido pode ser visto nos documentos
[15], [16]. No momento, o ponto que está freando o uso
de "data mining" em medicina é que "data mining",
sendo uma nova concepção dirigida para pesquisa, ainda
é quase completamente desconhecida da comunidade
médica. Ora, se existem dados clínicos abundantes,
estes dados são frequentemente inadequados a um
estudo de "data mining" por não conterem dados, que
apesar de aparentemente inúteis, são exatamente os que
o pesquisador "data mining" procura.
Por exemplo, suponha-se que se deseje descobrir
fatores de risco podendo acarretar malformações em
recém-nascidos [17]. Precisa-se dispor dos prontuários
de vários casos apresentando e não apresentando a má-
formação em estudo, e que nestes prontuários estejam
informações sobre os pontos que se possa suspeitar:
• Fatores genéticos? é necessário ter dados familiares.
ª Sorologia de Lues (sífilis).
• Compatibilidade de fatores RH dos pais.
• Testagem de Apgard feita no primeiro e quinto
minutos de vida
ª Droga tomada durante gravidez? Tudo que a gestante
tomou deve estar no conjunto de dados disponível.
• Alcoolismo? Tabagismo? Outras drogas socialmente
menos aceitas? Devem constar no prontuário.
• Uso de Forceps
• Tempo de anestesia, se Cesariana
• Se houve permanência em incubadora.
• Gravidez de alto risco.
• Grau de parentesco dos pais.
Tudo que se possa causar a mínima desconfiança
deve constar do prontuário, assim como devem estar
disponíveis também prontuários de recém-nascidos
sadios. Informações do tipo: nome do recém-nascido e
de seus familiares, endereço, etc, enfim tudo que possa
identificar o caso, por razões éticas, deve ser suprimido.
Felizmente, geralmente estes dados suprimidos não são
relevantes para o tipo de pesquisa que se deseja efetuar.
https://www.researchgate.net/publication/228505642_KDD_para_o_Estudo_Epidemiologico_das_Malformacoes?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/3659708_The_student_freedom_of_a_tutor_system?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
De um modo geral as aplicações de data mining
podem ser classificadas em dois grupos principais:
exploração-descoberta, predição-classificação. O tipo
de conhecimento a ser extraído, depende muito do tipo
do objetivo que se tem em vista. Pode ser representado
por um conjunto de classes, descrições e regras, árvores
de decisão, etc. Uma aplicação de exploração-
descoberta acabou de ser apresentada no exemplo das
malformações. O caso de predição-classificação é
típico do raciocínio complementar ao que foi feito. Aqui
se deseja, em uma populacão de indivíduos, prever, por
exemplo, o risco de se expor a determinado fator, por
exemplo: produtos químicos, trabalhar em local com
fumantes, etc.
Ainda considerando o exemplo dos clientes, seria
possível utilizar uma rede neural tipo Kohonen e neste
caso, não seria necessário identificar na tabela as duas
classes de clientes (compram muito e compram pouco).
A rede iria separar em classes de clientes semelhantes o
que daria provavelmente muitas surpresas.
Surpresas e uso de "data mining" vem quase
sempre juntos e por esta razão "data mining" é útil. Se
assim não fosse, e o conhecimento extraido fosse óbvio,
que se teria ganho?
Além disto, "data mining" serve para mostrar o
quao complexo é o processo de informatizar um centro
de saude [18]: restringir-se a bases de dados e redes
locais seria como em um restaurante francês, pedir um
"steak aux poivres" e esquecer do molho de pimenta!
Discussão e Conclusões
Passada a euforia dos primeiros tempos, pode-se
dizer que as aplicações biomédicas da IA se consolidam
progressivamente. Médicos usam sistemas inteligentes
como ajuda à decisão. Alunos usam programas
inteligentes de ensino, não somente aplicando o
conceito de tutorial inteligente, como introduzido por
Clancey, mas explorando as mais variadas facetas da
IA. Mais recentemente aplicações de bases inteligentes
de dados começaram a aparecer.
Casamento Perfeito ou Amantes Eternos?
E por que não pode haver amor num casamento
que completou suas "Bodas de Prata" ano passado, com
os 25 anos de MYCIN? Como todo casamento, teve
seus altos e baixos, mas continua sólido. O futuro?
Vivamos o presente e com isto o construiremos…
Agradecimentos
Inicialmente cabe agradecer aos organizadores
do evento pela oportunidade de voltar a assunto que me
é tão caro e deixar registrado fatos da minha carreira de
pesquisador. A lista é longa, mas meu agradecimento a
todos aqueles com quem pude aprender,principalmente
meus alunos.
Referências
[1] I Asimov, I. Robot, Dobson Books, Great Britain,
1967.
[2] J. M. Barreto, Inteligência Artificial no Limiar do
Século XXI, 2a edição, Duplic, Florianópolis,
2000.
[3] W. McCulloch and W. Pitts, "A Logical Calculus of
the Ideas Immanent in Nervous Activity", Bulletin
of Mathematical Biophysics, 5, 115--133, 1943.
[4] C. Shannon, and J. McCarty (edt.), Automata
Studies, Princeton Univ. Press, New Jersey , 1956.
[5] M. L. Minsky and S. A. Papert, Perceptrons: an
introduction to computational geometry, The MIT
Press, Massachussets, 1969.
[6] E. A. Feigenbaum and P. McCorduck, The Fifth
Generation, Addison-Wesley, 1983.
[7] L. J.. Fogel, A. J. Owens and M. J. Walsh,
Artificial Intelligence Through Simulated
Evolution, John Wiley, 1966.
[8] E. H. Shortliffe, "MYCIN: a rule-based computer
program for advising physicians regarding
antimicrobial therapy selection", Tese de
Doutorado, Computer Science Department,
Stanford University, California, 1974.
[9] W. Clancey, "Transfer of rule-based expertise
through a tutorial dialog", Tese de Doutorado,
Computer Science Department, Stanford
University, California, 1979.
[10] W. Clancey, "From GUIDON to NEOMYCIN and
HERACLES in Twenty Short Lessons", in Current
Issues in Expert Systems, A. van Lamsweerde and
P. Dufour (editores), p. 79--124, 1987.
[11] W. C. de Lima and J. M. Barreto, "Inteligência
Artificial", Ciência Hoje, v.7, 38, p. 50-56, 1987.
[12] F. M de Azevedo, "Contribution to the Study of
Neural Networks in Dynamical Expert System",
Tese de doutorado, Institut d'Informatique,
FUNDP, Namur, Bélgica, 1993.
[13] R. Garcia, "Técnicas de inteligência artificial
aplicadas ao apoio à decisão médica na
especialidade de anestesiologia", Tese de
doutorado, Univ. Fed. de Santa Catarina, Dept.
Eng. Elétrica, Florianópolis, 1992.
[14] J. M. Barreto, J. Nievola and W. C. de Lima, "A
student freedom of a tutor system". In
MELECON'96, 8th IEEE Mediterranean
Electrotechnical Conf., Bari, p.1097-1100, 1996.
[15] M. Brodie and J. Mylopoulos and J. Schmidt, On
conceptual modeling, Springer, New York, 1984.
[16] U. M. Fayyad, G. Piatetsky-Shapiro and P. Smyth,
"From data mining to knowledge discovery: an
overview", in Advances in knowledge discovery
and data mining, U. M. Fayyad, G. Piatetsky-
Shapiro, P. Smyth and R. Uthurusamy (editores),
Menlo Park, California, cap.1, P.1-34, 1996.
[17] K. S. Collazos and J. M. Barreto, "KDD para o
estudo epidemiológico das malformações", in I
Cong. Peruano de Ing.a Biomedica, Pontificia
Universidad Catolica del Peru, p. 113-115, 1999.
[18] [17] G. F. Pellegrini, J. M. Barreto and W. C. de
Lima, "Metodologia de construção de sistems de
informação em centros de saude", in I Cong.
Peruano de Ingenieria Biomedica, Pontificia
Universidad Catolica del Peru, p. 42-44, 1999.
https://www.researchgate.net/publication/238740116_Perceptrons-An_Introduction_to_Computational_Geometry?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/238740116_Perceptrons-An_Introduction_to_Computational_Geometry?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/238740116_Perceptrons-An_Introduction_to_Computational_Geometry?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/234816828_MYCIN_A_Rule-Based_Computer_Program_For_Advising_Physicians_Regarding_Antimicrobial_Therapy_Selection?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/234816828_MYCIN_A_Rule-Based_Computer_Program_For_Advising_Physicians_Regarding_Antimicrobial_Therapy_Selection?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/234816828_MYCIN_A_Rule-Based_Computer_Program_For_Advising_Physicians_Regarding_Antimicrobial_Therapy_Selection?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/234816828_MYCIN_A_Rule-Based_Computer_Program_For_Advising_Physicians_Regarding_Antimicrobial_Therapy_Selection?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/234816828_MYCIN_A_Rule-Based_Computer_Program_For_Advising_Physicians_Regarding_Antimicrobial_Therapy_Selection?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/228505642_KDD_para_o_Estudo_Epidemiologico_das_Malformacoes?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/228505642_KDD_para_o_Estudo_Epidemiologico_das_Malformacoes?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/228505642_KDD_para_o_Estudo_Epidemiologico_das_Malformacoes?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/228505642_KDD_para_o_Estudo_Epidemiologico_das_Malformacoes?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/224982284_A_logical_Calculus_of_Ideas_Immanent_in_Nervous_Activity?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/224982284_A_logical_Calculus_of_Ideas_Immanent_in_Nervous_Activity?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/224982284_A_logical_Calculus_of_Ideas_Immanent_in_Nervous_Activity?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/220605272_From_Guidon_to_Neomycin_and_Heracles_in_Twenty_Short_Lessons_ORN_Final_Report_1979-1985?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/220605272_From_Guidon_to_Neomycin_and_Heracles_in_Twenty_Short_Lessons_ORN_Final_Report_1979-1985?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/220605272_From_Guidon_to_Neomycin_and_Heracles_in_Twenty_Short_Lessons_ORN_Final_Report_1979-1985?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/220605272_From_Guidon_to_Neomycin_and_Heracles_in_Twenty_Short_Lessons_ORN_Final_Report_1979-1985?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/33937009_Transfer_of_rule-based_expertise_through_a_tutorial_dialog?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4https://www.researchgate.net/publication/33937009_Transfer_of_rule-based_expertise_through_a_tutorial_dialog?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/33937009_Transfer_of_rule-based_expertise_through_a_tutorial_dialog?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/33937009_Transfer_of_rule-based_expertise_through_a_tutorial_dialog?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/33937009_Transfer_of_rule-based_expertise_through_a_tutorial_dialog?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/33937009_Transfer_of_rule-based_expertise_through_a_tutorial_dialog?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/33937009_Transfer_of_rule-based_expertise_through_a_tutorial_dialog?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/3659708_The_student_freedom_of_a_tutor_system?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/3659708_The_student_freedom_of_a_tutor_system?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/3659708_The_student_freedom_of_a_tutor_system?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/3659708_The_student_freedom_of_a_tutor_system?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/3659708_The_student_freedom_of_a_tutor_system?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/3659708_The_student_freedom_of_a_tutor_system?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
https://www.researchgate.net/publication/3659708_The_student_freedom_of_a_tutor_system?el=1_x_8&enrichId=rgreq-2b88bd1d26a12c0155461a6c5ba1fe9a-XXX&enrichSource=Y292ZXJQYWdlOzIyODgyNjU1NDtBUzo5OTE1OTQzNjY5MzUwNUAxNDAwNjUyODYxMDc4
View publication statsView publication stats
https://www.researchgate.net/publication/228826554
