Resolução Listas de exercícios

Prévia do material em texto

Slide - Exercício 1 - Aprendizagem
1-)Foram recolhidos os dados abaixo (dados de treinamento) de uma linha de montagem com vários sensores. Pretende-se usar aprendizagem por árvores de decisão para identificar quais as peças a rejeitar por serem demasiado frágeis.
i) Qual é a entropia do conjunto de exemplos acima? O que representa essa informação?
Entropia (s) = (-P+*logP+) - (P-*logP-) 	Comment by Matheus Azevedo: probabilidade de amostra positiva	Comment by Matheus Azevedo: probabilidade da amostra negativa
 = -3/4 * log 3/4 - 1/4 * log1/4 = 0.81
 
obs: como a probabilidade da P+ é 3/4 (0,75), ou seja, relativamente alta, tem-se então, uma entropia BAIXA; significa dizer, portanto, que a entropia é mais baixa, previsível, mais organizada. 
Toma-se por base a P+; A entropia seria 1 se as probabilidades fossem 50-50%; e 0 se fosse 0-100%
Entropia mede o grau de desorganização do conjunto
ii) Que atributo será selecionado como primeiro atributo a dividir o conjunto? Por quê?
Para isso, é necessário testar os atributos:
Testando atributo cor valor 1: entropia BAIXA -> totalmente previsível, pois todos os atributos (que no caso é apenas 1) que contém a cor 1, todos são fragéis -> O mesmo serve para as cores 2 e 3 -> PORTANTO, olhando a cor, já se sabe a classificação da fragilidade do elemento da amostra.
Ou seja, o atributo COR tem Entropia ZERO. No cálculo da entropia geral da amostra, quando se levar em conta a entropia do atributo em questão (que é nula), sobrará o máximo possível, tornando o ganho o maior possível;
	Analisando o atributo ECO:
Testando ECO FORTE: A probabilidade de a amostra ser frágil e a de não ser não são 0 e 100%.
Testando ECO FRACO: 0 e 100%, mas… como a do ECO forte não tem essa mesma representação, o atributo Eco acaba não se tornando um bom atributo para dividir o conjunto, pois é uma característica divergente (da mesma forma que o atributo temperatura).
iii) Desenhe a árvore de decisão correspondente (construída de acordo com o critério de maximização do ganho de informação). Justifique o resultado obtido.
Lista de Exercícios - 
1. Os tipos de aprendizagem são classificados de acordo com o tipo de realimentação que o elemento de aprendizagem terá à sua disposição. Quais são estes tipos e dê exemplos de cada um deles.
	A aprendizagem supervisionada ocorre em situações em que é possível perceber as entradas e as saídas desejadas envolvendo, portanto, a aprendizagem de uma dada função com base num conjunto de entradas e saídas. Exemplo dessa Aplicação: Traçar o perfil de um Aluno a partir de um conjunto de informações (Nome, Período, CRE) e a partir desses dados históricos, tentar prever se o aluno vai trancar matrícula, etc.
	A aprendizagem não-supervisionada: Diferente da supervisionada, esse tipo de Aprendizagem ocorre quando apenas as entradas são fornecidas. Exemplo: Reconhecimento de face (agrupar fotos).
	Aprendizagem por reforço: O agente crítico decide se a ação deve ser aceita ou não, decidindo portanto, se a ação será bonificada (terá maior frequência) ou penalizada (ocorrer com menor frequência).
2. A aprendizagem não supervisionada pode determinar sozinha se uma situação é boa ou ruim para um agente? Por quê?
Não. Mas se consideramos que a aprendizagem por reforço é um tipo de aprendizagem não supervisionada, então sim, pois o crítico determina se uma situação é boa ou ruim.
3. Caracterize Aprendizagem por Descoberta e Aprendizagem por Generalização e ilustre aplicações (no mínimo duas) nas quais cada uma dessas formas de aprendizagem é mais adequada.
		Por Descoberta: É uma forma de Aprendizagem restrita em que o agente adquire conhecimento sem qualquer auxílio de alguém que já o possua. É também baseado em heurísticas que quando combinadas, são usadas para descobrir o conhecimento. 
		Exemplo de Aplicação: Resolver um sistema de equações. A partir de um dado número de equações, pode-se realizar operações elementares e descobrir novas equações a fim de solucionar o sistema.
Por Generalização: Tipo de Aprendizagem que parte de exemplos particulares e vai generalizando, chegando num conhecimento uniforme, universal.	Comment by Matheus Azevedo: complementar depois.
	Pode ser Dedutiva ou Indutiva.
	A dedutiva se dá a partir de aprendizagem de novas informações que são consequências válidas de algo já conhecido.
 Na indutiva, utiliza-se da inferência indutiva de fatos providos por um professor ou pelo ambiente.
Exemplo de Aplicação: ??
4. Explique qual é o objetivo da aprendizagem indutiva. Do que precisamos para “aprender” uma hipótese h?
		Induzir regras gerais a partir de regras específicas. Conjunto de exemplos de treinamento.
5. Explique rapidamente como funciona o algoritmo de aprendizagem para árvores de decisão visto em sala de aula.
 6. O que significa dizer que um atributo é inútil? E que um atributo é perfeito?
	O atributo é inútil quando o ganho é nulo e perfeito quando o ganho é máximo (100%)
7. Responda as questões a seguir.
 
a) Previsões que são feitas a partir de nós folha com pouco suporte do conjunto de treinamento em geral não são muito confiáveis. Baseado nesta observação, qual seria a sua sugestão para fazer com que o aprendizado de uma árvore de decisão seja mais robusto na presença de dados “ruidosos”?
Uma das sugestões seria aumentar a amostra outra seria gerar probabilidades ao invés de certezas nas folhas.	Comment by Matheus Azevedo: Verificar depois.
 
b) Dados do mundo real em geral possuem padrões em que alguns valores de atributo podem não estar presentes (valores faltosos). Como você lidaria com este tipo de problema sem modificar o algoritmo de treinamento?
Usaria algum critério de similaridade, como média, moda e mediana, também poderíamos ter algum valor default.
8.) Considere a seguinte base de dados com informação acerca dos pacientes de um hospital, com a mesma doença, e da sua resposta a duas drogas diferentes experimentadas. Induza a árvore de decisão que permite determinar qual a droga apropriada para um novo paciente (não é necessário utilizar rigor científico para estimar a árvore). 
Estruturalmente, as duas árvores de decisão são isomórficas, ou seja, o suporte é equivalente, podendo-se usar os 2 atributos pois nenhum deles é perfeito.
9. Desenhe as árvores de decisão para os seguintes problemas.	Comment by Matheus Azevedo: jairzinho
 
a) A Ä B
b) A Ù (B Ú C)
c) (A Ú B) Ù (C Ú D) FALTA A ARVORE
10. Considere o seguinte conjunto de treino.
 
	Caso
	A1
	A2
	F
	1
	V
	V
	Sim
	2
	V
	V
	Sim
	3
	V
	F
	Não
	4
	F
	F
	Sim
	5
	F
	V
	Não
	6
	F
	V
	Não
 
a) Calcule o valor da Entropia deste conjunto de treino no que diz respeito à função objetivo F.
Entropia(S) = (-P+*logP+) - (P-*logP-) 	Comment by Matheus Azevedo: probabilidade de amostra positiva	Comment by Matheus Azevedo: probabilidade da amostra negativa
 = (-1/2*log1/2) - (1/2*log1/2)	Comment by Matheus Azevedo: log1/2 na base 2 = -1
		 = (-1/2 * -1) - (1/2 * -1)
		 = (1/2) - (-1/2)
 = ½ + ½
 = 1
b) Calcule o Ganho de Informação para o atributo A2.
	Ganho(A2) = entropia(s) - Entropia(A2)
 = 1 - 1
 = 0
11. Considere o conjunto de dados abaixo referente ao histórico de clientes que solicitaram empréstimos. Não entendi essa, qual a variável resposta ?
i) Qual é a entropia do conjunto de exemplos acima?
	entropia(s) = (-P+*logP+) - (P-*logP-) 	Comment by Matheus Azevedo: probabilidade de amostra positiva	Comment by Matheus Azevedo: probabilidade da amostra negativa
 
ii) Qual é o ganho de informação quando usamos o atributo histórico de crédito com atributo para prever o risco?
	entropia(s) = (-P+*logP+) - (P-*logP-) 	Comment by Matheus Azevedo: probabilidade de amostra positiva	Commentby Matheus Azevedo: probabilidade da amostra negativa
Em que consiste uma Rede Neural Artificial (RNA)? Qual a sua composição básica? Como é possível “construir” aprendizagem utilizando uma RNA? Quais as classes de problemas da Inteligência Artificial nos quais podem ser utilizadas RNA e em quais classes uma RNA não é adequada?
	Estrutura que aprende formada por neurônios com 0 ou n camadas, tendo ligações ponderadas chamadas de sinapses a qual possui aprendizagem por dados empíricos. Ajustando os pesos para que o erro de generalização seja reduzido a partir de exemplos. Não podem ser utilizados sem que haja alguma adaptação são dados não numéricos, pode ser utilizado para :reconhecimento de padrões, sistema de auxílio a diagnóstico, etc
2.Considere os seguintes padrões de classificação de perfil baseado em três perguntas:
Pede-se:
Qual a arquitetura de uma RN Perceptron para realizar estas classificações (número de entradas, saídas)?
Uma das possíveis arquiteturas, o retângulo do meio representa camadas de neurônios intermediários.
Como a rede, depois do aprendizado, classificaria alguém que às vezes bebe muito, é responsável, mas não é saudável?
Se enquadraria na terceira classificação de perfil, pois é a que mais se assemelha as entradas fornecidas.
Seria possível utilizar uma Árvore de Decisão para esse problema? Justifique a sua resposta.
Não, teria que usar uma árvore para cada atributo da saída.
No contexto de um algoritmo para indução de árvores de decisão, explique os conceitos de: Entropia, ganho, atributo perfeito e atributo inútil. Apresente um exemplo em que estes conceitos são utilizados.
Entropia - Pode ser definida como uma medida do grau de impureza do conjunto. Nesse caso, esse conceito define a medida de “falta de informação”.
Ganho - O ganho significa a redução esperada na entropia devido à ordenação do conjunto de treino segundo os valores de um atributo.
Atributo perfeito - É perfeito se todos os seus atributos levarem a uma decisão toda positiva ou toda negativa.
Atributo inútil - É um conjunto de exemplos que após decisões por esse atributo tiverem a mesma proporção que o conjunto original.
Falta o exemplo.
Assinale V ou F, justificando sua resposta quando for F.
(V) Aprendizagem é um conceito normalmente associado a processo tanto de representação como de aquisição automática de conhecimento.
(F) Árvores de decisão são extremamente adequadas a situações em que não se têm exemplos previamente classificados, mas sim um conjunto de regras sobre as quais se pretende aprender (descobrir) conhecimentos novos.
Algoritmos de indução de árvore de decisão precisam receber como entrada um conjunto de treinamento rotulado e não de regras.
(V) Na aprendizagem supervisionada o agente precisa receber durante o treinamento as saídas desejadas de uma função que precisa ser atendida.
	(Aprendizagem1.ppt)
(F) A indução de árvore de decisão ocorre de forma não supervisionada.
Falso, pois há a necessidade de um agente externo que forneça dados de entrada e saída a partir de exemplos.
(F) Aprendizagem não deve ser associada a um processo de representação de conhecimento, mas sim de aquisição de conhecimento.
Na verdade, a aprendizagem deve estar associada aos dois processos, de representação e aquisição.
(F) Na aprendizagem não-supervisionada o agente estima internamente as saídas desejadas de uma função que precisa ser aprendida.
Na aprendizagem não-supervisionada não há a necessidade de uma estimativa explícita das saídas desejadas de uma função, como em métodos auto-organizáveis, onde as entradas são agrupadas em função da sua similaridade.
(V) A representação do conhecimento através de árvores de decisão equivale a uma representação utilizando lógica, sendo o que muda em relação à lógica pura é a forma ou algoritmo de aquisição do conhecimento.
(V) A aprendizagem supervisionada requer a rotulagem prévia das saídas (saídas desejadas) de um mapeamento que se pretende aprender.
Explique as seguintes propriedades das redes neurais artificiais (RNAs).
Generalização
Podem aprender através de conjuntos de exemplos e apresentar respostas coerentes para entradas que não foram vistas durante o treinamento.
Adaptabilidade
Nesse caso, a rede se adapta ao ambiente alterando seus pesos sinápticos. Há algoritmos que ajustam os pesos em tempo real e em ambientes dinâmicos.
Tolerância a falhas
Nessa propriedade, mesmo que haja perda de neurônios ou conexões em função de alguma falha de hardware, aqui não há efeitos catastróficos no resultado final da rede, ou seja, a rede continua generalizando bem as entradas.
	
Aquisição automática de conhecimento
A rede pode adquirir conhecimento automaticamente a partir de uma base de exemplos de aprendizado referente a um problema. Como a aprendizagem é não-supervisionada, então não há necessidade de intervenção de um agente externo.
Defina redes neurais artificiais. Onde reside o conhecimento adquirido durante o treinamento de uma rede neural?
Consiste num paradigma computacional biologicamente baseada, onde utiliza a ideia de neurônios para realizar a aprendizagem, onde possui uma composição básica de Neurônios e conexões.
As conexões entre os neurônios da rede possuem pesos, que é onde o conhecimento reside.
Considerando algumas das razões de utilizar redes neurais artificiais (RNAs) na resolução de um problema, assinale V ou F (para Verdadeiro ou Falso, respectivamente) nas seguintes afirmações, justificando sua resposta quando assinalar F.
(F) Generalização: podem aprender através de conjuntos de exemplos e apresentar respostas coerentes para entradas que não foram vistas durante o treinamento, principalmente em situações que tenham sido treinadas exaustivamente (erro de treinamento quase nulo). 
É falso pois em treinamento exaustivo pode ocorrer overfitting ou superespecialização, e isso degrada enormemente o poder de generalização da rede neural.
(F) Adaptabilidade: podem adaptar-se a um novo ambiente através de alterações em seus pesos sinápticos. Contudo não podem ser projetadas para alterarem seus pesos em tempo real ou para operarem em ambientes que variem com o tempo. 
Há algoritmos que ajustam os pesos sinápticos da rede em tempo real e em ambientes dinâmicos.
(V) Tolerância a falhas: mesmo que alguns poucos neurônios ou conexões sejam perdidos em função de alguma falha no hardware, este fato não tem um efeito catastrófico no resultado final da rede, ou seja, a rede deve continuar generalizando bem as entradas fornecidas. 
(F) Aquisição automática de conhecimento: podem adquirir automaticamente conhecimento a partir de uma base de exemplos de aprendizado referente a um problema, contudo sempre há a necessidade de intervenção de um agente externo para rotular os dados. 
A intervenção de um agente externo só se dá em aprendizagem supervisionada, o que não é o caso em redes neurais.
(F) O conhecimento adquirido por uma rede neural não é inteligível por seres humanos, não havendo até o presente momento, algoritmos automáticos para converter esse conhecimento na forma de expressões lógicas.
Pelo contrário, há algoritmos que extraem dados da rede a partir de seus pesos sinápticos.
O que são árvores de decisão (AD)? Apresente um exemplo de AD. O que são ganho e entropia e como podem ser utilizados para construir uma AD?
É um paradigma de computação para aprendizagem de máquina, formada por um conjunto de nós de decisão, perguntas, que permitem a classificação de cada caso.
Um exemplo de AD seria a representação de uma função booleana como A ^ B:
Entropia é grau de impureza de um conjunto, ou seja, define a medida da “falta de informação”.
Ganho significa a redução esperada na entropia devido a ordenação do conjunto de treino segundo os valores de um atributo.
Defina aprendizagem Supervisionada, Não-supervisionada e Aprendizagem por Reforço:
Aprendizagem Supervisionada: Envolve um agente externo que pode fornecer tanto aentrada como a saída a partir de exemplos.
Aprendizagem Não-Supervisionada: Envolve a aprendizagem de padrões na entrada, quando não há o envolvimento de saídas específicas.
Aprendizagem por Reforço: O agente aprende a partir do reforço, nesse caso, com recompensas;
Defina os tipos de aprendizagem:
Por Generalização
	A aprendizagem por Generalização é dividida em duas:
Aprendizagem Dedutiva: Onde novas informações são adquiridas a partir de algo já conhecido
Aprendizagem Indutiva: É a inferência indutiva de fatos providos por um professor ou ambiente.	
Por Descoberta
Nesse caso, o agente adquire o conhecimento sem a ajuda de alguém que já possua o conhecimento.