Introdução à Rede Neural Artificial

Prévia do material em texto

CONTEÚDO 
• Introdução 
– Motivação, Objetivo, Definição, Características 
Básicas e Histórico 
• Conceitos Básicos 
– Neurônio Artificial, Modos de Interconexão 
• Processamento Neural 
– Recall e Learning 
• Regras de Aprendizado 
– Regra de Hebb, Perceptron, Back Propagation, 
Competitive Learning, RBF, etc. 
Algoritmos de Aprendizado 
•Regra de Hebb 
•Perceptron 
•Delta Rule (Least Mean Square) 
•Multi-Layer Perceptron (Back Propagation) 
•Competitive Learning 
•Radial Basis Functions (RBFs) 
 
Regra de HEBB 
• Declaração de Hebb: 
 “Quando um axônio de uma célula A está 
próximo o suficiente de excitar a célula B 
e repetidamente ou persistentemente 
participa da ativação desta, um processo 
de crescimento ou mudança metabólica 
ocorre em uma ou ambas as células, de tal 
forma que a eficiência de A em ativar B é 
aumentada” 
Regra de HEBB 
• Em termos práticos: 
– Se dois neurônios em cada lado de uma sinápse 
(conexão) são ativados simultaneamente 
(sincronamente), então a “força” daquela 
sinápse deve ser aumentada. 
– Se dois neurônios em cada lado de uma sinápse 
são ativados assincronamente, então aquela 
sinápse dever ser enfraquecida. 
Regra de HEBB 
• Conclusão: 
 
 A modificação na sinápse tem relação com a 
correlação entre as atividades pré-sinápticas 
e pós-sinápticas. 
 
 correlação +  o valor do peso aumenta 
 correlação -  o valor do peso diminui 
Regra de HEBB 
wji =  si.sj “Hebbian Learning Rule” 
 0    1 taxa de aprendizado 
• Mecanismo dependente do tempo 
• A informação está disponível localmente 
sj si 
wji 
PEj PEi atividade 
pré-sináptica 
atividade 
pós-sináptica 
Algoritmos de Aprendizado 
 Os algoritmos podem ser definidos 
através das seguintes características: 
 
Regra de Propagação 
Função de Ativação 
Topologia 
Regra de Aprendizado - w 
Algoritmos de Aprendizado 
•Regra de Hebb 
•Perceptron 
•Delta Rule (Least Mean Square) 
•Multi-Layer Perceptron (Back Propagation) 
•Competitive Learning 
•Radial Basis Functions (RBFs) 
 
Perceptron 
 Na sua forma mais simples o modelo do 
processador consiste de: 
 
 Padrão 
de 
 Entrada: 
vetor X 
x1 
x2 
 xi 
sj 
netj 
wj1 
wj2 
wji 
Bias = j 
+1 
Perceptron 
• Características Básicas: 
– Regra de Propagação  netj =  xi.wji + j 
– Função de Ativação  Degrau 
– Topologia  Uma única camada de 
 processadores. 
– Algoritmo de Aprendizado  Supervisionado: 
 wji = .xi.tj 
 (se tj ≠ sj) 
– Valores de Entrada/Saída  Binários {-1,1} 
Perceptron 
wji =  si.sj “Hebbian Learning Rule” 
wji =  si.tj Regra de aprendizado do Perceptron 
sj si 
wji 
PEj PEi atividade 
pré-sináptica 
atividade 
pós-sináptica 
tj 
• Inspiração na Regra de Hebb: 
Perceptron 
• Como t,s {-1, +1}, as fórmulas abaixo são equivalentes: 
 
 wji = .xi.tj se tj  sj 
 0 caso contrário 
 
wji =.xi .(tj. - sj) 
 
 
Se tj ≠ sj  tj – sj = 2tj  
 
 
 2 se tj = 1 e sj = -1 
-2 se tj = -1 e sj = 1 
 
Algoritmo de Aprendizado 
Inicialização: 
 pesos iniciados com valores aleatórios e pequenos (w0.1) 
Treinamento: 
 Loop1 até que o erro de cada processador de saída seja  tolerância, para 
todos os padrões do conjunto de treinamento. 
 Loop2 até terminar de apresentar todos os padrões 
  Aplica-se um padrão de entrada Xi com o respectivo vetor de saída Yi 
desejado. 
  Calcula-se as saídas de cada processador (sj 
p). 
  Calcula-se o erro para cada processador (ej 
p= tj
p
 - sj
p
 ). 
  Calcula o valor de ajuste dos pesos de cada processador (wji
p = .xi
p
 .ej
p). 
  Volta ao passo  
 Fim Loop2 
 Atualiza os pesos sinápticos wji (t+1) = wji (t) + wji 
 Fim Loop1 
 
 
O Problema do OU-Exclusivo 
Rosenblatt (1962) provou que: 
 Uma rede Perceptron é capaz de 
Aprender tudo que puder Representar. 
Representação  refere-se à habilidade do 
sistema neural de representar (simular) uma 
função específica (Existe um conjunto de parâmetros 
– pesos – que representa a função desejada) 
Aprendizado  refere-se à existência de um 
procedimento sistemático de aquisição de 
conhecimento (ajuste dos pesos), de forma a 
produzir a função desejada 
O Problema do OU-Exclusivo 
• Minsky & Papert provaram (Perceptrons 1969) 
que existem sérias restrições sobre o que as 
redes Perceptron são capazes de Representar. 
 
 
• Por exemplo, as redes Perceptron NÃO são 
capazes de Representar a função OU-Exclusivo 
O Problema do OU-Exclusivo PONTO X1 X2 Saída
A0 0 0 0
A1 0 1 1
A2 1 0 1
A3 1 1 0
F(net) w2 
w1 
x2 
x1 
saída: s 
De acordo com a definição do 
neurônio: s = F( x1w1 + x2w2 +  ) 
 
net = x1w1 + x2w2 +   
Função Degrau 
Se net  0  s = 1 
Se net < 0  s = 0 
  
A rede Perceptron divide o 
plano X1 x X2 em duas 
regiões (através da reta net) 
x1 
x2 
A3 
A2 
A0 A1 
-/w2 
- w1 
 w2 
Região 
de s = 0 
Região 
de s = 1 
 
+1 
O Problema do OU-Exclusivo 
Conclusão: 
– mudando-se os valores de w1, w2 e , 
muda-se a inclinação e a posição da reta. 
 
– Entretanto, é impossível achar uma reta 
que divida o plano de forma a separar os 
pontos A1 e A2 de um lado e A0 e A3 de 
outro. 
 
 
O Problema do OU-Exclusivo 
Conclusão: 
– mudando-se os valores de w1, w2 e , 
muda-se a inclinação e a posição da reta. 
 
– Entretanto, é impossível achar uma reta 
que divida o plano de forma a separar os 
pontos A1 e A2 de um lado e A0 e A3 de 
outro. 
– Redes de 1 única camada só representam 
funções linearmente separáveis! 
 
Análise Geométrica 
O Problema do OU-Exclusivo 
x1 
x2 
A3 
A2 
A0 A1 x1 
x2 
A3 
A2 
A0 A1 
x1 
x2 
A3 
A2 
A0 A1 
Função AND 
Função OU-Exclusivo 
Função OR 
 Minsky & Papert provaram que este 
problema pode ser solucionado 
adicionando-se uma outra camada 
intermediária de processadores. 
 
 
Multi-Layer Perceptrons 
O Problema do OU-Exclusivo 
Análise Geométrica 
Perceptron – 1 camada apenas Multi-Layer Perceptron – 
inserção de camada escondida 
Ivan Nunes da Silva, D. H. Spatti, R. A. Flauzino, Redes Neurais Artificiais para 
Engenharia e Ciências Aplicadas: Curso Prático, Artliber Editora, 2010. 
O Problema do OU-Exclusivo 
Exemplo: 
x1 
x2 
A3 
A2 
A0 A1 
s1 
Região de 
s1 = 1 s1 
wj2=+1 
wj1 = -2 j = -0.5 
w12 
w21 
w22 
w11 
+1 
x2 
x1 
sj 
s2 
s1 
w11 = w12 = w21 = w22 = +1 
-1.5 
-0.5 
+1 
net1 = x1.w11 + x2.w12 + 1 = 0 
x1 + x2 – 1,5 = 0 
x2 = - x1 + 1,5 
O Problema do OU-Exclusivo 
Exemplo: 
x1 
x2 
A3 
A2 
A0 A1 
s1 
Região de 
s1 = 1 
Região de 
s2 = 0 
s2 
s1 
wj2=+1 
wj1 = -2 j = -0.5 
w12 
w21 
w22 
w11 
+1 
x2 
x1 
sj 
s2 
s1 
w11 = w12 = w21 = w22 = +1 
-1.5 
-0.5 
+1 
net2 = x1.w21 + x2.w22 + 2 = 0 
x1 + x2 – 0,5 = 0 
x2 = - x1 + 0,5 
O Problema do OU-Exclusivo 
Exemplo: 
sj = 1  s1wj1 + s2wj2 + j  0 
-2s1 + s2 - 0.5  0 
-2s1 + s2  0.5 
x1 
x2 
A3 
A2 
A0 A1 
s1 
Região de 
s1 = 1 
Região de 
s2 = 0 
s2 
s1 
wj2=+1 
wj1 = -2 j = -0.5 
w12 
w21 
w22 
w11 
+1 
x2 
x1 
sj 
s2 
s1 
w11 = w12 = w21 = w22 = +1 
-1.5 
-0.5 
+1 
O Problemado OU-Exclusivo 
Exemplo: 
sj = 1  s1wj1 + s2wj2 + j  0 
-2s1 + s2 - 0.5  0 
-2s1 + s2  0.5 
x1 
x2 
A3 
A2 
A0 A1 
s1 
Região de 
s1 = 1 
Região de 
s2 = 0 
s2 
s1 
wj2=+1 
wj1 = -2 j = -0.5 
w12 
w21 
w22 
w11 
+1 
x2 
x1 
sj 
s2 
s1 
w11 = w12 = w21 = w22 = +1 
-1.5 
-0.5 
+1 
 
s1 é inibitório 
s2 é excitatório 
Região de 
sj= 1 
• Observação: 
 
 Redes Neurais de múltiplas camadas 
só oferecem vantagens sobre as de 
uma única camada se existir uma 
função de ativação não-linear entre 
as camadas! 
O Problema do OU-Exclusivo 
• Em termos vetoriais com função linear : 
 
 Camada Escondida  NETH = XI . WH 
 
 
O Problema do OU-Exclusivo 
PE3 
PE2 
PE1 
PEn 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor SH 
 
Vetor de 
Entrada 
XI 
 
WO WH 
Função Linear 
• Em termos vetoriais com função linear : 
 
 Camada Escondida  NETH = XI . WH 
 SH = k1 NETH 
 
O Problema do OU-Exclusivo 
PE3 
PE2 
PE1 
PEn 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor SH 
 
Vetor de 
Entrada 
XI 
 
WO WH 
Função Linear 
• Em termos vetoriais com função linear : 
 
 Camada Escondida  NETH = XI . WH 
 SH = k1 NETH 
 Camada de Saída  NETO = SH.WO 
 
O Problema do OU-Exclusivo 
PE3 
PE2 
PE1 
PEn 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor SH 
 
Vetor de 
Entrada 
XI 
 
WO WH 
Função Linear 
• Em termos vetoriais com função linear : 
 
 Camada Escondida  NETH = XI . WH 
 SH = k1 NETH 
 Camada de Saída  NETO = SH.WO 
 SO = k2 NETO 
 
O Problema do OU-Exclusivo 
PE3 
PE2 
PE1 
PEn 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor SH 
 
Vetor de 
Entrada 
XI 
 
WO WH 
Função Linear 
• Em termos vetoriais: 
 
 Camada Escondida  NETH = XI . WH 
 SH = k1 NETH 
 Camada de Saída  NETO = SH.WO 
 SO = k2 NETO 
 SO = k2 [SH.WO] 
 
O Problema do OU-Exclusivo 
PE3 
PE2 
PE1 
PEn 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor SH 
 
Vetor de 
Entrada 
XI 
 
WO WH 
Função Linear 
• Em termos vetoriais: 
 
 Camada Escondida  NETH = XI . WH 
 SH = k1 NETH 
 Camada de Saída  NETO = SH.WO 
 SO = k2 NETO 
 SO = k2 [SH.WO] 
 SO = k2 [(k1 NETH).WO] 
 
O Problema do OU-Exclusivo 
PE3 
PE2 
PE1 
PEn 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor SH 
 
Vetor de 
Entrada 
XI 
 
WO WH 
Função Linear 
• Em termos vetoriais: 
 
 Camada Escondida  NETH = XI . WH 
 SH = k1 NETH 
 Camada de Saída  NETO = SH.WO 
 SO = k2 NETO 
 SO = k2 [SH.WO] 
 SO = k2 [(k1 NETH).WO] 
 SO = k2 [(k1 (XI . WH)).WO] 
 
O Problema do OU-Exclusivo 
PE3 
PE2 
PE1 
PEn 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor SH 
 
Vetor de 
Entrada 
XI 
 
WO WH 
Função Linear 
• Em termos vetoriais: 
 
 Camada Escondida  NETH = XI . WH 
 SH = k1 NETH 
 Camada de Saída  NETO = SH.WO 
 SO = k2 NETO 
 SO = k2 [SH.WO] 
 SO = k2 [(k1 NETH).WO] 
 SO = k2 [(k1 (XI . WH)).WO] 
 SO = (k2 k1) XI . (WH.WO)] 
 
O Problema do OU-Exclusivo 
PE3 
PE2 
PE1 
PEn 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor SH 
 
Vetor de 
Entrada 
XI 
 
WO WH 
Função Linear 
• Em termos vetoriais: 
 
 Camada Escondida  NETH = XI . WH 
 SH = k1 NETH 
 Camada de Saída  NETO = SH.WO 
 SO = k2 NETO 
 SO = k2 [SH.WO] 
 SO = k2 [(k1 NETH).WO] 
 SO = k2 [(k1 (XI . WH)).WO] 
 SO = (k2 k1) XI . (WH.WO)] 
 SO = K . XI . (WH.WO) 
 
O Problema do OU-Exclusivo 
PE3 
PE2 
PE1 
PEn 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor SH 
 
Vetor de 
Entrada 
XI 
 
WO WH 
Função Linear 
• Em termos vetoriais: 
 
 Camada Escondida  NETH = XI . WH 
 SH = k1 NETH 
 Camada de Saída  NETO = SH.WO 
 SO = k2 NETO 
 SO = k2 [SH.WO] 
 SO = k2 [(k1 NETH).WO] 
 SO = k2 [(k1 (XI . WH)).WO] 
 SO = (k2 k1) XI . (WH.WO)] 
 SO = K . XI . (WH.WO) 
 SO = K . XI . WT 
  
 Equivalente a uma camada 
O Problema do OU-Exclusivo 
PE3 
PE2 
PE1 
PEn 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor SH 
 
Vetor de 
Entrada 
XI 
 
WO WH 
Função Linear 
O Problema do OU-Exclusivo 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor de 
Entrada 
XI 
 
WT 
Função Linear 
• Em termos vetoriais: 
 Duas camadas com função linear  SO = K . XI . WT 
 
 Uma camada de Saída linear  NETO = XI.WT 
 
O Problema do OU-Exclusivo 
PE1 
PE2 
PEm 
Vetor SO 
s1 
 
s2 
. 
. 
. 
sn 
Vetor de 
Entrada 
XI 
 
WT 
Função Linear 
• Em termos vetoriais: 
 Duas camadas com função linear  SO = K . XI . WT 
 
 Uma camada de Saída linear  NETO = XI.WT 
 SO = K . XI . WT 
 
  
 
 Equivalente a uma camada