Backpropagation (backpropagation.ppt)

Prévia do material em texto

*
Backpropagation
 	Jeneffer Cristine Ferreira 			 jenefferferreira@gmail.com
*
Backpropagation
Uma rede MLP consiste de um conjunto de unidades sensoriais(nós de fonte) 
constituem a camada de entrada, uma ou mais camadas ocultas de nós computacionais e uma camada de saída de nós computacionais.
O sinal de entrada se propaga para frente através da rede, camada por camada.
Os perceptrons de múltiplas camadas têm sido aplicados com sucesso para resolver diversos problemas difíceis.
Através do treinamento de forma supervisionada com um algoritmo muito popular conhecido como algoritmo de retropropagação de erro 
Backpropagation
*
Backpropagation
O Backpropagation é baseado na regra de aprendizagem por correção de erro.
A aprendizagem por retropropagação de erro consiste de dois passos através das diferentes camadas da rede: 
um passo para frente, a propagação, e um passo para trás, a retropropagação.
Na fase forward, um padrão de atividade (vetor de entrada) é aplicado aos nós sensoriais da rede e seu efeito se propaga através da rede, camada por camada.
*
Organização em camadas
*
Backpropagation
Finalmente, um conjunto de saídas é produzido como a resposta real da rede.
Durante o passo de propagação(forward), os pesos sinápticos da rede são todos fixos.
Durante a fase backward, por outro lado, os pesos sinápticos são todos ajustados de acordo com uma regra de correção de erros.
A resposta real da rede é subtraída de uma resposta desejada (alvo) para produzir um sinal de erro. 
*
Backpropagation
O sinal do erro é então propagado para trás através da rede, contra a direção das conexões sinápticas.
Os pesos sinápticos são ajustados para fazer com que a resposta real da rede se mova para mais perto da resposta desejada.
O processo de aprendizagem realizado com o algoritmo é chamado de aprendizagem por retropropagação.
*
Arquitetura
As redes neurais MLP apresentam um poder computacional muito maior do que aquele apresentado pelas redes sem camadas intermediárias.
As MLPs podem tratar dados que não são linearmente separáveis.
A precisão obtida e a implementação da função objetivo dependem do número de nós utilizados nas camadas intermediárias.
Os principais aspectos relacionados ao projeto de redes MLP diz respeito à função de ativação utilizada.
A função de ativação mais utilizada é sigmoidal logística.
*
Rede MLP
camada de 
entrada
camadas intermediárias
camada de 
saída
conexões
*
Arquitetura
Sinais Funcionais: é um sinal de entrada (estímulo) que incide no terminal de entrada da rede, propaga-se para frente (neurônio por neurônio) através da rede e emerge no terminal de saída da rede como um sinal de saída. 
O sinal funcional é também denominado sinal de entrada.
Sinais de Erro: Um sinal de erro se origina em um neurônio de saída da rede e se propaga para trás (camada por camada) através da rede. 
Onde o sinal do erro computa cada neurônio da rede envolvendo uma função dependente do erro.
*
Arquitetura
A primeira camada oculta é alimentada pela camada de entrada, constituída de unidades sensórias (nós de fonte).
As saídas resultantes da primeira camada oculta são por sua vez aplicadas à próxima camada oculta., e assim por diante para o resto da rede.
*
Rede MLP
camada de 
entrada
camadas intermediárias
camada de 
saída
conexões
*
Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
D
e
s
e
j
a
d
a
*
RNA - Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
D
e
s
e
j
a
d
a
*
RNA - Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
D
e
s
e
j
a
d
a
*
RNA - Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
D
e
s
e
j
a
d
a
*
RNA - Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
D
e
s
e
j
a
d
a
*
RNA - Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
D
e
s
e
j
a
d
a
*
RNA - Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
D
e
s
e
j
a
d
a
*
RNA - Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
S
a
í
d
a
D
e
s
e
j
a
d
a
Erro
*
RNA - Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
D
e
s
e
j
a
d
a
*
RNA - Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
D
e
s
e
j
a
d
a
*
RNA - Aprendizado
camada de 
entrada
camadas intermediárias
camada de 
saída
P
a
d
r
ã
o
S
a
í
d
a
D
e
s
e
j
a
d
a
*
Funcionalidade
O número adequado de nós na camada intermediária depende de vários fatores, como:
Número de exemplos de treinamento.
Quantidade de ruído presente nos exemplos.
Complexidade da função a ser aprendida.
Distribuição estatística dos dados de treinamento.
*
Treinamento das redes MLP
A fase forward é utilizada para definir a saída da rede para um dado padrão de entrada. 
A fase backward utiliza a saída desejada e a saída fornecida pela rede para atualizar os pesos de suas conexões.
*
Treinamento das redes MLP
Na fase forward,os pesos sinápticos se mantêm inalterados em toda a rede e os sinais funcionais da rede são calculados individualmente, neurônio por neurônio.
Esta fase da computação começa na primeira camada oculta, com a apresentação do vetor de entrada, e termina na camada de saída calculando o sinal de erro de cada neurônio desta camada.
*
Treinamento das redes MLP
Na fase backward começa na camada de saída passando-se os sinais de erro para a esquerda através da rede, camada por camada, e recursivamente calculando o erro de cada neurônio.
Este processo recursivo permite que os pesos sinápticos sofram modificações de acordo com a regra delta.
*
Referências 
Capitulo 4 – Redes Múltiplas Camadas
*
*
*
*
*
*
*
*
*
*
*
*
*