Aula 2_RNA_e_Fuzzy

Prévia do material em texto

Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Universidade Estadual do Maranhão - UEMA
Curso de Engenharia da Computação
Disciplina: Redes Neurais e Lógica Fuzzy
AULA 2
Prof. MSc Sidney Cerqueira
email:cerqueirasidney@gmail.com
29 de março de 2014
1 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Sumário
1 Funções de ativação
Tipos de funções de ativação
2 Arquiteturas e processos de treinamento
Arquiteturas de redes neurais
3 Processos de treinamento
Treinamento e aspectos de aprendizado
2 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Tipos de funções de ativação
Função degrau (heavyside/hard limiter)
O resultado dessa função assumirá de acordo com a função abaixo:
g(u) =
{
1, se u > 0
0, se u < 0
(1)
Graficamente tem-se:
Figura : Função Degrau
3 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Tipos de funções de ativação
Função Degrau Bipolar
A função degrau bipolar é matematicamente expressa por:
g(u) =





1, se u > 0
0, se u = 0
−1, se u < 0
(2)
Graficamente:
Figura : Função de ativação degrau bipolar
4 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Tipos de funções de ativação
Função rampa simétrica
Os valores retornados são iguais aos próprios valores dos poten-
ciais de ativação quando estes estão definidos no intervalo [-a,a],
restringindo-se aos valores limites em caso contrário. Assim, temos:
g(u) =





a, se u > a
u, se − a 6 u 6 a
−a , se u < a
(3)
Graficamente:
Figura : Função rampa simétrica 5 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Tipos de funções de ativação
Função loǵıstica
O resultado da sáıda da função loǵıstica assumirá valores reais ente
zero e um, sendo dados pela expressão:
g(u) =
1
1 + e−βu
(4)
onde β é uma constante real associada ao ńıvel de inclinação da
função loǵıstica frente ao seu ponto de inflexão. A função esta
representada abaixo:
Figura : Função de ativação loǵıstica
6 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Tipos de funções de ativação
Função loǵıstica cont...
Na figura abaixo, temos o comportamento da função loǵıstica com
a variação do fator β.
Figura : Influência de β na função de ativação loǵıstica
Se o valor de β for muito alto, a função loǵıstica tenderá a ser
similar a função degrau.
7 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Tipos de funções de ativação
Função tangente hiperbólica
O resultado da sáıda da função tangente hiperbólica, sempre as-
sumirá valores reais entre -1 e 1, cuja a expressão matemática é
definida por:
Graficamente:
g(u) =
1− e−βu
1 + e−βu
(5)
Figura : Função de ativação tangente hiperbólica
8 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Tipos de funções de ativação
Função tangente hiperbólica cont...
O mesmo ocorre com a função tangente hiperbólica quando alte-
ramos o valor de β, sendo que esta se aproxima da função degrau
bipolar com o valor de β for muito alto.
Figura : Influência de β.
Tanto a função loǵıstica como a função tangente hiperbólica per-
tencem à faḿılia das funções denominadas de sigmoidais.
9 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Tipos de funções de ativação
Função gaussiana
A sáıda do neurônio produzirá resultados iguais para aqueles valores
de potencial de ativação u que estejam posicionados a uma mesma
distância de seu centro, sendo a curva simétrica a este. Matemati-
camente:
g(u) = e−
(u−c)2
2σ2 (6)
onde c é um parâmetro que define o centro da função gaussiana e
σ denota o desvio padrão associado a mesma.
10 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Tipos de funções de ativação
Função gaussiana cont...
Graficamente:
Figura : Função de ativação gaussiana.
11 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Tipos de funções de ativação
Função linear
A sáıda produz resultados idênticos aos valores do potencial de
ativação u, sendo definida por:
g(u) = u (7)
Sua representação gráfica é ilustrada abaixo:
Figura : Função de ativação linear.
12 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
Arquiteturas
A arquitetura de uma rede neural define a forma como os
seus diversos neurônios estão arranjados, ou dispostos, uns em
relação aos outros;
Esses arranjos são essencialmente estruturados através do dire-
cionamento das conexões sinápticas dos neurônios
A topologia de uma rede neural, considerando uma determi-
nada arquitetura, pode ser definida como sendo as diferentes
formas de composições estruturais que esta poderá assumir.
Exemplo: Uma rede de mesma arquitetura que contém 10
neurônios e outra com 20 neurônios.
13 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
Basicamente, uma RNA pode ser dividida em três partes chamadas
de camadas, assim sendo:
1 Camada de entrada - Responsável pelo recebimento de informações
(dados), sinais, caracteŕısticas ou medições do meio externo,
sendo tais entradas geralmente normalizadas. Esta norma-
lização implica uma melhor precisão numérica frente às operações
matemáticas realizadas pela rede.
2 Camadas escondidas - São aquelas compostas de neurônios que
possuem a responsabilidade de extrair as caracteŕısticas associ-
adas ao processo ou sistema a ser inferido.
3 Camada de sáıda - Esta camada é também constitúıdas de
neurônios,sendo responsável pela produção e apresentação da
rede, os quais são advindos dos processamentos efetuados pelos
neurônios das camadas anteriores.
14 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
As principais arquiteturas de RNA’s podem ser divididas em:
Redes feedforward ou alimentação à frente de camada simples;
Redes feedforward de camadas múltiplas;
Redes recorrentes;
Redes reticuladas.
15 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
Redes feedforward de camada simples
Nesta arquitetura, tem-se apenas uma camada de entrada e
uma única camada de neurônios, que é a própria camada de
sáıda. Na figura abaixo temos um exemplo:
Figura : Exemplo de feedforward de camada simples
16 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
Redes feedforward de camada simples
Fluxo de informações segue sempre um única direção, ou seja,
da entrada à camada de sáıda.
A quantidade de neurônios na sáıda coincidirá com o número
de neurônios.
Aplicadas tipicamente em problemas de classificação de padrões
e filtragem linear.
Entre as principais redes que utilizam essa arquitetura estão a
Perceptron e o Adaline, cujo os algoritmos aprendizagem são
baseados na regra de Hebb ou Delta.
17 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
Redes feedforward de camada múltiplas
São constitúıdas pela presença de um ou mais camadas escondidas
de neurônios. Um exemplo de rede com múltiplas camadas é
mostrada na figura abaixo:
Figura : Exemplo de feedforward de camada múltiplas
18 / 30
Funções deativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
Redes feedforward de camada múltiplas cont...
As principais redes que utilizam essa arquitetura feedforward
de camadas múltiplas se encontra o Perceptron multicamadas
(Multilayer Perceptron - MLP) e RBF (Radial basis function);
Ambas utilizam o algoritmo de treinamento baseados na regra
delta generalizada.
19 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
Redes recorrentes ou realimentadas
São redes em que as sáıdas dos neurônios são realimentadas
com sinais de entrada para outros neurônios;
A caracteŕıstica de realimentação qualifica tais redes para pro-
cessamento dinâmico de informações, ou seja podem ser utili-
zadas em sistemas variantes em relação ao tempo.
Figura : Exemplo de rede recorrente
20 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
Redes recorrentes ou realimentadas
Os tipos de rede que utilizam essa realimentação são a Rede de
Hopfield e a rede Perceptron multicamadas com realimentação
entre os neurônios de camadas distintas.
Os processos de treinamento são baseados na minimização da
função de energia e regra delta generalizada
Neste tipo, as redes produzem sáıdas atuais levando em consi-
deração os valores de sáıdas anteriores.
21 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
Redes em arquitetura reticulada
As principais caracteŕısticas de redes com estruturas reticuladas
estão na consideração da disposição espacial dos neurônios visando
propósitos de extração de caracteŕısticas.
Figura : Exemplo de rede reticulada
22 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Arquiteturas de redes neurais
Redes em arquitetura reticulada
Suas aplicações são bem diversificadas, tais como problemas
de agrupamento, reconhecimento de padrões, otimização de
sistemas, grafos dentre outros.
A rede Kohonen é a principal representante da arquitetura em
estrutura reticulada.
23 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Treinamento e aspectos de aprendizado
Generalidades
O processo de treinamento de uma rede neural consiste da
aplicação de passos ordenados que sejam necessários para sinto-
nização dos pesos sinápticos e limiares de seus neurônios, tendo
com objetivo final a generalização de soluções a serem produ-
zidas pelas suas sáıdas, cujas respostas são representativas do
sistema f́ısico em que estas estão mapeando.
O conjunto de passos para essa finalidade é denominado de
algoritmo de aprendizagem.
A rede será capaz de extrair caracteŕısticas discriminantes do
sistema a ser mapeado por intermédio de amostras que foram
retiradas de seu contexto.
24 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Treinamento e aspectos de aprendizado
Generalidades cont...
Normalmente o conjunto total das amostras dispońıveis sobre
o comportamento do sistema é divido em dois subconjuntos,
um sendo de treinamento e outro de teste.
Geralmente o conjunto de treinamento representa de 60 a 90%
dessas amostras, enquanto que os testes ficam com os restan-
tes.
O conjunto de teste serve para validar a topologia assumida.
Durante o treinamento de RNA’s cada apresentação desse con-
junto de amostras para o treinamento, será denominada de
época de treinamento
25 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Treinamento e aspectos de aprendizado
Definição de aprendizado
Define-se aprendizado no contexto de redes neurais como:
Aprendizado é um processo pelo qual os parâmetros livres de uma
rede neural são adaptados através de um processo de estimulação
pelo ambiente no qual a rede está inserida. O tipo de aprendizado
é determinado pela forma como as mudanças nos parâmetros
acontecem.
26 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Treinamento e aspectos de aprendizado
Treinamento supervisionado
Figura : Treinamento supervisionado
27 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Treinamento e aspectos de aprendizado
Treinamento supervisionado cont...
Consiste em ter cada amostra dos sinais dispońıveis na entrada,
suas respectivas sáıdas desejadas (target).
Há necessidade então de se prover uma tabela de dados (en-
trada/sáıda), que a partir desta serão formuladas “‘hipótese”
sobre aquilo a ser aprendido.
Tudo se comporta com se houvesse um “professor” ensinando
para rede qual é a resposta correta para a amostra apresentada
em suas entradas.
Os pesos sinápticos serão ajustados então continuamente me-
diante comparações entre a resposta atual e a desejada, sendo
isso feito pelo algoritmo de treinamento.
Esse treinamento é um t́ıpico caso de inferência indutiva pura.
28 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Treinamento e aspectos de aprendizado
Treinamento não-supervisionado
Neste tipo de treinamento não existe sáıdas desejadas.
Consequentemente a rede se auto-organizar em relação as
particularidades existentes entre os elementos componentes do
conjuntos total de amostras, identificando subconjuntos
(clusters) que contenham similaridades.
Os pesos sinápticos se ajustam pelo algoritmo de
aprendizagem de forma a refletir esta representação interna da
própria rede.
29 / 30
Funções de ativação Arquiteturas e processos de treinamento Processos de treinamento
Treinamento e aspectos de aprendizado
Aprendizado por Reforço
Os algoritmos de aprendizagem por reforço ajustam os parâmetros
internos dos neurônios baseando-se em quaisquer informações
quantitativas ou qualitativas advindas da interação com o sis-
tema (ambiente), as quais são utilizadas para medir o desem-
penho do aprendizado.
O treinamento é realizado por tentativa e erro.
Há diversos algoritmos de aprendizado no treinamento por re-
forço baseados em métodos estocásticos que selecionam proba-
bilisticamente suas ações de ajustes.
30 / 30
	Funções de ativação
	Tipos de funções de ativação
	Arquiteturas e processos de treinamento
	Arquiteturas de redes neurais
	Processos de treinamento
	Treinamento e aspectos de aprendizado