Parte 1 Introducao redes neurais

Prévia do material em texto

REDES NEURAIS
Marley Maria B.R. Vellasco
LIRA: Laboratório de Inteligência e 
Robótica Aplicadas
PUC-Rio
CONTEÚDO
• Introdução
– Objetivo, Definição, Principais Características e 
Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Recall e Learning
• Regras de Aprendizado
– Perceptron, Back Propagation.
OBJETIVO
Estudar a teoria e a implementação de 
sistemas massivamente paralelos, que 
possam processar informações com 
eficiência comparável ao cérebro.
DEFINIÇÃO
Redes Neurais Artificiais são sistemas 
inspirados nos neurônios biológicos e 
na estrutura massivamente paralela do 
cérebro, com capacidade de adquirir,
armazenar e utilizar conhecimento 
experimental.
APLICAÇÕES GERAIS
 Reconhecimento de Padrões
 Classificação de Padrões
 Correção de Padrões
 Previsão de Séries Temporais
 Aproximação de Funções
 Suporte à Decisão
 Geração de Informação
 Descoberta de Conhecimento
CONTEÚDO
• Introdução
– Objetivo, Definição, Principais Características e 
Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Recall e Learning
• Regras de Aprendizado
– Perceptron, Back Propagation.
Características Básicas
Devido à similaridade com a estrutura 
do cérebro, as Redes Neurais exibem 
características similares ao do 
comportamento humano, tais como:
Características Básicas
• Aprendizado:
A rede aprende por experiência, não 
necessitando explicitar os algoritmos 
para executar uma determinada 
tarefa
Características Básicas
• Generalização:
Habilidade de lidar com 
ruídos e distorções, 
respondendo 
corretamente a 
padrões novos.

Redes Neurais são 
capazes de 
generalizar o seu 
conhecimento a partir 
de exemplos 
anteriores
CONTEÚDO
• Introdução
– Objetivo, Definição, Principais Características e 
Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Recall e Learning
• Regras de Aprendizado
– Perceptron, Back Propagation.
HISTÓRICO
• McCulloch & Pitts (1943):
– modelo computacional para o neurônio artificial. Não possuía 
capacidade de aprendizado
• Hebb (1949):
– modelo de aprendizado (Hebbian Learning Rule).
• Rosenblatt (1957):
– modelo Perceptron, com grande sucesso em certas aplicações 
e problemas em outras aparentemente similares.
• Minsky & Papert ( Perceptrons 1969):
– prova matemática de que as redes Perceptron são incapazes 
de solucionar problemas simples tipo OU-EXCLUSIVO
• Rumelhart (início da década de 80):
– novos modelos de aprendizado que superaram os problemas 
dos Perceptrons.
EVOLUÇÃO
• Modelo de McCulloch-Pitts:
w1
w2
wn
x1
x2
xn
T
wi = + 1-
i = 1,2,..., n
sEntradas
(valores 0,1)
n
sk+1 = 1 se  wi xik  T
i=1
n
0 se  wi xik  T
i=1
CONTEÚDO
• Introdução
– Objetivo, Definição, Principais Características e 
Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Recall e Learning
• Regras de Aprendizado
– Perceptron, Back Propagation.
CONCEITOS BÁSICOS
• Neurônio Artificial
– (Elemento Processador)
• Estruturas de Interconexão
– FeedForward de 1 camada
– FeedForward de Múltiplas Camadas
– Recorrente (com realimentação)
Elemento Processador
Elemento Processador inspirado no Neurônio Biológico
Squashing Function
neti f (neti)
neti si
si
Elementos Básicos
• Estado de Ativação sj
• Conexões entre Processadores
– a cada conexão existe um peso sináptico
que determina o efeito da entrada sobre o 
processador  wji armazena o 
conhecimento da rede
• Função de Ativação
– determina o novo valor do Estado de 
Ativação do processador  sj = F (netj)
Funções de Ativação
É a função que determina o nível de 
ativação do Neurônio Artificial: sj = F(netj)
threshold
Tipos de Processadores
 Recebe os dados de entrada
 Apresenta os dados de saída
 As suas entradas e saídas 
permanecem dentro do sistema
CONCEITOS BÁSICOS
• Neurônio Artificial
– (Elemento Processador)
• Estruturas de Interconexão
– FeedForward de 1 camada
– FeedForward de Múltiplas Camadas
– Recorrente (com realimentação)
Topologias das Redes 
Neurais
• Redes Feed-Forward:
– redes de uma ou mais camadas de 
processadores, cujo fluxo de dados é 
sempre em uma única direção, isto é, não 
existe realimentação.
• Redes Recorrentes:
– redes com conexões entre processadores da 
mesma camada e/ou com processadores das 
camadas anteriores (realimentação).
Redes Feed-Forward
Redes de uma camada
PE3
PE2
PE1
PEn
Redes Feed-Forward
Rede de Múltiplas Camadas
Camada
Intermediária
(Escondida)
Camada 
de Saída
PE3
PE2
PE1
PEn
PE1
PE2
PEm
H 1I 1
Novo dado
(não apresentado
durante o 
treinamento)
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Exemplo 1: Reconhecimento de Padrões
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Exemplo 1: Reconhecimento de Padrões
Atividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
Entrada
Pesos
Escondida
Pesos
O 1
O 2
O 3
Saída
Exemplo 1: Reconhecimento de Padrões
janela
Entradas
da rede
Dados de 
Treinamento
Série temporal
Exemplo 2: Previsão
janela
Entradas
da rede
Dados de 
Treinamento
Série temporal
Exemplo 2: Previsão
janela
Entradas
da rede
Dados de 
Treinamento
Série temporal
Exemplo 2: Previsão
janela
Entradas
da rede
Dados de 
Treinamento
Série temporal
Exemplo 2: Previsão
janela
previsto
Entradas
da rede
Saída da rede:
Valor previsto
Dados de 
Treinamento
Série temporal
Exemplo 2: Previsão
Dados 
previstos
janela
previsto
Entradas
da rede
Saída da rede:
Valor previsto
Dados de 
Treinamento
Série temporal
Exemplo 2: Previsão
Dados 
previstos
Dados 
reais
Redes Recorrentes
I n p u t
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Redes Recorrentes
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Redes Recorrentes
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Redes Recorrentes
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Redes Recorrentes
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Redes Recorrentes
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Redes Recorrentes
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Redes Recorrentes
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Redes Recorrentes
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Redes Recorrentes
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Redes Recorrentes
O u t p u t
R
e
a
l
i
m
e
n
t
a
ç
ã
o
Rede Convergiu para um estado estável
Memória Autoassociativa
Padrão
de entrada
Padrão
de entrada
1 ciclo1 ciclo 2 ciclo2 ciclo 3 ciclo- estável -3 ciclo- estável -
• Exemplo 1:
– Rede de 120 processadores
Estado ROSA Estado AZUL Estado VERDE Estado LARANJA
Memória Autoassociativa
• Exemplo 2: Rede de 120 processadores
Memória Autoassociativa
•Exemplo 3: Rede de 320 processadores
Memória Autoassociativa
• Exemplo 3: Rede de 320 processadores
Memória Autoassociativa
• Exemplo 3: Rede de 320 processadores
Outras Redes Recorrentes
Ivan Nunes da Silva, D. H. Spatti, R. A. Flauzino, Redes Neurais Artificiais para
Engenharia e Ciências Aplicadas: Curso Prático, Artliber Editora, 2010.
CONTEÚDO
• Introdução
– Objetivo, Definição, Principais Características e 
Histórico
• Conceitos Básicos
– Neurônio Artificial, Modos de Interconexão
• Processamento Neural
– Recall e Learning
• Regras de Aprendizado
– Perceptron, Back Propagation.
Processamento Neural
O processamento de uma Rede Neural 
pode ser dividido em duas fases:
Processo de cálculo da saída 
da rede, dado um certo 
padrão de entrada -
Recuperação da Informação
Processo de atualização 
dos pesos sinápticos para a 
aquisição do conhecimento 
- Aquisição da Informação
Aprendizado
Aprendizado
• Processo pelo qual os parâmetros livres -
pesos sinápticos - de uma rede neural são 
adaptados através de um processo contínuo 
de estimulação pelo ambiente.
• Existem 3 tipos básicos de aprendizado:
 Treinamento Supervisionado (TS);
 Treinamento Não-Supervisionado;
 “Reinforcement Learning”.
Treinamento Supervisionado
Geralmente efetuado através do processo 
de minimização do erro calculado na saída.
A rede é treinada através do fornecimento dos 
valores de entrada e de seus respectivos 
valores desejados de saída (“training pair”).
Treinamento Supervisionado
PESOS
AJUSTÁVEIS
(W)
CÁLCULO
DO ERRO
(e)
PADRÃO
DE ENTRADA
(X)
SAÍDA
(s)
VALOR
DESEJADO
(t)
e(t,s)
Treinamento Não-Supervisionado
“Self-Organization”  Não requer o 
valor desejado de saída da rede. O 
sistema extrai as características do 
conjunto de padrões, agrupando-os em 
classes inerentes aos dados.
Aplicado a problemas de “Clusterização”
(Ex: Segmentação, Quantização vetorial, etc.)
PESOS
AJUSTÁVEIS
(W)
PADRÃO
DE ENTRADA
(X)
SAÍDA
(s)
Treinamento Não-Supervisionado
w1
t
w2
t w3
t
PE3
PE2
PE1 s1
s2
s3
x1
x2
x3
Topologia
w1
t
w2
t
w3
t
Treinamento Não-Supervisionado
vetores de entrada
vetores de pesos no instante t
vetores de entrada
vetores de pesos no instante t
vetores de pesos após aprendizado
w1
t
w2
t w3
t
w1
t+n
w2
t+n
w3
t+n
PE3
PE2
PE1 s1
s2
s3
x1
x2
x3
Topologia
w1
t+n
w2
t+n
w3
t+n
Treinamento Não-Supervisionado
“Reinforcement Learning”
• Semelhante ao Treinamento Supervisionado 
(existe um objetivo);
• NÃO existe um target para cada padrão;
• Existe uma realimentação (sinal de reforço) 
que avalia a resposta como boa ou ruim;
• O objetivo é maximizar a quantidade de reforço 
positivo  Ex. aprendizado de jogos, robôs 
autômatos;
. 
“Reinforcement Learning”
•O Sistema de Aprendizado aprende a realizar uma 
certa tarefa somente com base nos resultados de sua 
experiência com uma interação com o ambiente.
Ambiente
Sistema de
Aprendizado
Crítico
Sinal de
ReforçoAções
Vetor de 
Estado
Recuperação de Dados
Recuperação de Dados
Generalização:
A Rede Neural responde corretamente a um 
padrão de entrada fora do conjunto de 
treinamento
GENERALIZAÇÃO
A Rede Neural responde corretamente a um 
padrão de entrada fora do conjunto de 
treinamento Interpola corretamente os novos 
pontos apresentados
x
f(x)
x1 x2 x3 x4 x5Xnovo
generalizações interpolação suave
Interpolação complexa
xi pontos do conjunto de treinamento
xnovo novo ponto para generalização
Exemplos de Treinamento 
Supervisionado
Reconhecimento de Caracteres
 Previsão de Séries Temporais
Reconhecimento de 
Caracteres
H 1I 1
Atividade
Neural
Entrada
Pesos
Escondida
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
Saída
O 2
O 3
w
w
w
w
w
w
w
w
w
Pesos
Estrutura da Rede Neural
H 1I 1
Dados para
Treinamento I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Alvo
Processo de Aprendizado
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
Alvo
w
w
w
w
w
w
w
w
w
Processo de Aprendizado
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
Alvo
Processo de Aprendizado
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
H 1I 1
Entrada
Pesos
Escondida
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
Saída
O 2
O 3
w
w
w
w
w
w
w
w
w
Erro = -
Processo de Aprendizado
Pesos
Dados para
Treinamento
Cálculo da atualização dos pesos em função do erro
H 1I 1
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Alvo
Processo de Aprendizado
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
B
m1
Slide 71
m1 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ
marley; 06/09/2005
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
Alvo
w
w
w
w
w
w
w
w
w
Processo de Aprendizado
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
B
Alvo
Processo de Aprendizado
Atividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
Entrada
Pesos
Escondida
Pesos
Dados para
Treinamento
O 1
O 2
O 3
Saída
B
H 1I 1
Entrada
Pesos
Escondida
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
Saída
O 2
O 3
w
w
w
w
w
w
w
w
w
Erro = -
Processo de Aprendizado
Pesos
Dados para
Treinamento
Cálculo da atualização dos pesos em função do erro
B
H 1I 1
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Alvo
Processo de Aprendizado
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Treinamento
Z
Dados para
m2
Slide 75
m2 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ
marley; 06/09/2005
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
Alvo
w
w
w
w
w
w
w
w
w
Processo de Aprendizado
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
Z
Dados para
Alvo
Processo de Aprendizado
Atividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
Entrada
Pesos
Escondida
Pesos
Dados para
Treinamento
O 1
O 2
O 3
Saída
Z
Dados para
H 1I 1
Entrada
Pesos
Escondida
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
Saída
O 2
O 3
w
w
w
w
w
w
w
w
w
Erro = -
Processo de Aprendizado
Pesos
Dados para
Treinamento
Cálculo da atualização dos pesos em função do erro
ZH 1I 1
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Alvo
Processo de Aprendizado
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
m3
Slide 79
m3 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ
marley; 06/09/2005
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
Alvo
w
w
w
w
w
w
w
w
w
Processo de Aprendizado
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
Alvo
Processo de Aprendizado
Atividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
Entrada
Pesos
Escondida
Pesos
Dados para
Treinamento
O 1
O 2
O 3
Saída
H 1I 1
Entrada
Pesos
Escondida
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
Saída
O 2
O 3
w
w
w
w
w
w
w
w
w
Erro = -
Processo de Aprendizado
Pesos
Dados para
Treinamento
Cálculo da atualização dos pesos em função do erro
Z
H 1I 1
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Alvo
Processo de Aprendizado
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
B
m4
Slide 83
m4 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ
marley; 06/09/2005
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
Alvo
w
w
w
w
w
w
w
w
w
Processo de Aprendizado
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
B
Alvo
Processo de Aprendizado
Atividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
Entrada
Pesos
Escondida
Pesos
Dados para
Treinamento
O 1
O 2
O 3
Saída
B
H 1I 1
Entrada
Pesos
Escondida
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
Saída
O 2
O 3
w
w
w
w
w
w
w
w
w
Erro = -
Processo de Aprendizado
Pesos
Dados para
Treinamento
B
Cálculo da atualização dos pesos em função do erro
- SEGUNDO CICLO -
H 1I 1
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Alvo
Processo de Aprendizado
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Treinamento
Z
Dados para
m5
Slide 87
m5 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ
marley; 06/09/2005
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
Alvo
w
w
w
w
w
w
w
w
w
Processo de Aprendizado
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
Z
Dados para
Alvo
Processo de Aprendizado
Atividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
Entrada
Pesos
Escondida
Pesos
Dados para
Treinamento
O 1
O 2
O 3
Saída
Z
Dados para
H 1I 1
Entrada
Pesos
Escondida
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
Saída
O 2
O 3
w
w
w
w
w
w
w
w
w
Erro = -
Processo de Aprendizado
Pesos
Dados para
Treinamento
Z
Cálculo da atualização dos pesos em função do erro
- SEGUNDO CICLO -
H 1I 1
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Alvo
Processo de Aprendizado
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
Alvo
w
w
w
w
w
w
w
w
w
Processo de Aprendizado
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
Alvo
Processo de Aprendizado
Atividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
Entrada
Pesos
Escondida
Pesos
Dados para
Treinamento
O 1
O 2
O 3
Saída
H 1I 1
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Alvo
Processo de Aprendizado
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
B
m6
Slide 94
m6 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ
marley; 06/09/2005
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
Alvo
w
w
w
w
w
w
w
w
w
Processo de Aprendizado
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
B
Alvo
Processo de Aprendizado
Atividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
Entrada
Pesos
Escondida
Pesos
Dados para
Treinamento
O 1
O 2
O 3
Saída
B
H 1I 1
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Alvo
Processo de Aprendizado
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Treinamento
Z
Dados para
m7
Slide 97
m7 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ
marley; 06/09/2005
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
Alvo
w
w
w
w
w
w
w
w
w
Processo de Aprendizado
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Dados para
Treinamento
Z
Dados para
Alvo
Processo de Aprendizado
Atividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
Entrada
Pesos
Escondida
Pesos
Dados para
Treinamento
O 1
O 2
O 3
Saída
Z
Dados para
Processo de Generalização
Recuperação da Informação 
Aprendida
H 1I 1
Novo dado
(não apresentado
durante o 
treinamento)
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Processo de Generalização
I 2
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
Processo de Generalização
w
Atividade
Neural
Entrada
Pesos
Escondida Saída
Pesos
Processo de Generalização
Atividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
Entrada
Pesos
Escondida
Pesos
O 1
O 2
O 3
Saída
Resposta 
correta a um 
novo padrão!
Previsão de 
Séries Temporais
Série temporal
janela
alvo
Entradas
da rede =
n valores
passados
Estrutura da Rede Neural
Dados de 
Treinamento
Saída 
Desejada =
valor da série
k passos à
frente
Ex: 5 valores 
passados
Ex: valor um 
passo à frenteEntradas
da rede
Saída da rede:
Valor previsto
um passo à frente
Processo de Aprendizado
Série temporal
janela
alvo
Dados de 
Treinamento
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Entradas
da rede
Saída da rede:
Valor previsto
um passo à frente
Processo de Aprendizado
Série temporal
janela
alvo
Dados de 
Treinamento
janela
alvo
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Entradas
da rede
Processo de Aprendizado
Dados de 
Treinamento
Série temporal
Saída da rede:
Valor previsto
um passo à frente
janela
alvo
Entradas
da rede
Dados de 
Treinamento
Série temporal
Saída da rede:
Valor previsto
um passo à frente
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Processo de Aprendizado
janela
alvo
Entradas
da rede
Dados de 
Treinamento
Série temporal
Saída da rede:
Valor previsto
um passo à frente
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Processo de Aprendizado
janela
alvo
Entradas
da rede
Dados de 
Treinamento
Série temporal
Saída da rede:
Valor previsto
um passo à frente
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Processo de Aprendizado
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Entradas
da rede
Saída da rede:
Valor previsto
um passo à frente
Processo de Aprendizado
Série temporal
janela
alvo
Dados de 
Treinamento
janela
alvo
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Entradas
da rede
Processo de Aprendizado
Dados de 
Treinamento
Série temporal
Saída da rede:
Valor previsto
um passo à frente
janela
alvo
Entradas
da rede
Dados de 
Treinamento
Série temporal
Saída da rede:
Valor previsto
um passo à frente
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Processo de Aprendizado
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Entradas
da rede
Saída da rede:
Valor previsto
um passo à frente
Processo de Aprendizado
Série temporal
janela
alvo
Dados de 
Treinamento
janela
alvo
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Entradas
da rede
Processo de Aprendizado
Dados de 
Treinamento
Série temporal
Saída da rede:
Valor previsto
um passo à frente
janela
alvo
Entradas
da rede
Dados de 
Treinamento
Série temporal
Saída da rede:
Valor previsto
um passo à frente
Ajuste dos pesos
a partir do erro
(Erro= alvo - previsto)
Processo de Aprendizado
Processo de Generalização
Recuperação da Informação 
Aprendida
janela
Entradas
da rede
Dados de 
Treinamento
Série temporal
Processo de Generalização
janela
previsto
Entradas
da rede
Saída da rede:
Valor previsto
Dados de 
Treinamento
Série temporal
Processo de Generalização
Dados 
previstos
janela previsto
Entradas da rede:
inclui o(s) valor(es) 
previstos pela Rede
Saída da rede:
Valor previsto
Dados de 
Treinamento
Série temporal
Dados 
previstos
Processo de Generalização
janela
previsto
Dados de 
Treinamento
Série temporal
Dados 
previstos
Processo de Generalização
Entradas da rede:
inclui o(s) valor(es) 
previstos pela Rede
Saída da rede:
Valor previsto
• Previsão de Demanda de Energia Elétrica:
mensal, horária, 10 em 10 min., horário de pico.
• Previsão mensal de Demanda de Lubrificantes
• Previsão de Vazão de Rios: diária e semanal
• Previsão Consumo de cigarros: semanal, mensal
• Previsão de Safra de Cacau
• Previsão de Índices financeiros
Previsão
• Caracterização do Negócio
– extrair regras de BD que caracterizem o negócio
• Enriquecimento de Banco de Dados
– inferir informações a partir de levantamento parcial
• Segmentação de Mercado
– agrupar entradas “similares” em clusters 
• Classificação de Padrões
– pré-classificar um nova entrada em um grupo
• Detecção de Fraude
– cartões de crédito, roubo de energia, água, etc.
• Análise de Risco em Investimentos
– identificação de regras de investimento
Data Mining
• Detecção e Diagnóstico de Falhas em equipamentos
• Inferência da produção em reservatórios de petróleo
– Rede Neural prevê a produção, por 20 anos, de óleo, gás e água, dada 
uma configuração de poços / válvulas (proxies)
• Inferência/Predição de Propriedades
– Rede Neural infere propriedades de derivados de petróleo em refinarias 
(soft sensor)
• Identificação de derramamento de óleo através de imagens de satélite
– Rede Neural classifica as imagens com e sem derramamento de óleo
• Reconhecimento de Litografia em campos de petróleo
– Um comitê de redes neurais é usado para classificar litografia
• Previsão de tempo de duração de atividades de perfuração e completação 
• Manutenção Preditiva
– RN determina o momento ideal para realizar manutenção em cada 
equipamento
Setor Petroquímico
 Fidelity Investments: Gerência de Fundos de Investimento
($2 bilhões)
 Chase Manhattan Bank: Detecção de Fraudes em Cartões 
de Créditos
 Citibank (USA): Avaliação de Crédito
 Nikko Securities: Sistema de Negociação do Índice da Bolsa
 Hill Samuel/UCL: Sistema de Previsão de Fundos de 
Investimento
 Thorn EMI/UCL: Perfil do consumidor
Aplicações Comerciais
• Classificação de Clientes (Data Mining)
• Análise de Crédito bancário
• Análise de anomalias cardíacas
• Reconhecimento de expressões faciais
• Análise/Classificação de Imagens de Satélite
• Agrupamento (“Clustering”) e Caracterização de clientes
• Clustering de tipos de carvão
• Controle de Tensão em Sistemas Elétricos 
• Previsão de chamadas de um Call Center
• Classificação de Imagens de satélite
• Determinação da carga máxima em vigas de aço
• Identificação de placas de veículos
• Sistema de Detecção e Classificação de Tumores
• Sistema automático de seleção de laranjas
Outras Aplicações