Baixe o app para aproveitar ainda mais
Prévia do material em texto
REDES NEURAIS Marley Maria B.R. Vellasco LIRA: Laboratório de Inteligência e Robótica Aplicadas PUC-Rio CONTEÚDO • Introdução – Inteligência Computacional, Motivação, Objetivo, Definição, Características Básicas e Histórico • Conceitos Básicos – Neurônio Artificial, Modos de Interconexão • Processamento Neural – Recall e Learning • Regras de Aprendizado – Regra de Hebb, Perceptron, Multi-Layer Perceptron, Competitive Learning, RBF, etc. “Técnicas e sistemas computacionais que imitam aspectos humanos, tais como: percepção, raciocínio, aprendizado, evolução e adaptação”. O que é Inteligência Computacional ? Sistemas Especialistas Lógica Fuzzy Redes Neurais Algoritmos Genéticos Sistemas Híbridos inferência humana processamento lingüístico neurônios biológicos evolução biológica aspectos combinados Inspiração na Natureza Sistemas Especialistas Lógica Fuzzy Redes Neurais Algoritmos Genéticos Sistemas Híbridos Aquisição de Conhecimento Previsão Otimização Controle Planejamento Data Mining Análise de Risco Detecção de Fraude Sistemas Computacionais de Suporte à Decisão Energia Finanças Telecomunicações Medicina Meio-Ambiente Indústria Comércio Áreas de Aplicação CONTEÚDO • Introdução – Inteligência Computacional, Motivação, Objetivo, Definição, Características Básicas e Histórico • Conceitos Básicos – Neurônio Artificial, Modos de Interconexão • Processamento Neural – Recall e Learning • Regras de Aprendizado – Regra de Hebb, Perceptron, Multi-Layer Perceptron, Competitive Learning, RBF, etc. MOTIVAÇÃO Constatação que o cérebro processa informações de forma diferente dos computadores convencionais COMPUTADOR processamento extremamente rápido e preciso na execução de seqüência de instruções muito mais lento no reconhecimento de padrões Processamento altamente paralelo (1011 neurônios com 104 conexões cada) CÉREBRO velocidade 1 milhão de vezes mais lenta que qualquer “gate” digital processamento extremamente rápido no reconhecimento de padrões MOTIVAÇÃO • Observações: – O cérebro tem 10 bilhões de neurônios. – Cada neurônio tem 1.000 a 10.000 conexões – 60 trilhões de conexões - 1014 sinapses! – Cada pessoa pode dedicar 100.000 conexões para armazenar cada segundo de experiência (65 anos 2.000.000.000 de segundos!) – Durante os 2 primeiros anos de vida, 1.000.000 de sinapses são formadas por segundo!! CONTEÚDO • Introdução – Inteligência Computacional, Motivação, Objetivo, Definição, Características Básicas e Histórico • Conceitos Básicos – Neurônio Artificial, Modos de Interconexão • Processamento Neural – Recall e Learning • Regras de Aprendizado – Regra de Hebb, Perceptron, Multi-Layer Perceptron, Competitive Learning, RBF, etc. OBJETIVO Estudar a teoria e a implementação de sistemas massivamente paralelos, que possam processar informações com eficiência comparável ao cérebro. DEFINIÇÃO Redes Neurais Artificiais são sistemas inspirados nos neurônios biológicos e na estrutura massivamente paralela do cérebro, com capacidade de adquirir, armazenar e utilizar conhecimento experimental. • Neurônio Biológico • Rede de Neurônios • 10 bilhões neurônios • Aprendizado • Generalização • Associação • Reconhecimento de Padrões • Neurônio Artificial • Estrutura em Camadas • centenas/milhares • Aprendizado • Generalização • Associação • Reconhecimento de Padrões Cérebro Redes Neurais Artificiais Relação com a Natureza APLICAÇÕES GERAIS Reconhecimento de Padrões Classificação de Padrões Correção de Padrões Previsão de Séries Temporais Aproximação de Funções Suporte à Decisão Geração de Informação Descoberta de Conhecimento CONTEÚDO • Introdução – Inteligência Computacional, Motivação, Objetivo, Definição, Características Básicas e Histórico • Conceitos Básicos – Neurônio Artificial, Modos de Interconexão • Processamento Neural – Recall e Learning • Regras de Aprendizado – Regra de Hebb, Perceptron, Multi-Layer Perceptron, Competitive Learning, RBF, etc. Características Básicas Devido à similaridade com a estrutura do cérebro, as Redes Neurais exibem características similares ao do comportamento humano, tais como: Características Básicas • Aprendizado: A rede aprende por experiência, não necessitando explicitar os algoritmos para executar uma determinada tarefa Características Básicas • Generalização: Habilidade de lidar com ruídos e distorções, respondendo corretamente a padrões novos. Redes Neurais são capazes de generalizar o seu conhecimento a partir de exemplos anteriores CONTEÚDO • Introdução – Inteligência Computacional, Motivação, Objetivo, Definição, Características Básicas e Histórico • Conceitos Básicos – Neurônio Artificial, Modos de Interconexão • Processamento Neural – Recall e Learning • Regras de Aprendizado – Regra de Hebb, Perceptron, Multi-Layer Perceptron, Competitive Learning, RBF, etc. HISTÓRICO • McCulloch & Pitts (1943): – modelo computacional para o neurônio artificial. Não possuía capacidade de aprendizado • Hebb (1949): – modelo de aprendizado (Hebbian Learning Rule). • Rosenblatt (1957): – modelo Perceptron, com grande sucesso em certas aplicações e problemas em outras aparentemente similares. • Minsky & Papert ( Perceptrons 1969): – prova matemática de que as redes Perceptron são incapazes de solucionar problemas simples tipo OU-EXCLUSIVO • Rumelhart (início da década de 80): – novos modelos de aprendizado que superaram os problemas dos Perceptrons. EVOLUÇÃO • Modelo de McCulloch-Pitts: w1 w2 wn x1 x2 xn T wi = + 1- i = 1,2,..., n sEntradas (valores 0,1) n sk+1 = 1 se wi xik T i=1 n 0 se wi xik T i=1 CONTEÚDO • Introdução – Inteligência Computacional, Motivação, Objetivo, Definição, Características Básicas e Histórico • Conceitos Básicos – Neurônio Artificial, Modos de Interconexão • Processamento Neural – Recall e Learning • Regras de Aprendizado – Regra de Hebb, Perceptron, Multi-Layer Perceptron, Competitive Learning, RBF, etc. CONCEITOS BÁSICOS • Neurônio Artificial – (Elemento Processador) • Estruturas de Interconexão – FeedForward de 1 camada – FeedForward de Múltiplas Camadas – Recorrente (com realimentação) Elemento Processador Elemento Processador inspirado no Neurônio Biológico Squashing Function neti f (neti) neti si si Elementos Básicos • Estado de Ativação sj • Conexões entre Processadores – a cada conexão existe um peso sináptico que determina o efeito da entrada sobre o processador wji armazena o conhecimento da rede • Função de Ativação – determina o novo valor do Estado de Ativação do processador sj = F (netj) Funções de Ativação É a função que determina o nível de ativação do Neurônio Artificial: sj = F(netj) threshold Tipos de Processadores Recebe os dados de entrada Apresenta os dados de saída As suas entradas e saídas permanecem dentro do sistema CONCEITOS BÁSICOS • Neurônio Artificial – (Elemento Processador) • Estruturas de Interconexão – FeedForward de 1 camada – FeedForward de Múltiplas Camadas – Recorrente (com realimentação) Topologias das Redes Neurais • Redes Feed-Forward: – redes de uma ou mais camadas de processadores, cujo fluxo de dados é sempre em uma única direção, isto é, não existe realimentação. • Redes Recorrentes: – redes com conexões entre processadores da mesma camada e/ou com processadores dascamadas anteriores (realimentação). Redes Feed-Forward Redes de uma camada PE3 PE2 PE1 PEn Redes Feed-Forward Rede de Múltiplas Camadas Camada Intermediária (Escondida) Camada de Saída PE3 PE2 PE1 PEn PE1 PE2 PEm H 1I 1 Novo dado (não apresentado durante o treinamento) I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Exemplo 1: Reconhecimento de Padrões I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w w w w w w w w w w w Atividade Neural Entrada Pesos Escondida Saída Pesos Exemplo 1: Reconhecimento de Padrões Atividade Neural H 1I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w ww Entrada Pesos Escondida Pesos O 1 O 2 O 3 Saída Exemplo 1: Reconhecimento de Padrões janela Entradas da rede Dados de Treinamento Série temporal Exemplo 2: Previsão janela Entradas da rede Dados de Treinamento Série temporal Exemplo 2: Previsão janela Entradas da rede Dados de Treinamento Série temporal Exemplo 2: Previsão janela Entradas da rede Dados de Treinamento Série temporal Exemplo 2: Previsão janela previsto Entradas da rede Saída da rede: Valor previsto Dados de Treinamento Série temporal Exemplo 2: Previsão Dados previstos janela previsto Entradas da rede Saída da rede: Valor previsto Dados de Treinamento Série temporal Exemplo 2: Previsão Dados previstos Dados reais Redes Recorrentes I n p u t O u t p u t R e a l i m e n t a ç ã o Redes Recorrentes O u t p u t R e a l i m e n t a ç ã o Redes Recorrentes O u t p u t R e a l i m e n t a ç ã o Redes Recorrentes O u t p u t R e a l i m e n t a ç ã o Redes Recorrentes O u t p u t R e a l i m e n t a ç ã o Redes Recorrentes O u t p u t R e a l i m e n t a ç ã o Redes Recorrentes O u t p u t R e a l i m e n t a ç ã o Redes Recorrentes O u t p u t R e a l i m e n t a ç ã o Redes Recorrentes O u t p u t R e a l i m e n t a ç ã o Redes Recorrentes O u t p u t R e a l i m e n t a ç ã o Redes Recorrentes O u t p u t R e a l i m e n t a ç ã o Rede Convergiu para um estado estável Memória Autoassociativa Padrão de entrada Padrão de entrada 1 ciclo1 ciclo 2 ciclo2 ciclo 3 ciclo- estável -3 ciclo- estável - • Exemplo 1: – Rede de 120 processadores Estado ROSA Estado AZUL Estado VERDE Estado LARANJA Memória Autoassociativa • Exemplo 2: Rede de 120 processadores Memória Autoassociativa • Exemplo 3: Rede de 320 processadores Memória Autoassociativa • Exemplo 3: Rede de 320 processadores Memória Autoassociativa • Exemplo 3: Rede de 320 processadores Outras Redes Recorrentes Ivan Nunes da Silva, D. H. Spatti, R. A. Flauzino, Redes Neurais Artificiais para Engenharia e Ciências Aplicadas: Curso Prático, Artliber Editora, 2010. CONTEÚDO • Introdução – Inteligência Computacional, Motivação, Objetivo, Definição, Características Básicas e Histórico • Conceitos Básicos – Neurônio Artificial, Modos de Interconexão • Processamento Neural – Recall e Learning • Regras de Aprendizado – Regra de Hebb, Perceptron, Multi-Layer Perceptron, Competitive Learning, RBF, etc. Processamento Neural O processamento de uma Rede Neural pode ser dividido em duas fases: Processo de cálculo da saída da rede, dado um certo padrão de entrada - Recuperação da Informação Processo de atualização dos pesos sinápticos para a aquisição do conhecimento - Aquisição da Informação Aprendizado Aprendizado • Processo pelo qual os parâmetros livres - pesos sinápticos - de uma rede neural são adaptados através de um processo contínuo de estimulação pelo ambiente. • Existem 3 tipos básicos de aprendizado: Treinamento Supervisionado (TS); Treinamento Não-Supervisionado; “Reinforcement Learning”. Treinamento Supervisionado Geralmente efetuado através do processo de minimização do erro calculado na saída. A rede é treinada através do fornecimento dos valores de entrada e de seus respectivos valores desejados de saída (“training pair”). Treinamento Supervisionado PESOS AJUSTÁVEIS (W) CÁLCULO DO ERRO (e) PADRÃO DE ENTRADA (X) SAÍDA (s) VALOR DESEJADO (t) e(t,s) Treinamento Não-Supervisionado “Self-Organization” Não requer o valor desejado de saída da rede. O sistema extrai as características do conjunto de padrões, agrupando-os em classes inerentes aos dados. Aplicado a problemas de “Clusterização” (Ex: Segmentação, Quantização vetorial, etc.) PESOS AJUSTÁVEIS (W) PADRÃO DE ENTRADA (X) SAÍDA (s) Treinamento Não-Supervisionado w1 t w2 t w3 t PE3 PE2 PE1 s1 s2 s3 x1 x2 x3 Topologia w1 t w2 t w3 t Treinamento Não-Supervisionado vetores de entrada vetores de pesos no instante t vetores de entrada vetores de pesos no instante t vetores de pesos após aprendizado w1 t w2 t w3 t w1 t+n w2 t+n w3 t+n PE3 PE2 PE1 s1 s2 s3 x1 x2 x3 Topologia w1 t+n w2 t+n w3 t+n Treinamento Não-Supervisionado “Reinforcement Learning” • Semelhante ao Treinamento Supervisionado (existe um objetivo); • NÃO existe um target para cada padrão; • Existe uma realimentação (sinal de reforço) que avalia a resposta como boa ou ruim; • O objetivo é maximizar a quantidade de reforço positivo Ex. aprendizado de jogos, robôs autômatos; . “Reinforcement Learning” •O Sistema de Aprendizado aprende a realizar uma certa tarefa somente com base nos resultados de sua experiência com uma interação com o ambiente. Ambiente Sistema de Aprendizado Crítico Sinal de ReforçoAções Vetor de Estado Recuperação de Dados Recuperação de Dados Generalização: A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de treinamento GENERALIZAÇÃO A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de treinamento Interpola corretamente os novos pontos apresentados x f(x) x1 x2 x3 x4 x5Xnovo generalizações interpolação suave Interpolação complexa xi pontos do conjunto de treinamento xnovo novo ponto para generalização Exemplos de Treinamento Supervisionado Reconhecimento de Caracteres Previsão de Séries Temporais Reconhecimento de Caracteres H 1I 1 Atividade Neural Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Pesos Estrutura da Rede Neural H 1I 1 Dados para Treinamento I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo Processo de Aprendizado I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w Processo de Aprendizadow Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w w w w w w w w w w Alvo Processo de Aprendizado w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento H 1I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro = - Processo de Aprendizado Pesos Dados para Treinamento Cálculo da atualização dos pesos em função do erro H 1I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo Processo de Aprendizado I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento B m1 Slide 80 m1 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ marley; 06/09/2005 H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w Processo de Aprendizado w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento B Alvo Processo de Aprendizado Atividade Neural H 1I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w ww Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída B H 1I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro = - Processo de Aprendizado Pesos Dados para Treinamento Cálculo da atualização dos pesos em função do erro B H 1I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo Processo de Aprendizado I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos Treinamento Z Dados para m2 Slide 84 m2 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ marley; 06/09/2005 H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w Processo de Aprendizado w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento Z Dados para Alvo Processo de Aprendizado Atividade Neural H 1I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w ww Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída Z Dados para H 1I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro = - Processo de Aprendizado Pesos Dados para Treinamento Cálculo da atualização dos pesos em função do erro Z H 1I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo Processo de Aprendizado I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento m3 Slide 88 m3 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ marley; 06/09/2005 H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w Processo de Aprendizado w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento Alvo Processo de Aprendizado Atividade Neural H 1I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w ww Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída H 1I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro = - Processo de Aprendizado Pesos Dados para Treinamento Cálculo da atualização dos pesos em função do erro Z H 1I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo Processo de Aprendizado I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento B m4 Slide 92 m4 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ marley; 06/09/2005 H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w Processo de Aprendizado w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento B Alvo Processo de Aprendizado Atividade Neural H 1I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w ww Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída B H 1I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro = - Processo de Aprendizado Pesos Dados para Treinamento B Cálculo da atualização dos pesos em função do erro - SEGUNDO CICLO - H 1I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo Processo de Aprendizado I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos Treinamento Z Dados para m5 Slide 96 m5 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ marley; 06/09/2005 H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w Processo de Aprendizado w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento Z Dados para Alvo Processo de Aprendizado Atividade Neural H 1I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w ww Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída Z Dados para H 1I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro = - Processo de Aprendizado Pesos Dados para Treinamento Z Cálculo da atualização dos pesos em função do erro - SEGUNDO CICLO - H 1I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo Processo de Aprendizado I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w Processo de Aprendizado w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento Alvo Processo de Aprendizado Atividade Neural H 1I 1 I 2 I 3 H 2 H 3 w w w w w w w w ww w w w w w w ww Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída H 1I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo Processo de Aprendizado I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento B m6 Slide 103 m6 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ marley; 06/09/2005 H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w Processo de Aprendizado w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento B Alvo Processo de Aprendizado Atividade Neural H 1I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w ww Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída B H 1I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo Processo de Aprendizado I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos Treinamento Z Dados para m7 Slide 106 m7 INSERIR UMA PADRÃO DA LETRA B para mostrar que são apresentados UM PADRÃO DE CADA VEZ marley; 06/09/2005 H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w Processo de Aprendizado w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento Z Dados para Alvo Processo de Aprendizado Atividade Neural H 1I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w ww Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída Z Dados para Processo de Generalização Recuperação da Informação Aprendida H 1I 1 Novo dado (não apresentado durante o treinamento) I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Processo de Generalização I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos H 1I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w w w w w w w w w w Processo de Generalização w Atividade Neural Entrada Pesos Escondida Saída Pesos Processo de Generalização Atividade Neural H 1I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w ww Entrada Pesos Escondida Pesos O 1 O 2 O 3 Saída Resposta correta a um novo padrão! Previsão de Séries Temporais Série temporal janela alvo Entradas da rede = n valores passados Estrutura da Rede Neural Dados de Treinamento Saída Desejada = valor da série k passos à frente Ex: 5 valores passados Ex: valor um passo à frente Entradas da rede Saída da rede: Valor previsto um passo à frente Processo de Aprendizado Série temporal janela alvo Dados de Treinamento Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Entradas da rede Saída da rede: Valor previsto um passo à frente Processo de Aprendizado Série temporal janela alvo Dados de Treinamento janela alvo Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Entradas da rede Processo de Aprendizado Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente janela alvo Entradas da rede Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Processo de Aprendizado janela alvo Entradas da rede Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Processo de Aprendizado janela alvo Entradas da rede Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Processo de Aprendizado Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Entradas da rede Saída da rede: Valor previsto um passo à frente Processo de Aprendizado Série temporal janela alvo Dados de Treinamento janela alvo Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Entradas da rede Processo de Aprendizado Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente janela alvo Entradas da rede Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Processo de Aprendizado Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Entradas da rede Saída da rede: Valor previsto um passo à frente Processo de Aprendizado Série temporal janela alvo Dados de Treinamento janela alvo Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Entradas da rede Processo de Aprendizado Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente janela alvo Entradas da rede Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Processo de Aprendizado Processo de Generalização Recuperação da Informação Aprendida janela Entradas da rede Dados de Treinamento Série temporal Processo de Generalização janela previsto Entradas da rede Saída da rede: Valor previsto Dados de Treinamento Série temporal Processo de Generalização Dados previstos janela previsto Entradas da rede: inclui o(s) valor(es) previstos pela Rede Saída da rede: Valor previsto Dados de Treinamento Série temporal Dados previstos Processo de Generalização janela previsto Dados de Treinamento Série temporal Dados previstos Processo de Generalização Entradas da rede: inclui o(s) valor(es) previstos pela Rede Saída da rede: Valor previsto • Previsão de Demanda de Energia Elétrica: mensal, horária, 10 em 10 min., horário de pico. • Previsão mensal de Demanda de Lubrificantes • Previsão de Vazão de Rios: diária e semanal • Previsão Consumo de cigarros: semanal, mensal • Previsão de Safra de Cacau • Previsão de Índices financeiros Previsão • Caracterização do Negócio – extrair regras de BD que caracterizem o negócio • Enriquecimento de Banco de Dados – inferir informações a partir de levantamento parcial • Segmentação de Mercado – agrupar entradas “similares” em clusters • Classificação de Padrões – pré-classificar um nova entrada em um grupo • Detecção de Fraude – cartões de crédito, roubo de energia, água, etc. • Análise de Risco em Investimentos – identificação de regras de investimento Data Mining • Detecção e Diagnóstico de Falhas em equipamentos • Inferência da produção em reservatórios de petróleo – Rede Neural prevê a produção, por 20 anos, de óleo, gás e água, dada uma configuração de poços / válvulas (proxies) • Inferência/Predição de Propriedades – Rede Neural infere propriedades de derivados de petróleo em refinarias (soft sensor) • Identificação dederramamento de óleo através de imagens de satélite – Rede Neural classifica as imagens com e sem derramamento de óleo • Reconhecimento de Litografia em campos de petróleo – Um comitê de redes neurais é usado para classificar litografia • Previsão de tempo de duração de atividades de perfuração e completação • Manutenção Preditiva – RN determina o momento ideal para realizar manutenção em cada equipamento Setor Petroquímico Fidelity Investments: Gerência de Fundos de Investimento ($2 bilhões) Chase Manhattan Bank: Detecção de Fraudes em Cartões de Créditos Citibank (USA): Avaliação de Crédito Nikko Securities: Sistema de Negociação do Índice da Bolsa Hill Samuel/UCL: Sistema de Previsão de Fundos de Investimento Thorn EMI/UCL: Perfil do consumidor Aplicações Comerciais • Classificação de Clientes (Data Mining) • Análise de Crédito bancário • Análise de anomalias cardíacas • Reconhecimento de expressões faciais • Análise/Classificação de Imagens de Satélite • Agrupamento (“Clustering”) e Caracterização de clientes • Clustering de tipos de carvão • Controle de Tensão em Sistemas Elétricos • Previsão de chamadas de um Call Center • Classificação de Imagens de satélite • Determinação da carga máxima em vigas de aço • Identificação de placas de veículos • Sistema de Detecção e Classificação de Tumores • Sistema automático de seleção de laranjas Outras Aplicações
Compartilhar