4 Otimização e Calibração Ruberto (1)

Esta é uma pré-visualização de arquivo. Entre para ver o arquivo original

Click to edit Master title style
Click to edit Master subtitle style
1:05
*
*
Métodos de Calibração de Modelos hidrológicos
Carlos Ruberto Fragoso Júnior
3:50
*
*
Sumário
Conceito básicos
O que é calibração?
Problemas comuns na calibração de modelos hidrológicos
Ciclo da calibração
Métodos de calibração
Função objetivo
Técnicas numéricas
Busca aleatória
Técnicas iterativas;
Busca direta;
Técnicas de otimização global;
Algoritmos genéticos
Critérios de parada
3:50
*
*
O que é calibração
Procura de valores dos parâmetros de um modelo matemático que resultem em uma boa concordância entre dados observados e calculados;
O erro é minimizado!!
3:50
*
*
Calibração - Otimização
Encontrar o mínimo ou o máximo de uma função
3:50
*
*
Problemas comuns em modelos hidrológicos
Encontrar um conjunto ótimo de parâmetros que ajusta um evento de cheia ou uma série de vazões;
Encontrar o coeficiente do reservatório linear simples que ajusta adequadamente uma recessão de vazão.
3:50
*
*
Problema:
Encontrar o coeficiente do reservatório linear simples que ajusta adequadamente uma recessão de vazão.
Q = V / k
Q(t+dt) = Q(t) . exp(-dt/k)
3:50
*
*
3:50
*
*
3:50
*
*
Q(t+dt) = Q(t) . exp(-dt/k)
Primeiro teste: k = 20
3:50
*
*
Problemas na calibração de modelos hidrológicos
Modelos hidrológicos geralmente tem muitos parâmetros
Não lineares
Técnicas de otimização automáticas
Usar Funções Objetivo
3:50
*
*
Ciclo da calibração
Rodar o modelo
Verificar o erro
Ajustar os 
parâmetros
Critérios de parada
Critérios para um “bom ajuste” (Função objetivo)
Critérios para mudança dos parâmetros
3:50
*
*
Métodos de calibração
Métodos de
calibração
Tentativa e erro
(Manual)
Técnicas numéricas
Aleatório
Ajusta os parâmetros
manualmente
baseado nos
resultados
 
Assume faixa de
probabilidade para
cada parâmetro
 
Usa algoritmos
numéricos para
encontrar um conjunto
de parâmetros
ótimo
 
3:50
*
*
Funções Objetivo (FO)
Medida do erro – objetivo é minimizar a FO
Diferentes funções objetivo
Somatório dos erros: compensação de erros
Somatório do módulo dos erros
Somatório dos erros ao quadrado
Somatório de erros relativos
Somatório dos desvios dos inversos da vazão
Erro de volume (bias)
Coeficiente de eficiência de Nash-Sutcliffe
3:50
*
*
Funções objetivo
Raiz do Erro Médio Quadrado (RSME)
3:50
*
*
Funções objetivo
Raiz do Erro Médio Quadrado Normalizado (NRSME)
3:50
*
*
Funções objetivo
Coeficiente de correlação de Pearson
3:50
*
*
Funções objetivo
Coeficiente de eficiência de Nash-Sutcliffe
3:50
*
*
Funções Objetivo
Função quadrática
Função módulo
Função para mínimos
Função relativa
3:50
*
*
Exemplo
3:50
*
*
Técnicas de otimização 
Cálculo analítico
Técnicas numéricas
Busca aleatória
Busca direta
Algoritmos genéticos
3:50
*
*
Cálculo analítico
Encontrar pontos da função em que a derivada é zero.
vantagens (pode ser rápido, é mais elegante) 
desvantagens (funções de picos múltiplos, funções descontínuas, ausência da forma analítica da função - por exemplo no problema de calibração de um modelo chuva-vazão)
3:50
*
*
Cálculo analítico - Conceitos
Haverá sempre um ponto de máximo ou mínimo, seja no interior da região delimitada pelas restrições ou nos limites, desde que a função objetivo seja contínua. 
A condição necessária para que exista um ponto de máximo ou mínimo é a seguinte: pontos estacionários
 
A condição suficiente para que um ponto estacionário seja um mínimo é a seguinte
 
onde Ri são os menores principais da matriz Hessiana H.
3:50
*
*
3:50
*
*
Exemplo
Determine o mínimo da função
H = 
x1= 8
x2 = 2
y = -56
Matriz positiva definida
3:50
*
*
Técnicas numéricas - Busca Aleatória
Vantagens: funções descontínuas; picos múltiplos
Desvantagens: demorado; não existe garantia de atingir o ponto ótimo global
“Ótimo”
3:50
*
*
Características das Técnicas Numéricas
Definição do ponto de partida: o critério para inicializar o processo de tentativa em geral depende mais do problema em questão do que do método.
Direção de pesquisa: a direção de pesquisa identifica o vetor no qual serão realizadas as alterações das variáveis.
Espaçamento de cada tentativa: identifica a variação que ocorrerá na direção de pesquisa a cada tentativa. 
Critérios de parada: envolve a definição dos critérios para aceitar uma determinada solução como o ótimo de uma função. 
3:50
*
*
Técnicas numéricas - Busca direta
Estratégia de caminhar “morro acima” 
3:50
*
*
Máximo global
Máximo local
Função objetivo: F(x1,x2) 
x1
x2
3:50
*
*
Início: ponto coordenadas (parâmetros) aleatórias
X1=valor aleatório entre a e b
X2=valor aleatório entre c e d
3:50
*
*
Determina direção de busca: exemplo x2=x2+0,3; x1=x1
Função objetivo melhorou? Não, então tenta no outro sentido. 
3:50
*
*
F.O melhorou? Sim, então continua no mesmo sentido
3:50
*
*
F.O melhorou? Sim, então continua no mesmo sentido
3:50
*
*
F.O melhorou? Sim, então continua no mesmo sentido
3:50
*
*
F.O melhorou? Não, então volta para o ponto anterior...
3:50
*
*
F.O melhorou? Sim, então continua no mesmo sentido
...e muda a direção de busca.
3:50
*
*
E assim segue até encontrar um ponto em que não existe
direção de busca que melhore o valor da FO
3:50
*
*
Método unidirecional
1. Direção de pesquisa paralela aos eixos;
2. Pesquisa em cada direção: espaçamento constante ou variável
3. Critério de parada desvantagens: (ao lado)
3:50
*
*
Método da rotação das coordenadas (Rosenbrook)
Primeiro ciclo igual ao univariacional
segundo ciclo com rotação
duas alternativas para pesquisa em cada direção: método original que alterna a pesquisa de cada direção em cada tentativa;
3:50
*
*
Primeiro ciclo direção x1
Primeiro ciclo direção x2
3:50
*
*
Rosenbrock: Método um pouco mais eficiente
Direção de busca é a que potencialmente dará maior incremento da FO
3:50
*
*
Limitação da busca direta: Ótimos locais
Região que 
atrai solução
para o ótimo
local
3:50
*
*
Tentativa de contornar problema: Busca direta com inicialização múltipla
Várias tentativas; espera se que o ótimo global seja a melhor
solução testada.
Problema: Ineficiente e ineficaz quando a FO tem muitos ótimos locais
3:50
*
*
Técnicas numéricas – Busca direta
Busca direta (Rosenbrock e cia.) 
vantagens: funções descontínuas; otimização por simulação (funções que não podem ser expressas analiticamente - calibração de modelos)
desvantagens: funções com picos múltiplos 
3:50
*
*
Técnicas numéricas – Algoritmos genéticos
Início
Inicialização da população
Cálculo da aptidão
Solução
encontrada?
Seleção
Reprodução
Mutação
Fim
Nova
população
3:50
*
*
Conceitos de população, reprodução e gerações
Filhos são semelhantes aos pais
Os pais mais “adaptados” tem maior probabilidade de gerar filhos
Os filhos não são completamente iguais aos pais
Algumas regras gerais dos algoritmos genéticos
3:50
*
*
Pais mais adaptados têm maior probabilidade de gerar filhos
(sobrevivência do mais apto = seleção natural)
Darwin
3:50
*
*
Algoritmos genéticos
Na natureza: indivíduos mais adaptados têm maior probabilidade de sobreviver até chegar à fase reprodutiva e de participar do processo de reprodução.
No algoritmo: pontos com maior FO têm maior probabilidade de serem escolhidos para participar dos complexos. 
3:50
*
*
Algoritmo genético “puro”
1 - gera população (pontos aleatórios)
3:50
*
*
2 - escolhe pontos para participar do processo de “reprodução”
(pontos
com melhor FO tem maior probabilidade de escolha
3:50
*
*
2 - Exemplo de reprodução: escolhidos dois pontos
Xa=8
Xb=19
Xa=01000
binário
Xb=10011
3:50
*
*
Genética: filhos “recebem” cromossomos dos pais
01000
10011
É determinado um (ou mais) ponto de “corte”
(aleatório)
Xa=01011 = 11
Xb=10000 = 16
01011
10000
Filho 1: parte dos “cromossomos” do pai e parte da mãe
Filho 2: outra parte dos “cromossomos” do pai e parte da mãe
Filhos:
3:50
*
*
pais
filhos
3:50
*
*
Genética: filhos “recebem” cromossomos dos pais
01000
10011
É determinado um (ou mais) ponto de “corte”
(aleatório)
Xa=01011 = 11
Xb=10100 = 20
01011
10100
Filho 1: sem mutação
Filho 2: mutação
Filhos:
Mutação: evento de baixa probabilidade
3:50
*
*
Reprodução de todos os pontos escolhidos resulta na nova geração
3:50
*
*
Depois de algumas gerações
3:50
*
*
Algumas desvantagens do algoritmo genético puro
Números binários
Transformação de variáveis de base decimal para binária
Variável Y
-0,05
+180,3
decimal
0000000000
1111111111
Usando 10 bits; Resolução = 0,176
3:50
*
*
Algumas vantagens do algoritmo genético puro
Otimização com números inteiros
Diâmetros comerciais
3:50
*
*
Evolução de complexos misturados (Shuffled complex evolution)
SCE - UA
Usa técnicas de 
busca aleatória
algoritmos genéticos 
simplex (Nelder e Mead)
Proposto por Duan, Gupta e Sorooshian (U. Arizona)
Descrito no livro Sistemas Inteligentes da ABRH
3:50
*
*
Passo 1
3:50
*
*
Passo 2
3:50
*
*
Passo 3
3:50
*
*
Passo 4
3:50
*
*
Passo 5
3:50
*
*
Passo 6
3:50
*
*
Passo 7
3:50
*
*
Passo 8
3:50
*
*
Passo 9
3:50
*
*
Passo 10
3:50
*
*
Passo 20
3:50
*
*
1 - Geração aleatória de pontos
Complexos = “casais”
Obs.: Casais podem
ser de mais de dois
pontos.
3:50
*
*
2 - Formar complexos
Complexos = “casais”
Obs.: Casais podem
ser de mais de dois
pontos.
Exemplo: complexos
de 4 pontos
3:50
*
*
3 - Formar sub-complexo (exemplo)
Obs.: Nem todos os
pontos de um
complexo fazem parte
do sub-complexo.
Exemplo:
subcomplexo de 3
pontos extraído de um
complexo de 4 pontos.
A probabilidade de um
ponto do complexo
participar do sub-complexo
é proporcional à FO.
3:50
*
*
Define pior ponto do sub-complexo
Exemplo:
sub-complexo
de 3 pontos
3:50
*
*
Define centróide dos melhores pontos
3:50
*
*
Passo de reflexão
Passo de reflexão:
distância a = distância b
Verifica valor da FO
no novo ponto,
se é melhor do que
pior ponto, novo 
ponto é aceito,
se não, vai para o 
passo de contração.
3:50
*
*
Passo de contração
Passo de contração:
distância a = distância b
Verifica valor da FO
no novo ponto,
se é melhor do que
pior ponto, novo 
ponto é aceito,
se não, cria ponto
aleatório.
3:50
*
*
Ponto aleatório
Um novo ponto é gerado no espaço definido pelos limites mínimo e máximo de cada um dos parâmetros no complexo.
3:50
*
*
Ponto aleatório
Um novo ponto é gerado no espaço definido pelos limites mínimo e máximo de cada um dos parâmetros no complexo.
3:50
*
*
Nova geração
Cada complexo gera um novo ponto (filhote), seja por um passo de reflexão, de contração ou aleatório. O novo ponto substitui o pior ponto do complexo. Ao final de uma rodada de evolução existe uma nova geração, com o mesmo tamanho de população (número de pontos).
3:50
*
*
Pais mais adaptados têm maior probabilidade de gerar filhos
(sobrevivência do mais apto = seleção natural)
1) Classificar os pontos do complexo em ordem de FO (ranking)
2) Atribuir probabilidade de escolha para participar do sub-complexo segundo a função do desenho:
3:50
*
*
Exemplo
Complexo
Sub-Complexo
Dois pontos do complexo ficaram fora do sub-complexo.
Não necessariamente os piores pontos ficam fora.
3:50
*
*
Filhos são semelhantes aos pais
Genética: filhos “recebem” cromossomos
dos pais
Algoritmo SCE-UA:
No lugar dos “casais” estão
os “complexos”, que são 
“casais” de n pontos
3:50
*
*
Calibração do modelo IPH-2
Calibração multi-objetivo do modelo IPH-2
Calibração multi-objetivo do modelo de grandes bacias
Ajuste de parâmetros de curva de infiltração de trincheira (Vladimir)
Aplicações
3:50
*
*
Calibração automática com SCE-UA
Função objetivo:
Coeficiente de Nash Sutcliffe
3:50
*
*
Cada ponto representa os valores dos parâmetros escolhidos.
A FO é o coeficiente de Nash Sutcliffe. Para ser avaliada, deve
ser realizada uma simulação completa (por exemplo, 10 anos de
dados diários).
3:50
*
*
Teste 1:
Calibração com série sintética de vazões
Vazão observada é substituída pela vazão gerada pelo modelo
Teoricamente o método de calibração deve encontrar os 
parâmetros utilizados na geração da série.
Valores dos parâmetros utilizados no teste
I0
Ib
h
Ks
Kbas
Rmax
Alf
50,0
1,0
0,8
5,0
100,0
4,0
2,0
3:50
*
*
Resultados teste 1
I0 = 50
Em 10 aplicações sucessivas o algoritmo de calibração atingiu sempre o ótimo global (conjunto de parâmetros que gerou a série sintética), em menos do que 10.000 avaliações da função objetivo
Literatura mostra testes semelhantes com métodos Rosenbrock e outros, que não conseguem superar este teste.
Valor do parâmetro ao longo do processo 
3:50
*
*
Calibração do modelo IPH-2 (10 vezes)
Teste 2: calibração dados observados
Calibração
I0
Ib
h
Ks
Kbas
Rmax
Alf
R2
1
36,04
0,46
0,93
7,52
11,11
2,80
19,99
0,85915
2
36,04
0,46
0,93
7,52
11,16
2,80
19,99
0,85915
3
36.03
0.46
0.93
7,52
11,05
2,80
19,99
0,85915
4
35.91
0.46
0,93
7.56
11.95
2.81
19.69
0,85915
5
36.02
0.46
0,93
7.52
11.09
2.80
19.98
0,85915
6
36.04
0.46
0.93
7.52
11.14
2.80
19.99
0,85915
7
36.04
0.46
0,93
7.52
11.12
2.80
19.99
0,85915
8
36.05
0.46
0,93
7.52
11.13
2.80
19.99
0,85915
9
36.03
0.46
0.93
7.52
11.11
2.79
19.99
0,85915
10
36.04
0.46
0.93
7.52
11.16
2.80
19.99
0,85915
3:50
*
*
SCE-UA aplicado ao IPH-2
Fortes evidências de que o algoritmo encontra o ótimo global.
Melhor que Rosenbrock.
Pior que calibração manual porque só leva em conta uma função objetivo.
3:50
*
*
Otimização multi-objetivo
Considerar mais de uma FO.
Calibração de modelos hidrológicos distribuídos
Otimização de sistemas de reservatórios de usos múltiplos (controle de cheias x regularização de vazão)
Vazão e evapotranspiração
3:50
*
*
Otimização multi-objetivo
Em geral o ótimo de uma função não corresponde ao ótimo 
da outra.
Função 1
Função 2
3:50
*
*
Otimização multi-objetivo
Um problema de otimização multi-objetivo tem um conjunto de soluções igualmente válidas.
3:50
*
*
Região de Pareto ou Curva de Pareto
Conjunto de pontos em que a solução não pode ser considerada pior do que qualquer outra solução. 
3:50
*
*
Exemplo IPH 2
2 FO: Erro volume e RMSE
Faixa válida dos parâmetros.
3:50
*
*
Geração 1
3:50
*
*
Geração 10
3:50
*
*
Geração 20
3:50
*
*
Geração 50
3:50
*
*
Geração 138
3:50
*
*
Avaliação da incerteza: usar todos os conjuntos e gerar vários hidrogramas
3:50
*
*
Propagação da incerteza: Q90 calculada, por exemplo, vai de 8,9 a 10,5 m3.s-1, sendo que a Q90 observada é de 9,1 m3.s-1
3:50
*
*
Problemas de recursos hídricos esperando por uma abordagem com algoritmos genéticos no CTEC
Dimensionamento de sistema de reservatórios de abastecimento ou
controle de cheias
Dimensionamento de canais e redes de abastecimento
Otimização de operação de reservatórios
Substituir Rosenbrock
Substituir programação linear
Substituir programação dinâmica
3:50
*
*
Problemas de recursos hídricos esperando por uma abordagem com algoritmos genéticos no CTEC
Problemas de otimização com inteiros
diâmetros comerciais de condutos
parâmetros comerciais de bombas
3:50
*
*
Sugestões de leitura
Yapo, P. O.; Gupta, H. V.; Sorooshian, S. 1998 Multi-objective global optimization for hydrologic models. Journal of Hydrology, Vol. 204 pp. 83-97.
Sorooshian, S.; Gupta, V. K. 1995 Model calibration In: Singh, V. J. (editor) Computer models of watershed hydrology. Water Resources Publications, Highlands Ranch. 1130 p. 
Duan, Q.; Sorooshian, S.; Gupta, V. 1992 Effective and efficient global optimization for conceptual rainfall-runoff models. Water Resources Research Vol. 28 No. 4. pp. 1015-1031. 
Duan, Q.; Sorooshian, S.; Gupta, V. 1994 Optimal use of the SCE – UA global optimization method for calibrating watershed models. Journal of Hydrology, Vol 158 pp. 265-284. 
Bonabeau, E.; Dorigo, M.; Theraulaz, G. 2000 Inspiration for optimization from social insect behaviour. Nature Vol. 406 July pp.39-42.
Goldberg, D. 1989 Genetic Algorithms in Search, Optimization and Machine Learning Addison-Wesley, 412 pp.
3:50
*
*
Sugestões de leitura
Klemes, V. 1986 Operational testing of hydrological simulation models. Hydrological Sciences Journal V. 31 No. 1 pp. 13-24.
Nash e Sutcliffe, 1970 (Journal of Hydrology)
Particle Swarm Optimization