Filipe Mühlbeier - Artigo PQI5835 2015

Prévia do material em texto

Guaranteed characterization of exact 
non-asymptotic confidence 
regions as defined by LSCR and SPS 
Michel Kieffer , Eric Walter 
 
 
 
 
Filipe Bressan Mühlbeier 
 
PQI5835 POLI USP 
Motivação 
• O método de região de confiança é uma estratégia 
iterativa para solução de problemas de otimização 
com o objetivo de obter convergência global e 
aproveitar, ao máximo, as propriedades de 
convergência local; 
• Complementação das estimativas de parâmetro: 
– Avaliação da qualidade; 
• Nova família de métodos proposto por Marco 
Campi(Dept. of Information Engineering University of 
Brescia - Italy) 
– Obter regiões de confiança não assintóticas exatas sobre 
a distribuição de ruído; 
 
Gargalos 
• Caracterização numérica das regiões de 
confiança; 
• Não fornece nenhuma garantia quanto 
aos resultados(um dos motivos é 
gridding); 
• Aplicado somente em espaçoes de baixas 
dimensões; 
Desafio 
 
 
• Esse artigo irá demonstrar como a análise 
do intervalo de confiança pode contribuir 
para remover esse gargalo. 
Introdução 
• Vetor 𝒑 dos parâmetros de um modelo 
matemático aproximado é estimado de um vetor 
de ruído 𝒚 via a minimização da função custo 
𝑱 𝒑 = 𝒚 − 𝒚𝒎 𝒑
𝟐
𝟐
 
 
onde 𝒚𝒎 𝒑 é o vetor de saída do modelo, assume-
se uma função determinística de 𝒑 e . 2 com 
norma ℓ𝟐. 
Introdução 
• Então 𝒑 = 𝐚𝐫𝐠𝒎𝒊𝒏𝒑𝑱(𝒑); 
 
• Mesmo 𝑦 e 𝑦𝑚 sendo bem semelhantes, é 
difícil considerar essa como a resposta 
definitiva para o problema da estimativa; 
• O correto é anexar mais valores de 
qualidade de 𝑝 para maior confiabilidade 
dos valores numéricos obtidos. 
Introdução 
 
• A palavra chave para esse tipo de análise 
é tirar conclusões que são um pouco 
prejudiciais, tão quanto possível(Campi & 
Weyer); 
• Lembrando que a maior dificuldade com 
esse tipo de approach é a caracterização 
numérica das regiões de confiança; 
LSCR e SPS 
Métodos para Construção de Regiões de 
Confiança Não Assintóticas 
 
• Leave-out Sign-dominant Correlation 
Regions 
 
• Sign-Perturbed Sums 
LSCR e SPS 
• A característica principal do LSCR e SPS 
é evitar uma série de pressupostos usuais 
proporcionando uma caracterização exata 
do parâmetro de incerteza em condições 
não assinóticas; 
• Ambos precisam somente de uma 
amostra de ruído para serem distribuídos 
simetricamente em relação à zero; 
 
 
LSCR 
• (Campi & Weyer, 2005): 
– Região 𝜣 no qual no vetor parâmetros 𝒑∗ os 
dados são gerados por uma função 
específica de probabilidade; 
– Tendo 𝜺𝒕(𝐩) como a predição do erro no qual 
𝜺𝒕(𝒑
∗) é a realização do ruído no tempo 𝒕; 
– e.g.: pode ser considerado como 𝒚𝒕 − 𝒚𝒕
𝒎(𝒑) 
LSCR 
• Procedimento para computar um intervalo 
de confiança 
 
LSCR 
• A probabilidade do vetor de parâmetros 𝒑∗ 
que pertence ao conjunto 𝜣𝒓,𝒒
𝜺 é 
𝟏 − 𝟐𝒒/𝒎 
– Não depende somente de 𝒓 e 𝒒 mas também 
do grupo G, com um tamanho apropriado 
(Gordon 1974) 
 
 
LSCR 
• Onde P é o domínio para 𝒑 onde: 
 
 
 
Tal que o último item 𝒒 das funções 
é menor que zero 
LSCR 
• Quando o modelo estudado é dado por uma 
entrada 𝒖𝒕 um meio de obter uma regiao de 
confiança é substiruir: 
 
 
Por: 
 
 
Substituindo autocorrelações por 
intercorrelações 
LSCR 
• O fato de definir 𝜣𝒓,𝒒
𝜺 (𝜣𝒓,𝒒
𝒖 ) não significa 
um volume mínimo e que a região de 
confiança pode se tornar muito grande 
para ser útil na análise; 
• Várias regiões podem fazer interseção o 
que acaba sendo um preço a ser pago 
muito grande para definir as regiões de 
confiança. 
 
 
 
LSCR 
Marco Campi Slides* 
* http://marco-campi.unibs.it/pdf-pszip/LSCR-identification.pdf 
SPS 
• (Csáji 2012) 
– Provê regiões de confiança onde 𝒑∗ é 
definido por uma funçao de probabilidade 
específica através de: 
• Simetria da distribuição do ruído; 
• Interdependência entre amostras de ruído. 
SPS 
• Projetado por uma regressão linear, onde: 
 
 
considerando 𝝋𝒕 um vetor de regressão 
conhecido que não depende de parâmetros 
desconhecidos. 
 
SPS 
• Calcula uma região de confiança para o 
vetor de parâmetros 𝒑∗ entorno dos 
mínimos quadrados estimado 𝒑 no qual a 
solução é: 
 
 
• Considerando um 𝒑 genérico: 
 
 
 
 
 
 
SPS 
• Sign-Perturbed Sums: 
 
 
• Onde 𝑖 = 1… 𝑚 − 1 e 𝛼𝑖,𝑡 são distribuídos 
de forma independente e idêntica(i.i.d.) 
– 𝜶𝒊,𝒕 = ±𝟏 (probabilidade igual) 
– 
 
 
 
 
 
 
 
 
 
SPS 
• Região de confiança com a probabilidade 
exata 𝟏 − 𝒒/𝒎 pode ser difinida como: 
 
 
Onde 𝝉𝒊 𝒑 = 𝟏 se 𝒛𝒊 𝒑 − 𝒛𝟎 𝒑 > 𝟎 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
SPS 
• Região de confiança com a probabilidade 
exata 𝟏 − 𝒒/𝒎 pode ser difinida como: 
 
 
Onde 𝝉𝒊 𝒑 = 𝟏 se 𝒛𝒊 𝒑 − 𝒛𝟎 𝒑 > 𝟎 
Guaranteed Characterization 
• O LSCR e o SPS devem se caracterizar 
como um conjunto ou uma interceção de 
conjuntos definido como: 
 
 
Onde 𝝉𝒊 𝒑 é uma função indicador que 
depende da estrutura do modelo 𝒇𝒊(𝒑), das 
medidas feitas e do vetor de parâmetro 𝒑. 
Guaranteed Characterization 
Set inversion 
• (Jaulin & Walter, 1993) 
– A caracterização de 𝝍𝒒 pode ser formulada 
como um set inversion: 
 
 
onde: 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
• (Jaulin, 2001) 
– A indeterminação muitas vezes pode resultar 
em uma superstimação de funções de 
inclusão, o que implica em um problema de 
complexidade computacional, mesmo que 
para dimensões moderadas. 
– Por esse motivo, o Contractor vêm para 
solucionar o problema: 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
• (Jaulin, 2001) 
– O contractor proposto assume que as 
funções 𝑓𝑖 são diferenciáveis e 
implementadas em 2 etapas: 
1. Um conjunto de 𝒎 subboxes possíveis 
sobrepostos de [𝒑]; 
2. União de todas as intercesões não vazias. 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Contractor for LSCR e SPS 
• O primeiro passo é utilizar a forma de 𝒇𝒊 
onde qualquer 𝒎 ∈ [𝒑] pode ser escrito: 
 
 
 
onde 𝑔𝑖 é o gradiente de 𝑓𝑖. 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Contractor for LSCR e SPS 
• Para o k-ésimo componente de [𝒑𝒌]: 
 
 
 
 
O contractor se torna eficiente 
somente quando [𝒑] é pequeno suficiente. 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Contractor for SPS 
• É possível ter a vantagem do fato de que as 
funções para 𝒔𝒊 𝒑 , 𝒊 = 𝟎…𝒎 reduzem o 
número de ocorrências de 𝒑 em sua 
expressão formal; 
• Reescrevendo a equação para SPS: 
 
 para: 
 
Onde e 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Contractor for SPS 
• Reescrevendo a equação SPS: 
 
 para: 
 
Onde e 
Considerando que 𝐴𝑖’s são simétricos: 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Contractor for SPS 
• Como as matrizes : 𝐴𝑖
2 − 𝐴0
2 são 
simétricas, pode-se dizer que também são 
diagonalizáveis.Portanto: 
 onde U é a matriz ortogonal 
 
• Utilizando a mudança de variáveis 
 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Contractor for SPS 
 
 
Onde e 
Reescrevendo... 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Contractor for SPS 
 
 
 
Considerando , então: 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Contractor for SPS 
 
• O Contractor para o vetor [𝒑] é: 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Contractor for SPS 
 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Contractor for SPS 
 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Building a q-relaxed intersection 
 
• (Jaulin, 2009, 2011) 
– Parte da segunda etapa de construção do 
box [𝒑´] é definido o q-relaxed: 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Building a q-relaxed intersection 
 
• (Jaulin, 2009, 2011) 
– Algoritmo de implementação: 
 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Contractors for guaranteed characterization 
Building a q-relaxed intersection 
 
• (Jaulin, 2009, 2011) 
 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Examples 
 
• Recursos: 
– SW: 
• Inlab; 
• Matlab. 
– HW: 
• Processador Intel Core i7 com 3.7 GHz e 8 GB RAM. 
 
Plataforma para calculo do q-relaxed intersection 
pode ser ser acelerado se utilizado C++. 
 
 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
 
• Modelo de 2 compartimentos 
(farmacocinéticos) 
 
 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
 
 
 
 
 
• Parâmetros do modelo para ser estimado: 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
 
• A equação: 
 
onde: 
 
 
 
𝑤𝑡 são realizações i.i.d, variância do ruído 
 , o período de amostragem 𝑻 = 𝟎. 𝟐𝒔 
 e 𝒏 = 𝟔𝟒. 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
 
 
 
 
 
• Somente 𝑘01 e 𝑘12 são estimados, 𝑘21 é 
conhecido. 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
 
 
 
 
 
• A predição dos erros é 
onde 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
 
 
 
 
 
• O conjunto 𝜣𝒓,𝒒
𝜺 é caracterizado utilizando 
LSCR com 𝒓 = 𝟏 e 𝒒 = 𝟑 o que equivale 
90% da região de confiança. 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
• Resultados LSCR Gridding: 
 𝜺 = 𝟎. 𝟎𝟎𝟐𝟓 e 𝟐𝟖𝟒𝒔 
 
 
 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
• Resultados LSCR SIVIA: 
𝜺 = 𝟎. 𝟎𝟎𝟐𝟓 e 𝟐𝟖𝟒𝒔 
 
 
 
 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
• Conclusões: 
– É possível observar que a região de 
confiança é constituído por dois subconjuntos 
desconectados, isso se da pela falta de 
possibilidade de identificar o modelo; 
– A troca dos parâmetros 𝒌𝟎𝟏 e 𝒌𝟏𝟐 não altera a 
saída do modelo; 
– O zoom na região de confiança contém o 
valor atual dos parâmetros desconhecidos, 
obviamente que isso não é garantido. 
 
 
 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
• Conclusões: 
 
 
 
– É possível observar na tabela a evolução 
computacional no tempo do Gridding e 
SIVIA. Uma vantagem adicional é que os 
resultados previstos são garantidos por 
SIVIA. 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
• FIR Model: 
 
 
 
 
• Considerando o sistema 
onde , 
 
 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
• FIR Model: 
 
 
 
 
• Na forma de regressão linear 
onde e 
 
 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
• FIR Model: 
 
 
 
 
• Para validar a técnica proposta no artigo 
serão utilizados parâmetros aleatórios 
𝒏𝒂 = 𝟐𝟎 em [−𝟐, 𝟐]
𝒏𝒂. 
 
 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
• FIR Model: 
 
 
 
 
• O alvo é atingir 95% da região de 
confiança utilizando SPS. Para isso a 
escolha foi 𝒎 = 𝟐𝟓𝟓 e 𝒒 = 𝟏𝟑. 
 
 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
• FIR Model: 
 
 
 
 
• O box é atingido em média de 𝟓𝒔 devido à 
implementação do Contractor que utiliza 
𝒎 e 𝒏𝒂 para determinar a complexidade 
computacional. 
 
 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Examples 
Nonlinear estimation 
• FIR Model: Resultados 
• Adicionado um ruído aditivo galssiano. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Guaranteed Characterization 
Conclusão 
• Análise de intervalos fornece ferramentas 
para avaliar/validar Guaranteed 
characterization of exact non-asymptotic 
confidence regions as defined by LSCR 
and SPS. Manipulações simbólicas são 
particularmente úteis para projetar 
Contractors mais eficientes para 
solucionar os problemas de 
dimensionalidade. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
FIM 
 
 
 
 
 
 
Filipe Bressan Mühlbeier 
filipe.muhlbeier@gmail.com