Aula+B+CADEIAS+DE+MARKOV

Prévia do material em texto

CADEIAS DE MARKOV – Parte B 
 
PROBABILIDADES DE ESTADO NO EQUILÍBRIO E TEMPOS MÉDIOS DE 
RETORNO DE CADEIAS ERGÓDICAS 
Em uma cadeia de Markov ergódica, as probabilidades de estado no equilíbrio são 
definidas por 
𝜋𝑗 = lim
𝑛→∞
𝑎𝑗
(𝑛) , 𝑗 = 0,1,2, … 
Essas probabilidades, que são independentes de 𝑎𝑗
(0), podem ser determinadas com base 
em: 
𝜋 = 𝜋𝑃 
∑ 𝜋𝑗 = 1
𝑗
 
Uma das equações em 𝜋 = 𝜋𝑃 é redundante. Esta fórmula diz que as probabilidades 𝜋 
permanecem inalteradas após uma transição e, por essa razão, representam a distribuição 
do estado no equilíbrio. Um subproduto direto das probabilidades de estado no equilíbrio 
é a determinação do número esperado de transições antes de os sistemas retornarem a um 
estado j pela primeira vez. Isso é conhecido como tempo médio do primeiro retorno ou 
tempo médio de recorrência, e é calculado em uma cadeia de Markov de n estado por: 
𝜇𝑗𝑗 =
1
𝜋𝑗
, 𝑗 = 1, 2, … , 𝑛 
Exemplo: 
Para determinar a distribuição de probabilidade de estado no equilíbrio no problema do 
jardineiro, com fertilizante, tem-se: 
 
Lembrando que qualquer uma das três primeiras equações é redundante, a solução é 𝜋1 =
0,1017, 𝜋2 = 0,5254 𝑒 𝜋3 = 0,3729. O que essas probabilidades dizem é que, no longo 
prazo, a condição do solo será boa aproximadamente 10% das vezes, razoável em 52% e 
ruim em 37%. 
Os tempos médios do primeiro retorno são calculados por: 
𝜇11 =
1
0,1017
= 9,83 𝜇22 =
1
0,5254
= 1,9 𝜇33 =
1
0,3729
= 2,68 
Isso significa que, dependendo do estado atual do solo, levará aproximadamente 10 
estações de plantio para o solo voltar a estar bom, duas estações para o solo voltar a um 
estado razoável e 3 estações para voltar a um estado ruim. Esses resultados indicam uma 
perspectiva mais ‘sombria’ do que ‘promissora’ para a condição do solo. 
 
 
Exemplo: 
Considere o problema do jardineiro com fertilizante. Suponha que o custo do fertilizante 
seja $50 por saco e que o jardim precise de dois sacos se o solo estiver bom, 25% acima 
disso se o solo estiver razoável e 60% maior se o solo estiver ruim. O jardineiro estima 
que o rendimento anual será de $250 se não for utilizado fertilizante e $420 se ele for 
aplicado. Vale a pena utilizar o fertilizante? 
 
Aumento no valor anual do rendimento: $420 - $250 = $170. 
Assim, o rendimento líquido é $170 – $135,51 = $34,49. Vale a pena usar o fertilizante. 
 
TEMPO DA PRIMEIRA PASSAGEM 
Nesta seção será determinado o tempo médio da primeira passagem, 𝜇𝑖𝑗 – número 
esperado de transições necessárias para chegar ao estado j pela primeira vez, partindo do 
estado i. A raiz desses cálculos está na determinação da probabilidade 𝑓𝑖𝑗 de no mínimo 
uma passagem do estado i para o estado j por 𝑓𝑖𝑗 = ∑ 𝑓𝑖𝑗
(𝑛) ∞𝑛=1 , onde 𝑓𝑖𝑗
(𝑛)
 é a 
probabilidade de uma primeira passagem do estado i para o estado j em n transições. Uma 
expressão para 𝑓𝑖𝑗
(𝑛)
 pode ser determinada recursivamente por: 
𝑝𝑖𝑗
(𝑛) = 𝑓𝑖𝑗
(𝑛) + ∑ 𝑓𝑖𝑗
(𝑘)𝑝𝑖𝑗
(𝑛−𝑘) 
𝑛−1
𝑘=1
, 𝑛 = 1,2, … 
Considera-se que a matriz de transição P = ‖𝑝𝑖𝑗‖ tem m estados. 
1. Se 𝑓𝑖𝑗 < 1, não é certeza que o sistema alguma vez passará do estado i para o 
estado j, e 𝜇𝑖𝑗 = ∞. 
2. Se 𝑓𝑖𝑗 = 1, a cadeia de Markov é ergódica e o tempo médio da primeira passagem 
do estado i para o estado j é calculado por: 
𝜇𝑖𝑗 = ∑ 𝑛𝑓𝑖𝑗
(𝑛) 
∞
𝑛=1
 
Um modo mais simples de determinar o tempo médio da primeira passagem para todos 
os estados em uma matriz de m transições, P, é usar a seguinte fórmula baseada em matriz: 
‖𝜇𝑖𝑗‖ = (𝑰 − 𝑵𝒋)
−1𝟏 , 𝑗 ≠ 𝑖 
Onde: 
𝑰 = matriz identidade (m – 1) 
𝑵𝒋 = matriz de transição P menos sua j-ésima linha e sua i-ésima coluna do estado visado 
j 
1 = vetor coluna (m – 1) com todos os elementos iguais a 1. 
Em essência, a operação matricial (𝑰 − 𝑵𝒋)
−1𝟏 soma as colunas de (𝑰 − 𝑵𝒋)
−1. 
Exemplo: 
Considerando mais uma vez o problema do jardineiro, com fertilizante: 
Para demonstrar o cálculo do tempo da primeira passagem 
para um estado específico, partindo de todos os outros, 
considere a passagem dos estados 2 e 3 para o estado 1. Assim, 
j = 1 e: 
 
Isso significa que, na média, levará 12,5 estações para o solo passar de razoável para bom 
e 13,34 estações para o solo passar de ruim para bom.