PE Maputo2017 3

Prévia do material em texto

Processos Estocásticos
Mestrado em Ciências Actuariais
Alexandra Bugalho de Moura
�ĚŝĕĆŽ�ŶǑ͗�ϵϱ
YƵĂĚƌŽƐ�ĚĞ�ĚŝǀĞƌƐĂƐ�ŽƌŐĂŶŝnjĂĕƁĞƐ�ŶĆŽͲŐŽǀĞƌŶĂŵĞŶƚĂŝƐ͕�ŵŝŶŝƐƚĠƌŝŽƐ�Ğ�ŝŶƐƟƚƵŝĕƁĞƐ�ĚĞ�ĞŶƐŝŶŽ�ƐƵƉĞƌŝŽƌ�ĞƐƟǀĞƌĂŵ�ƌĞƵŶŝĚŽƐ�Ă�ϭϬ�ĚĞ��ďƌŝů͕�Ğŵ�
DĂƉƵƚŽ͕�Ğŵ�^ ĞŵŝŶĄƌŝŽ�ƐŽďƌĞ�Ă�&ŽƌŵĂĕĆŽ�Ğ��ĚƵĐĂĕĆŽ�/ŶĐůƵƐŝǀĂ͘�KƌŐĂŶŝnjĂĚŽ�ƉĞůĂ�&ĂĐƵůĚĂĚĞ�ĚĞ��ĚƵĐĂĕĆŽ�ĚĂ�h�D�;&����Ϳ͕�Ž�ĞǀĞŶƚŽ�ƟŶŚĂ�ĐŽŵŽ�
ŽďũĞĐƟǀŽ�ƌĞŇĞĐƟƌ�ƐŽďƌĞ�Ă�ƋƵĞƐƚĆŽ�ĚĂ�ŝŶĐůƵƐĆŽ�ŶŽ�ƉƌŽĐĞƐƐŽ�ĚĞ�ĞŶƐŝŶŽ�Ğ�ĂƉƌĞŶĚŝnjĂŐĞŵ�ƋƵĞ�ĐŽŶƟŶƵĂ�ŵƵŝƚŽ�ĂƋƵĠŵ�ĚĂƐ�ĞdžƉĞĐƚĂƟǀĂƐ͕�ŶŽ�ƉĂşƐ͘
��WĄŐ͘�ϴ
�ďƌŝů��ͻ��ϮϬϭϱ
WĄŐ͘�ϰ
WĄŐ͘�ϲ
WĄŐ͘�Ϯ
&$,&&�GLVWLQJXLGR�QD�FDWHJRULD�GH�2XUR�
SHOD�*OREDO�,QQRYDWLRQ�:HHN�
�ĞĐŽƌƌĞƵ�ŶŽƐ�ĚŝĂƐ�ϴ�Ğ�ϵ�ĚĞ��ďƌŝů͕�Ğŵ�DĂƉƵƚŽ͕�Ž�^ ĞŵŝŶĄƌŝŽ�ZĞŐŝŽŶĂů�ƐŽďƌĞ�Ž��ĂƌďŽŶŽ�ĚŽƐ�
DĂŶŐĂŝƐ�ĚŽ��ĞůƚĂ�ĚŽ�ĂŵďĞnjĞ͘�K�ĞǀĞŶƚŽ͕�ƋƵĞ�ƌĞƷŶĞ�ă�ŵĞƐŵĂ�ƐĂůĂ�ĐŝĞŶƟƐƚĂƐ�ƌĞŐŝŽŶĂŝƐ�Ğ�
ŝŶƚĞƌŶĂĐŝŽŶĂŝƐ͕� ĐŽŶƐƟƚƵŝ� Ƶŵ� ĞƐƉĂĕŽ� ĚĞ� ĂƉƌĞƐĞŶƚĂĕĆŽ� ĚŽƐ� ƌĞƐƵůƚĂĚŽƐ� ĚŽ� WƌŽũĞĐƚŽ� ĚŽ�
�ĂƌďŽŶŽ�ĚŽƐ�DĂŶŐĂŝƐ�Ğ�ƉƌĞƚĞŶĚĞ�ƚƌĞŝŶĂƌ�ŽƐ�ƉĂƌƟĐŝƉĂŶƚĞƐ�ĚĞ�ŵĞƚŽĚŽůŽŐŝĂƐ�ĚĞ�ĂǀĂůŝĂĕĆŽ�
ĚŽ�ĐĂƌďŽŶŽ�Ğ�ĚĞ�ŵŽŶŝƚŽƌŝĂ͕�ŝŶǀĞŶƚĂƌŝĂĕĆŽ�ĚĂ�ǀĞŐĞƚĂĕĆŽ�Ğ�ŵĂƉĞĂŵĞŶƚŽ͘
��hŶŝǀĞƌƐŝĚĂĚĞ��ĚƵĂƌĚŽ�DŽŶĚůĂŶĞ�;h�DͿ�Ğ�Ž��ĂŶĐŽ��ŽŵĞƌĐŝĂů�Ğ�ĚĞ�/ŶǀĞƐƟŵĞŶƚŽƐ�;��/Ϳ�
ĂƐƐŝŶĂƌĂŵ�ŶĂ�ŵĂŶŚĆ�ĚĞ�ŚŽũĞ͕�ϬϮ�ĚĞ��ďƌŝů͕�ƵŵĂ��ĚĞŶĚĂ�ĚĞ��ŽŶƚƌĂƚŽ�ĚĞ�WĂƌĐĞƌŝĂ�ĞŶƚƌĞ�ĂƐ�
ĚƵĂƐ�ŝŶƐƟƚƵŝĕƁĞƐ�ǀŝƐĂŶĚŽ�Ž�ĂƉŽŝŽ�ĚĂƐ�ĂƌƚĞƐ�Ğ�ĐƵůƚƵƌĂ�ŶĂ�h�D͘���ƌĞŶŽǀĂĕĆŽ�ĚŽ�ĐŽŶƚƌĂƚŽ͕�
ĐŽŵ�ĚƵƌĂĕĆŽ�ĚĞ�ϯ�;ƚƌġƐͿ�ĂŶŽƐ͕�ƉĞƌŵŝƚĞ�Ă�h�D�Ƶŵ�ĞŶĐĂŝdžĞ�ĮŶĂŶĐĞŝƌŽ�ĚĞ�hŵ�DŝůŚĆŽ�ĚĞ�
DĞƟĐĂŝƐ� ĚĞƐƟŶĂĚŽƐ� ă� ĂĐƟǀŝĚĂĚĞƐ� ĚĞ� ĚĞƐĞŶǀŽůǀŝŵĞŶƚŽ� ĚŽƐ� ŵƵƐĞƵƐ� Ğ� ĞƐƉĂĕŽƐ�
ŵƵƐĞŽůſŐŝĐŽƐ͘�
8(0�H�%&,�UHQRYDP�SDUFHULD
0DSXWR�DFROKH�6HPLQiULR�5HJLRQDO�
VREUH�R�&DUERQR�GRV�0DQJDLV
81,9(56,'$'(
( ' 8$ 5 ' 2
021'/$1(
�ŽůĞƟŵ�/ŶĨŽƌŵĂƟǀŽ�ĚĂ�hŶŝǀĞƌƐŝĚĂĚĞ��ĚƵĂƌĚŽ�DŽŶĚůĂŶĞ
)$&('�UHDOL]D�SULPHLUR�
6HPLQiULR�VREUH�(GXFDomR�
,QFOXVLYD�QR�SDtV
Agosto 2017
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 1 / 21
Outline
Outline
1 Cadeias de Markov a tempo discreto
Classificação dos estados
Teoremas limite
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 2 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
Classificação dos estados
Estados comunicantes
Cadeias irredutíveis
Estados periódicos e aperiódicos
Período do estado
Cadeias periódicas
Recorrência
Estados recorrentes ou persistentes: recorrente positivo ou nulo
Estados não recorrentes, transitórios, transientes
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 3 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
Estado acessível
O estado j é accessível a partir de i se P(n)ij > 0, para algum n ≥ 0: i → j .
Estados comunicantes
Os estados i e j são comunicantes se i ←→ j .
Se não, ou P(n)ij = 0, ∀n, ou P
(n)
ji = 0, ∀n.
Teorema
O conceito de estados comunicantes (i ←→ j) define uma relação de equivalência (reflexiva,
transitiva e simétrica).
Classes de equivalência ou de comunicação
O conceito de estados comunicantes permite definir classes de comunicação (classes de equivalên-
cia).
Classes fechada
Classe de comunicação, C , tal que não é possível sair da classe:
Pij = 0, ∀i ∈ C , i /∈ C
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 4 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
Exemplo
P =

1 2 3 4 5 6
1 1/2 1/2 0 0 0
2 1/4 3/4 0 0 0
3 0 0 0 1 0
4 0 0 1/2 0 1/2
5 0 0 0 1 0
.
As classes C1 = {1, 2} e C2 = {3, 4, 5} são duas classes fechadas.
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 5 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
Exemplo
P =

1 2 3 4 5
1 1/2 1/2 0 0 0 0
2 1/4 3/4 0 0 0 0
3 1/4 1/4 1/4 1/4 0 0
4 1/4 0 1/4 1/4 0 0
5 0 0 0 0 1/2 1/2
6 0 0 0 0 1/2 1/2
.
As classes C1 = {1, 2} e C2 = {5, 6} são duas classes fechadas, a classe C3 = {3, 4} é uma classe
aberta.
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 6 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
Exemplo
Seja S = {0, 1, 2, 3, . . . , a− 2, a− 1, a} tal que
P =

0 1 2 3 · · · a− 2 a− 1 a
0 1 0 0 0 · · · 0 0 0
1 q 0 p 0 · · · 0 0 0
2 0 q 0 p · · · 0 0 0
a− 1 0 0 0 0 · · · q 0 p
a 0 0 0 0 · · · 0 0 1

.
As classes C1 = {0} e C2 = {a} são duas classes fechadas (os estados 0 e a são estados absorven-
tes), a classe C3 = {1, 2, . . . , a− 1, a− 2} é uma classe aberta.
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 7 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
Cadeia irredutível
Um cadeia de Markov é irredutível se S é a única classe fechada não vazia que existe.
Teorema (cadeia irredutível)
Um cadeia de Markov é irredutível sse todos os estados são comunicantes.
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 8 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
Período do estado i
d(i) = mdc{n ≥ 1 : P(n)ii > 0}
Se P(n)ii = 0, ∀n > 1, então d(i) = 0.
Estado aperiódico
Se d(i) = (0), 1, estado i é aperiódico
Se d(i) ≥ 2, periódico.
Cadeia aperiódica
Uma cadeia é aperiódica se todos os estados são aperiódicos.
Teorema
Dois estados comunicantes têm o mesmo período:
i ←→ j =⇒ d(i) = d(j)
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 9 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
f
(n)
ii
f
(n)
ii : Probabilidade do primeiro retorno ao estado i se dar em n passos
f
(n)
ii = P(Xn = ie Xk 6= i , k = 1, 2, . . . , n − 1|X0 = i)
Esta probabilidade pode ser calculada de forma recursiva
P
(n)
ii =
n∑
k=0
f
(k)
ii P
(n−k)
ii , ∀n > 1
Assumimos f (0)ii = 0
f
(n)
ij
Assumimos f (0)ii = 0 f
(n)
ij : Probabilidade da primeira visita ao estado j , vindo dei , se dar em n
passos
f
(n)
ij = P(Xn = je Xk 6= i , k = 1, 2, . . . , n − 1|X0 = i)
Também pode ser calculada de forma recursiva:
P
(n)
ij =
n∑
k=0
f
(k)
ij P
(n−k)
jj , ∀n > 1
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 10 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
fii
fii =
∞∑
n=1
f
(n)
ii
Estado recorrente
Se fii = 1, estado i é recorrente ou persistente.
Se fii < 1, estado i é não recorrente, transitório ou transiente.
Teorema
Se i comunica com j e i é recorrente, então j também é recorrente:
i ←→ j e i é recorrente⇐= j é recorrente
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 11 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
mi : Número esperado de transições até voltar ao estado i
mi =

∑+∞
n=1 n f
(n)
ii , se i recorrente
+∞, se i transiente
Estado recorrente positivo e recorrente nulo
Seja i um estado recorrente. Então, se
mi =
+∞∑
n=1
n f
(n)
ii
 < +∞, então i é recorrente positivo
+∞, então i é recorrente nulo
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 12 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
Estado ergódico
Estado recorrente positivo e aperiódico.
Estado absorvente
Pii = 1
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 13 / 21
Cadeias de Markov a tempo discreto Classificação dos estados
Classificação dos estados
Teorema
Seja S o conjunto dos estados de uma cadeia de Markov.
Se S é finito então
Pelo menos um estado é recorrente
Todos os estados recorrentes são recorrentes positivos
Teorema
As classes recorrentes são classesfechadas.
Em cadeias finitas, todas as classes fechadas irredutíveis são classes recorrentes
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 14 / 21
Cadeias de Markov a tempo discreto Teoremas limite
Teoremas limite: distribuição estacionária
Cadeias regulares
Uma cadeia de Markov diz-se regular se P é regular :
número finito de estados;
existe k tal que P(n)ij > 0 ∀(i , j), para n > k
Uma cadeia é regular se nalgum ponto do tempo todos os elementos da matriz de
probabilidade de transição são positivos.
Teorema
Se P é finita, irredutível e aperiódica, então P é regular.
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 15 / 21
Cadeias de Markov a tempo discreto Teoremas limite
Teoremas limite: distribuição estacionária
Exemplo
P =
 0 1/2 1/21/2 0 1/2
1/2 1/2 0

P2 =
 12 14 141
4
1
2
1
4
1
4
1
4
1
2
 ;P3 =
 14 38 383
8
1
4
3
8
3
8
3
8
1
4
 ;P4 =
 38 516 5165
16
3
8
5
16
5
16
5
16
3
8

P5 =

5
16
11
32
11
32
11
32
5
16
11
32
11
32
11
32
5
16
 ;P10 =

171
512
341
1024
341
1024
341
1024
171
512
341
1024
341
1024
341
1024
171
512

Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 16 / 21
Cadeias de Markov a tempo discreto Teoremas limite
Teoremas limite: distribuição estacionária
Exemplo (cont.)
P100 =

211 275 100 038 038 233 582 783 867 563
633 825 300 114 114 700 748 351 602 688
422 550 200 076 076 467 165 567 735 125
1267 650 600 228 229 401 496 703 205 376
422 550 200 076 076 467 165 567 735 125
1267 650 600 228 229 401 496 703 205 376
422 550 200 076 076 467 165 567 735 125
1267 650 600 228 229 401 496 703 205 376
211 275 100 038 038 233 582 783 867 563
633 825 300 114 114 700 748 351 602 688
422 550 200 076 076 467 165 567 735 125
1267 650 600 228 229 401 496 703 205 376
422 550 200 076 076 467 165 567 735 125
1267 650 600 228 229 401 496 703 205 376
422 550 200 076 076 467 165 567 735 125
1267 650 600 228 229 401 496 703 205 376
211 275 100 038 038 233 582 783 867 563
633 825 300 114 114 700 748 351 602 688

≈
 0.33333 0.33333 0.333330.33333 0.33333 0.33333
0.33333 0.33333 0.33333

Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 17 / 21
Cadeias de Markov a tempo discreto Teoremas limite
Teoremas limite: distribuição estacionária
Exemplo
Seja uma cadeia de Markov, com a seguinte matriz de transição:
P =

0 1 2 3 4 5 6
0 0.9 0.1 0 0 0 0 0
1 0.9 0 0.1 0 0 0 0
2 0.9 0 0 0.1 0 0 0
3 0.9 0 0 0 0.1 0 0
4 0.9 0 0 0 0 0.1 0
5 0.9 0 0 0 0 0 0.1
6 0.9 0 0 0 0 0 0.1

Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 18 / 21
Cadeias de Markov a tempo discreto Teoremas limite
Teoremas limite: distribuição estacionária
Exemplo (cont.)
Longo prazo:
P8 =

. 9 .0 9 .00 9 .000 9 .0000 9 9.0× 10−6 1.0× 10−6
. 9 .0 9 .00 9 .000 9 .0000 9 9.0× 10−6 1.0× 10−6
. 9 .0 9 .00 9 .000 9 .0000 9 9.0× 10−6 1.0× 10−6
. 9 .0 9 .00 9 .000 9 .0000 9 9.0× 10−6 1.0× 10−6
. 9 .0 9 .00 9 .000 9 .0000 9 9.0× 10−6 1.0× 10−6
. 9 .0 9 .00 9 .000 9 .0000 9 9.0× 10−6 1.0× 10−6
. 9 .0 9 .00 9 .000 9 .0000 9 9.0× 10−6 1.0× 10−6

Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 19 / 21
Cadeias de Markov a tempo discreto Teoremas limite
Teoremas limite: distribuição estacionária
Distribuição limite
Existe Distribuição limite
pi = (pi0, pi1, ..., piN)
pij = lim
n→∞P
(k)
ij > 0.
Teorema: cadeias regulares
A distribuição limite (pi0, pi1, ..., piN) é a única solução não negativa de:
pij =
N∑
k=0
pikPkj ∀j = 0, 1, · · · ,N ⇔ pi = piP
com
N∑
k=0
pik = 1 e pik > 0, ∀k ∈ S
pi é o vetor próprio esquerdo correspondente ao valor próprio 1, normalizado por forma a ser
uma função de probabilidade
(∑N
k=0 pik = 1
)
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 20 / 21
Cadeias de Markov a tempo discreto Teoremas limite
Teoremas limite: distribuição estacionária
Exemplo
Considere novamente a matriz
P =
 0 1/2 1/21/2 0 1/2
1/2 1/2 0

P é regular e computacionalmente verifica-se
P100 ≈
 0.33333 0.33333 0.333330.33333 0.33333 0.33333
0.33333 0.33333 0.33333

Mostre que de facto a distribuição limite é
pi =
[
pi1 pi2 pi3
]
=
[
1/3 1/3 1/3
]
resolvendo a equação
piP = pi ⇐⇒
 1/2pi2 + 1/2pi3 = pi11/2pi1 + 1/2pi3 = pi21/2pi1 + 1/2pi2 = pi3
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 21 / 21
	Cadeias de Markov a tempo discreto
	Classificação dos estados
	Teoremas limite