PE Maputo2017 2

Prévia do material em texto

Processos Estocásticos
Mestrado em Ciências Actuariais
Alexandra Bugalho de Moura
�ĚŝĕĆŽ�ŶǑ͗�ϵϱ
YƵĂĚƌŽƐ�ĚĞ�ĚŝǀĞƌƐĂƐ�ŽƌŐĂŶŝnjĂĕƁĞƐ�ŶĆŽͲŐŽǀĞƌŶĂŵĞŶƚĂŝƐ͕�ŵŝŶŝƐƚĠƌŝŽƐ�Ğ�ŝŶƐƟƚƵŝĕƁĞƐ�ĚĞ�ĞŶƐŝŶŽ�ƐƵƉĞƌŝŽƌ�ĞƐƟǀĞƌĂŵ�ƌĞƵŶŝĚŽƐ�Ă�ϭϬ�ĚĞ��ďƌŝů͕�Ğŵ�
DĂƉƵƚŽ͕�Ğŵ�^ ĞŵŝŶĄƌŝŽ�ƐŽďƌĞ�Ă�&ŽƌŵĂĕĆŽ�Ğ��ĚƵĐĂĕĆŽ�/ŶĐůƵƐŝǀĂ͘�KƌŐĂŶŝnjĂĚŽ�ƉĞůĂ�&ĂĐƵůĚĂĚĞ�ĚĞ��ĚƵĐĂĕĆŽ�ĚĂ�h�D�;&����Ϳ͕�Ž�ĞǀĞŶƚŽ�ƟŶŚĂ�ĐŽŵŽ�
ŽďũĞĐƟǀŽ�ƌĞŇĞĐƟƌ�ƐŽďƌĞ�Ă�ƋƵĞƐƚĆŽ�ĚĂ�ŝŶĐůƵƐĆŽ�ŶŽ�ƉƌŽĐĞƐƐŽ�ĚĞ�ĞŶƐŝŶŽ�Ğ�ĂƉƌĞŶĚŝnjĂŐĞŵ�ƋƵĞ�ĐŽŶƟŶƵĂ�ŵƵŝƚŽ�ĂƋƵĠŵ�ĚĂƐ�ĞdžƉĞĐƚĂƟǀĂƐ͕�ŶŽ�ƉĂşƐ͘
��WĄŐ͘�ϴ
�ďƌŝů��ͻ��ϮϬϭϱ
WĄŐ͘�ϰ
WĄŐ͘�ϲ
WĄŐ͘�Ϯ
&$,&&�GLVWLQJXLGR�QD�FDWHJRULD�GH�2XUR�
SHOD�*OREDO�,QQRYDWLRQ�:HHN�
�ĞĐŽƌƌĞƵ�ŶŽƐ�ĚŝĂƐ�ϴ�Ğ�ϵ�ĚĞ��ďƌŝů͕�Ğŵ�DĂƉƵƚŽ͕�Ž�^ ĞŵŝŶĄƌŝŽ�ZĞŐŝŽŶĂů�ƐŽďƌĞ�Ž��ĂƌďŽŶŽ�ĚŽƐ�
DĂŶŐĂŝƐ�ĚŽ��ĞůƚĂ�ĚŽ�ĂŵďĞnjĞ͘�K�ĞǀĞŶƚŽ͕�ƋƵĞ�ƌĞƷŶĞ�ă�ŵĞƐŵĂ�ƐĂůĂ�ĐŝĞŶƟƐƚĂƐ�ƌĞŐŝŽŶĂŝƐ�Ğ�
ŝŶƚĞƌŶĂĐŝŽŶĂŝƐ͕� ĐŽŶƐƟƚƵŝ� Ƶŵ� ĞƐƉĂĕŽ� ĚĞ� ĂƉƌĞƐĞŶƚĂĕĆŽ� ĚŽƐ� ƌĞƐƵůƚĂĚŽƐ� ĚŽ� WƌŽũĞĐƚŽ� ĚŽ�
�ĂƌďŽŶŽ�ĚŽƐ�DĂŶŐĂŝƐ�Ğ�ƉƌĞƚĞŶĚĞ�ƚƌĞŝŶĂƌ�ŽƐ�ƉĂƌƟĐŝƉĂŶƚĞƐ�ĚĞ�ŵĞƚŽĚŽůŽŐŝĂƐ�ĚĞ�ĂǀĂůŝĂĕĆŽ�
ĚŽ�ĐĂƌďŽŶŽ�Ğ�ĚĞ�ŵŽŶŝƚŽƌŝĂ͕�ŝŶǀĞŶƚĂƌŝĂĕĆŽ�ĚĂ�ǀĞŐĞƚĂĕĆŽ�Ğ�ŵĂƉĞĂŵĞŶƚŽ͘
��hŶŝǀĞƌƐŝĚĂĚĞ��ĚƵĂƌĚŽ�DŽŶĚůĂŶĞ�;h�DͿ�Ğ�Ž��ĂŶĐŽ��ŽŵĞƌĐŝĂů�Ğ�ĚĞ�/ŶǀĞƐƟŵĞŶƚŽƐ�;��/Ϳ�
ĂƐƐŝŶĂƌĂŵ�ŶĂ�ŵĂŶŚĆ�ĚĞ�ŚŽũĞ͕�ϬϮ�ĚĞ��ďƌŝů͕�ƵŵĂ��ĚĞŶĚĂ�ĚĞ��ŽŶƚƌĂƚŽ�ĚĞ�WĂƌĐĞƌŝĂ�ĞŶƚƌĞ�ĂƐ�
ĚƵĂƐ�ŝŶƐƟƚƵŝĕƁĞƐ�ǀŝƐĂŶĚŽ�Ž�ĂƉŽŝŽ�ĚĂƐ�ĂƌƚĞƐ�Ğ�ĐƵůƚƵƌĂ�ŶĂ�h�D͘���ƌĞŶŽǀĂĕĆŽ�ĚŽ�ĐŽŶƚƌĂƚŽ͕�
ĐŽŵ�ĚƵƌĂĕĆŽ�ĚĞ�ϯ�;ƚƌġƐͿ�ĂŶŽƐ͕�ƉĞƌŵŝƚĞ�Ă�h�D�Ƶŵ�ĞŶĐĂŝdžĞ�ĮŶĂŶĐĞŝƌŽ�ĚĞ�hŵ�DŝůŚĆŽ�ĚĞ�
DĞƟĐĂŝƐ� ĚĞƐƟŶĂĚŽƐ� ă� ĂĐƟǀŝĚĂĚĞƐ� ĚĞ� ĚĞƐĞŶǀŽůǀŝŵĞŶƚŽ� ĚŽƐ� ŵƵƐĞƵƐ� Ğ� ĞƐƉĂĕŽƐ�
ŵƵƐĞŽůſŐŝĐŽƐ͘�
8(0�H�%&,�UHQRYDP�SDUFHULD
0DSXWR�DFROKH�6HPLQiULR�5HJLRQDO�
VREUH�R�&DUERQR�GRV�0DQJDLV
81,9(56,'$'(
( ' 8$ 5 ' 2
021'/$1(
�ŽůĞƟŵ�/ŶĨŽƌŵĂƟǀŽ�ĚĂ�hŶŝǀĞƌƐŝĚĂĚĞ��ĚƵĂƌĚŽ�DŽŶĚůĂŶĞ
)$&('�UHDOL]D�SULPHLUR�
6HPLQiULR�VREUH�(GXFDomR�
,QFOXVLYD�QR�SDtV
Agosto 2017
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 1 / 14
Outline
Outline
1 Cadeias de Markov a tempo discreto
Definições
Equação de Chapman-Kolmogorov
Cadeias homogéneas
Análise baseada no primeiro passo
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 2 / 14
Cadeias de Markov a tempo discreto Definições
Cadeias de Markov a tempo discreto
Cadeia de Markov
Uma Cadeia de Markov é um processo de Markov com espaço de estados discreto.
Cadeia de Markov em tempo discreto
Uma cadeia de Markov em tempo discreto {Xn} é um processo de Markov com espaço de
parâmetros discreto e espaço de estados também discreto:
É costume representar-se o espaço dos estados por S = {0, 1, 2, . . .}, o que faremos se nada
dissermos em contrário
Também consideramos T = {0, 1, 2, . . .}
Diz-se que Xn está no estado i se Xn = i
P(Xn+1 = j |X0 = i0,X1 = i1, . . . ,Xn = in) = P(Xn+1 = j |Xn = in) = Pn,n+1ij
Cadeia de Markov homogénea
Uma cadeia de Markov diz-se homogénea ou com probabilidades de transição estacionárias
quando as probabilidades de transição num passo são independentes da variável tempo (i.e. do
valor n):
Pn,n+1ij = Pij
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 3 / 14
Cadeias de Markov a tempo discreto Definições
Cadeias de Markov a tempo discreto
Exemplo: Modelo Bonus-malus
Regras: Entram no nível “0%”. Sem indemnizações no ano sobe 1 nível, ou mantém “60%”. Com
indemnizações desce 1 nível, ou mantém “0%”.
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 4 / 14
Cadeias de Markov a tempo discreto Equação de Chapman-Kolmogorov
Equação de Chapman-Kolmogorov
Probabilidades de transição (relembrar)
Probabilidade de transiçãoem k passos: probabilidade de transição para estado j em n+ k se
estava no estado i em n:
P
(n,n+k)
ij = Pr{Xn+k = j |Xn = i}
Probabilidade de transição em 1 passo: probabilidade de transição para estado j em n + 1 se
estava no estado i em n:
Pn,n+1ij = Pr{Xn+1 = j |Xn = i}
Em cadeias homogéneas:
Pn,n+1ij = P
(1)
ij = Pij e P
s,s+n
ij = P
(n)
ij
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 5 / 14
Cadeias de Markov a tempo discreto Equação de Chapman-Kolmogorov
Equação de Chapman-Kolmogorov
Equação de Chapman-Kolmogorov
P
(m,n)
ij =
∞∑
k=0
P
(m,l)
ik P
(l,n)
kj ∀(i , j) .
Especificação
A cadeia fica completamente determinada quando se conhece P(n,n+1)ij e a f .d .p de X0,
pk = P{X0 = k}, i = 0, 1, 2, , . . .:
P{X0 = i0,X1 = i1, . . . ,Xn = in} =
= P{Xn = in|X0 = i0,X1 = i1, . . . ,Xn−1 = in−1} × P{X0 = i0,X1 = i1, . . . ,Xn−1 = in−1}
= P{Xn = in|Xn−1 = in−1}P{X0 = i0,X1 = i1, . . . ,Xn−1 = in−1}
= pi0P
(0,1)
i0,i1
P
(1,2)
i1,i2
. . .P
(n−1,n)
in−1,in
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 6 / 14
Cadeias de Markov a tempo discreto Cadeias homogéneas
Cadeias homogéneas
Cadeias de Markov homogéneas
As probabilidades de transição são independentes do tempo:
P
(n,n+1)
ij = P
(1)
ij = Pij ; P
(s,s+n)
ij = P
(n)
ij
Matriz das probabilidades de transição num passo
P = [Pij ] :
P =

P00 P01 P02 . . .
P10 P11 P12 . . .
P20 P21 P22 . . .
· · · ·
· · · ·
· · · ·

A linha i + 1 da matriz P representa a distribuição de probabilidade de Xn+1 quando Xn = i .
Pij ≥ 0 i , j = 0, 1, 2, . . .
∞∑
j=0
Pij = 1 i = 0, 1, 2, . . .
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 7 / 14
Cadeias de Markov a tempo discreto Cadeias homogéneas
Equação de Chapman-Kolmogorov
Matriz de probabilidades de transição em n passos
P(n) = [P(n)ij ], com
P
(n)
ij = Pr{Xn+s = j |Xs = i}
Teorema: Equação Chapman-Kolmogorov
P
(n)
ij =
∞∑
k=0
PikP
(n−1)
kj ∀(i , j)
Ou seja
P(n) = PP(n−1) = P× PP(n−2) = Pn
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 8 / 14
Cadeias de Markov a tempo discreto Cadeias homogéneas
Exemplo
Exemplo: Modelo Bonus-malus
P =

0% 30% 60%
0% 1/4 3/4 0
30% 1/4 0 3/4
60% 0 1/4 3/4
.
Por ex: P(3)0,2 =
(
P3
)
1,3 =
9
16 .
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 9 / 14
Cadeias de Markov a tempo discreto Cadeias homogéneas
Exemplo
Exemplo: T&K, pag.102, Ex. 2.2
Uma partícula move-se pelos estados {0, 1, 2} de acordo com uma cadeia de Markov cuja matriz
P =
 0 1/2 1/21/2 0 1/2
1/2 1/2 0

P2 =
 12 14 141
4
1
2
1
4
1
4
1
4
1
2
 ;P3 =
 14 38 383
8
1
4
3
8
3
8
3
8
1
4
 ;P4 =
 38 516 5165
16
3
8
5
16
5
16
5
16
3
8

P5 =

5
16
11
32
11
32
11
32
5
16
11
32
11
32
11
32
5
16
 ;P10 =

171
512
341
1024
341
1024
341
1024
171
512
341
1024
341
1024
341
1024
171
512

Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 10 / 14
Cadeias de Markov a tempo discreto Análise baseada no primeiro passo
Análise baseada no primeiro passo
Análise baseada no primeiro passo
Um vasto número de funcionais em cadeias de Markov pode ser calculado usando uma técnica
designada análise baseada no primeiro passo.
Exemplo
P =

0 1 2 3
0 1 0 0 0
1 P10 P11 P12 P13
2 P20 P21 P22 P23
3 0 0 0 1
.
Algumas questões que podemos colocar (e que podemos calcular usando a análise baseada no
primeiro passo)
Qual a probabilidade da cadeia ser absorvida no estado 0, sabendo que se partiu do estado 1?
Qual o número médio de passos (quanto tempo leva, em média) até a cadeia ser absorvida,
sabendo que se partiu do estado 1?
Qual o número médio de visitas ao estado 2 antes da cadeia ser absorvida?
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 11 / 14
Cadeias de Markov a tempo discreto Análise baseada no primeiro passo
Análise baseada no primeiro passo
Exemplo (cont.)
P =

0 1 2 3
0 1 0 0 0
1 P10 P11 P12 P13
2 P20 P21 P22 P23
3 0 0 01
.
Estados absorventes: 0, 3
Estados transientes (limn→∞ P
(n)
ij = 0): 1, 2
Sejam
T = min{n ≥ 0;Xn = 0 ou Xn = 3},
ui = Pr{XT = 0|X0 = i} para i = 1, 2,
vi = E[T |X0 = i ] i = 1, 2.
A resposta à primeira questão é: u1
A resposta à segunda questão é: v1
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 12 / 14
Cadeias de Markov a tempo discreto Análise baseada no primeiro passo
Análise baseada no primeiro passo
Exemplo (cont.)
Depois do primeiro passo temos as seguintes possibilidades:
P(XT = 0|X1 = 0) = 1
P(XT = 0|X1 = 1) = u1
P(XT = 0|X1 = 2) = u2
P(XT = 0|X1 = 3) = 0
Usando o teorema das probabilidades totais:
ui = P(XT = 0|X0 = i) =
3∑
k=1
P(XT = 0|X0 = i ,X1 = k)P(X1 = k|X0 = i)
=
3∑
k=1
P(XT = 0|X1 = k)P(X1 = k|X0 = i) =
3∑
k=1
ukPik
Obtendo-se o seguinte sistema de equações
u1 = P10 + P11u1 + P12u2,
u2 = P20 + P21u1 + P22u2.
Resolvendo em ordem a u1 e u2 consegue determinar-se u1.
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 13 / 14
Cadeias de Markov a tempo discreto Análise baseada no primeiro passo
Análise baseada no primeiro passo
Exemplo (cont.)
Analogamente, usando o teorema das probabilidades totais para a esperança condicional, após o
primeiro passo:
vi = E(T |X0 = i) = 1+
3∑
k=1
E(T |X0 = i ,X1 = k)P(X1 = k|X0 = i)
= 1+
3∑
k=1
E(T |X1 = k)P(X1 = k|X0 = i) = 1+
3∑
k=1
vkPik
Obtendo-se o seguinte sistema de equações
v1 = 1+ P11v1 + P12v2,
v2 = 1+ P21v1 + P22v2.
Resolvendo em ordem a v1 e v2 consegue determinar-se v1.
Alexandra Bugalho de Moura Processos Estocástico, UEM Agosto 2017 14 / 14
	Cadeias de Markov a tempo discreto
	Definições
	Equação de Chapman-Kolmogorov
	Cadeias homogéneas
	Análise baseada no primeiro passo