PROC_EST_TEMA_10

Prévia do material em texto

UNICARIOCA
TEMA-10
MATRIZ DE TRANSIÇÃO
VETOR DE ESTADO ESTACIONÁRIO
PROCESSOS 
ESTOCÁSTICOS
Os vetores Xk são chamados de VETORES DE ESTADO da
cadeia de MARKOV, e a matriz P é chamada de MATRIZ DE
TRANSIÇÃO. Acabamos de ver que uma cadeia de Markov
satisfaz a relação:
CONCEITOS...
Xk+1= PXk para k = 0,1,2,...
Desse resultado segue que podemos calcular um vetor de um
estado arbitrário (Xk) iterativamente uma vez que conhecemos
X0 e P. Em outras palavras  uma CADEIA DE MARKOV é
completamente determinada por suas PROBABILIDADES DE
TRANSIÇÃO e por seu ESTADO INICIAL.
Ou seja, o estado Xk+1 pode ser determinado a partir do
estado Xk e da Matriz de Transição!
Se, no Exemplo da pasta de dentes, quiséssemos acompanhar
não o número real de usuários que utilizam cada marca, mas o
número relativo que utiliza cada uma, poderíamos converter os
dados em porcentagens ou frações dividindo por 200 que é o
número total de usuários. Dessa maneira, começaríamos da
seguinte forma:
MARCA A = 120
MARCA B = 80
TOTAL = 200
12
0
200
80
200
120
×












=X
12
0
40,0
60,0
×






=X
Isso indica que, inicialmente, a divisão entre as marcas A e B
seria de 60% e 40%, respectivamente.
Nesse caso quem seria X1? 01 XPX ×=
FAÇA A CONTA !
12
0
40,0
60,0
×






=X 01 XPX ×=





=
0,80 0,30
,200 0,70
P
1222
1
40,0
60,0
0,80 0,30
,200 0,70
××






×





=X
12
1
40,00,80 60,00,30
40,0,20060,0 0,70
×






×+×
×+×
=X






+
+
=
32,00,18
08,042,0
1X
12
1
50,0
50,0
×






=X
Vetores como esses, com componentes não negativas que
somam 1, são chamados de VETORES DE PROBABILIDADE.
Obs. Lembre que quando calculamos os VALORES ABSOLUTOS o
valor de X1 foi o abaixo, ou seja, cada marca tem 50% do total (200).
12
1
100
100
×






=X
12
1
50,0
50,0
×






=X
Observe como as probabilidades de transição estão arranjadas
dentro da matriz de transição P. Podemos pensar nas
COLUNAS de P como os ESTADOS PRESENTES, e nas
LINHAS de P como os ESTADOS SEGUINTES.
MATRIZ DE TRANSIÇÃO












=
0,80 0,30
,200 0,70
B
A
SeguinteP
Presente
A B 
Note que as colunas de P são vetores de probabilidade.
Toda matriz quadrada com essa propriedade é chamada de
MATRIZ ESTOCÁSTICA(*).
(*) A palavra estocástico é derivada do adjetivo grego stokhastikos, que significa
"capaz de aproximar" (ou adivinhar). É aplicada em qualquer coisa governada pelas
leis da probabilidade, no sentido de que probabilidade faz previsões sobre a chance de
as coisas acontecerem. Na teoria da probabilidade, os "PROCESSOS
ESTOCÁSTICOS" são uma generalização das cadeias de Markov.
Podemos perceber de outro modo a natureza probabilística das
cadeias de Markov. Note que podemos escrever:
01 XPX ×=12 XPX ×=
( )02 XPPX ××= 0
2
2 XPX =
Assim, podemos também escrever que:
0
k
k XPX = para k = 0,1,2,...
Isso nos leva a examinar as potências de uma matriz de
transição. No nosso exemplo das pastas de dentes temos:






=
0,80 0,20
,300 0,70
P 





×





=
80,0 20,0
30,0 70,0
80,0 20,0
30,0 70,0
2
P






=
70,0 45,0
30,0 55,0
2
P
PROCESSOS ESTOCÁSTICOS - TEMA_10 1 MANUEL
O que podemos dizer sobre os elementos dessa matriz? O
primeiro fato a observar é que P2 é outra matriz estocástica, já
que a soma dos elementos de suas colunas é igual a 1.
P2 poderia ser também uma matriz de transição de algum tipo?
Considere um de seus elementos - digamos (P2)21= 0,45. O
diagrama de árvore na Figura 2 esclarece de onde esse
elemento veio.
Quatro mudanças de estado podem
ocorrer em dois meses e elas
correspondem aos quatro galhos (ou
caminhos) de comprimento 2 na
árvore.






=
0,70 0,45
,300 0,55
P2
Alguém, inicialmente usando a marca A,
pode terminar usando a marca B dois
meses depois, por dois caminhos
diferentes (marcados com * na Figura 2).
01) a pessoa pode continuar usando A
depois de um mês e então mudar para B,
com probabilidade igual a 0,7×(0,3) =
0,21 (*) ou
02) mudar para B depois de um mês e
permanecer com ela com probabilidade
igual a 0,3 ×(0,8) = 0,24 (*).
A soma dessas probabilidades
(0,21)+(0,24) nos dá uma probabilidade
geral de 0,45. Observe na Matriz de
Transição o valor 0,45.
Observe também que esses cálculos
são exatamente o que fazemos quando
calculamos (P2)21.






=
0,70 0,45
,300 0,55
P
2






=
0,70 0,45
,300 0,55
P 2
Em consequência, (P2)21 = 0,45
representa a probabilidade de passar
do estado 1 (marca A) para o estado
2 (marca B) em duas transições.
Note que a ordem dos índices é a
inversa da que se poderia supor.
Generalizando o argumento, pode-se mostrar que (Pk)ij é a
probabilidade de se passar do estado j ao estado i em k
transições.
O que acontecerá com a distribuição dos usuários de pasta de
dentes em um prazo longo?
Você saberia responder ?
Vamos trabalhar com vetores de probabilidade como vetores de
estado e calcular seus valores (até X10). Temos então:
12
0
40,0
60,0
×






=X 





=
0,80 0,30
,200 0,70
P
01 XPX ×=
12
1
50,0
50,0
×






=X
12 XPX ×=
1222
2
50,0
50,0
0,80 0,30
,200 0,70
X
××






×





= 





=
55,0
45,0
X 2
X� =
 0,700,700,700,70  0,20,20,20,20
 0,300,300,300,30 0,800,800,800,80 ��
×
 0, �0
 0, �0
��
k1K XPX ×=+
23 XPX ×=
1222
3
55,0
45,0
0,80 0,30
,200 0,70
X
××






×





= 





=
575,0
425,0
X 3
Da mesma forma teremos que:
34 XPX ×=
12
4
588,0
412,0
X
×






=
45 XPX ×=
1222
5
588,0
412,0
0,80 0,30
,200 0,70
X
××






×





= 





=
594,0
406,0
X 5
1222
4
575,0
425,0
0,80 0,30
,200 0,70
X
××






×





=
56 XPX ×=
1222
6
594,0
406,0
0,80 0,30
,200 0,70
X
××






×





= 





=
597,0
403,0
X 6
67 XPX ×=
1222
7
597,0
403,0
0,80 0,30
,200 0,70
X
××






×





= 





=
598,0
402,0
X 7
78 XPX ×=
1222
8
598,0
402,0
0,80 0,30
,200 0,70
X
××






×





=
12
8
599,0
401,0
X
×






=
Da mesma forma teremos que:
89 XPX ×=
1222
9
599,0
401,0
0,80 0,30
,200 0,70
X
××






×





= 





=
60,0
40,0
X 9
910 XPX ×=
1222
10
60,0
40,0
80,0 30,0
20,0 70,0
X
××






×





= 





=
60,0
40,0
X10
Parece que os vetores de estado se aproximam indefinidamente
do (convergem para) vetor 





60,0
40,0
Isso que significa que, futuramente, 40% dos 200 usuários de
pasta de dentes na pesquisa usarão a marca A e 60% usarão
a marca B!












=
80
120
B
A
X0 











=
120
80
B
A
XAssim:
PROCESSOS ESTOCÁSTICOS - TEMA_10 2 MANUEL
De fato, é fácil verificar que, atingida essa distribuição, ela nunca
mais mudará. Simplesmente calculamos:






=





×





60,0
40,0
60,0
40,0
0,80 0,30
,200 0,70
Um vetor de estado X, com a propriedade PX = X, é chamado
de VETOR DE ESTADO ESTACIONÁRIO.
Toda cadeia de Markov tem um ÚNICO VETOR DE ESTADO
ESTACIONÁRIO.
PX = X  Equação do Vetor Estacionário
VETOR DE ESTADO ESTACIONÁRIO
Temos então
PX = IX, que pode ser reescrita como:
IX - PX = 0  VETOR NULO !
(I - P)X= 0 (colocando o vetor X em evidência).
Mas, esse é um sistema de Equações Lineares Homogêneo
com Matriz de Coeficientes I - P.
Vamos reescrever a equação matricial do vetor estacionário
Essa equação pode ser reescrita da seguinte maneira:
PX = X
PX = IX , onde I é a matriz Identidade de ordem k.
VETOR DE ESTADO ESTACIONÁRIO






=
0,80 0,30
,200 0,70
P
Temos então  (I - P)X= 0
Para exemplificar o cálculo do Vetor Estacionário vamos tomar o
mesmo exemplo das pastas de dente com as marcas A e B e
matriz de transição abaixoSubstituindo os valores de I e P na equação abaixo vem:
( ) 0XPI =−






=





×





−





0
0
x
x
0,80 0,30
,200 0,70
10
0 1
2
1
!ioestacionárvetor
x
x
X
2
1






=
VETOR DE ESTADO ESTACIONÁRIO
Temos então






=





×





−





0
0
x
x
0,80 0,30
,200 0,70
10
0 1
2
1






=





×




 −
0
0
x
x
0,80-1 0,30-0
,2000 0,70-1
2
1






=





×




 −
0
0
x
x
0,20 0,30-
,200 0,30 
2
1
Reescrevendo vem:








 −
0
0
0,20 0,30-
,200 0,30 








 −
0
0
2 3-
2 3 
VETOR DE ESTADO ESTACIONÁRIO
Temos então








 −
0
0
2 3-
2 3 
Dividindo a primeira linha por 3 vem
















−
0
3
0
2 3-
3
2
 
3
3
 














−
0
0
2 3-
3
2
 1 
VETOR DE ESTADO ESTACIONÁRIO
Temos então
Multiplicando a primeira linha por 3 e somando a
segunda linha vem:














+
−
0
0
22- 3-3
3
2
1 














−
0
0
2 3-
3
2
 1 














−
0
0
0 0
3
2
1 
PROCESSOS ESTOCÁSTICOS - TEMA_10 3 MANUEL
VETOR DE ESTADO ESTACIONÁRIO
Temos então:






=













−
0
0
x
x
0 0
3
2
1 
2
1 Vetor Estacionário !





=
2
1
x
x
X
Isso significa que x2 é uma variável livre e temos que
achar uma solução paramétrica.
0x
3
2
x1 21 =− 21 x
3
2
x =
Fazendo x2 = t (parâmetro qualquer) vem:
tx 2 = t
3
2
x1 =
Como resolver ?
Que valores podemos atribuir a t?
(I - P)X= 0
VETOR DE ESTADO ESTACIONÁRIO
Temos então:
tx 2 = t
3
2
x1 =
Como resolver ?
Que valores podemos atribuir a t?
Quem são x1 e x2 ?
Vetor Estacionário !





=
2
1
x
x
X
x1 e x2 são probabilidades !
Logo, x1 + x2 = 1 !
VETOR DE ESTADO ESTACIONÁRIO
Temos então:
tx 2 = t
3
2
x1 = x1 + x2 = 1 





=
2
1
x
x
X
1xx 21 =+
1tt
3
2
=+ 1t
3
5
=
5
3
t = 60,0t =
Temos então:
t
3
2
x1 = 6,0
3
2
x1 ×=
tx 2 = 60,0x 2 =
40,0x1 =
Obs. x1 + x2 = 1
VETOR DE ESTADO ESTACIONÁRIO
Temos então:






=
2
1
x
x
X
60,0x 2 =
40,0x1 =
Então o nosso VETOR DE ESTADO ESTACIONÁRIO é:






=
6,0
4,0
X
Esse valor coincide com os nossos cálculos
interativos realizados anteriormente.
Isso significa que, futuramente, 40% dos usuários da pasta de
dentes na pesquisa usarão a marca A e 60% usarão a marca
B.












=
80
120
B
A
X0 ESSE VETOR IRÁ MUDAR PARA  











=
120
80
B
A
X
VETOR DE ESTADO ESTACIONÁRIO
Como x1 + x2 = 200 o vetor de estado inicial






=
6,0
4,0
X
Isso que significa que, futuramente, 40% dos usuários da
pasta de dentes na pesquisa usarão a marca A e 60% usarão
a marca B.






=
80
120
0X
irá convergir para o vetor de estado estacionário






×
×
=
2006,0
2004,0
X 





=
120
80
X
O QUE OS GESTORES DA MARCA A DEVERÃO FAZER ?
Não existe solução sem Educação.
PROCESSOS ESTOCÁSTICOS - TEMA_10 4 MANUEL