Processos Estocásticos

Prévia do material em texto

Prof.a. Neyde Maria Zambelli Martins 1 
PROCESSOS ESTOCÁSTICOS 
1 – INTRODUÇÃO 
Todas as situações imprevistas correspondem a fenômenos fortemente influenciados pelo 
acaso. 
Ex.: 
 Tempo do trajeto até o trabalho. 
 Cotação de determinado ativo financeiro. 
 Número de chamadas telefônicas. 
 Temperatura ao longo do dia. 
A aleatoriedade é um fator marcante e inerente ao comportamento e evolução da maioria 
dos fenômenos que nos cercam. 
Os fenômenos aleatórios tem como característica a não previsibilidade, ou seja, por mais 
que sejam observados não conhecemos de forma exata os seus desenvolvimentos futu-
ros. 
Em certos fenômenos aleatórios, onde a experiência aleatória relacionada não permite 
reproduzir resultados sob as mesmas condições, teremos um comportamento diferencia-
do pelas condições em que são observados. 
Ex.: 
 Taxa mensal de inflação em determinado país. 
Nestes casos, existe uma classe de fenômenos aleatórios que não podem ser estudados 
pelos modelos probabilísticos mais simples. 
A teoria dos processos estocásticos estuda os fenômenos aleatórios que dependem de 
um determinado parâmetro t que traduz as diferentes condições em que são observados. 
Ex.: 
 Estudo do desenvolvimento de populações. 
 Descrição de sistemas de controle de processos industriais. 
 Controle de estoques. 
 Filas de espera 
 Análise de flutuações econômicas. 
 
 
 
 
 
Prof.a. Neyde Maria Zambelli Martins 2 
2 – CONCEITOS BÁSICOS 
Um Processo Estocástico é definido como uma coleção de variáveis randômicas X(t) in-
dexadas por um parâmetro t pertencente a um conjunto T. 
  TttX 
 
Freqüentemente T é tomado para ser o conjunto dos inteiros não-negativos, porém, ou-
tros conjuntos são perfeitamente possíveis, e X(t) representa uma característica mensu-
rável de interesse no tempo t. 
Ex.: 
 X(t) pode representar o nível de estoque de um produto no fim da semana t. 
Em termos formais, a variável randômica X(t) representa o estado do sistema no parâme-
tro, geralmente tempo, t. 
A um processos estocásticos estão associados dois espaços: espaço de estados E e o 
espaço de parâmetros T. 
 Espaço E = conjunto de valores que a variável X(t) pode assumir. 
 Espaço T = conjunto de valores assumidos pela variável t. 
Os processos estocásticos podem ser classificados como: 
a) Em relação ao Estado E 
 Estado Discreto (cadeia): X(t) é definido sobre um conjunto enumerável ou finito. 
 Estado Contínuo (seqüência): X(t) caso contrário. 
b) Em relação ao Parâmetro T 
 Tempo Discreto: t é finito ou enumerável. 
 Tempo Contínuo: t caso contrário. 
Ex.: 
 Número de usuários em uma fila de banco em um determinado instante: estado dis-
creto e tempo contínuo. 
 Índice pluviométrico diário: estado contínuo e tempo discreto. 
 Número de dias chuvosos: estado discreto e tempo discreto. 
Dependendo das características da das variáveis aleatórias associadas aos processos 
estocásticos, estes podem ser classificados em markovianos, semi-markovianos, não 
markovianos. 
 
 
 
 
Prof.a. Neyde Maria Zambelli Martins 3 
3 – CADEIAS DE MARKOV 
3.1 - Introdução 
Vetor u  u = (u1, u2, u3,..., un) n-upla de números. 
ui  componentes de u 
Se todos os ui = 0  u é vetor nulo 
Múltiplo escalar  ku = (ku1, ku2, ku3,..., kun) onde k é um número real. 
Dois vetores são iguais, se e somente se, suas componentes correspondentes são iguais. 
Matriz  quadrado retangular de números 
 ij
mnmm
n
n
aA
aaa
aaa
aaa
A 



















21
22221
11211
 
 
 
 
 
Uma matriz com m linhas e n colunas é chamada matriz m x n. Se m = n  A é matriz 
quadrada. 
A matriz com uma única linha pode ser olhada como um vetor e vice-versa. 
Suponha A e B duas matrizes, com A m x p e B p x n. O produto de A por B será C m x n: 
 











































mnmm
n
n
pnpjp
nj
nj
mpmm
ipii
p
ccc
ccc
ccc
bbb
bbb
bbb
aaa
aaa
aaa












21
22221
11211
1
2221
1111
21
21
11211
 
onde, 
cij = ai1 . b1j + ai2 . b2j + ... + aip . bpj = 


p
k
kjikba
1
 
Se A m x p e B q x n , onde p ≠ q , então o produto AB não é definido. 
Se A é uma matriz quadrada, então podemos formar todas as potências de A: 
A2 = AA A3 = AA2 A4 = AA3 
Se u é um vetor com n componentes, então podemos formar o produto uA, que é um ve-
tor com n componentes. 
Linhas de A 
Colunas de A 
Prof.a. Neyde Maria Zambelli Martins 4 
Chamamos u ≠ 0 um vetor fixo, ou ponto fixo, de A, se u é fixo à esquerda, isto é, não se 
altera quando multiplicado por A: 
uA = u 
Neste caso, para k ≠ 0: 
ku)A = k(uA) = ku 
 
TEOREMA 1: Se u é um vetor fixo da matriz A, então cada múltiplo escalar não 
nulo, ku, de u é também um vetor fixo de A. 
 
EXERCÍCIOS: 
 
1) 












321
321
bbb
aaa
ut
sr 
 
2) Se A = 






43
21 , então A
2 = 
3)   










987
654
321
321 
 
4) Considere a matriz A = 






32
12 . O vetor u =
 12 
 é ponto fixo de A? E 2u? 
 
 
3.2 - Vetores de Probabilidades – Matrizes Estocásticas 
Um vetor u = (u1 , u2 , u3 , ... , un) é chamado vetor de probabilidade, se suas componen-
tes são não negativas e somam 1. 
Matriz estocástica  matriz quadrada onde cada uma de suas linhas é um vetor de pro-
babilidade. 
 
TEOREMA 2: Se A e B são matrizes estocásticas, então o produto AB é uma 
matriz estocástica. Consequentemente, todas as potências de An 
são matrizes estocásticas. 
 
Prof.a. Neyde Maria Zambelli Martins 5 
EXERCÍCIOS: 
 
5) Os seguintes vetores são vetores de probabilidades? 
u =







2
1
4
1
0
4
3 
v =






4
1
0
2
1
4
3 
w =






2
1
0
4
1
4
1 
 
6)Obtenha um vetor de probabilidade através do vetor não nulo 
v =
 10532
 . 
 
7) As matrizes abaixo são matrizes estocásticas? 
a) 





















3
1
3
1
3
1
4
1
2
1
4
3
3
2
0
3
1
 b) 












3
1
3
1
4
3
4
1
 c) 




















0
3
2
3
1
3
1
6
1
2
1
010
 
 
 
3.3 - Matrizes Estocásticas Regulares 
 
DEFINIÇÃO: Uma matriz estocástica P é considerada regular se todas as en-
tradas de alguma potência Pm são positivas. 
 
EXERCÍCIOS: 
 
8) As matrizes abaixo são matrizes estocásticas regulares? 
a) A = 










2
1
2
1
10
 b) B = 










2
1
2
1
01
 
 
Prof.a. Neyde Maria Zambelli Martins 6 
3.4 - Pontos Fixos e Matrizes Estocásticas Regulares 
TEOREMA 3: Seja P uma matriz estocástica regular, 
 i – P tem um único vetor fixo t de probabilidade e os componen-
tes de t são todos positivos; 
 ii – As entradas das potências P, P2, P3 ... convergem para as en-
tradas correspondentes da matriz T, cujas linhas são todas i-
guais ao vetor fixo t; 
 iii – Se p é qualquer vetor de probabilidade, então a seqüência de 
vetores pP, pP2, pP3 ... converge para o ponto fixo t. 
 
 
EXERCÍCIOS: 
9) Considere a matriz estocástica regular P = 










2
1
2
1
10
. Determinar o vetor de pro-
babilidade com duas componentes, t = 
 xx 1
 de modo que tP = t. 
 
10) Determine o único vetor fixo de probabilidade da matriz estocástica regular 
P = 




















0
2
1
2
1
100
010
 
11) Seja  









 

614
520
101
421 Aeu . Determine uA. 
 
12) Seja 
















623
402
13
31
BeA
 . Determine AB e BA. 
 
13) Seja 








34
21
A
 . Encontre A2 e A3 . 
Prof.a. Neyde Maria Zambelli Martins 7 
14) Dos vetores abaixo quais são vetores de probabilidades? 







3
1
2
1
6
1
0
3
1
u
 






3
1
2
1
6
1
0
3
1
v
 







2
1
6
1
00
3
1
w
 
 
15) Multiplique cada vetor por um escalar apropriado para obter um vetor de proba-
bilidade: 
 32012u 
 
 502104v 
 
 1203w 
 
 00000z 
 
 
16) Encontre um múltiplo de cada vetor que seja um vetor de probabilidade: 







6
5
20
3
2
2
1
u
 







6
5
5
3
1
3
2
0v
 
 
17) Quais das seguintes matrizes são matrizes estocásticas? 
A = 












2
1
0
2
1
3
1
3
1
3
1
 B = 












3
2
3
2
16
1
16
15
 C = 








2
1
2
1
01 D = 











4
3
4
1
2
1
2
1
 
 
18) Encontre o único vetor fixo de probabilidade da matriz estocástica regular A = 










2
1
2
1
4
1
4
3
. 
A que matriz tende An ? 
 
Prof.a. Neyde Maria Zambelli Martins 8 
19) Encontre o único vetor fixo de probabilidade da matriz estocástica regular P = 
















010
2
1
0
2
1
4
1
4
1
2
1
. 
 
20) Encontre o único vetor fixo de probabilidade da matriz estocástica regular P = 
















3
1
3
2
0
3
1
2
1
6
1
010
. 
A que matriz tende Pn ? 
 
21) Se t = 






0
4
1
2
1
0
4
1 é um vetor fixo da matriz estocástica P, por que P não 
é regular? 
 
22) Quais das seguintes matrizes estocásticas são regulares? 
A = 








10
2
1
2
1
 B = 






01
10 C = 














0
2
1
2
1
010
4
1
4
1
2
1
 D= 










010
4
1
4
1
2
1
100
 
 
 
3.5 - Cadeias de Markov 
 
Considere uma seqüência de ensaios cujos resultados, x1, x2, x3,... satisfazem as 
seguintes propriedades: 
1ª. – Cada resultado pertence a um conjunto finito de resultados {a1, a2, ... am} 
chamado espaço dos estados do sistema. Se o resultado da n-ésima tentati-
va é ai então o sistema se encontra no estado ai no instante n. 
Prof.a. Neyde Maria Zambelli Martins 9 
2ª. – O resultado de qualquer ensaio depende no máximo do resultado do ensaio 
imediatamente anterior e não de qualquer outro dos precedentes. A cada par 
de ensaios (ai , aj) está associada a probabilidade pij de que aj ocorra imedia-
tamente após ter ocorrido ai. 
O processo estocástico com essas duas propriedades é chamado de Cadeia de 
Markov. 
pij  probabilidade de transição 
















mmmm
m
m
ppp
ppp
ppp
P




21
22221
11211
Matriz de transição 
A cada estado ai corresponde a i-ésima linha (pi1, ... pjm) da matriz de transição P. 
Se o sistema está no estado ai , esse vetor-linha representa as probabilidades de 
todos os possíveis resultados do próximo ensaio. 
 
TEOREMA 4: A matriz de transição P da cadeia de Markov é uma matriz esto-
cástica. 
 
EXERCÍCIOS: 
 
23) Um homem diariamente vai para o trabalho de carro ou de trem. Suponha que 
ele nunca toma o trem 2 dias seguidos mas, se vai de carro para o trabalho, no dia 
seguinte é tão provável que vá de trem quanto de automóvel. Determine a matriz de 
transição da cadeia de Markov. 
 
24) Três crianças A, B, e C estão arremessando uma bola uma para a outra. A sem-
pre arremessa para B e B sempre arremessa para C, mas, é tão provável que C lan-
ce a bola para B quanto para A. Seja Xn a n-ésima pessoa a arremessar a bola. De-
termine a matriz de transição da cadeia de Markov. 
 
25) Uma escola tem 200 meninos e 150 meninas. Um estudante após o outro é se-
lecionado para se submeter a um exame de vista. Seja Xn o sexo do n-ésimo estu-
dante examinado. Determine a matriz de transição da cadeia de Markov. 
 
 
Prof.a. Neyde Maria Zambelli Martins 10 
26) Um homem se encontra em algum ponto inteiro no eixo dos x compreendido 
entre a origem e o ponto 5. Em cada etapa ele anda para o ponto imediatamente à 
esquerda com probabilidade q = 1 – p, ou para o ponto imediatamente à direita com 
probabilidade p, a menos que esteja na origem 0 ou no ponto 5. Neste último caso 
ele caminhará para o ponto imediatamente à direita ou à esquerda, respectivamen-
te. Seja Xn sua posição após n etapas. Determine a matriz de transição da cadeia 
de Markov. 
 
3.6 - Probabilidade de Transição em Várias Etapas 
A entrada pij na matriz de transição P da cadeia de Markov é a probabilidade de que 
o sistema passe do estado ai para o estado aj em uma etapa: 
ai  aj 
A probabilidade pij
(n) de o sistema passar de um estado ai para o estado aj em exa-
tamente n etapas: 
ai  ak1  ak2  ...  ak(n-1)  a  aj 
 
TEOREMA 5: Seja P a matriz de transição da cadeia de Markov. A matriz de 
transição em n etapas é igual a n-ésima potência de P, ou seja, 
 P(n) = Pn 
 
Suponha que, em algum instante arbitrário, a probabilidade de que o sistema esteja 
no estado ai seja pi ; representamos essas probabilidades através do vetor. 
P = (p1 , p2 , ... , pm)  distribuição de probabilidade do sistema 
no instante. 
P(0) = (p1
(0) , p2
(0) , ... , pm
(0))  distribuição de probabilidade inicial segun-
do o qual o processo inicia. 
P(n) = (p1
(n) , p2
(n) , ... , pm
(n))  distribuição de probabilidade na n-ésima 
etapa após as n primeiras etapas. 
 
TEOREMA 6: Seja P a matriz de transição da cadeia de Markov. Se p = (p i) é a 
distribuição de probabilidade do sistema em algum instante arbi-
trário, então, pP é a distribuição de probabilidade do sistema na 
etapa seguinte e pPn é a distribuição de probabilidades do siste-
ma após as n etapas seguintes. 
 
Prof.a. Neyde Maria Zambelli Martins 11 
p(1) = p(0)P 
p(2) = p(1)P 
p(3) = p(2)P 
...  
p(n) = p(0)Pn 
 
EXERCÍCIOS: 
 
27) Considere a cadeia de Markov do ex. 23. Quais as probabilidades de que o sis-
tema passe de um estado para outro em exatamente 4 etapas? 
Recalcule supondo que no primeiro dia de trabalho, o homem lançou um dado e foi 
para o trabalho de carro somente se ocorreu um 6. 
 
28) Considere a cadeia de Markov do ex. 24. Suponha que C foi a primeira pessoa a 
receber a bola. Determine as probabilidades de cada uma após 3 arremessos. 
 
29) Considere o passeio aleatório do ex. 26. Suponha que o homem começa no 
ponto 2. Encontre a distribuição de probabilidade após 3 etapas e após 4 etapas. 
 
3.7 - Distribuição Estacionária de uma Cadeia de Markov Regular 
TEOREMA 7: Suponha que a matriz de transição P, de uma cadeia de Markov, 
seja regular. Então para n suficientemente grande, a probabili-
dade de que qualquer estado aj ocorra é aproximadamente igual 
à correspondente tj do único vetor fixo de probabilidade, t, de P, 
para todo j. 
O efeito do estado inicial ou da distribuição inicial do processo desaparece confor-
me o número de etapas aumente. Toda seqüência de distribuição de probabilidade 
converge para o vetor fixo de probabilidade t de P, chamado distribuição estacioná-
ria da cadeia de Markov. 
 
EXERCÍCIOS: 
 
30) Quais as probabilidades de transporte para o homem do ex. 23 após um número 
suficientemente grande de dias? 
 
Prof.a. Neyde Maria Zambelli Martins 12 
31) Quais as probabilidades das crianças A, B e C, do ex. 24 após um número sufi-
cientemente grande de arremessos? 
 
3.8 - Estados Absorventes 
Um estado ai é chamado absorvente se, uma vez nesse estado, é impossível sair 
dele. 
Um estado i de uma cadeia de Markov é absorvente se e somente se pii = 1 (pij = 0 
para j  i). 
 
TEOREMA 8: Se uma matriz estocástica P tem um número 1 na diagonal prin-
cipal, então P não é regular (a menos que P seja uma matriz 1x1). 
 
 
EXERCÍCIOS: 
 
32) Suponha que a seguinte matriz seja uma matriz de transição de uma cadeia de 
Markov. 
 a1 a2 a3 a4 a5 


















10000
00010
0
4
1
4
1
0
2
1
00010
4
1
4
1
4
1
0
4
1
5
4
3
2
1
a
a
a
a
a
 
Quaissão os estados absorventes? 
 
33) Considere o passeio aleatório do ex. 26, sendo que agora supomos que o ho-
mem permaneça em qualquer dos extremos assim que o alcance. Quais são os es-
tados absorventes? 
 
34) Os hábitos de estudo de um estudante são os seguintes: se estuda uma noite, 
tem 70% de certeza que não estudará na noite seguinte. Em contrapartida, se não 
estuda uma noite, tem 60% de certeza que não estudará também na noite seguinte. 
Com que freqüência ele estuda numa seqüência suficientemente grande de dias? 
 
Prof.a. Neyde Maria Zambelli Martins 13 
35) Um psicólogo faz os seguintes assentamentos a respeito do comportamento de 
camundongos submetidos a um programa particular de alimentação: para qualquer 
ensaio particular, 80% dos camundongos que se dirigiam para a direita no experi-
mento anterior, se dirigirão para a direita neste ensaio, e 60% dos que se dirigiam 
para a esquerda no experimento anterior, se dirigirão para a direita neste ensaio. 
Se 50% se dirigiam para a direita no primeiro ensaio, o que poderia ele prever com 
respeito: 
a) ao segundo ensaio; b) ao terceiro ensaio; c) e ao milésimo en-
saio? 
36) Dada a matriz de transição de P = 








2
1
2
1
01 com distribuição inicial de probabili-
dade p(0) = 






3
2
3
1 , defina e calcule: 
a) 3
21p
 b) 
)3(
p
 c) 
)3(
2p
. 
37) Dada a matriz de transição de P = 
















010
0
2
1
2
1
2
1
2
1
0
 e a distribuição de probabilidade 
inicial p(0) = 






3
1
0
3
2 , determine: 
a) 
2
32p
 e 
2
13p
 b) 
)4(
p
 e 
)4(
3p
 
c) o vetor que tende 
n
Pp
)0(
 d) a matriz a que tende nP 
 
38) O território de um vendedor é constituído de três cidades, A, B e C. Ele nunca 
vende na mesma cidade em dias sucessivos. Se vende na cidade A, no dia seguin-
te vende na cidade B. Contudo, se vende em B ou em C, então no dia seguinte é 
duas vezes mais provável que ele venda em A de que na outra cidade. Após um 
número suficientemente grande de dias, com que freqüência ele vende em cada 
uma das cidades?