Apostila_CMTD

Prévia do material em texto

– 191 –
V
Processos de Markov
E ste capítulo aborda processos de Markov de primeira ordem, nas catego-rias discreto e contínuo. Como fonte complementar, sugerimos a leitura 
de Billinton (1970), Bronson (1985), Hillier & Lieberman (1995), Shamblin & 
Stevens Jr. (1989) e Trivedi (2002). 
Neste capítulo trataremos de uma sequência de estados que segue um 
processo de Markov, tal que a probabilidade da próxima ocorrência dependa 
apenas da ocorrência imediatamente anterior. Isto é, trataremos de cadeias de 
Markov de primeira ordem. 
Processos de Markov constituem um tipo especial de processo estocástico 
que possui a propriedade de as probabilidades associadas com o processo em um 
dado instante do futuro dependerem somente do estado presente, sendo, portan-
to, independentes dos eventos no passado. Desse modo, os processos markovia-
nos são caracterizados pelo que se designa como “falta de memória”.
Para caracterizar processos de Markov de maneira precisa, é necessário 
estabelecer uma def inição formal.
5.1 Def inição e caracterização de processos de Markov
Antes de apresentar a def inição de processos de Markov, é necessário 
expor um conceito mais abrangente, que é o de processo estocástico.
Def ine-se processo estocástico como uma coleção indexada de variáveis 
aleatórias { }tX , em que o índice t pertence a um dado conjunto T. Se o con-
junto T for composto de números inteiros não negativos, dizemos que o pro-
– 192 –
cesso é discreto. Se T é um intervalo real, dizemos que o processo é de tempo 
contínuo. Em geral, Xt representa uma característica mensurável de interesse 
em um instante de tempo t. Formalmente, a notação indicada pela expressão 
(5.1) def ine processo estocástico sobre um dado espaço de probabilidade:
{ ; }tX t TÎ . (5.1)
Os valores assumidos pela variável aleatória tX são chamados estados, e 
o conjunto de todos os possíveis valores forma o espaço de estado do processo.
Como exemplo de um processo estocástico, podemos citar o tráfego de 
dados em uma rede local de computadores que se encontra interligada à 
internet. Nesse sistema, enviam-se e recebem-se mensagens eletrônicas en-
quanto se fazem downloads de arquivos. A taxa de transferência de bits por 
unidade de tempo em um dado servidor dessa rede é uma variá vel incerta 
que depende da intensidade de uso do sistema pelos usuários conectados na-
quele momento. Podemos, nesse sistema, caracterizar a variável aleatória 
tX como a velocidade de transferência de dados em bits segundo , em que t é o 
instante de tempo pertencente ao intervalo [0, )T= ¥ , ou seja, o processo 
{ }tX é um processo estocástico contínuo. O espaço de probabilidade nesse 
exemplo corresponde à função densidade de probabilidade que rege o com-
portamento da variável aleatória tX , por exemplo, uma distribuição normal.
 
Def inição 5.1 (Processo de Markov): Um processo estocástico { ; }tX t TÎ é 
chamado um processo de Markov se, para qualquer tempo 0 1 nt t t t< < < < , 
a distribuição condicional de tX para os valores dados de 0 1, , , nt t tX X X depen-
dem somente de 
nt
X :
– se tX assumir valores discretos, essa def inição é expressa como
1 01 0
( | , , , )
n nt t n t n t
P X x X x X x X x
- -
= = = = = ( | )
nt t n
P X x X x= = , (5.2)
– se tX assumir valores contínuos, essa def inição é expressa como
1 01 0
( | , , , )
n nt t n t n t
P X x X x X x X x
- -
£ = = = = ( | )
nt t n
P X x X x£ = . (5.3)
Nessas expressões, 0 1 1, , , nt t t - representam o passado, e t e nt são o 
futuro e o presente respectivamente.
É interessante estabelecer claramente como é lida, por exemplo, a ex-
pressão (5.2), que é como segue: a probabilidade de a variável X ter valor 
– 193 –
igual a certo valor x no tempo t, dado que a variável aleatória tenha assumi-
do os valores nx , 1, ,nx -  0x , respectivamente, nos tempos nt , 1, ,nt -  0t , 
é igual à probabilidade de a variável X ter valor igual a um certo valor x no 
tempo t, dado apenas que a variável tenha assumido o valor nx no tempo nt .
A def inição 5.1 pode ser traduzida para a linguagem natural como se-
gue: um processo estocástico é um processo de Markov se o estado futuro do 
processo, conhecido o estado presente, é independente do passado.
É fundamental no estudo de processos de Markov a noção de estado. 
Propriedades em comum entre indivíduos ou objetos caracterizam o que se 
designa por estado. A seguir, apresentam-se exemplos de objetos ou coisas que 
possuem propriedades em comum:
– máquinas em uma linha de produção, cujos estados podem ser máquina 
funcionando, máquina parada e em reparo, máquina parada aguardando 
por reparo;
– uma população que migra de uma região para outra, podendo encontrar-se 
em um dos seguintes estados: população ociosa, população empregada;
– safras de soja na região Centro-Oeste do Brasil, considerando-se as possibi-
lidades de estado: safra boa, safra ruim ou safra razoável.
Os processos de Markov sempre envolvem a variável tempo, considera-
da na forma discreta – em que a variação se dá em saltos, ou seja, em interva-
los regulares –, ou na forma contínua, podendo assumir valores reais.
Nos exemplos citados anteriormente, podemos notar que o tempo está 
presente. Uma máquina, ao estragar, requer tempo para ser consertada e 
pode, portanto, exibir alteração em seu estado, se observada a intervalos re-
gulares de tempo. Povos que migram de um lugar a outro fazem isto com 
certa periodicidade. Safras ocorrem em meses determinados que diferem em 
função da região e da cultura considerada.
 
5.2 Relevância dos processos de Markov e possíveis aplicações
 
Em todas as áreas da atividade humana, busca-se quantif icar eventos 
que possuem certo grau de incerteza de ocorrência. Isso implica de certa for-
ma a necessidade de “prever o futuro”. Modelos matemáticos probabilísticos 
são concebidos para auxiliar o homem nas tomadas de decisão.
– 194 –
No mundo real há diversos sistemas dinâmicos que podem ser modela-
dos como processos de Markov. Eis alguns exemplos de aplicações:
– planejamento de sistemas de atendimento a f ilas de espera, que são nor-
malmente modelados como processos de “nascimento e morte”;
– dimensionamento de recursos computacionais para servir a processos que 
compartilham tempo e espaço;
– avaliação de equipamentos em operação em uma linha de produção indus-
trial ou em instalações complexas;
– estudo de fenômenos econômicos e movimentos sociais;
– análise de processos biológicos, como a evolução de certas espécies vivas, 
seja para f ins de exploração comercial ou para a preservação;
– análise da evolução de certa epidemia em uma comunidade.
Na bibliograf ia de Pesquisa Operacional encontram-se aplicações de 
processos de Markov que compreendem desde o estudo de sistemas móveis 
de comunicação, passando pelo tráfego de sinais digitais e o desenvolvimento 
de técnicas que objetivam disponibilizar o serviço a usuários, bem como a 
análise da evolução de corporações e sistemas sociais com o passar do tempo. 
Em todas as aplicações, nota-se um traço comum: o tempo.
Conforme estabelece a def inição 5.1, há duas categorias de processos de 
Markov: (1) os processos de tempo discreto, em que o índice t assume apenas 
valores inteiros não negativos, ou seja, t = 0, 1, 2, ...; e (2) os processos nos quais 
a variável tempo é contínua, ou seja, [0, )tÎ ¥ . Em ambas as categorias, os 
estados são caracterizados por números inteiros não negativos, def inidos com 
base nos valores que a variável aleatória X pode assumir.
5.3 Processos de Markov de tempo discreto
Um processo de Markov está completamente especif icado se forem co-
nhecidas as probabilidades de transição e a distribuição inicial de probabili-
dades dos estados.
Toda vez que um estado suceder a outro, dizemos que o processo esto-
cástico markoviano deu um passo. O passo pode representar um período de 
tempo que resulte em outro estado possível. Se o número de passos é zero, tal 
situação representa o presente; se igual a um, estarárepresentando um possí-
vel estado no próximo passo, e assim por diante.
– 195 –
Pode-se iniciar o estudo de processos de Markov de tempo discreto 
def inindo probabilidades de transição.
Def inição 5.2 (Probabilidades de transição): As probabilidades condicionais
1( | )t tP X j X i+ = = , para t = 0, 1, 2, ...,
são chamadas de probabilidades de transição. Se, para cada i e j,
1 1 0( | ) ( | )t tP X j X i P X j X i+ = = = = = , para todo t = 0, 1, 2, ...,
então as probabilidades de transição para um passo são ditas estacionárias, ten-
do em vista que independem do tempo. Usualmente são denotadas por ijp .
A probabilidade de transição do estado i ao estado j, em um passo, simbo-
lizada por ijp , é a probabilidade de um objeto que se encontra no estado i, após 
um intervalo de tempo f ixo predeterminado, ser encontrado no estado j.
Para n passos à frente, como extensão da def inição 5.2, é possível escre-
ver as probabilidades de transição para cada i e j, com n = 0, 1, 2, ..., conforme 
a expressão:
0( | ) ( | )t n t nP X j X i P X j X i+ = = = = = , para todo t = 0, 1, 2, ... . (5.4)
Para simplif icar a notação, usaremos a seguinte simbologia:
1 0( | ) ijP X j X i p= = =
e
0( | ) ( )n ijP X j X i p n= = = .
A notação ( )ijp n , introduzida anteriormente, implica que, para n=0, 
(0)ijp é 0 0( | )P X j X i= = , sendo igual a 1 se i j= e igual a 0 em caso con-
trário.
As probabilidades de estados são def inidas como a seguir.
Def inição 5.3 (Probabilidade de estado no instante n): A probabilidade do 
estado i tomada no instante n é a probabilidade de um objeto ocupar o estado 
– 196 –
i após um número n f inito de passos. Formalmente, para 1M+ estados,
( ) ( )i np n P X i= = , para i = 0, 1, 2, ..., M.
Especif icamente para o instante inicial, tem-se a distribuição inicial de 
probabilidades de estados, a qual é representada por um vetor linha (0)p , 
cujas componentes são as probabilidades ( )ip n , i = 0, 1, 2, ..., M,
0 1 2(0) [ (0) (0) (0) (0)]Mp p p p p=  . (5.5)
Conhecidas as def inições estabelecidas até aqui, estamos prontos para a 
apresentação de um exemplo numérico.
Exemplo 5.1: Em uma certa região, durante o período de chuvas, que dura 
cerca de seis meses a cada ano, os estados observados são dois: dias ensolarados 
e dias chuvosos, os quais serão designados pelos índices 0 e 1, respectivamente. 
Com base em observações históricas, foram obtidas para um passo, ou seja, 
um dia, as probabilidades de transição supostas constantes. A um dia chuvoso 
sucederá um dia chuvoso com probabilidade igual a 3 4 ou um dia ensolarado, 
com probabilidade 14. A dias ensolarados tanto pode suceder dias ensolarados 
ou chuvosos, com probabilidades iguais de 12 . Desejamos estudar o regime de 
chuvas dessa região, modelando o processo estocástico descrito como um pro-
cesso de Markov. Como primeira informação desse estudo, precisamos inferir 
sobre o número esperado de dias chuvosos na estação das chuvas, se a tendên-
cia descrita pelas probabilidades permanecer inalterada.
Primeiramente vamos identif icar os dados fornecidos no enunciado 
com as probabilidades def inidas anteriormente. Sendo 0 o número associado 
ao estado “sol” e 1 o número associado ao estado “chuva”, temos as probabili-
dades condicionais seguintes para um passo:
– dia chuvoso sucede a dia chuvoso → 3 41 0 11( 1| 1)P X X p= = = = ;
– dia ensolarado sucede a dia chuvoso → 141 0 10( 0 | 1)P X X p= = = = ;
– dia chuvoso sucede a dia ensolarado → 121 0 01( 1| 0)P X X p= = = = ;
– dia ensolarado sucede a dia ensolarado → 121 0 00( 0 | 0)P X X p= = = = .
– 197 –
Para encontrar a probabilidade do estado 0 em um passo, 0 (1)p , pode-
mos utilizar o conceito de probabilidade total (MORGADO et al., 2004), o 
qual para dois estados possui a seguinte expressão:
0 1 1 0 0 1 0 0(1) ( 0) ( 0 | 0) ( 0) ( 0 | 1) ( 1)p P X P X X P X P X X P X= = = = = = + = = = ,
0 00 0 10 1(1) (0) (0)p p p p p= + .
Na última expressão observamos 0 (0)p e 1(0)p , que são as probabilida-
des iniciais dos estados (vide a def inição 5.3). 
Procedendo de modo análogo, para encontrar a probabilidade do estado 
1 em um passo, 1(1)p , utilizamos novamente o conceito de probabilidade total:
1 1 1 0 0 1 0 0(1) ( 1) ( 1 | 1) ( 1) ( 1 | 0) ( 0)p P X P X X P X P X X P X= = = = = = + = = = ,
1 11 1 01 0(1) (0) (0)p p p p p= + .
Se for de interesse determinar as probabilidades dos estados 0 e 1 em 
dois passos, respectivamente, 0 (2)p e 1(2)p , tendo em vista que as probabi-
lidades de transição são constantes, basta escrever as expressões conforme se 
mostra a seguir:
0 00 0 10 1(2) (1) (1)p p p p p= +
e
1 11 1 01 0(2) (1) (1)p p p p p= + .
Se prosseguirmos com essa forma de calcular, o cálculo se revelará enfa-
donho, e haverá grande possibilidade de confusão com tantos índices.
Uma forma alternativa e muito mais funcional consiste no emprego da 
representação matricial. Das expressões de cálculo de 0 (1)p e 1(1)p , obtém-se 
a representação matricial mostrada a seguir:
00 01
0 1 0 1
10 11
[ (1) (1)] [ (0) (0)]
p p
p p p p
p p
é ù
ê ú= ê úë û
.
– 198 –
Analogamente, das expressões de cálculo de 0 (2)p e 1(2)p , extraímos a 
representação matricial mostrada a seguir:
00 01
0 1 0 1
10 11
[ (2) (2)] [ (1) (1)]
p p
p p p p
p p
é ù
ê ú= ê úë û
.
Ora, se substituirmos o vetor 0 1[ (1) (1)]p p da última expressão pelo 
mesmo vetor da expressão precedente, obteremos o seguinte:
00 01 00 01
0 1 0 1
10 11 10 11
[ (2) (2)] [ (0) (0)]
p p p p
p p p p
p p p p
é ù é ù
ê ú ê ú= ê ú ê úë û ë ûe
2
00 01
0 1 0 1
10 11
[ (2) (2)] [ (0) (0)]
p p
p p p p
p p
é ù
ê ú= ê úë û
.
Finalmente, ao empregarmos o princípio da indução matemática (MOR-
GADO et al., 2004; SCHEINERMAN, 2003), é imediata a conclusão de que 
uma expressão para n passos pode ser escrita conforme se indica a seguir:
00 01
0 1 0 1
10 11
[ ( ) ( )] [ (0) (0)]
n
p p
p n p n p p
p p
é ù
ê ú= ê úë û
.
Essa expressão resolveria o exemplo em pauta se conhecêssemos a dis-
tribuição inicial, isto é, o vetor 0 1[ (0) (0)]p p . No entanto, veremos à frente, 
neste capítulo, que, sob certas condições, as probabilidades dos estados a longo 
prazo são independentes da distribuição inicial, sendo esta outra propriedade 
inerente à maioria dos processos de Markov.
Retornemos então ao exemplo 5.1. Para resolvê-lo, lançamos mão de 
um artifício conhecido por árvore de probabilidades. A f igura 5.1 ilustra o 
diagrama em árvore, partindo do estado 0, em que são considerados apenas 
quatro passos. Outro diagrama poderia ser construído; porém, partiria do 
estado 1.
– 199 –
Figura 5.1: Diagrama em árvore de probabilidades iniciando no estado 0
O modo como se calcula a probabilidade do estado 1 após quatro passos, 
isto é, 1(4)p será mostrado. Note-se na árvore de probabilidades (figura 5.1) 
que, dado que os eventos são independentes, é necessário multiplicar todas as 
probabilidades dos “caminhos” que levam ao estado 1 para calcular a proba-
bilidade do estado 1 em quatro passos. 
– 200 –
A tabela 5.1 mostra em detalhes os cálculos para a obtenção de 1(4)p .
Tabela 5.1: Planilha de cálculo da probabilidade do estado 1
Produtos de probabilidades de transição Probabilidades parciais
00 00 00 01p p p p =
1 1 1 1
2 2 2 2
1
16
00 00 01 11p p p p =
31 1 1
2 2 2 4
3
32
00 01 10 01p p p p =
1 1 1 1
2 2 4 2
1
32
00 01 11 11p p p p =
3 31 1
2 2 4 4
9
64
01 10 00 01p p p p =
1 1 1 1
2 4 2 2
1
32
01 10 01 11p p p p =
31 1 1
2 4 2 4
3
64
01 11 10 01p p p p =
31 1 1
2 4 4 2
3
64
01 11 11 11p p p p =
3 3 31
2 4 4 4
27
128
Probabilidade total (probabilidade do estado 1 
em quatro passos)
85
128 0,664»
Se construirmos uma tabela para mostrar os cálculos da probabi-
lidade do estado 0 para quatro passos, chegaremos sem dúvida no valor 
43
1280 (4) 0, 336p = » . Se estendermos os cálculos para mais passos, não é difí-
cil concluir que a probabilidade do estado 1 encaminhará para 2 3 , enquanto 
que a probabilidade do estado 0 será de13, preservadas as condições. 
Com esses cálculos, podemos responder à questão formulada no enun-
ciado do exemplo 5.1. Portanto, espera-se que, em seis meses, 120 dias serão 
chuvosos ( 23180 120´ = ), e 60 dias serão ensolarados.
5.3.1 Matriz de transição
Uma notação conveniente para representar probabilidades de transição 
para n passos é a forma de matriz. Denominaremos matriz de transição ou, 
analogamente, matriz de probabilidades de transição.
Def inição 5.4 (Matriz de probabilidades de transição para n passos): Seja 
{ }0, 1, ,S M=  o conjunto f inito de estados e seja o par de estados (i, j), 
tal que ( , )i j S SÎ ´ . Associe a cada par ( , )i j um número real ( )ijp n , de modo 
que sejam satisfeitas as condições 0 ( ) 1ijp n£ £ para todo ( , )i j S SÎ ´ e 
– 201 –
( ) 1ij
j S
p n
Î
=å para todo i ∈ S. Com esse procedimento, def ine-se a matriz 
de transição para n passos como, 
00 01 0
10 11 1
0 1
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
M
Mn
M M MM
p n p n p n
p n p n p n
P
p n p n p n
é ù
ê ú
ê ú
ê ú= ê ú
ê ú
ê ú
ë û


   

. (5.6)
Especif icamente, para um passo, a matriz de probabilidades de transi-
ção é como representada em (5.7), em que é omitido o índice n, por ser 1,
00 01 0
10 11 1
0 1
M
M
M M MM
p p p
p p p
P
p p p
é ù
ê ú
ê ú
ê ú= ê ú
ê ú
ê ú
ë û


   

. (5.7)
Em particular, para 0n= , tem-se como consequência natural que 0P 
é a própria matriz identidade, I, de ordem ( 1) ( 1)M M+ ´ + , o que está de 
acordo com o fato de que (0)ijp é igual a 0 0( | )P X j X i= = e
p
i j
i jij
( )
,
,
0
1
0
=
=
≠




se
se
.
Com base no teorema da probabilidade total e na def inição de probabi-
lidade de transição para n passos, 1( ) ( | )ij n np n P X j X i-= = = , tem-se a ex-
pressão (5.8) para o cálculo da probabilidade do estado j em n passos
( ) ( ) (0) ( )j n i ij
i
p n P X j p p n= = =å . (5.8)
– 202 –
Com base na expressão (5.8) podemos concluir que a matriz nP é rela-
cionada à distribuição inicial de probabilidades, (0)p , def inida pela expressão 
(5.5), e ao vetor de probabilidades de estados no instante n (para n passos), 
através da expressão (5.9):
( ) (0) np n p P= . (5.9)
Essa expressão pode ser deduzida pela aplicação do princípio da indução 
matemática, a exemplo do que foi feito durante a solução do exemplo 5.1 para 
o caso particular de um processo de dois estados.
Em relação à expressão (5.9), se o espaço de estados S do processo de 
Markov { }nX for f inito, então o cálculo de P
n é relativamente fácil. Para pro-
cessos de Markov com espaços de estados contáveis, porém inf initos, o cálculo 
de Pnnão é trivial. Contudo, existem métodos para se determinar o comporta-
mento assintótico, isto é, quando n®¥ , de ( )p n e Pn.
5.3.2 Cadeias de Markov
Uma forma visual conveniente para representar um processo de Markov 
é por meio de um grafo que se compõe de nós, que são os estados, e arcos dire-
cionados que simbolizam as transições entre os estados. Esse grafo é denomi-
nado diagrama de transição.
Def inição 5.5 (Cadeia de Markov): A sequência ( )nX , 0, 1, 2,n= , é cha-
mada de cadeia de Markov homogênea de tempo discreto, com espaço de esta-
dos {0, 1, 2, , }S M=  , e matriz de probabilidades de transição, [ ]ijP p= , se, 
para todo 0, 1, 2,n= , a condição
1 1 0( | ) ( | )n n ijP X j X i P X j X i p-= = = = = =
é satisfeita para todo ( , )i j S SÎ ´ .
Observe o exemplo apresentado a seguir.
Exemplo 5.2: Considere o problema enunciado no exemplo 5.1. Desejamos 
utilizar a representação sob a forma de diagrama de transição de uma cadeia 
de Markov para expressar o problema daquele enunciado.
– 203 –
Identif icamos dois estados, portanto, 1M= , e o espaço de estados é
{0, 1}S= . O produto cartesiano, S S´ , é {(0,0), (0,1), (1,0), (1,1)}. A matriz de 
probabilidades de transição para um passo é a seguinte:
1 1
2 200 01
31
4 410 11
p p
P
p p
é ù é ù
ê ú ê ú= =ê ú ê úë û ë û
.
O grafo que corresponde à cadeia de Markov para esse exemplo é ilus-
trado na f igura 5.2.
Figura 5.2: Diagrama de transição de uma cadeia de Markov com dois estados
A análise de cadeias de Markov utilizando-se matriz de probabilidades 
de transição pode ser efetuada tomando-se certas precauções, tendo em vista 
que nem todos os processos de Markov de tempo discreto comportam-se de 
modo semelhante à medida que o número de passos aumenta. 
Surge então a necessidade de uma classif icação das cadeias de Markov.
5.3.3 Classif icação das cadeias de Markov
Os estados de um processo de Markov são divididos em transitório e 
recorrente. Essa classif icação está relacionada à probabilidade de o processo 
retornar a um dado estado i, do qual tenha partido.
Seja iif a probabilidade de um processo retornar ao estado i, dado que 
tenha partido desse estado; então, segue a def inição de estado recorrente.
Def inição 5.6 (Estado recorrente): Um estado i é recorrente se, partindo-se 
do estado i, eventualmente retorna-se ao estado i, com probabilidade 1iif = .
– 204 –
O processo cuja cadeia de Markov foi apresentada no exemplo 5.2 pos-
sui ambos os estados recorrentes, porque, se considerarmos o estado 0i= , 
conforme a figura 5.2, no próximo passo podemos percorrer o arco com pro-
babilidade 00p , obtendo 00 1f = ; e, para 1i= , ainda na figura 5.2, podemos 
percorrer o arco com probabilidade 10p , e depois o de probabilidade 01p , re-
tornando para o mesmo estado 1i= , obtendo 11 1f = .
Estados transitórios, também conhecidos como não recorrentes, são 
aqueles que, partindo do estado i, há uma probabilidade positiva de o proces-
so não retornar a esse estado (isto é, 1iif < ). Estados recorrentes e transitó-
rios podem coexistir em uma mesma cadeia de Markov. A caracterização de 
estados transitórios não é trivial e, por essa razão, os detalhes de processos de 
Markov desse tipo não serão enfatizados neste livro.
Um tipo especial de estado recorrente é o estado absorvente, cuja def ini-
ção é estabelecida a seguir.
Def inição 5.7 (Estado absorvente): Um estado i é dito absorvente se a pro-
babilidade iip é igual a 1.
É importante ressaltar que só é possível “escapar” de um estado absor-
vente se o processo for reiniciado; ou seja, se o processo partir novamente de 
qualquer outro estado que não seja absorvente. A apresentação de um exem-
plo torna mais claras essas def inições.
Exemplo 5.3: Considere um navio com dois sistemas propulsores, que são duas 
turbinas idênticas. Seja Xn a variável aleatória tal que seu valor é o número de 
turbinas em operação normal no passo n. Se uma das turbinas falhar, o navio 
continua em operação, enquanto ela poderá ser consertada. Porém, se ambas fa-
lharem, o navio para, mas ainda haverá a possibilidade de que uma das turbinas 
seja consertada, sendo esta a reignição do processo de Markov e não a transição 
para outro estado. As probabilidades são as seguintes: se uma turbina que nunca 
passou por reparo é boa no tempo 1nt - , ela tem conf iabilidade de 90% no tempo 
tn; porém, uma turbina que se estragou no tempo 1nt - , após reparada, é apenas 
60% conf iável no tempo tn. Suponha as probabilidades independentes e modele 
o problema como um processo de Markov de tempo discreto.
Os valores possíveis para a variável Xn são: 0, 1 e 2, sendo, respectiva-
mente, duas turbinas estragadas, apenas uma operando e ambas operando. 
– 205 –
O modelo de probabilidades sugerido é o binomial, já que os eventos são 
independentes; ou seja, a falha de uma turbina não implica a falha da outra, e 
cada turbina só pode ser encontrada em uma dentre duas condições.
As probabilidades de transição são calculadas como a seguir:
– ambas em operação,
1 22( 2 | 2)n nP X X p-= = = , 
22 0,9 0,9 0,81p = ´ = ;
– uma turbina boa e a outra estragada, dado que ambas estavam em operação,
1 21( 1 | 2)n nP X X p-= = = ,
21 0,9 0,1 0,1 0,9 0,18p = ´ + ´ = ;
– ambas estragadas, dado que as duas estavam boas,
1 20( 0 | 2)n nP X X p-= = = ,
20 22 211 0,01p pp= - - = ;
– uma em operação e a outra entra em operação após o reparo, 
1 12( 2 | 1)n nP X X p-= = = ,
12 0,9 0,6 0,54p = ´ = ;
– nenhuma em operação, dado que apenas uma estava boa, 
1 10( 0 | 1)n nP X X p-= = = ,
10 0,1 0, 4 0,04p = ´ = ;
– uma em operação, dado que uma delas estava estragada, 
1 11( 1 | 1)n nP X X p-= = = ,
11 12 101 0, 42p p p= - - = .
– 206 –
O estado i é absorvente uma vez que entrando nele não se pode aban-
doná-lo, exceto se o processo partir novamente, portanto, 00 1p = .
A matriz de probabilidades de transição para um passo f ica conforme 
se mostra:
0 1 2
0 1 0 0
1 0,04 0, 42 0,54
2 0,01 0,18 0,81
P
é ù
ê ú
ê ú= ê ú
ê ú
ë û
.
O grafo associado à matriz P é ilustrado na f igura 5.3.
Figura 5.3: Diagrama de transição de uma cadeia de Markov para o exemplo 5.3
As análises de sistemas cujos modelos são representados por processos 
de Markov de tempo discreto para elevado número de passos trazem infor-
mações importantes. No entanto, nem todos os processos comportam-se de 
maneira idêntica para n®¥ e, por isso, não permitem que certas conclusões 
sejam extraídas.
Daí advém a necessidade de se estabelecer objetivamente sob quais con-
dições as probabilidades limites existem e se possuem ou não algum signif ica-
do físico.
0,04
– 207 –
Def inição 5.8 (Probabilidade limite ou probabilidade estacionária): Para 
o estado j de uma cadeia de Markov, o elemento jv , para 0, 1, ,j M=  , é 
def inido como a probabilidade limite v p nj
n
j= →∞lim ( ) . Dizemos, também, que 
v
j 
 é a probabilidade do estado j em regime estacionário. Em consequência, o 
vetor 0 1[ ]Mv v v v=  é o vetor de regime estacionário.
Nos desenvolvimentos que se seguem, será mostrado que, para determi-
nadas cadeias, nem sempre é possível obter o vetor de probabilidades limites. 
Uma propriedade requerida para a existência de v
j
, tal como def inida ante-
riormente, é que a cadeia seja aperiódica.
Def inição 5.9 (Periodicidade de estados): Partindo do estado i, se retornar-
mos a esse estado em um número par ou ímpar de passos maior do que 1, di-
zemos que o estado i é periódico, com período igual ao menor número inteiro 
de passos que for necessário para alcançarmos novamente o estado i. A uma 
cadeia com estados periódicos designamos cadeia periódica. Por raciocínio 
análogo, será aperiódica a cadeia em que todos os estados forem aperiódicos.
Uma forma de verif icar a periodicidade de estados é visualizar o proces-
so como uma árvore de probabilidades. Por exemplo, a cadeia cuja matriz é
0 0 1
1 1 0
P
é ù
ê ú= ê úë û
,
é periódica com período 2. A árvore de probabilidades ilustrada na f igura 5.4 
mostra isso claramente.
Figura 5.4: Árvore de probabilidades de uma cadeia de Markov com dois estados 
periódicos
0 1
1o passo 2o passo 3o passo
– 208 –
Um exemplo de cadeia com estados aperiódicos é a cadeia cuja árvore 
está ilustrada na f igura 5.1. Na árvore dessa f igura, é fácil visualizar que, 
partindo-se do estado 0, é possível alcançar-se o estado 0 em um passo; de 
modo análogo, se a partida for do estado 1 alcança-se o mesmo estado em 
um passo.
Em contraposição aos estados absorventes, se todos os estados de uma 
dada cadeia de Markov se comunicam, a matriz de probabilidades de transi-
ção dessa cadeia exibirá propriedades especiais. A def inição de estados ‘comu-
nicantes’ é dada em seguida.
Def inição 5.10 (Estados comunicantes): O estado i se comunica com o estado 
j, se partindo-se do estado i, for possível alcançar-se o estado j direta ou indi-
retamente, observando-se o sentido do arco que os une.
Exemplo 5.4: Dadas as matrizes de transição P
1
 e 2P associadas às cadeias de 
Markov, 
 
1
0 * 0 *
1 * * *
2 * * *
P
é ù
ê ú
ê ú= ê ú
ê ú
ë û
 
e
 
2
0 * * *
1 0 * 0
2 * * 0
P
é ù
ê ú
ê ú= ê ú
ê ú
ë û
,
identif icar se os estados se comunicam ou não. As posições marcadas com as-
terisco representam números positivos – probabilidades de transição para um 
passo. Observe-se que os estados das cadeias de Markov das matrizes P
1
 e P
2
 
são representados pelos números 0, 1 e 2 .
Considerando-se a segunda linha da matriz P
1
, isto é, partindo-se do 
estado 1, é possível chegar diretamente a qualquer um dos estados. Na pri-
meira linha, de 0, não conseguimos chegar diretamente ao estado 1. Todavia, 
de 0, podemos chegar ao estado 2 e daí alcançarmos o estado 1. Portanto, 
na cadeia de Markov que a matriz P
1
 representa, todos os seus estados se 
comunicam. 
A partir da matriz P
2
 é possível construir o diagrama de transição da ca-
deia, na qual a existência de seta indica elemento positivo na matriz. A f igura 
5.5 ilustra o diagrama de transição que corresponde à última matriz.
0 1 2 0 1 2
– 209 –
Figura 5.5: Diagrama de transição de uma cadeia de Markov em que o estado 1 é 
absorvente
Ao analisarmos a cadeia do diagrama da figura 5.5, é imediata a consta-
tação de que os estados 0 e 2 se comunicam e que o estado 1 não se comunica 
com os demais.
As cadeias de Markov em que todos os estados podem ser alcançados 
a partir de todos os outros estados em um número f inito de passos, são cha-
madas de cadeias irredutíveis (ou cadeias regulares). Assim, as cadeias dos 
exemplos 5.2 e 5.4 para a matriz de transição 1P são irredutíveis e aperiódicas.
O próximo teorema fornece uma regra prática para a identif icação de 
cadeias irredutíveis. Ao elevarmos a matriz P da cadeia que queremos iden-
tif icar a potências n, podemos verif icar se existe algum n para o qual ( ) 0ijp n > 
para todo i e j. Em caso af irmativo, a cadeia é irredutível. 
Teorema 5.1: Uma condição suf iciente para se identif icar se uma cadeia é ir-
redutível é verificar a existência de algum número n inteiro não negativo, tal 
que ( ) 0ijp n > para todo i e j.
Exemplo 5.5: Dadas as matrizes seguintes:
a) 
* * 0
* 0 *
0 * *
P
é ù
ê ú
ê ú= ê ú
ê ú
ë û
; e b) 
* 0 * 0
0 * 0 *
* 0 * 0
0 * 0 *
P
é ù
ê ú
ê ú
ê ú= ê ú
ê ú
ê ú
ë û
;
– 210 –
verif ique, por meio da aplicação do teorema 5.1, se elas correspondem a ca-
deias irredutíveis ou equivalentemente regulares.
Tomamos a matriz P do caso (a) e a elevamos ao quadrado, obtendo:
2
* * 0 * * 0 * * *
* 0 * * 0 * * * *
0 * * 0 * * * * *
P
é ù é ù é ù
ê ú ê ú ê ú
ê ú ê ú ê ú= =ê ú ê ú ê ú
ê ú ê ú ê ú
ë û ë û ë û
.
Efetuando o produto simbólico P por P, verif icamos que todas as posi-
ções com elementos nulos são preenchidas; portanto, é correto af irmar que a 
cadeia é irredutível ou regular.
Tomamos a matriz P do caso (b) e a elevamos ao quadrado, obtendo:
2
* 0 * 0
0 * 0 *
* 0 * 0
0 * 0 *
P
é ù
ê ú
ê ú
ê ú= ê ú
ê ú
ê ú
ë û
.
De posse de 2P , é imediata a constatação que a matriz 3P exibe o mes-
mo padrão de preenchimentos com elementos positivos observado em P. 
Consequentemente, todas as potências, 4P , 5 , , nP P exibirão padrões se-
melhantes ao de P. É possível concluir que não existe n tal que ( ) 0ijp n > . Isso 
implica que a cadeia em questão não é irredutível. Conclusão idêntica pode 
ser extraída se aplicarmos o resultado do teorema 5.1 à matriz 2P do exem-
plo 5.4, conf irmando-se assim a identif icação feita pelo método dos estados 
comunicantes.
Para complementar a seção que trata da classif icação das cadeias de 
Markov, considere-se a def inição de estado recorrente positivo.
Def inição 5.11 (Estado recorrente positivo): O estado i é recorrente positivo 
se, partindo-se do estado i, o tempo esperado para o processo visitar nova-
mente esse estado for f inito. Se, porém, ao partir do estado i, o tempo espe-
rado para o processo voltar a visitar esse estado não for f inito, o estado é dito 
recorrente nulo.
– 211 –
Estados recorrentes positivos que são aperiódicos são chamados de esta-
dos ergódicos. Consequentemente, cadeias que têm todos os estados ergódicos 
são designadas cadeias ergódicas.
5.3.4 Análise de cadeias f initas irredutíveis com estados aperiódicos
As cadeias f initas de Markov cujos estados são recorrentes positivos e 
aperiódicosgozam de uma propriedade singular, que está expressa no teore-
ma 5.2.
Teorema 5.2: Para uma cadeia irredutível e aperiódica, com todos os estados 
recorrentes positivos, o vetor de probabilidades limites, 0 1[ ]Mv v v v=  , 
tal que v p nj
n
j= →∞lim ( ) , é o único vetor de probabilidades de regime estacioná-
rio e satisfaz às relações (5.10) e (5.11), a saber:
v vP= (5.10)
e
0
1
M
j
j
v
=
=å , 0jv ³ . (5.11)
O cálculo do vetor v pode ser efetuado usando-se o computador, atra-
vés da equação iterativa ( 1) ( )k kv v P+ = , para 0, 1, 2,k=  , arbitrando-se um 
vetor de estimativa inicial (0)v , até que a convergência seja alcançada. Uma 
maneira alternativa para a obtenção de v é o método analítico: constrói-se 
o sistema (5.10) e troca-se-lhe uma das 1M+ equações lineares pela relação 
(5.11), para, em seguida, solucionar o sistema de equações resultante.
Com a aplicação do resultado do teorema 5.2, podemos calcular as pro-
babilidades estacionárias dos estados do sistema do exemplo 5.1.
Exemplo 5.6: Dado que a cadeia do exemplo 5.1 atende às condições do teo-
rema 5.2, isto é, é irredutível e aperiódica com estados recorrentes positivos, 
calcule as probabilidades de regime estacionário.
Primeiramente, utilizamos a equação de iteração, tomando o vetor ini-
cial (0) [1 0]v = , que, para este exemplo, f ica conforme se vê a seguir:
– 212 –
1 1
2 2( 1) ( 1) ( ) ( )
0 1 0 1 31
4 4
[ ] [ ] ,k k k kv v v v+ +
é ù
ê ú= ê úë û
com (0) [1 0]v = .
A tabela 5.2 resume os cálculos iterativos.
Tabela 5.2: Iterações para obtenção do vetor de probabilidades de regime estacionário
k ( )kv ( 1)kv + ( 1) ( )k kv v+ -
0 [1 0] [0,500 0,500] [ 0,500 0,500]-
1 [0,500 0,500] [0, 375 0,625] [ 0,125 0,125]-
2 [0, 375 0,625] [0, 344 0,656] [ 0,031 0,031]-
3 [0, 344 0,656] [0, 336 0,664] 3 3[ 8 10 8 10 ]- -- ´ ´
4 [0, 336 0,664] [0,334 0,666] 3 3[ 2 10 2 10 ]- -- ´ ´
Em função da precisão requerida nos cálculos, mais iterações podem ser 
realizadas. Recomendamos que o leitor repita o procedimento iterativo mostra-
do anteriormente, tomando qualquer outro vetor (0)v como estimativa inicial.
A f igura 5.6 ilustra a evolução das probabilidades dos estados 0 e 1 à 
medida que o número de passos aumenta. Ressaltamos nestes cálculos a coin-
cidência entre o número de passos n e o contador de iterações k.
Figura 5.6: Probabilidades dos estados em função do número de passos para dois 
vetores de probabilidades iniciais distintos
– 213 –
Os gráf icos ilustrados na figura 5.6 merecem alguns comentários. No da 
esquerda, o vetor de probabilidades iniciais é (0) [1 0]p = , enquanto que no 
gráf ico da direita, tal vetor é (0) [0 1]p = . Observa-se que o vetor de probabili-
dades de regime estacionário obtido independe do vetor de probabilidades iniciais.
Regra geral: para qualquer cadeia irredutível aperiódica, as probabili-
dades limites dos estados v p n p nj
n
j
n
ij= =→∞ →∞lim ( ) lim ( ) existem e são indepen-
dentes do vetor de probabilidades iniciais p(0).
O leitor é convidado a voltar ao exemplo 5.1 e traçar um paralelo entre 
a solução obtida aqui através do processo iterativo e os cálculos efetuados na-
quele exemplo.
Agora, o cálculo das probabilidades estacionárias será feito analitica-
mente. Para tal, com base na expressão (5.10), obtemos o sistema de equações:
1 1
2 2
0 1 0 1 31
4 4
[ ] [ ]v v v v
é ù
ê ú= ê úë û
 Þ 
1 1
0 12 4
1 1
0 12 4
0
0
v v
v v
ì - =ïïíï- + =ïî
.
Como as equações são linearmente dependentes, substitui-se a segunda – 
arbitrou-se a segunda, mas poderia ser a primeira – pela equação (5.11). O siste-
ma de equações assim obtido é o seguinte:
1 1
0 12 4
0 1
0
1
v v
v v
ì - =ïïíï + =ïî
.
A solução desse sistema nos fornece 1 23 3[ ]v= , que é a mesma solução 
para a qual converge o método iterativo.
Ao estudar processos de Markov, é natural a expectativa do leitor por 
conhecer as aplicações dessa interessante teoria na solução de problemas do 
mundo real. A interpretação física dos resultados obtidos com os cálculos e a 
tradução desses resultados para a linguagem natural são etapas essenciais para 
a compreensão do comportamento do sistema sob análise.
Neste contexto, apresentamos em seguida algumas interpretações rele-
vantes:
– a probabilidade de regime estacionário, iv , é a porcentagem do tempo total 
considerado que o processo permanece no estado i;
– para cadeias ergódicas, o recíproco da probabilidade de regime estacionário, 
designado por iim , é o tempo esperado de recorrência do estado i, isto é, 
– 214 –
1
ii
iv
m = , para
 
i = 0, 1, 2, ..., M, (5.12)
em que, iim é o tempo médio do processo revisitar o estado i ;
– seja f uma função da variável aleatória X, por exemplo, custos f inanceiros 
associados aos estados. As probabilidades estacionárias iv podem ser utili-
zadas para calcular a esperança matemática de f(X), assim:
0
( ( )) ( )
M
i
i
E f X v f i
=
=å . (5.13)
Em seguida, apresentamos um exemplo que permite a interpretação dos 
resultados obtidos de maneira mais prática.
Exemplo 5.7: Uma fábrica possui duas máquinas idênticas, essenciais ao pro-
cesso de manufatura, que são operadas continuamente, exceto quando estão 
quebradas. Devido ao fato de serem muito sensíveis e quebrarem frequente-
mente, é necessário remunerar em tempo integral um técnico para reparar as 
máquinas quando ocorrer alguma falha. Suponha que o intervalo de tempo 
de observação seja de um dia e que a variável aleatória nX representa o núme-
ro de máquinas quebradas no dia n. Os valores possíveis para a variável alea-
tória são 0, 1nX = e 2. Admita que durante cem dias de observações foram 
anotadas as situações das duas máquinas, chegando-se às probabilidades de 
transições dos estados para um dia que estão mostradas na matriz P:
1
100
0 1 2
0 20 20 60
1 40 40 20
2 40 20 40
P
é ù
ê ú
ê ú= Þê ú
ê ú
ë û
0 1 2
0 0, 2 0, 2 0,6
1 0, 4 0, 4 0, 2
2 0, 4 0, 2 0, 4
P
é ù
ê ú
ê ú= ê ú
ê ú
ë û
.
Outro dado importante é que os custos de estar nos estados 0, 1 e 2 são, 
respectivamente, $0,00, $1.500,00 e $10.000,00, e há também o custo f ixo de re-
muneração do técnico, que é $100,00 ao dia. O custo de duas máquinas paradas é 
alto porque implica a parada da linha de produção, podendo causar sérios trans-
tornos à fábrica. A partir das probabilidades de regime estacionário, calcule:
– 215 –
a) na ocorrência de ambas as máquinas fora de operação, o número de dias 
esperado para que esta situação ocorra novamente;
b) o número esperado de dias de ociosidade do técnico;
c) o custo por dia a longo prazo para manter as máquinas.
Com base na matriz, conclui-se que a cadeia é irredutível e aperiódica, 
com estados recorrentes positivos. Por isso, podemos aplicar o teorema 5.2 
para calcular o vetor v, do qual obtemos, por algum dos métodos usados no 
exemplo anterior:
v = [0,3333 0,2500 0,4167].
O item (a) pede o tempo de recorrência para o estado 2. Basta calcular
22
2
1
v
m = , conforme (5.12), resultando no seguinte valor:
1
0,333322m = Þ µ22 3= dias.
Para o item (b), o número esperado de dias de ociosidade do técnico cor-
responde aos dias em que ambas as máquinas f icam em operação, ou seja, é o 
tempo de recorrência do estado 0,
µ µ00 10 4167 00 2 4= ⇒ =, , dias.
Finalmente, para o item (c), o custo por dia a longo prazo para manter as 
máquinas é a esperança matemática da função custo em regime estacionário, 
conforme (5.13).
E f X( ( )) , , , . , , . ,= × + × + ×0 3333 0 00 0 25 1 500 00 0 4167 10 000 00 Þ
E f X( ( )) . ,= 4 542 00 .
Devemos adicionar ao valor obtido anteriormente o custo f ixo de remu-
neração do técnico. Portanto, o custo por dia a longo prazo para manter as 
máquinas é $ 4.642,00.
As cadeias de Markov analisadas nesta seção exibem a propriedade espe-
cial de que a potência Pn, para n tendendo ao inf inito, resulta em uma matriz 
cujas linhas são todas iguais. A expressão (5.14) exprime a mencionada pro-
priedade de forma mais clara:
– 216 –
0 1
0 1
0 1
limM
Mn
n
M
v v v
v v v
P
v v v
®¥
é ù
ê ú
ê ú
ê ú= ê ú
ê ú
ê ú
ë û


   

. (5.14)
Por exemplo, a matriz do exemplo 5.6, ao ser elevada a expoentes cada 
vez mais altos, resulta na seguinte matriz:
1 1 1 2
2 2 3 3
31 1 2
4 4 3 3
lim lim
n
n
n n
P
®¥ ®¥
é ù é ù
ê ú ê ú= =ê ú ê úë û ë û
.
Esta é uma propriedade inerente às cadeias f initas irredutíveis e aperió-
dicas. No entanto, cadeias que possuem estados absorventes constituem uma 
classe especial de processos que não exibem tal propriedade. Por exemplo, a 
matriz do exemplo 5.3 é um caso que não atende a essa propriedade.
5.3.5 Análise de cadeias f initas com estados absorventes
O estudo das cadeias de Markov f initas com estados absorventes requer 
que a matriz de probabilidades de transição P seja expressa de modo especial. 
Isto implica que as linhas de P que correspondem aos estados não absorventes 
devem ser arranjadas em primeiro lugar e, em seguida, nas últimas linhas, 
f iguram os estados absorventes.
A expressão (5.15) mostra uma representação na forma canônica da ma-
triz de probabilidades de transição quando há estados absorventes:
11 1 1 1 1
1 1
0 0 1 0 0
0 0 0 1
r r s
r rr rr rs
q q c c
q q c c Q C
P P
I
+
+
é ù
ê ú
ê ú
ê ú
ê ú é ùê ú ê ú= Þ =ê ú ê úë ûê ú
ê ú
ê ú
ê ú
ê úë û
 
     
 
 
     
 
, (5.15)
em que as linhas referentes às matrizes Q e C correspondem aos estados não ab-
sorventes Q e C e, as demais linhas (matrizes 0 e I), aos estados absorventes 0 e I.
– 217 –
A justificativa do cálculo da potência nP passa pelo seguinte desenvolvi-
mento: primeiramente, para k natural, prova-se que kP é igual à identidade 
em (5.16):
0
k
k Q CP
I
é ù
ê ú= ê ú
ë û

, (5.16)
em que, o elemento da posição ( , )i j da matriz kQ denota a probabilidade de 
se chegar ao estado não absorvente j após k passos, partindo-se do estado não 
absorvente i, enquanto C denota a submatriz C após k passos.
Uma das informações mais relevantes na análise de cadeias absorventes 
é o número esperado de passos em que o processo f icará no estado não absor-
vente i antes da absorção. Considere-se o seguinte teorema.
Teorema 5.3: Para uma cadeia de Markov com pelo menos um estado absor-
vente, o número esperado de passos para a absorção partindo-se do estado não 
absorvente i é o somatório dos elementos da iésima linha da matriz 1( )I Q -- .
O resultado desse teorema decorre do seguinte fato: para alcançar a ab-
sorção, o processo deve transitar antes por todos os estados não absorventes 
nos passos 0, 1, 2, . Assim, o número esperado de passos antes da absorção, 
se o processo partiu do estado não absorvente i, é dado pelo somatório dos 
elementos da iésima linha da matriz:
0 2
0
k
k
Q Q Q Q
¥
=
= + + +å  ,
observando-se que 0Q I= (e que a norma da matriz Q seja menor do que 1).
Finalmente, recorremos às séries convergentes, neste caso, aplicadas a 
matrizes, que nos permitem concluir que o somatório anterior é igual à ma-
triz 1( )I Q -- .
A matriz 1( )I Q -- , designada como matriz fundamental, é uma rica 
fonte de informação sobre cadeias de Markov. Os elementos dessa matriz dão 
o número de passos – ou o número de vezes – que o processo visita os estados 
não absorventes antes de alcançar a absorção.
– 218 –
Antes de passarmos a um exemplo de aplicação, observe-se o estabeleci-
mento de mais um conceito importante sobre cadeias absorventes. Suponha-
se que o processo tenha partido do estado não absorvente i e que desejamos 
calcular a probabilidade de absorção no estado j. Note-se que aqui o índice j 
indica um estado absorvente.
Teorema 5.4: Para uma cadeia de Markov com pelo menos um estado absor-
vente, a probabilidade de o processo que partiu do estado não absorvente i 
ser absorvido no estado j é o elemento da posição ( , )i j da matriz que resulta 
do produto 1( )I Q C-- .
Uma forma possível para se concluir pela validade do teorema 5.4 é mos-
trar que o lim n
n
P
®¥ 
comporta-se como se mostra a seguir:
10 ( )
lim lim
0 0
n
n
n n
Q C I Q C
P
I I
-
®¥ ®¥
é ùé ù -ê úê ú= = ê úê úë û ë û
. (5.17)
Estamos de posse de métodos e informações que permitem resolver um 
exemplo de aplicação.
Exemplo 5.8: Considere o problema do enunciado do exemplo 5.3. Ambas 
as turbinas em falha constituem um estado absorvente, do qual só se pode 
escapar se uma das turbinas puder ser consertada enquanto o navio estiver 
completamente parado ou se, de algum modo, turbinas novas puderem ser 
instaladas no navio. Desejamos determinar o tempo médio – ou seja, o nú-
mero de passos – para o navio paralisar totalmente suas máquinas, supondo 
que ele se encontra com ambas as turbinas operando normalmente. Calcule 
também as probabilidades de absorção.
Do exemplo 5.3, temos que a matriz de probabilidades de transição para 
este problema é a seguinte:
0 1 2
0 1 0 0
1 0,04 0, 42 0,54
2 0,01 0,18 0,81
P
é ù
ê ú
ê ú= ê ú
ê ú
ë û
,
– 219 –
de que, pela expressão (5.15), obtemos:
2 1 0
2 0,81 0,18 0,01
1 0,54 0, 42 0,04
0 0 0 1
P
é ù
ê ú
ê ú= ê ú
ê ú
ë û
.
De acordo com a expressão (5.15), as matrizes Q, C e I são como dadas 
a seguir:
0,81 0,18
0,54 0, 42
Q
é ù
ê ú= ê úë û
,
 
0,01
0,04
C
é ù
ê ú= ê úë û 
e [ ]1I= .
A primeira pergunta refere-se ao número de passos necessários para al-
cançarmos o estado absorvente 0, tendo partido do estado 2. Portanto, neces-
sitamos calcular a matriz 1( )I Q -- , a saber:
1 0 0,81 0,18 0,19 0,18
0 1 0,54 0, 42 0,54 0,58
I Q
é ù é ù é ù-
ê ú ê ú ê ú- = - =ê ú ê ú ê ú-ë û ë û ë û
,
( )
, ,
, ,
, ,
,
I Q− =
−
−







 =
−
−
1
1
0 19 0 18
0 54 0 58
44 6154 13 8462
41 5385 114 6154,







 .
A matriz fundamental 1( )I Q -- é, então, da seguinte forma:
2 1
2
1
44 6154 13 8462
41 5385 14 6154
1( )
, ,
, ,
I Q− =








− .
A resposta à primeira questão é a soma dos elementos da primeira linha 
da matriz fundamental (teorema 5.3), que resulta em 44,6154 + 13,8462 = 
58,4616. Isto signif ica que, se duas turbinas estiverem em operação, o nú-
mero esperado de passos até que as duas se estraguem é de 58,5 unidades de 
tempo.
– 220 –
As probabilidades de absorção são calculadas com base no teorema 5.4:
( )
, ,
, ,
,
,
,
I Q C− =
−
−















=
−
−
1
1
0 19 0 18
0 54 0 58
0 01
0 04
44 61154 13 8462
41 5385 14 6154
0 01
0 04
1 000
1 0
,
, ,
,
,
,
,















= 000








,
1
0
2 1,000
( )
1 1,000
I Q C-
é ù
ê ú- = ê úë û
.
Partindo-se do estado com duas turbinas operando normalmente, a pro-
babilidade de absorção é igual a 1. Do mesmo modo, partindo-se do estado 
com uma turbina, a probabilidade de absorção é também igual a 1.
As probabilidades para se alcançar a absorção partindo-se de qualquer 
um dos estados não absorventes nem sempre são iguais à unidade. Isto ocorreu 
neste exemplo, porque, na cadeia de Markov analisada, há apenas um estado 
absorvente. O exemplo que será apresentado a seguir considera uma cadeia 
com dois estados absorventes e tem por objetivo principal mostrar uma forma 
alternativa ao teorema 5.3 de se calcular os tempos médios para absorção.
Exemplo 5.9: O reservatório de uma usina hidrelétrica é utilizado com a f ina-
lidade de prover renda adicional à população que habita suas vizinhanças, por 
meio da atividade pesqueira. Periodicamente, a companhia que detém a con-
cessão supre o reservatório com alevinos, que se tornarão adultos, procriarão e 
também servirão ao propósito da pesca. Estudos mostraram que existem dois 
bons estados para pesca, os quais serão designados por 2s e 3s . No entanto, 
se a atividade pesqueira for intensif icada, a população de peixes pode cair a 
níveis em que a pesca precise ser interrompida por certo tempo. Além disso, 
em decorrência de causas naturais, o crescimento excessivo da população de 
plantas aquáticas – algas e outras – pode alcançar um nível que prejudique apesca, levando também à suspensão da atividade, que somente será retomada 
após a limpeza do lago. Esse sistema físico foi modelado como um processo 
de Markov em que o período de tempo considerado razoável para ser toma-
do como unidade de tempo é um mês – isto signif ica que um passo equivale 
ao tempo de um mês. O estado que corresponde à inserção de alevinos no 
reservatório é um estado transitório, que é denotado por 1s . Os estados de in-
– 221 –
terrupção da pesca por redução do número de peixes e por poluição aquática 
são simbolizados, respectivamente, por 4s e 5s , e são estados absorventes. As 
probabilidades de transição foram levantadas por métodos estatísticos e estão 
indicadas na matriz na forma canônica (5.15) mostrada a seguir:
1 2 3 4 5
1
2
3
4
5
0 0,8 0 0,1 0,1
0 0,1 0,7 0,1 0,1
0 0,5 0, 2 0, 2 0,1
0 0 0 1 0
0 0 0 0 1
s s s s s
s
s
sP
s
s
é ù
ê ú
ê ú
ê ú
ê ú= ê ú
ê ú
ê ú
ê úê úë û
.
Desejamos conhecer o comportamento desse processo no regime esta-
cionário. Determine os tempos esperados para alcançar os estados absorven-
tes, partindo de estados não absorventes. Calcule também a probabilidade de 
absorção no estado 4s , se o processo partiu do estado transitório.
O grafo da cadeia de Markov desse exemplo é representado pela f igura 
5.7, a título de ilustração apenas. Note-se nessa f igura o estado transitório 1s e 
os estados absorventes 4s e 5s .
Figura 5.7: Diagrama de transição da cadeia de Markov do modelo de piscicultura de 
um reservatório de hidrelétrica
– 222 –
Os tempos médios para se alcançar a absorção, que são os números es-
perados de meses para atingir os estados absorventes, podem ser calculados 
pela aplicação do teorema 5.3, de maneira análoga ao que foi feito no exemplo 
anterior, isto é:
1 0 0 0 0,8 0 1 0,8 0
0 1 0 0 0,1 0,7 0 0,9 0,7
0 0 1 0 0,5 0, 2 0 0,5 0,8
I Q
é ù é ù é ù-
ê ú ê ú ê ú
ê ú ê ú ê ú- = - = -ê ú ê ú ê ú
ê ú ê ú ê ú-ë û ë û ë û
e
1
1
1 0,8 0
( ) 0 0,9 0,7
0 0,5 0,8
I Q
-
-
é ù-
ê ú
ê ú- = - Þê ú
ê ú-ë û
1
1
2
3
1 1,73 1,51
( ) 0 2,16 1,89
0 1, 35 2, 43
s
I Q s
s
-
é ù
ê ú
ê ú- = ê ú
ê ú
ë û
.
Os passos esperados antes da absorção são mostrados na tabela 5.3, atra-
vés da matriz fundamental 1( )I Q -- .
Tabela 5.3: Cálculos dos passos esperados antes da absorção a partir dos elementos da 
matriz fundamental
Estado não absorvente de partida Passos esperados antes da absorção
1s 1 1,73 1,51 4, 24+ + = meses
2s 2,16 1,89 4,05+ = meses
3s 1,35+2,43=3,78 meses
Os passos calculados na tabela 5.3 são os tempos para absorção partindo-
se de estados não absorventes, também chamados de tempos de primeira pas-
sagem (vide a seção 5.3.6).
As probabilidades de absorção são obtidas aproveitando-se a matriz fun-
damental com base no procedimento proposto no teorema 5.4, a saber:
1
1 1,73 1,51 0,1 0,1
( ) 0 2,16 1,89 0,1 0,1
0 1, 35 2, 43 0, 2 0,1
I Q C-
é ù é ù
ê ú ê ú
ê ú ê ú- = ê ú ê ú
ê ú ê ú
ë û ë û
,
– 223 –
s s
I Q C
s
s
s
4 5
1
1
2
3
0 58 0 42
0 59 0 41
0 62 0 38
( )
, ,
, ,
, ,
− =












− .
A probabilidade de absorção no estado 4s , se o processo partiu do estado 
transitório s
1
, é 0,58.
Os números que f iguram na matriz obtida anteriormente podem ser ob-
tidos aplicando-se o processo iterativo estabelecido na seção 5.3.4, também utili-
zado no exemplo 5.6. Arbitrando-se o vetor inicial [ ](0) 1 0 0 0 0v = , após 
trinta iterações, obtém-se o vetor [ ](30) 0 0,0001 0,0001 0,5756 0, 4243v = . 
Os dois últimos elementos de (30)v referem-se aos estados absorventes.
5.3.6 Tempos médios de recorrência
Nas seções anteriores, estudamos procedimentos de cálculo de tempo 
médio de permanência em um dado estado i em processos de Markov apli-
cáveis para cadeias f initas irredutíveis, com estados aperiódicos e para cadeias 
f initas com estados absorventes. No entanto, os resultados obtidos da expres-
são (5.12) e do método do teorema 5.3 podem ser alcançados no caso geral pelo 
método que será estudado a seguir. 
O tempo esperado para um processo revisitar o estado i, também conhe-
cido como tempo médio de recorrência, é def inido pela esperança matemática 
indicada pela expressão (5.18)
1
( )ii ii
n
nf nm
¥
=
=å , para 
1
( ) 1ii
n
f n
¥
=
=å , (5.18)
em que ( )iif n é a probabilidade de se revisitar o estado i em n passos.
O tempo esperado para um processo que tenha partido do estado i, após 
n passos, retorne ao estado j, também conhecido como tempo de primeira 
passagem, é def inido conforme a expressão (5.19):
1
( )ij ij
n
nf nm
¥
=
=å , (5.19)
– 224 –
em que ( )ijf n é a probabilidade de, em n passos, visitar o estado j, se o processo 
partiu do estado i.
Dado que 
1
( ) 1ij
n
f n
¥
=
=å para ( , )i j S SÎ ´ , em que, {0,1, 2, , }S M=  , 
as probabilidades ( )ijf n podem ser calculadas pelas relações recursivas (5.20)
(1) (1)ij ij ijf p p= = ,
(2) (2) (1)ij ij ij jjf p f p= - ,

( ) ( ) (1) ( 1) (2) ( 2) ( 1)ij ij ij jj ij jj ij jjf n p n f p n f p n f n p= - - - - - - .
(5.20)
Inicialmente será resolvido um exemplo que ilustrará as relações recur-
sivas (5.20).
Exemplo 5.10: Considerando o exemplo 5.7, se ambas as máquinas se estra-
gam, qual é a probabilidade de o tempo para consertar uma dessas máquinas 
seja de dois dias?
Para responder a essa questão, precisamos calcular a probabilidade de o 
tempo de primeira passagem do estado 0 ao 1 ser igual a 2 dias, ou seja, a proba-
bilidade 01(2)f . Utilizamos então as relações recursivas (5.20) para obter 01(2)f
01 01(1) 0, 2f p= = ,
01 01 01 11(2) (2) (1)f p f p= - .
Para concluir, precisamos calcular 01(2)p , a saber:
P2
0 2 0 2 0 6
0 4 0 4 0 2
0 4 0 2 0 4
0 2 0 2 0 6
0 4 0 4 0=












, , ,
, , ,
, , ,
, , ,
, , ,,
, , ,
, , ,
, , ,
, ,
2
0 4 0 2 0 4
0 36 0 24 0 40
0 36 0 28 0 36
0 32 0 24 0












=
,, 44












 .
Portanto, a probabilidade de que o tempo para consertar uma dessas 
máquinas seja de dois dias é igual a:
01 01 01 11 01(2) (2) (1) 0, 24 0, 2 0, 4 (2) 0,16f p f p f= - = - ´ Þ = .
01(2) 0, 24p =Þ
– 225 –
Vamos exemplificar o uso da fórmula (5.19) e das relações recursivas 
(5.20) na solução do item do exemplo 5.9, que pede o número de passos espe-
rados antes da absorção, o qual foi resolvido através da matriz fundamental.
Exemplo 5.11: Considerando o exemplo 5.9, supondo que o processo tenha 
partido do estado 1, calcule os tempos médios de primeira passagem para os 
estados 4 e 5.
Supondo s
1
 o estado de partida, ou seja, 1.i= :
Para 4j= , temos: 14 14(1) (1) 0,1f p= = ,
14 14 14 44(2) (2) (1) 0,18 0,1 1f p f p= - = - ´ Þ 14 (2) 0,08f = ,
14 14 14 44 14 44(3) (3) (1) (2) (2) 0, 3 0,1 1 0,08 1f p f p f p= - - = - ´ - ´ Þ 14 (3) 0,12f = ,
14 14 14 44 14 44 14 44(4) (4) (1) (3) (2) (2) (3)f p f p f p f p= - - - 
14 (4) 0, 3624 0,1 1 0,08 1 0,12 1f = - ´ - ´ - ´ Þ 14 (4) 0,0624f = ,
14 14 14 44 14 44 14 44 14 44(5) (5) (1) (4) (2) (3) (3) (2) (4)f p f p f p f p f p= - - - -
14 (5) 0, 4207 0,1 1 0,08 1 0,12 1 0,0624 1f = - ´ - ´ - ´ - ´ Þ 14 (5) 0,0583,f = ;
para j=5:
15 15(1) (1) 0,1f p= = ,
15 15 15 55(2) (2) (1) 0,18 0,1 1f p f p= - = - ´ Þ 15 (2) 0,08f = ,
15 15 15 55 15 55(3) (3) (1) (2) (2) 0, 244 0,1 1 0,08 1f p f p f p= - - = - ´ - ´ Þ
15 (3) 0,064f = ,
15 15 15 55 15 55 15 55(4) (4) (1) (3) (2) (2) (3)f p f p f p f p= - - -
15 (4) 0, 2896 0,1 1 0,08 1 0,064 1f = - ´ - ´ - ´ Þ 15 (4) 0,0456f = ,
– 226 –
Obviamente, os cálculos devem continuar até que se alcance um valor 
de n considerado alto. A tabela 5.4 mostra os resultados parciais obtidos com 
o uso do computador. 
Tabela 5.4: Valores de 14 ( )f k e 15 ( )f k para k=1, 2, ..., 30
14 ( )f k f15(k)
0,1000 0,0091 0,0005 0,1000 0,0058 0,0003
0,0800 0,0068 0,0004 0,0800 0,0043 0,0002
0,1200 0,0050 0,0003 0,0640 0,0032 0,0002
0,0624 0,0037 0,0002 0,0456 0,0024 0,0001
0,05830,0028 0,0001 0,0348 0,0018 0,0001
0,0381 0,0021 0,0001 0,0255 0,0013 0,0001
0,0307 0,0015 0,0001 0,0191 0,0010 0,0001
0,0218 0,0011 0,0001 0,0142 0,0007 0,0000
0,0167 0,0009 0,0000 0,0106 0,0005 0,0000
0,0122 0,0006 0,0000 0,0078 0,0004 0,0000
Aplicamos então a expressão (5.19) duas vezes, resultando em 14m e em 15m ,
14 2,5448m = e 15 1,6981m = .
Adicionando os dois tempos médios, encontramos o número esperado 
de passos antes da absorção, partindo do estado s
1
, 2,5448 1,6981 4, 2429+ = 
meses. Esse resultado é o mesmo obtido anteriormente por meio da matriz 
fundamental (vide a tabela 5.3).
15 15 15 55 15 55 15 55 15 55(5) (5) (1) (4) (2) (3) (3) (2) (4)f p f p f p f p f p= - - - -
15 (5) 0, 3244 0,1 1 0,08 1 0,064 1 0,0456 1f = - ´ - ´ - ´ - ´
Þ 15 (5) 0,0348,f = .