Cadeia de Markov

Prévia do material em texto

CADEIAS DE MARKOV 
ENGENHARIA 
Fernando Mori 
prof.fmori@gmail.com 
Resumo 
Breve introdução ao estudo das cadeias de Markov para engenharia. 
CADEIAS DE MARKOV | Fernando Mori 
 
1 
 
 
Cadeias de Markov 
Autor: Fernando Mori 
 
Objetivos da aprendizagem 
O objetivo desta unidade é introduzir o conceito de cadeias de Markov e 
aplicações. Com esta finalidade será desenvolvida a teoria e realizadas 
diversas aplicações práticas. Ao final da unidade o leitor deverá ser capaz de 
identificar e aplicar o modelo de Markov e a realizar análises usando esse 
modelo. 
 
Introdução à unidade 
Estudaremos as cadeias de Markov como caso específico de um processo 
estocástico com a particularidade de ser um processo que tem a ausência de 
memória. Serão realizadas aplicações da teoria em vários casos práticos da 
engenharia e administração. 
Seção 1: Cadeias de Markov 
Nesta seção definiremos as cadeias de Markov e realizaremos algumas 
aplicações. 
 
Seção 2: Probabilidade de estado em fase de regime ou estacionárias 
Aprenderemos sobre a propriedade de evolução das cadeias de Markov no 
longo prazo e faremos algumas aplicações. 
 
Seção 3: Exemplos de aplicações 
Nesta seção veremos uma série de exemplos de aplicações. 
 
Seção 4: Aplicação a curvas de sobrevivência 
Nesta seção estudaremos a aplicação à sobrevivência de componentes 
industriais. 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
2 
 
 
Seção 1 - Cadeias de Markov 
 
Introdução 
Será estudado e definido o que é uma cadeia de Markov, bem como 
conheceremos suas principais propriedades e exemplos de aplicações. 
 
1.1) Definição de Cadeias de Markov e propriedades. 
 
Considere um processo estocástico qualquer. Eles são de interesse por 
descreverem o comportamento de um sistema operando ao longo de um 
período. 
Um processo estocástico normalmente apresenta a seguinte estrutura: 
O estado atual do sistema pode cair em qualquer uma das M + 1 categorias 
mutuamente exclusivas denominadas de estados. Esses estados são 
identificados como 0,1,2,......,M. A variável aleatória 
 tX representa o estado 
do sistema no instante t de modo que os seus únicos valores possíveis sejam 
0,1,2,......,M. O sistema é observado em pontos determinados no tempo, 
identificados por t = 0,1,2,...... Portanto, o processo estocástico fornece uma 
representação matemática de como o sistema físico evolui ao longo do tempo. 
Este tipo de processo é conhecido como um processo estocástico em tempo 
discreto com um espaço de estado finito. 
Exemplo 1: 
O tempo em uma certa cidade pode mudar de maneira rápida. Entretanto, as 
chances em termos de tempo seco (sem chuvas) amanhã são ligeiramente 
maiores, caso esteja seco hoje, do que se chover hoje. Particularmente a 
probabilidade de termos tempo seco amanhã é de 0,8, caso hoje esteja seco, 
porém é de apenas 0,6, caso amanhã chova. 
A evolução do tempo, dia a dia, é um processo estocástico. Começando em 
dado dia inicial (chamado dia 0), o tempo é observado em cada dia t, para t = 
0,1,2,...... O estado do sistema no dia t pode ser: 
Estado = 0, dia t é seco 
Estado = 1, dia t com chuva 
Portanto, para t = 0,1,2,...., a variável aleatória  tX assume os seguintes 
valores: 
CADEIAS DE MARKOV | Fernando Mori 
 
3 
 
0 se o dia t estiver seco
1 se o dia t estiver chovendo
t
t
X
X
=
=
 
O processo estocástico    0 1 2, , ,....tX X X X= fornece uma representação 
matemática de como o estado do tempo na cidade evolui ao longo do tempo. 
Definição 1: i) Um processo estocástico tem a propriedade Markoviana se a 
probabilidade condicional de qualquer evento futuro, dados quaisquer eventos 
do passado e o estado presente, é independente dos eventos passados e 
depende apenas do estado atual. 
ii) Um processo estocástico  tX é uma cadeia de Markov se possuir a 
propriedade Markoviana. 
As probabilidades condicionais ( )1 /t tP X j X i+ = = para uma cadeia de Markov 
são chamadas de probabilidades de transição (uma etapa). Se para cada i e j 
 ( ) ( )1 1 0/ /t tP X j X i P X j X i+ = = = = = 
então as probabilidades de transição (uma etapa) são ditas estacionárias. 
Portanto, ter probabilidades de transição estacionárias implica que as 
probabilidades de transição não mudam ao longo do tempo. A existência de 
probabilidades de transição estacionárias também implicam o mesmo para 
cada i, j e n (n = 0,1,2,....). 
 ( ) ( )0/ /t n t nP X j X i P X j X i+ = = = = = 
Para todo t = 0,1,2,..... essas probabilidades condicionais são denominadas 
probabilidades de transição em n etapas. 
Para simplificar a notação com probabilidades de transição estacionárias 
usamos: 
 
( )
( )
1
( )
/
/
ij t t
n
ij t n t
p P X j X i
p P X j X i
+
+
= = =
= = = 
Assim a probabilidade de transição em n etapas 
( )n
ijp é simplesmente a 
probabilidade condicional de que o sistema estará no estado j após exatamente 
n etapas (unidades de tempo), dado que ele inicia no estado i a qualquer 
instante j. 
Como 
( )n
ijp são probabilidades condicionais, elas têm de ser não negativas e já 
que o processo deve realizar uma transição para algum estado elas devem 
satisfazer as seguintes propriedades: 
CADEIAS DE MARKOV | Fernando Mori 
 
4 
 
 
( )
( )
0
0, para todo i,j;n=0,1,2,......
1 para todo i;n=0,1,2,......
n
ij
M
n
ij
j
p
p
=

=
 
 
 
Uma maneira conveniente de mostrar as probabilidades de transição é usar o 
formato de matriz: 
 
( ) ( ) ( ) ( )
00 01 02 0
( ) ( ) ( ) ( )
10 11 12 1
( ) ( ) ( ) ( ) ( )
20 21 22 2
( ) ( ) ( ) ( )
0 1 2
estado 0 1 2 . . .
0 . . .
1 . . .
2 . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . .
n n n n
M
n n n n
M
n n n n n
M
n n n n
M M M MM
M
p p p p
p p p p
P p p p p
M p p p p
= 
00 01 02
10 11 12
( )
20 21 22
30 31 32
A matriz de transição será então dada por:
. .
. .
.. .
. ..
. . . . .
n
p p p
p p p
P p p p
p p p
 
 
 
 =
 
 
  
 
Note que a probabilidade de transição em determinada linha e coluna é para a 
transição do estado da linha para o estado da coluna. Quando n = 1 
eliminamos n e simplesmente nos referimos à matriz como matriz de transição. 
As cadeias de Markov que iremos estudar possuem as seguintes propriedades: 
a) Um número finito de estados. 
b) Probabilidades de transição estacionárias. 
c) Partimos da hipótese de que conhecemos as probabilidades iniciais para 
todo i. 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
5 
 
Propriedade dos sistemas sem memória: 
Dado o estado atual o próximo estado só depende deste estado e de nenhum 
outro estado em que o sistema tenha estado no passado (ausência de memória 
espacial). 
O tempo em que o sistema se encontra no estado atual não é relevante para se 
determinar o próximo estado (ausência de memória temporal). 
Já foi visto que para especificar uma cadeia de Markov deve-se: 
a) Identificar um espaço de estados. 
b) Conhecer a probabilidade inicial de estado para cada estado 
pertencente ao espaço de estados. 
c) Conhecer a probabilidade de transição. 
 
 
Considerando o espaço de estado como um conjunto enumerável, ele pode ser 
representado pelo conjunto dos números inteiros não negativos: (1,2,3,.......). 
As letras i e j são usadas para representar o estado atual e o próximo estado; e 
no caso de sistemas com tempo discreto representam-se os instantes pelo 
conjunto de números inteiros, sendo k a variável utilizada para representar 
estes instantes discretos. 
Probabilidade de transição: 
p
ij
(k) = P X
k+1
= j / X
K
= i( )
em que i, j pertencem aos estados de tempo discreto.
As seguintes propriedades são válidas:
0 £ p
ij
(k) £1;
e para todo estado i e instantede tempo k:
p
ij
(k) =1, para todo j.å
 
A probabilidade de transição em n passos será dada por: 
CADEIAS DE MARKOV | Fernando Mori 
 
6 
 
p
ij
(k ,k + n) = P X
k+n
= j / X
k
= i( )
Vamos condicionar esta transição de n passos a passagem por um estado 
intermediário r num determinado instante u, entre k e k+n, ou seja:
p
ij
(k ,k + n) = P
r
å X K+n = j / Xu = r,X k = i( ).P Xu = r / X k = i( )
Pela propriedade da ausência de memória temos:
P X
k+n
= j / X
u
= r,X
k
= i( ) = P X k+n = j / Xu = r( ) = prj (u,k + n)
em que:
p
ir
(k,u) = P X
u
= r / X
k
= i( )
 
A equação dada a seguir determina a evolução dos estados. 
( , ) ( , ). ( , ),
Esta é a equação de Chapman-Kolmogorov, que determina a evolução,
trajetória dos estados da cadeia de Markov.
Esta relação é válida para cadeias de Markov com tem
ij ir rj
r
p k k n p k u p u k n k u k n+ = +   +
po discreto.
Ela pode ser escrita na forma matricial.
 
 
 
Portanto podemos reescrever a equação de 
Chapman-Kolmogorov:
Define-se a matriz H como sendo:
( , ) ( , ) , , 0,1,2,....
Esta é a matriz das probabilidades de transição
de estados em n passos.
ijH k k n p k k n i j  + = + =
( , ) ( , ). ( , )
ou escolhendo-se 1, tem-se:
( , ) ( , 1). ( 1, )
esta é a relação de evolução direta de Kolmogorov.
H k k n H k u H u k n
u k n
H k k n H k k n H k n k n
+ = +
= + −
+ = + − + − +
 
Definição 2: quando as probabilidades de transição forem independentes do 
tempo k, para todo i,j, tem-se uma cadeia de Markov homogênea. 
Neste caso escreve-se: 
 ( )1 /ij k k ip P X j X+ == = 
Em que o elemento da matriz de transição é independente de k. 
CADEIAS DE MARKOV | Fernando Mori 
 
7 
 
Ou seja, a transição de i para j sempre ocorre com a mesma probabilidade p, 
independentemente do instante de tempo que ela venha a ocorrer. 
 
Exemplo 2: 
Considere uma máquina que pode estar em um dos dois estados: up e down. 
Considere o conjunto de estados (0,1) para representar os estados dessa 
máquina sendo 0 para up e 1 para down. 
O estado dessa máquina é observado (verificado) a cada hora. Estes instantes 
de observação são representados pela sequência k=0,1,2,3,...... . 
Dessa maneira temos uma cadeia estocástica, em que o estado da máquina 
está na k-ésima hora de observação. 
 
Considere ainda que:
- se a máquina estiver no estado up a probabilidade
dela falhar na próxima hora é dada por a.
- se a máquina estiver no estado down a probabilidade
dela ser consertada na próxima hora é b.
Com estas definições obtemos uma cadeia de Markov
homogênea.
A matriz de transição de probabilidades possui os 
seguintes elementos:
p
10
= a p
11
=1-a p
01
= b p
00
=1- b
em que 0 £ a £1 e 0 £ b £1.
 
A matriz de transição será dada por: 
 
1
1
 
 
− 
 
− 
 
 
 
Uma maneira conveniente de se representar uma cadeia de Markov é através 
de um diagrama de transição de estados, conforme já vimos anteriormente. 
Neste caso o diagrama será bem simples: 
 
Figura 2.1 – Diagrama de transição do exemplo 2 
 
CADEIAS DE MARKOV | Fernando Mori 
 
8 
 
 
Fonte: Elaborada pelo autor. 
 
Considere agora a situação em que, com o passar do tempo, a probabilidade 
de a máquina falhar na próxima hora aumenta devido ao seu envelhecimento. 
Neste caso as probabilidades de transição poderiam ser escritas na forma: 
p
10
= a =1-g k
p
11
=1-a = g k
para 0 < g <1 e k = 0,1,2,..... Esta nova cadeia de 
Markov não é mais homogênea.
 
Numa cadeia homogênea a matriz de transição de estado também é 
independente do tempo k. Neste caso pode-se escrever: 
 ( )/ , 1,2,...nij k n kp P X j X i n+= = = = 
Se fizermos u=k+m e escolhendo m=n-1, na equação de Chapman-
Kolmogorov, tem-se: 
 
H (n) = H (n-1).H (1),
em que H (n) = pn
ij
é
ëê
ù
ûú
 
Exemplo 3: chamadas telefônicas 
Considere os intervalos de tempo discretos, k=0,1,2,...., chamados de time 
slots; 
O processo de chamada telefônica opera da seguinte maneira: 
 No máximo uma chamada telefônica pode ocorrer no time slot com o 
seguinte modelo: se o telefone estiver ocupado, a chamada é perdida (não há 
transição de estado), se não, a chamada é processada. 
 Uma chamada sendo processada pode ser encerrada dentro de um time slot 
com o seguinte modelo: se ocorrer a chegada de uma nova chamada e o 
término de uma outra dentro de um mesmo time slot, a nova chamada será 
aceita e o seu processamento iniciado. 
Assume-se que a chegada ou o término das chamadas são independentes 
entre si. 
CADEIAS DE MARKOV | Fernando Mori 
 
9 
 
Seja kX a representação do estado deste processo estocástico no k-ésimo time 
slot, o qual pode assumir valor 0 (telefone livre) ou 1 (telefone ocupado), 
as probabilidades de transição de estado são: 
p
00
=1-a: o telefone permanece livre se nenhuma
chamada chega no time slot.
p
01
= a: o telefone fica ocupado se uma nova chamada 
chega no time slot.
p
10
= b.(1-a): o telefone fica livre se uma chamada
é completada e não chega nenhuma nova chamada no
time slot.
p
11
= (1- b).(1-a): o telefone permanece ocupado 
se a chamada não completa ou a chamada completa,
porém chega uma nova chamada no time slot.
 
A matriz de transição P é dada por:
1
.(1 ) (1 ) .
P
 
    
− 
=  − − + 
 
 
Figura 2.2 – Diagrama de transição do exemplo 3 
 
 
Fonte: Elaborada pelo autor. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
10 
 
 
Em resumo, temos que um processo de Markov (processo estocástico) 
consiste em um conjunto de estados tais que: 
a) A qualquer instante cada objeto deve estar em um único estado. 
b) A probabilidade de que um objeto passe de um estado para outro em um 
período de tempo depende apenas desses dois estados. 
 
Os estados de uma cadeia de Markov podem ser classificados da seguinte 
forma: 
I) Dados dois estados i e j, uma trajetória de i para j é uma sequência 
de transições que iniciam em i e terminam em j, de tal maneira que 
cada transição na sequência tem uma probabilidade positiva de 
ocorrência. 
II) Um estado j é acessível a partir do estado i se existir uma trajetória 
que leva de i para j. 
III) Dois estados i e j são chamados comunicantes se j é acessível de i e 
i é acessível de j. 
IV) Um estado i é chamado absorvente se 1iip = . 
V) Um estado i é chamado estado transiente se existe um estado j 
acessível a partir de i, mas o estado i não é acessível a partir de j. 
VI) Um estado é periódico com período k, se k for um número inteiro 
positivo tal que a trajetória do estado i que volta para esse mesmo 
estado i tem comprimento que é um múltiplo de k. 
 
 
 
 
 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
11 
 
Exemplo 4: 
Seja a seguinte a matriz de transição: 
 
 
0,4 0,6 0 0 0
0,5 0,5 0 0 0
0 0 0,3 0,7 0
0 0 0,5 0,4 0,1
0 0 0 0,8 0,2
 
 
 
 
 
 
  
 
Ela dará origem às cadeias de Markov. 
Os diagramas representam as matrizes de transição que são partes da matriz 
acima. 
 
 
Figura 2.3 – Diagrama de transição referente ao exemplo 4 
 
Fonte: Elaborada pelo autor. 
 
 
 
 
0,5 0,4 
 1 2 
 0,5 
 0,6 
S1 
 5 4 3 
 0,5 0,8 
0,7 
0,1 
S2 
0,3 0,4 0,2 
CADEIAS DE MARKOV | Fernando Mori 
 
12 
 
 
Se todos os estados de uma cadeia de Markov são recorrentes, não periódicos 
e comunicantes, a cadeia é chamada de ergódica. No exemplo da ruína do 
jogador a cadeia não é ergódica. 
 
Figura 2.4 – Diagrama de transição de uma cadeia ergódica 
 
 
 
 
 
Fonte: Elaborada pelo autor. 
 
 
Figura 2.5 – Diagrama de transição de uma cadeia não ergódica 
 
 
 
 
 
Fonte: Elaborada pelo autor. 
 
 
 
 
 
 
 
1 
 
2 
 
3 
 
4 
 
3 
 
2 
 
1 
CADEIAS DE MARKOV | Fernando Mori 
 
13 
 
 
Para definir a evolução dos estadosa partir da matriz de transição de maneira 
simples, vamos recapitular algumas definições e chegar ao importante teorema 
que permite realizar previsões com uma cadeia de Markov. 
Vimos que: 
Os processos de Markov ocorrem sempre em uma base de tempo a qual 
depende do problema analisado. 
O número inteiro de períodos de tempo decorridos desde o início do processo 
representa o número de estágios do processo, que pode ser finito ou infinito. 
Se o número de estados é finito o processo de Markov recebe o nome de uma 
cadeia de Markov. 
Denotamos a probabilidade de transição do estado i para o estado j em um 
período de tempo por ijp . 
Para uma cadeia de Markov com n estados (n é um número inteiro), a matriz n 
x n formada pelas probabilidades de transição é a matriz estocástica associada 
ao processo. 
Necessariamente a soma dos elementos de cada linha da matriz de transição P 
é igual a 1. 
O valor ijp representa a probabilidade de que o processo quando no estado i 
faça uma transição para o estado j. 
00 01 02
10 11 12
20 21 22
30 31 32
. .
. .
.. .
. ..
. . . . .
p p p
p p p
P p p p
p p p
 
 
 
 =
 
 
  
 
Os estados de um processo de Markov são armazenados em uma matriz linha 
que possui tantas colunas quantos forem os estados do processo de Markov. 
A evolução do processo se faz através da multiplicação da matriz de estados 
pela matriz de transição. 
A matriz de estados será: 
X (n) = p
1
p
2
p
3
..
é
ëê
ù
ûú
Em que p
1
, p
2,...
são as probabilidades de estarmos
no estado 1, 2, ...
 
CADEIAS DE MARKOV | Fernando Mori 
 
14 
 
Podemos agora enunciar um importante teorema: se P é a matriz de transição 
de um processo de Markov, então a matriz linha de estados ( 1)nX + no período 
(n+1) da observação pode ser determinada a partir da matriz linha de estados
( )nX no período n da observação a partir da relação: 
 ( 1) ( ).n nX X P+ = 
 
Exemplo 4: 
1) Os dados de uma pesquisa dividem as famílias em economicamente 
estáveis e economicamente instáveis. Num período de 10 anos, a 
probabilidade de uma família estável permanecer estável é 0,92, 
enquanto a probabilidade de ficar economicamente instável é 0,08. A 
probabilidade de que uma família instável se torne estável é de 0,03, 
enquanto a probabilidade de que ela assim permaneça é 0,97. Qual 
a probabilidade de que daqui a 20 anos uma família hoje 
economicamente estável torne-se economicamente instável[2]? 
 
Figura 2.6 – Diagrama de transição 
 
 
 
 
 
 
 
Fonte: Elaborada pelo autor. 
CADEIAS DE MARKOV | Fernando Mori 
 
15 
 
 
 
 
 
( )
(0)
(1) (0)
(1)
(1)
(2) (1)
(2)
2
0,92 0,08
0,03 0,97
estado inicial
1 0
primeiro período = 10 anos
.
0,92 0,08
1 0 .
0,03 0,97
0,92 0,08
segundo período = 20 anos
.
0,92 0,08
0,92 0,08 .
0,03 0,97
P
X
X X P
X
X
X X P
X
X
 
=  
 
=
=
 
=  
 
=
=
 
=  
 
=  0,8488 0,1512
probabilidade de se tornar instável é 0,1512 ou 15,12%
 
Questão para reflexão 
Você viu a definição de cadeias de Markov. Que processos no seu dia a dia 
podem ser classificados como cadeias de Markov? Quais as condições a que 
esses processos devem obedecer? 
 
Para saber mais 
Conheça um pouco mais sobre cadeias de Markov. Disponível em: 
<https://pt.wikipedia.org/wiki/Cadeias_de_Markov>. Acesso em: 4 set. 2016. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
file:///C:/Users/Fernando%20Mori/Downloads/%3chttps:/pt.wikipedia.org/wiki/Cadeias_de_Markov
CADEIAS DE MARKOV | Fernando Mori 
 
16 
 
 
Atividades de aprendizagem 
 
 
1) Um escritório possui dois computadores para executar o trabalho diário. 
Observou-se que quando os dois computadores estão funcionando de 
manhã, existe uma probabilidade de 30% de que um deles pare de 
funcionar até de noite e 10% de que os dois parem de funcionar. Se 
apenas um computador estiver funcionando no início do dia, existem 20% 
de chance de que ele deixe de funcionar até o fim do dia. Se nenhum 
computador estiver funcionando pela manhã, o escritório envia todo o 
serviço para ser executado externamente. Neste caso não haverá falha 
das máquinas durante o dia. Os consertos são executados em uma loja 
próxima. Os computadores são levados durante o dia e devolvidos em 
condições de operação na manhã seguinte. O intervalo de um dia ocorre 
quando uma ou ambas as máquinas estão sendo consertadas[2]. 
a) Construir a matriz de transição neste caso. 
b) Construir a matriz de transição se a operação de reparo levar 2 
dias, sabendo que apenas uma máquina pode ser consertada de 
cada vez. 
Resposta: 6% 
 
2) Uma inspeção do mercado permite determinar os “movimentos” das 
pessoas entre os diversos tipos de moradia. Assim foram entrevistadas 
pessoas que moravam em apartamentos próximos do centro (Categoria 
1) e afastados do centro (Categoria 2); e pessoas que moravam em 
casas com terreno menor que 250 m² (Categoria 1) e com terreno maior 
de 250 m² (Categoria 2). 
Os resultados de um estudo para 1 ano foram: 
 
Atual 
Anterior 
Apto. 
(1) 
Apto. 
(2) 
Casa 
(1) 
Casa 
(2) 
Apto. (1) 50 10 20 20 
Apto. (2) 75 20 0 5 
Casa (1) 25 10 60 5 
Casa (2) 50 10 10 30 
 
 
Qual é a probabilidade de que alguém que está agora no Apto. (2) passe 
para uma Casa (2) após 2 anos[3]? 
Resposta: 17,5% 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
17 
 
 
Seção 2 - Probabilidade de estado em fase de regime estacionário 
 
Introdução 
Os processos de Markov apresentam a propriedade do estado de equilíbrio 
após a evolução em um grande número de ciclos. Iremos usar essa 
propriedade para obter previsões em sistemas que atingem este equilíbrio. 
 
2.1) Definição do regime estacionário e exemplos. 
 
Consideremos uma situação na qual uma máquina pode estar operando 
convenientemente ou pode necessitar de ajuste. 
Se a máquina está operando convenientemente (representaremos este estado 
por 1) hoje, a probabilidade de que opere convenientemente amanhã é 0,8 e a 
probabilidade de que necessite um ajuste (representaremos esse estado por 2) 
amanhã é 0,2. 
Suponhamos que a máquina ainda tenha um sistema de ajuste próprio 
(autoajuste) o qual funciona de forma imperfeita, e se a máquina precisa de 
ajuste a probabilidade que irá operar convenientemente amanhã é de 0,3 e a 
probabilidade de que ainda precisará de um ajuste amanhã é 0,7. 
Neste caso a matriz de transição será: 
 
0,8 0,2
0,3 0,7
P
 
=  
 
 
Supondo que o estado inicial é  (0) 0,5 0,5X = 
 
Calculando a evolução para 4 períodos obtemos: 
 
   
   
   
   
(1) (0)
(2) (1)
(3) (2)
(4) (3)
0,8 0,2
. 0,5 0,5 . 0,55 0,45
0,3 0,7
0,8 0,2
. 0,55 0,45 . 0,575 0,425
0,3 0,7
0,8 0,2
. 0,575 0,425 . 0,587 0,413
0,3 0,7
0,8 0,2
. 0,587 0,413 . 0,593 0,407
0,3 0,7
X X P
X X P
X X P
X X P
 
= = = 
 
 
= = = 
 
 
= = = 
 
 
= = = 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
18 
 
Verifica-se, portanto, que o processo atinge uma fase de regime com as 
seguintes características: 
I) A distribuição de probabilidades de ocorrência dos estados passa a 
ser constante. 
II) Essa distribuição independe das condições iniciais. 
III) Quando isso acontece o processo é ergódico. 
 
Chamamos isso de probabilidade de estado estacionário. 
A distribuição de estado estacionário é o conjunto j em que: 
 ( )lim lim ( )nj j n
n n
p P X j
→ →
 = = = 
Para o processo ergódico é válida a equação matricial: 
 .P = 
 
Com a condição óbvia de que os elementos da matriz linha somem 1. 
  0 1 n=    
 
Com 0 1 2 .......... 1n + + + + = 
Resolvendo o sistema de equações que assim aparece temos a distribuição de 
estado no longo prazo. 
 
Exemplo 5: 
 
Consideremos a matriz de transição dada a seguir: 
 
0,3 0, 2 0,5
0,1 0,8 0,1
0,6 0 0, 4
P
 
 
=
 
  
 
Calcule o estado estacionário ou longo prazo para esta situação.Neste caso precisamos resolver a equação matricial .P = com a condição 
fundamental 0 1 2 .......... 1n + + + + = . 
    0 1 2 0 1 2
0,3 0,2 0,5
. 0,1 0,8 0,1
0,4 0,4 0,2
P
 
 
 =  →    =   
 
  
 
CADEIAS DE MARKOV | Fernando Mori 
 
19 
 
 
0 0 1 2
1 0 1 2
2 0 1 2
0,3 0,1 0,4
0,2 0,8 0,4
0,5 0,1 0,2
 =  +  + 

 =  +  + 
 =  +  + 
 
 
Com a equação fundamental: 0 1 2 1 + + = . 
Escolhendo, por exemplo, as duas primeiras equações do sistema acima e a 
equação de normalização e resolvendo o sistema linear assim obtido temos: 
 
0
1
2
0,2
0,6
0,2
 =
 =
 =
 
 
Existem as probabilidades do sistema ocupar os estados no longo prazo. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
20 
 
Exemplo 6: 
 
Uma companhia aérea com um voo às 7:15 h da manhã entre São Paulo e Rio de 
Janeiro não quer que o voo se atrase na partida em dois dias seguidos. Se o voo sair 
atrasado num dia, a companhia faz um esforço adicional no dia seguinte para que o 
voo cumpra o horário e é bem-sucedida em 90% das vezes. Se o voo não sair 
atrasado num dia a companhia não toma providências especiais para o dia seguinte e 
o voo cumprirá o horário em 60% das vezes. Qual a porcentagem de vezes que o voo 
parte atrasado[2]? 
 
 
 
 
 
 
 
Figura 2.7 – Diagrama de transição 
 
Fonte: Elaborada pelo autor. 
CADEIAS DE MARKOV | Fernando Mori 
 
21 
 
 
Matriz de transição:
P =
0,1 0,9
0,4 0,6
é
ë
ê
ê
ù
û
ú
ú
No longo prazo o comportamento do 
sistema será obtido resolvendo-se o sistema
linear:
X = X .P
x
1
x
2
é
ëê
ù
ûú
= x
1
x
2
é
ëê
ù
ûú
.
0,1 0,9
0,4 0,6
é
ë
ê
ê
ù
û
ú
ú
Esta é uma equação matricial que se resolve igualando-se
os termos:
x
1
= 0,1x
1
+ 0,4x
2
x
2
= 0,9x
1
+ 0,6x
2
A condição fundamental é que 
x
1
+ x
2
=1
Usando esta condição e descartando uma das equações
ficamos com o sistema linear:
x
1
= 0,1x
1
+ 0,4x
2
x
1
+ x
2
=1
Resolvendo este sistema linear pelo método da substituição
obtemos o seguinte resultado:
x
1
= 0,6923 e x
2
= 0,3074
Os voos sairão atrasados 30,7% das vezes.
 
 
 
 
Questão para reflexão 
Você consegue imaginar alguma situação em que o estado de longo prazo é 
mais importante que os estados transitórios de um processo de Markov? 
 
Para saber mais 
Recomendamos a leitura do texto. Disponível em: 
<https://pt.wikipedia.org/wiki/Cadeias_de_Markov>. Acesso em: 4 set. 2016. 
Indicamos também o capítulo 17 da referência[2]. 
 
 
 
 
 
 
https://pt.wikipedia.org/wiki/Cadeias_de_Markov
CADEIAS DE MARKOV | Fernando Mori 
 
22 
 
 
Atividades de aprendizagem 
 
1) A propaganda de um certo produto será feita em 3 regiões R1, R2 e 
R3 seguindo certas regras. Ela nunca deverá ser feita na mesma 
região em dias sucessivos. Se for feita em R1, então no dia seguinte 
poderá ser feita em R2 ou R3 com igual possibilidade, se foi feita em 
R2 há duas vezes mais possibilidades de ser feita em R3 do que em 
R1, se foi feita em R3 há 3 vezes mais possibilidade de ser feita em 
R1 do que em R2. Em longo prazo, durante quanto tempo foi feita a 
divulgação em cada região[3]? 
 
Resposta:  0,364 0,273 0,364 
 
 
2) Uma pesquisa realizada recentemente com os assinantes de uma 
revista de viagens mostrou que 65% deles têm pelo menos um 
cartão de crédito associado a uma companhia aérea. Quando 
comparou-se com uma pesquisa semelhante realizada 5 anos atrás, 
os dados indicaram que 40% das pessoas que não tinham cartão de 
crédito associado a uma empresa aérea obtiveram um 
posteriormente, enquanto 10% dos que então tinham cartão já não 
os têm mais. Assumindo que essas tendências se manterão no 
futuro, determine a proporção de assinantes que terão cartão de 
crédito associado a uma empresa aérea a longo prazo[2]. 
 
Resposta: 80% terão cartão. 
 
 
 
 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
23 
 
 
Seção 3 - Exemplos de aplicação 
 
Introdução 
Nesta seção iremos considerar uma série de aplicações da teoria vista nas 
seções anteriores. 
3.1) Exemplos gerais de aplicação das Cadeias de Markov. 
 
1) O fabricante de um produto controla atualmente 60% do mercado de 
uma determinada cidade. Dados do ano anterior mostram que 88% dos 
seus clientes permanecem leais a sua marca, enquanto 12% mudam 
para outras marcas. Além disso, 85% dos usuários de marcas da 
concorrência permaneceram leais à marca da concorrência, enquanto os 
outros 15% mudaram para o produto do fabricante. Assumindo que essa 
tendência se mantém, determine a parcela de mercado do fabricante 
daqui a três anos[3]. 
 
 
 
 
 
 Figura 2.8 – Diagrama de transição do exemplo 1 
 
 
 Fonte: Elaborada pelo autor. 
CADEIAS DE MARKOV | Fernando Mori 
 
24 
 
 ( )  
( ) ( )
( )  
( )  
0
1 0
1
1
Matriz de transição:
0,88 0,12
0,15 0,85
Estado inicial:
0,6 0,4
primeiro período = 1 ano
.
0,88 0,12
0,6 0,4 .
0,15 0,85
0,5880 0,4120
P
X
X X P
X
X
 
=  
 
=
=
 
=  
 
=
 
 
( ) ( )
( )  
( )  
( ) ( )
( )  
( )  
2 1
2
2
3 2
3
3
segundo período = 2 anos
.
0,88 0,12
0,5880 0,4120 .
0,15 0,85
0,5792 0,4208
Terceiro período = 3 anos
.
0,88 0,12
0,5792 0,4208 .
0,15 0,85
0,5728 0,4272
parcela de mercado = 57,28%.
X X P
X
X
X X P
X
X
=
 
=  
 
=
=
 
=  
 
=
 
 
 
 
 
 
 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
25 
 
 
 
 
2) Em um certo dia qualquer, João pode estar de bom humor (BH), mais ou 
menos (MM) ou de mal humor (MH). Se ele estiver de bom humor hoje 
então ele estará BH, MM ou MH amanhã com probabilidades 0,5, 0,4 e 
0,1. Se ele estiver mais ou menos hoje então ele estará BH, MM ou MH 
amanhã com probabilidades 0,3, 0,4 e 0,3. Se ele estiver MH hoje então 
as probabilidades de estar amanhã BH, MM ou MH serão 0,2, 0,3 e 0,5. 
Sabendo que hoje ele está de bom humor, qual a probabilidade de João 
estar de mau humor daqui a dois dias[2]? 
 
Figura 2.9 – Diagrama de transição do exemplo 2 
 
 
 
Fonte: Elaborada pelo autor. 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
26 
 
 
( )  
( ) ( )
( )  
( )  
( ) ( )
( )  
0
1 0
1
1
2 1
2
matriz de transição
0,5 0, 4 0,1
0,3 0, 4 0,3
0, 2 0,3 0,5
estado inicial
1 0 0
.
0,5 0, 4 0,1
1 0 0 . 0,3 0, 4 0,3
0, 2 0,3 0,5
0,5 0, 4 0,1
segundo dia
.
0,5 0, 4 0,1
0,5 0, 4 0,1 . 0,3 0, 4 0,3
0, 2 0,3 0,5
P
X
X X P
X
X
X X P
X
 
 
=
 
  
=
=
 
 
=
 
  
=
=

=
( )  2 0,39 0,39 0, 22
A probabilidade de estar de mau humor 
daqui a 2 dias é 22%
X

 
 
  
= 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
27 
 
 
 
 
3) Suponhamos que uma indústria produza dois tipos de produtos: tipo 1 e 
tipo 2. Sabendo que se uma pessoa comprou o tipo 1, existe 90% de 
chance de que sua próxima compra seja o tipo 1. Sabendo que se uma 
pessoa comprou o tipo 2, existe 80% de chance de que na próxima 
compra seja o tipo 2. Se uma pessoa comprou o tipo 2, qual a 
probabilidade de ela comprar o tipo 1 num intervalo de 2 compras? Se 
uma pessoa comprou o tipo 1, qual a probabilidade de ela comprar tipo 1 
num intervalo de 3 compras[2]? 
 
 
Figura 2.10 – Diagrama de transição do exemplo 3 
 
 
 
 
Fonte: Elaborada pelo autor. 
 
CADEIAS DE MARKOV | Fernando Mori 
 
28 
 
 
( )  
( ) ( )
( )  
( )  
( ) ( )
( )  
( )  
0
1 0
1
1
2 1
2
2
0,9 0,1
0, 2 0,8
a) início:
0 1
primeira compra
.
0,9 0,1
01 .
0, 2 0,8
0, 2 0,8
segunda compra
.
0,9 0,1
0, 2 0,8 .
0, 2 0,8
0,34 0,66
A probabilidade de comprar tipo 1
após 2 compras é 
P
X
X X P
X
X
X X P
X
X
 
=  
 
=
=
 
=  
 
=
=
 
=  
 
=
34%.
 
 
 
 
 
 
( )  
( ) ( )
( )  
( )  
( ) ( )
( )  
( )  
0
1 0
1
1
2 1
2
2
b) início:
1 0
primeira compra
.
0,9 0,1
1 0 .
0,2 0,8
0,9 0,1
segunda compra
.
0,9 0,1
0,9 0,1 .
0,2 0,8
0,83 0,17
X
X X P
X
X
X X P
X
X
=
=
 
=  
 
=
=
 
=  
 
=
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
29 
 
 
terceira compra
X
3( )
= X
2( )
.P
X
3( )
= 0,83 0,17
é
ëê
ù
ûú
.
0,9 0,1
0,2 0,8
é
ë
ê
ê
ù
û
ú
ú
X
3( )
= 0,781 0,219
é
ëê
ù
ûú
A probabilidade de comprar o tipo 1 na
terceira compra é 78,1%.
 
 
 
 
4) Em uma cidade sabemos que 90% de todos os dias ensolarados são 
seguidos por outro dia ensolarado, e 75% de todos os dias nublados são 
seguidos por outro dia nublado. Construa a matriz de transição e calcule 
a probabilidade de daqui a 3 dias termos um dia nublado sendo que hoje 
está um dia ensolarado[2]. 
 
Figura 2.11 – Diagrama de transição do exemplo 4 
 
 
 
Fonte: Elaborada pelo autor. 
CADEIAS DE MARKOV | Fernando Mori 
 
30 
 
 
( )  
( )  
( )  
( )  
( )  
( )  
( )
0
1
1
2
2
3
3
0,9 0,1
0,25 0,75
estado inicial:
1 0
primeiro dia
0,9 0,1
1 0 .
0,25 0,75
0,9 0,1
segundo dia
0,9 0,1
0,9 0,1 .
0, 25 0,75
0,8350 0,1650
terceiro dia
0,9 0,1
0,8350 0,1650 .
0, 25 0,75
0,79
P
X
X
X
X
X
X
X
 
=  
 
=
 
=  
 
=
 
=  
 
=
 
=  
 
=  28 0,2073
A probabilidade de termos dia ensolarado 
é 20,73%. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
31 
 
 
 
5) Um vendedor tem as cidades A, B, C e D em seu território. Ele nunca 
fica numa cidade mais do que uma semana. Se ele está na cidade A ele 
tem a mesma probabilidade de ir para qualquer uma das três na próxima 
semana. Se ele está na B, então na próxima semana ele pode estar nas 
cidades A, C ou D com probabilidades respectivamente iguais a 
1
2
 , 
1
4
 
e 
1
4
 . Se ele está em C então na próxima semana ele não irá a B, 
porém pode ir com a mesma probabilidade a A ou D. Se ele está na 
cidade D então na próxima semana ele não estará em A, porém tem 
probabilidade 
2
3
 e 
1
3
 de estar respectivamente em B ou C. Represente 
esse processo por uma cadeia de Markov. Se o vendedor está em A 
esta semana, qual a probabilidade de estar em C daqui a duas 
semanas[2]? 
 
 
 
 
 
Figura 2.12 – Diagrama de transição do exemplo 5 
 
 
 
Fonte: Elaborada pelo autor. 
CADEIAS DE MARKOV | Fernando Mori 
 
32 
 
 
6) A ala geriátrica de um hospital classifica os seus pacientes como 
acamados ou ambulatórios. Dados históricos indicam que durante o 
período de uma semana, 30% de todos os pacientes ambulatórios têm 
alta, 40% permanecem em regime ambulatório e 30% têm de ser 
acamados para repouso completo. Durante o mesmo período, 50% dos 
pacientes acamados tornam-se ambulatórios, 20% permanecem 
acamados e 30% morrem. Presentemente o hospital tem 100 pacientes 
na sua ala geriátrica, com 30% de acamados e 70% de ambulatórios. 
Determine o estado desses pacientes[3]: 
a) Após duas semanas 
b) Em longo prazo (o estado de um paciente com alta não muda se o 
paciente morrer). 
 
Figura 2.13 – Diagrama de transição do exemplo 6 
 
 
Fonte: Elaborada pelo autor. 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
33 
 
 
7) Os proprietários de um grande edifício de apartamentos para alugar 
pretendem entregar a sua gestão a uma companhia imobiliária com 
excelente reputação. Com base nas classificações de boa, média e fraca 
condição dos edifícios geridos por essa imobiliária foi documentado que 
50% de todas as construções que começaram um ano em boas 
condições assim permaneceram até o fim do ano, enquanto 50% 
restantes deterioraram para uma condição média. De todas as 
construções que começaram o ano com condição média 30% assim 
permaneceram até o fim do ano, enquanto 70% foram melhoradas para 
uma boa condição. De todas as construções que começaram o ano com 
uma condição fraca, 90% assim permaneceram até o fim do ano, 
enquanto as outras 10% foram melhoradas para uma boa condição. 
Considerando que essa tendência se mantém se a empresa for 
contratada, determine a condição dos apartamentos sob a administração 
dessa firma esperada em longo prazo[2]. 
 
Figura 2.14 – Diagrama de transição do exemplo 7 
 
 
 
 
 
 
Fonte: Elaborada pelo autor. 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
34 
 
 
8) Um banco resolveu investir em uma estratégia de marketing. A 
estratégia 1 tem um custo de R$ 58,00 por cliente conseguido. Avalia-se 
que 12% dos que não eram clientes e foram submetidos à estratégia 1 
tornam-se clientes. A estratégia 2 tem um custo de R$ 37,00 por cliente 
novo. Com o uso desta estratégia, 21% dos não clientes tornam-se 
clientes. Para as duas estratégias, 88% dos que eram clientes 
continuam clientes. Sabendo que a receita do banco é R$ 98,00 por 
novo cliente, decida qual estratégia deverá ser adotada[2]. 
 
Figura 2.15 – Diagrama de transição do exemplo 8 
 
 
Fonte: Elaborada pelo autor. 
 
Figura 2.16 – Diagrama de transição do exemplo 8 
 
 
Fonte: Elaborada pelo autor. 
CADEIAS DE MARKOV | Fernando Mori 
 
35 
 
 
Fazendo a análise de longo prazo dos sistemas obtemos: 
Estratégia 1:  0,5 0,5 
Estratégia 2:  0,636 0,364 
Levando em conta os custos, o lucro por cliente com a estratégia 1 será 
R$ 2.000,00 e o lucro por cliente com a estratégia 2 será R$ 3.904,00. 
A estratégia a ser adotada deverá ser a estratégia 2. 
 
 
 
 
 
Questão para reflexão 
Você viu uma série de aplicações das cadeias de Markov. Como você usaria o 
que aprendeu para auxiliar no processo de tomada de decisão em uma 
empresa? 
 
Para saber mais 
Leia o texto no link indicado. Disponível em: 
<https://pt.wikipedia.org/wiki/Cadeias_de_Markov>. Acesso em: 4 set. 2016. 
Recomendamos também o capítulo 17 da referência [3]. 
 
 
 
 
 
 
 
 
 
 
 
https://pt.wikipedia.org/wiki/Cadeias_de_Markov
CADEIAS DE MARKOV | Fernando Mori 
 
36 
 
Atividades de aprendizagem 
 
1) Uma pesquisa realizada com 171 famílias brasileiras estudou sua 
mobilidade com relação à mudança de moradia em um prazo de 5 anos. 
Dessa forma coletaram-se os seguintes dados: 
 
I) De 34 famílias que viviam inicialmente em moradias luxuosas, após 5 
anos constatou-se que 12 ainda estavam em moradias luxuosas, 7, em 
moradias de classificação média e, 15, em moradias ruins. 
II) De 53 famílias que estavam inicialmente em moradia média, após 5 
anos constatou-se que 21 passaram a moradias luxuosas, 16 
permaneceram em moradias médias e 16 passaram a morar em 
moradias ruins. 
III) De 84 famílias que estavam inicialmente em uma moradia ruim, após 5 
anos constatou-se que 16 passaram para moradias luxuosas, 28 
passaram a moradias médias e 40 permaneceram em moradias ruins[2]. 
 
 
a) Considerando que hoje temos 13 famílias em moradias luxuosas, 20 
em moradias médias e 28 em moradias ruins, qual será 
aproximadamente a distribuição de moradias dessas famílias daqui a 
10 anos? 
b) Em longo prazo? 
 
Resposta: a)  0,30 0,28 0,42 
b)  0,29 0,29 0,42 
 
 
 
 
2) Uma empresa de cartões de crédito cobra uma taxa anual de 40,00 u.m. 
de seus associados. A empresa está discutindo dois novos métodos 
para obtenção de novos clientes e manter os existentes. Um método 
envolve “Mala direta” para os clientes em potencial. Sabe-se que com 
isso 7% daqueles que recebema correspondência e não eram clientes 
tornar-se-ão clientes. Um segundo método envolve “Visita pessoal” ao 
cliente. Espera-se com isso que 35% dos visitados e que não eram 
clientes tornem-se clientes. Para os dois métodos, dos que eram 
clientes, 85% continuam clientes. O custo do primeiro método é de 3,50 
u.m. e o do segundo é de 14,00 u.m. Qual o método que deve ser 
adotado? Fazer a análise para longo prazo. 
 
Resposta: O segundo método nos dá um lucro de 14 u.m. 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
37 
 
 
Seção 4 - Aplicação a curvas de sobrevivência 
 
Introdução 
Para máquinas e equipamentos eletrônicos uma curva como a da Figura 2.18 dá 
o número de sobreviventes no instante t. A análise a seguir realiza esta aplicação 
usando as cadeias de Markov. 
4.1) Curvas de Sobrevivência. 
Escolhendo os instantes t= 0, 1, 2, 3,….. para enumerar os itens ou unidades 
sobreviventes obtemos uma representação discreta para esta curva de 
sobrevivência. 
 
 
Figura 2.18 – Curva de sobrevivência 
número de unidades 
 
 
 
 
 
 
 
 
 
Fonte: Elaborada pelo autor. 
 
 
 
t 
CADEIAS DE MARKOV | Fernando Mori 
 
38 
 
Consideremos a quantidade kV como a probabilidade de sobrevivência de uma 
unidade de idade k, isto é: 
 
 
0
( ) kk
n
V P T t k
n
=  =  
 
Então 
1
1 ii
i
V
P
V −
= − com i = 1, 2, 3,...... e em que 0 1iP  e iP cresce 
monotonamente com i. A matriz de transição será: 
 
 
1 1
2 2
3 3
4 4
5 5
6 6
idade idade 0 idade 1 idade 2 idade 3 idade 4 idade 5 idade 6 . . . idade n
idade 0 0 0 0 0 0 . . . 0
idade 1 0 0 0 0 0 . . . 0
idade 2 0 0 0 0 0 . . . 0
idade 3 0 0 0 0 0 . . . 0
idade 4 0 0 0 0 0 . . . 0
estado na idade k
idade 5 0 0 0 0 0 .
P q
P q
P q
P q
P q
P q
7
1
.
. . 0
idade 6 0 0 0 0 0 0 . . . 0
. . .
. . .
. . .
idade n 0n
P
P +



















 
 
 
Na realidade ,0i iP P= é a probabilidade condicional de que uma unidade que 
tenha sobrevivido até a idade i – 1 morra no intervalo i – 1 a i. 
, 1 1i i i iP q P+ = = − é a probabilidade de durar até a data seguinte. 
Assim: 
 
0 se 0 e 1
0 se 0 e 1
ij
ij
P j j i
P j j i
 = = +

=   +
 
Construímos a matriz de transição a partir dessas probabilidades e com isso 
podemos determinar a evolução do sistema ou a situação no longo prazo. 
 
CADEIAS DE MARKOV | Fernando Mori 
 
39 
 
Exemplo 6: 
 
No ensaio de 8000 componentes quanto a sua durabilidade ao longo do 
tempo, temos a tabela: 
 
K(meses) 0 1 2 3 4 5 6 
N
k
 (unid.) 
8000 
N
0
 
7000 
N
1
 
5000 
N
2
 
4000 
N
3
 
2000 
N
4
 
1000 
N
5
 
0 
N
6
 
 
 
k (idade) 0
k
k
N
V
N
= 
1
11k
k
k
V
P
V
+
+ = −  
 
 
1 11k kQ P+ += − 
0 
0
0
0
8000
1
8000
N
V
N
−
= = = 1
7
181
1 8
P
 
 = − =
 
 
 1
1 7
1
8 8
Q = − = 
1 
1
1
0
7000 7
8000 8
N
V
N
= = = 2
5
281
7 7
8
P
 
 = − =
 
 
 2
2 5
1
7 7
Q = − = 
2 
2
2
0
5
8
N
V
N
= = 
3
4
181
5 5
8
P
 
 = − =
 
 
 
3
1 4
1
5 5
Q = − = 
3 
3
3
0
4
8
N
V
N
= = 
4
2
181
4 2
8
P
 
 = − =
 
 
 4
1 1
1
2 2
Q = − = 
4 
4
4
0
2
8
N
V
N
= = 
5
1
181
2 2
8
P
 
 = − =
 
 
 
5
1 1
1
2 2
Q = − = 
5 
5
5
0
1
8
N
V
N
= = 6
0
1 1
1
8
P
 
 = − =
 
 
 
6 1 1 0Q = − = 
6 6
0
0
8
V = = 
 - - 
 
CADEIAS DE MARKOV | Fernando Mori 
 
40 
 
 
 
A matriz de transição será: 
 
 
0 1 2 3 4 5
0
1
2
3
4
5
71
8 8
52
7 7
1 4
5 5
1 1
2 2
1 1
2 2
0 0 0 0
0 0 0 0
0 0 0 0
0 0 0 0
0 0 0 0
1 0 0 0 0 0
E E E E E E
E
E
E
E
E
E
 
Construindo o diagrama de transição para o problema teríamos: 
 
Figura 2.19 – Diagrama de transição 
 
 
Fonte: Elaborada pelo autor. 
 
CADEIAS DE MARKOV | Fernando Mori 
 
41 
 
 
 
 
Queremos o comportamento em longo prazo do sistema: 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
42 
 
 
 
 
 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
43 
 
Questão para reflexão 
Se você trabalha na indústria imagine uma situação em que você poderia 
aplicar a análise de curvas de sobrevivência e de como aplicar para melhorar 
os processos de tomada de decisão de sua empresa. 
 
Para saber mais 
Para ler um pouco mais sobre o assunto consulte o link. Disponível em: 
<https://pt.wikipedia.org/wiki/Cadeias_de_Markov>. Acesso em: 4 set. 2016. 
Recomendamos também o capítulo 17 da referência [3]. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
https://pt.wikipedia.org/wiki/Cadeias_de_Markov
CADEIAS DE MARKOV | Fernando Mori 
 
44 
 
 
Atividades para aprendizagem 
 
 
1) A duração das baterias dos equipamentos de dada empresa é mostrada 
pela tabela abaixo: 
K (anos) 0 1 2 3 4 
NK 250 200 125 50 0 
 
Em que K é dado em anos e Nk é o número de baterias funcionando na idade K. 
Se a empresa utiliza 60 dessas baterias e sabendo que o preço de cada bateria 
é de R$ 300,00, determine: 
a) Quantas baterias deverão ser repostas até o final do terceiro ano. 
b) O custo médio de reposição anual das baterias. 
 
Resposta 
a) 112 
b) R$ 650,00 
 
2) Uma fábrica de móveis resolveu realizar testes com duas marcas 
diferentes de serra elétrica, A e B, para decidir qual das marcas será 
colocada em sua linha de produção. As duas máquinas possuem a 
mesma produtividade e apresentam os seguintes perfis de sobrevivência: 
 
 Marca A 
K (anos) 0 1 2 3 4 
NK 140 120 80 25 0 
 
 Marca B 
K (anos) 0 1 2 3 
NK 50 40 10 0 
 
O preço unitário das serras A e B são, respectivamente, R$ 5.000,00 e 
R$ 4.600,00. Determine qual das serras será mais viável economicamente para 
a fábrica, sabendo que deverão ser compradas 20 unidades. 
Resposta: A mais viável é a serra da marca B. 
CADEIAS DE MARKOV | Fernando Mori 
 
45 
 
 
 
 
Questão para reflexão 
As cadeias de Markov permitem realizar análises de longo prazo e 
previsões. Será que podemos usar essas análises como auxiliares na 
tomada de decisão? Como seria isso? 
 
 
 
Fique ligado 
Nesta unidade você aprendeu a fundamentação básica sobre cadeias de 
Markov e sua utilização na prática incluindo modelos baseados em custo. Foi 
realizada a aplicação a Curvas de Sobrevivência, com aplicações em 
Engenharia. 
 
 
 
 
Para concluir o estudo da unidade 
 
Nesta unidade você aprendeu a analisar um processo estocástico especial, 
chamado de cadeias de Markov. Este processo é importante, pois permite a 
realização de previsões de maneira simples. No entanto, os processos que 
obedecem à cadeia de Markov devem sempre apresentar a propriedade 
Markoviana de ausência de memória. 
 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
46 
 
 
Atividades de aprendizagem da unidade 
 
 
1) Em uma cidade sabemos que 90% de todos os dias ensolarados são 
seguidos por outro dia ensolarado, e 75% de todos os dias nublados são 
seguidos por outro dia nublado. A probabilidade de um dia ser 
ensolarado em longo prazo é [2]: 
 
a) 29% 
b) 47% 
c) 71% 
d) 87% 
e) 95% 
Resposta: c 
 
2) Consideremos uma análise de falha de um certo componente de uma 
amostra inicial de 90 componentes: 
 
Dias Unidades 
0 90 
3 74 
6 59 
9 38 
12 24 
15 13 
18 0 
Esperamos então que para 1.000 unidades instaladas tenhamos um 
número médio de substituições por período: 
 
a) 300 
b) 400 
c) 500 
d) 250 
e) 130 
 
Resposta: a 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
47 
 
 
 
 
3) No início de cada ano, o carro de Pedro está em boas condições, em 
condições razoáveis ou quebrado. Um carro em boas condições estará 
em boas condições no próximo ano com probabilidade de 0,85; condição 
razoável com probabilidade de 0,10 e quebrado com probabilidade de 
0,05. Um carro em condições razoáveis estará em condições razoáveis 
no início do próximo ano com probabilidade de0,7 ou quebrado com 
probabilidade de 0,3. Custa R$ 6.000,00 para comprar um bom carro, 
R$ 2.000,00 para comprar um carro em condições razoáveis e um 
veículo quebrado não tem nenhum valor e deve ser substituído por um 
carro em boas condições. Custa R$ 1.000,00 por ano a manutenção de 
um carro em boas condições e custa R$ 1.500,00 por ano a manutenção 
de um carro em condições razoáveis. O que Pedro deverá fazer? 
a) Deverá esperar até o carro quebrar. 
b) Nunca deverá trocar. 
c) Deverá trocar quando se tornar razoável. 
d) Deverá trocar quando estiver em boas condições. 
e) Não é possível determinar a melhor solução. 
 
Resposta: c 
 
 
4) Considere dois títulos do governo. O Título 1 sempre é vendido por 
R$ 1,00 ou R$ 20,00. Se o Título 1 é vendido por R$ 10,00 hoje, existe 
uma probabilidade de 0,8 de ser vendido amanhã por R$ 10,00. Se 
estiver sendo vendido por R$ 20,00 hoje, então há uma probabilidade de 
0,9 de ser vendido por R$ 20,00 amanhã. O Título 2 sempre é vendido 
por R$ 10,00 ou R$ 25,00. Se o Título 2 for vendido por R$ 10,00 hoje 
então existe uma probabilidade de 0,9 de que ele seja vendido amanhã 
por R$ 10,00. Se for vendido hoje por R$ 25,00 então existe uma 
probabilidade de 0,85 de ser vendido amanhã por R$ 25,00. Podemos 
afirmar que[3]: 
a) Em longo prazo o Título 2 será vendido por um preço mais alto. 
b) Em longo prazo o Título 1 será vendido por um preço mais alto. 
c) Em longo prazo os dois títulos serão vendidos pelo mesmo preço. 
d) O sistema não pode ser calculado para longo prazo. 
e) No curto prazo o Título 1 será vendido por um preço mais baixo. 
Resposta: b 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
48 
 
 
 
 
 
 
5) Consideremos um modelo simplificado de previsão do tempo em que a 
previsão do tempo amanhã depende unicamente do tempo de hoje e de 
ontem. Assim temos[2]: 
i) Se ontem choveu e hoje está sol a probabilidade de chover 
amanhã é 
1
3
 . 
ii) Se ontem choveu e hoje está chovendo antão a probabilidade de 
chover amanhã é 
2
3
 . 
iii) Se ontem fez sol e hoje está chovendo antão a probabilidade de 
chover amanhã é 
3
4
 . 
iv) Se ontem fez sol e hoje está sol antão a probabilidade de estar 
sol amanhã é 
1
2
 . 
Se sabemos que ontem choveu e hoje está chovendo então podemos 
afirmar que: 
a) A probabilidade de chover daqui a 2 dias é 
1
2
 . 
b) A probabilidade de fazer sol daqui a dois dias é 
2
9
 . 
c) A probabilidade de chover daqui a dois dias é 
1
3
 . 
d) A probabilidade de fazer sol daqui a dois dias é 
4
9
 . 
e) A probabilidade de chover daqui a dois dias é zero. 
Resposta: d 
 
 
 
 
 
 
 
CADEIAS DE MARKOV | Fernando Mori 
 
49 
 
 
 
Referências 
 
HILLIER, Frederick S; LIEBERMAN, Gerald J. Introdução à pesquisa operacional. 8. 
ed. São Paulo: McGraw Hill, 2006. 
WINSTON, Wayne L. Operations research. 4. ed. [S.l.]: Thomson Brooks/Cole, 2004. 
TAHA, Hamdy A. Pesquisa operacional. 8. ed. São Paulo: Pearson, 2008. 
 
 
 
	Marca A