Cadeias de Markov

Prévia do material em texto

Cadeias de Markov
Confiabilidade de Produtos e Processos
Engenharia de Produção - PUC Minas
Prof. Hendrigo Batista
Cadeias de Markov
 É um processo estocástico (probabilístico) que representa a transição de 
estados ao longo do tempo.
 A distribuição de probabilidade do próximo estado depende apenas do estado 
atual.
1 2
Cadeias de Markov
 Na confiabilidade, a cadeia de Markov é útil para:
 1) modelar estados de máquinas e processos como:
 em funcionamento;
 ocioso;
 em manutenção;
 2) modelar a transição entre estes estados com uma probabilidade definida.
Exemplo
 Um trator é utilizado na colheita e no plantio de milho e feijão. Podemos 
modelar a situação do trator quanto ao seu “estado” atual em:
 1) Funcionando
 2) Em reparo
Exemplo
 Se hoje o trator funciona, ele pode:
 Continuar funcionando daqui a uma semana, com probabilidade 0,95.
 Estar em reparo daqui a uma semana, com probabilidade 0,05.
 Se hoje o trator está em reparo, ele pode:
 Estar funcionando daqui a uma semana, com probabilidade 0,40.
 Continuar em reparo daqui a uma semana, com probabilidade 0,60.
Representação gráfica da Cadeia de 
Markov
 Estado 1: funcionando;
 Estado 2: em reparo;
1 2
0,95
0,05
0,60
0,40
Representação gráfica da Cadeia de 
Markov
 Ao longo de diversas semanas, o trator pode apresentar o seguinte processo 
estocástico (probabilístico).
 1, 1, 1, 1, 2, 2, 1, 1, 1, 1, 1, 1, 1, 1, 2, 1, 1, 1..... 
1 2
0,95
0,05
0,60
0,40
Matriz de Transição
 Toda cadeia de Markov possui uma matriz de transição denotada por P.
 Essa matriz é quadrada de tamanho S x S, onde S é o número total de estados.
No exemplo, S = 2.
 Considere 𝑃 𝑖, 𝑗 é a probabilidade do sistema ir para o estado 𝑋1 = 𝑗 na
próxima transição, dado que estamos em 𝑋0 = 𝑖.
Matriz de Transição
 Cada elemento da matriz é denotado por:
 𝑃 𝑖, 𝑗 = 𝑃𝑟𝑜𝑏 𝑋1 = 𝑗 𝑋0 = 𝑖) ∀𝑖, 𝑗 = 1,…𝑆
 É importante notar que a transição atual depende apenas do estado atual do
sistema (𝑋0). Não depende de estados anteriores.
 Portanto, é um processo estocástico (probabilístico) com “ausência de
memória”.
Matriz de Transição
0,95 0,05
0,40 0,60
Matriz de Transição
 Todas as linhas de uma matriz de transição devem sempre ter a soma igual a 1.
෍
𝑗=1
𝑆
𝑃 𝑖, 𝑗 = 1 ∀𝑖
 Esta propriedade decorre do fato de que a probabilidade é uma medida cujo
total de todas as possibilidades é 1.
Matriz de Transição
 A probabilidade do trator estar em determinado estado depois de n 
semanas é calculada pela multiplicação da matriz de transição n vezes.
 𝑃1 =
0,95 0,05
0,40 0,60
 𝑃2 =
0,95 0,05
0,40 0,60
0,95 0,05
0,40 0,60
=
0,9225 0,0775
0,6200 0,3800
 𝑃3 =
0,95 0,05
0,40 0,60
0,95 0,05
0,40 0,60
0,95 0,05
0,40 0,60
=
0,9074 0,0926
0,7410 0,2590
Matriz Estacionária
 𝑃10 =
0,8892 0,1108
0,8866 0,1134
 À medida que o total de semanas cresce, a matriz tende a ter todas as linhas 
com o mesmo valor. 
 𝑃11 ≅
0,8890 0,1110
0,8877 0,1123
 𝑃15 ≅
0,8889 0,1111
0,8888 0,1112
 𝑃20 ≅
0,8889 0,1111
0,8889 0,1111
 𝑃50 ≅
0,8889 0,1111
0,8889 0,1111
 Esta matriz resultante é chamada de matriz estacionária.
Matriz Estacionária
 Ao multiplicar suficientemente a matriz de transição P, chegamos às
“probabilidades de estado estacionário”.
 A probabilidade de você estar em um estado j não depende mais do estado
inicial.
 Podemos então associar estas probabilidades à disponibilidade e
indisponibilidade em estado estacionário do sistema.
Matriz Estacionária
 Neste caso, o trator estará disponível em 88,8889% das semanas e
indisponível em 11,1111% das semanas independentemente do estado
inicial e do estado atual.
1 2
88,89 % 11,11 %
Vetor de Probabilidades em Estado 
Estacionário
 Denotamos por 𝜋 o vetor de tamanho 1 x S (número de colunas igual ao 
número de estados), que representa as probabilidades estacionárias.
𝜋 = [0,8889 0,1111]
1 2
88,89 % 11,11 %
Vetor de Probabilidades em Estado 
Estacionário
 Propriedade 1:
𝜋 ∗ 𝑃 = 𝜋
 A multiplicação vetorial do vetor linha 𝜋 pela matriz de probabilidade de 
transição P é o próprio vetor linha 𝜋.
𝜋1 𝜋2
0,95 0,05
0,40 0,60
= 𝜋1 𝜋2
Vetor de Probabilidades em Estado 
Estacionário
 Propriedade 2:
෍
𝑖=1
𝑆
𝜋𝑖 = 1
 A soma de todas as probabilidades em estado estacionário 𝜋𝑖, para i = 1, ..., S, 
é igual a 1.
𝜋1 + 𝜋2 = 1
Vetor de Probabilidades em Estado 
Estacionário
 O vetor de probabilidades estacionárias pode ser obtido com um sistema de 
equações.
𝜋1 𝜋2
0,95 0,05
0,40 0,60
= 𝜋1 𝜋2
0,95𝜋1 + 0,40𝜋2 = 𝜋1
0,05𝜋1 + 0,60𝜋2 = 𝜋2
𝜋1 + 𝜋2 = 1
Vetor de Probabilidades em Estado 
Estacionário
𝜋1 + 𝜋2 = 1 → 𝜋1 = 1 − 𝜋2
0,95𝜋1 + 0,40𝜋2 = 𝜋1
0,95(1 − 𝜋2) + 0,40𝜋2 = (1 − 𝜋2)
0,95 − 0,95𝜋2 + 0,40𝜋2 = 1 − 𝜋2
𝜋2 =
0,05
0,45
= 0,1111
𝜋1 = 1 − 𝜋2
𝜋1 = 0,8889
Disponibilidade
 A medida de disponibilidade está associada à probabilidade estacionária do 
estado “funcionando”.
 A medida de indisponibilidade está associada à probabilidade estacionária do 
estado “em reparo”.
Disponibilidade
 Se o trator gera um lucro de $200/mês quando está funcionando e um custo
de $100/mês quando está em reparo, qual o lucro esperado em um mês para
este trator?
𝜋 = [0,8889 0,1111]
𝐿 = 0,8889 0,1111
200
−100
𝐿 = 0,8889 ∗ 200 + 0,1111 ∗ −100
𝐿 = 166,67
Atividade
 Em uma pequena fazenda, existe 70% de chances de que os dias de
funcionamento de um trator seja sucedidos por dias de funcionamento
do trator e existe 60% de chances de que os dias de reparo sejam
sucedidos por dias de reparo. Encontrar o grafo da cadeia de Markov
deste problema, a matriz P e o vetor de estados estacionários.
Atividade
0,70
0,30
0,60
0,40
P=
0,70 0,30
0,40 0,60
𝜋1 𝜋2
0,70 0,30
0,40 0,60
= 𝜋1 𝜋2 𝜋1 + 𝜋2 = 1
Atividade
0,70
0,30
0,60
0,40
P=
0,70 0,30
0,40 0,60
𝜋 = [0,5714 0,4286]
𝜋1 𝜋2
0,70 0,30
0,40 0,60
= 𝜋1 𝜋2 𝜋1 + 𝜋2 = 1
Referências
 O'CONNOR, Patrick D. T.; KLEYNER, Andre. Practical reliability engineering. 5th
ed. Chichester, West Sussex, England: Wiley, c2012. xviii, 484 p. ISBN
9780470979815
 FELDMAN, Richard D.; VALDEZ-FLORES, Ciriaco. Applied Probability and
Stochastic Processes. Second Edition. Springer-Verlag Berlin Heidelberg 2010.
ISBN 978-3-642-05155-5.
Dúvidas?