Modelagem de Processos Produtivos - Processos Estocásticos

Prévia do material em texto

13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 1/55
Processos
estocásticos
Prof. Mauro Rezende Filho
Descrição
Os vetores de probabilidade e as matrizes estocásticas, as cadeias de Markov e as probabilidades de transição em várias etapas e a distribuição
estacionária de uma cadeia regular de Markov.
Propósito
Cadeia de Markov é um caso particular do processo estocástico com estados discretos, sendo um sistema matemático que experimenta transições
de um estado para outro de acordo com certas regras probabilísticas. As cadeias de Markov surgem amplamente em contextos estatísticos e
teóricos da informação e são amplamente empregados em economia, teoria dos jogos, teoria das filas (comunicação), genética e finanças.
Preparação
Antes de iniciar o estudo, faça o download do Solucionário.
Objetivos
Módulo 1
Vetores de probabilidade e matrizes estocásticas
Identificar os conceitos e as aplicações de vetores de probabilidade e matrizes estocásticas.
https://stecine.azureedge.net/repositorio/00212en/04495/pdf/processos_estoc%C3%A1sticos_solucionario.pdf
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 2/55
Módulo 2
Cadeias de Markov
Identificar o conceito e as aplicações das cadeias de Markov.
Módulo 3
Cadeia regular de Markov: probabilidades e distribuição
Identificar as probabilidades de transição em várias etapas e a distribuição estacionária de uma cadeia regular de Markov.
Introdução
Olá! Antes de começarmos, assista ao vídeo e compreenda os conceitos que serão abordados neste conteúdo.
1 - Vetores de probabilidade e matrizes estocásticas

13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 3/55
Ao �nal deste módulo, você será capaz de identi�car os conceitos e as aplicações de vetores de probabilidade e matrizes
estocásticas.
Vamos começar!
Os conceitos e as aplicações de vetores de probabilidade e matrizes
estocásticas
Confira os principais aspectos que serão abordados neste módulo.
Vetores de probabilidade
Um vetor de probabilidade é um vetor (ou seja, uma matriz com uma única coluna ou linha) em que todas as entradas são não negativas e somam
exatamente um. Às vezes também é chamado de vetor estocástico.
Vejamos um exemplo simples. O vetor (1/6, 1/6, 1/6, 1/6, 1/6, 1/6) representa a distribuição de probabilidade de um lançamento aleatório de um
dado honesto. Cada entrada representa suas chances de rolar uma face do dado (ou seja, você tem 1/6 de chance de rolar 1, 2, 3, 4, 5 ou 6).
Nem sempre é tão simétrico; na verdade, geralmente não é. Por exemplo, o vetor estocástico que representa a probabilidade de chover, nevar, estar
nublado sem chuva/neve ou fazer sol o dia todo pode ser (0,5; 0; 0,40; 0,10). Observe que aqui as entradas ainda somam um e as categorias
representam todos os resultados possíveis e não se sobrepõem.
Em essência, um vetor de probabilidade n-dimensional pode representar a distribuição de probabilidade de um conjunto de n variáveis. É uma
maneira concisa e muito conveniente de representar a distribuição de probabilidade de variáveis aleatórias discretas.
Todo vetor de probabilidade n-dimensional tem uma média de .
O comprimento de um vetor de probabilidade é calculado pela fórmula:

1/n
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 4/55
Rotacione a tela. 
Aqui é a variância de todas as entradas no vetor de probabilidade. O "comprimento" de um vetor de probabilidade, assim definido, não tem nada a
ver com o número de entradas na matriz.
Tem o valor 1 como uma entrada e 0 em todas as outras. O comprimento é 1. Em uma situação com quatro alternativas possíveis (como o
exemplo de clima anterior), o vetor de probabilidade mais longo possível seria {1000} (ou {0100}, ou {0010}, ou {0001}).
Tem 1/n como cada entrada e seu comprimento é . No exemplo de dados com seis alternativas possíveis, o menor vetor possível
seria {1/n, 1/n, 1/n, 1/n, 1/n}.
O vetor mais curto representa um sistema com certeza mínima (qualquer uma das opções tem a mesma probabilidade de acontecer), e o mais
longo, um sistema com certeza máxima (você sabe exatamente o que acontecerá). Por exemplo, se o vetor meteorológico for {1000}, há 100% de
chance de chuva.
Se A é uma matriz estocástica regular e é n x n, existe um único vetor estocástico v para o qual Av = v.
Matrizes estocásticas
Uma matriz estocástica é uma matriz quadrada cujas colunas são vetores de probabilidade. Um vetor de probabilidade é um vetor numérico cujas
entradas são números reais entre 0 e 1 cuja soma é 1.
Uma matriz estocástica é uma matriz que descreve as transições de uma cadeia de Markov. Também é chamada de
matriz de Markov.
Uma matriz estocástica à direita é uma matriz quadrada de números reais não negativos cujas linhas somam 1, ou seja, uma matriz estocástica à
direita tem cada linha somando 1.
MatrixForm [RM = {{0.5, 0, 0.5}, {0.5, 0.25, 0.25}, {1, 0, 0}}]
Rotacione a tela. 
√nσ2 + 1
n
σ2
Vetor de probabilidade mais longo possível 
Vetor de probabilidade mais curto possível 
1/V (n)
⎡⎢⎣0.5 0 0.50.5 0.25 0.251 0 0 ⎤⎥⎦
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 5/55
Uma matriz estocástica à esquerda é uma matriz quadrada de números reais não negativos cujas colunas somam 1, ou seja, uma matriz
estocástica esquerda tem cada coluna somando 1.
MatrixForm [LM = Transposta [{{0.5, 0, 0.5}, {0.5, 0.25, 0.25}, {1, 0, 0}}]]
Rotacione a tela. 
Uma matriz duplamente estocástica é uma matriz quadrada de números reais não negativos com cada linha e coluna somando 1, ou seja, uma
matriz duplamente estocástica tem linhas e colunas somando 1.
MatrixForm [DM = {{0.5, 0, 0.5}, {0.5, 0.25, 0.25}, {0, 0.75, 0.25}}]
Rotacione a tela. 
Exemplo
Uma empresa de aluguel de caminhões tem locais em toda cidade de São Paulo, onde você pode alugar caminhões de mudança. Você pode
devolvê-los para qualquer outro local. Para simplificar, imagine que haja três locais e que todos os clientes devolvam seu caminhão no dia seguinte.
Seja o vetor cujas entradas , são o número de caminhões nos locais 1, 2 e 3, respectivamente. Seja A a matriz cuja i,j-entrada é a
probabilidade de um cliente alugando um caminhão do local j devolvê-lo ao local i.
Por exemplo, a matriz:
Rotacione a tela. 
Mostra uma probabilidade de 30% de que um cliente alugando do local 3 devolva o caminhão ao local 2 e uma probabilidade de 40% de que um
caminhão alugado do local 1 seja devolvido ao local 3. A segunda linha (por exemplo) da matriz A mostra que o número de caminhões devolvidos ao
local 2 será (em média):
30% dos caminhões do local 1.
40% dos caminhões do local 2.
30% dos caminhões do local 3.
Aplicando isso a todas as três linhas, temos:
⎡⎢⎣0.5 0.5 10 0.25 00.5 0.25 0⎤⎥⎦⎡⎢⎣0.5 0 0.50.5 0.25 0.250 0.75 0.25⎤⎥⎦vt xt, yt zt A = ⎡⎢⎣0.3 0.4 0.50.3 0.4 0.30.4 0.2 0.2⎤⎥⎦
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 6/55
Rotacione a tela. 
Portanto, representa o número de caminhões em cada local no dia seguinte.
Este é um exemplo de um sistema dinâmico discreto linear.
Exemplo
Considere um movimento populacional entre cidade e periferia em uma região metropolitana regida pela matriz migratória M:
M=  
DE
PARA
Cidade Subúrbio
0,95 0,03 Cidade
0,05 0,97 Subúrbio
Agora perceba que:
Cada vetor coluna de M é um vetor de probabilidade.
M é uma matriz estocástica.
Suponha que a população em 2019 seja 600.000 na cidade e 400.000 nos subúrbios.
O estado inicial (vetor de probabilidade) é:
Rotacione a tela. 
Encontre a distribuição da população no ano de 2019 e 2020.
Solução
A distribuição da população em 2019 é dada por , ou seja:
A =
⎡⎢⎣xtytzt⎤⎥⎦ ⎡⎢⎣0.3xt 0.4yt 0.5zt0.3xt 0.4yt 0.3zt0.4xt 0.2yt 0.2zt⎤⎥⎦Avtx0 = [ ]
0, 6
0, 4
x1 = Mx0
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 7/55
Rotacione a tela. 
Relembrando multiplicação de matrizes:
Rotacione a tela. 
Então, podemos concluir que:
58,2% da região viverá na cidade em 2020.
41,8% da região viverá nos subúrbios em 2020.
Modelos de aplicação
Exemplo 1 - Vetores de probabilidade
Duas locadoras de jogos, Vic's e MovieMaster, acabam de abrir em uma nova área residencial. Inicialmente, cada uma tem metade do mercado de
jogos alugados. Um cliente que aluga da Vic's tem 60% de probabilidade de alugar da Vic's na próxima vez e 40% de chance de alugar do
MovieMaster. Por outro lado, um cliente que aluga inicialmente da MovieMaster tem apenas 30% de probabilidade de alugar do MovieMaster na
próxima vez e 70% de probabilidade de alugar da Vic's.
Qual é o vetor de probabilidade inicial?
Qual é a matriz de transição?
Qual é a probabilidade de um cliente alugar um filme de cada loja pela segunda vez?
Qual é a probabilidade de um cliente alugar um filme de cada loja pela terceira vez?
Que suposição você está fazendo no item anterior? Quão realista ela é?
Solução
Inicialmente, cada loja tem 50% do mercado, logo, o vetor de probabilidade inicial é V M:
Rotacione a tela. 
[ ] × [ ] = [ ]0, 95 0, 03
0, 05 0, 97
0, 60
0, 40
0, 582
0, 418
0, 582 = 0, 95 × 0, 6 + 0, 03 × 0, 4
S(0) = [0, 5 0, 5]
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 8/55
A primeira linha da matriz de transição representa as probabilidades de segunda locação por clientes cuja escolha inicial foi a Vic's. Há 60% de
chance de o cliente retornar, então a primeira entrada é 0,6. É 40% provável que o cliente alugue do MovieMaster, então a segunda entrada é 0,4.
Da mesma forma, a segunda linha da matriz de transição representa as probabilidades do segundo aluguel por clientes cuja primeira escolha foi o
MovieMaster. Há 30% de chance de ser a Video Vic's.
Rotacione a tela. 
Independentemente de qual loja o cliente escolher pela primeira vez, você está assumindo que há apenas duas opções para a próxima visita.
Portanto, a soma das probabilidades em cada linha é igual a 1. Para encontrar as probabilidades de um cliente alugar uma das lojas na segunda
visita, vamos calcular o vetor de probabilidade do primeiro passo, S(1):
Rotacione a tela. 
Relembrando multiplicação de matrizes:
Rotacione a tela. 
Esse novo vetor mostra que há 65% de probabilidade de que um cliente alugue um filme da Vic's na segunda visita a uma locadora e 35% de chance
de que o cliente alugue da MovieMaster. Para determinar as probabilidades de qual loja um cliente escolherá na terceira visita, vamos calcular o
vetor de probabilidade do segundo passo, S(2):
Rotacione a tela. 
Assim, em uma terceira visita, um cliente tem 63,5% de probabilidade de alugar da Vic's e 36,5% de probabilidade de alugar da MovieMaster.
Para calcular as probabilidades do segundo passo, você assume que as probabilidades de transição condicional não mudam. Essa suposição pode
não ser realista, já que os clientes com 70% de probabilidade de sair do MovieMaster podem não ter 40% de probabilidade de voltar, a menos que
esqueçam por que mudaram em primeiro lugar.
P = [ ]
V M
0, 6 0, 4
0, 7 0, 3
V
M
S(1) = S(0) × P
S(1) = [ ] × [ ] = [ ]0, 5 0, 5 0, 6 0, 4
0, 7 0, 3
0, 65 0, 35
0, 65 = 0, 5 × 0, 6 + 0, 5 × 0, 7
0, 35 = 0, 5 × 0, 4 + 0, 5 × 0, 3
S(2) = S(1) × P
S(1) = [ ] × [ ] = [ ]0, 65 0, 35 0, 6 0, 4
0, 7 0, 3
0, 635 0, 365
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 9/55
Em outras palavras, as matrizes estocásticas não têm memória de longo prazo, elas lembram apenas o estado
mais recente na previsão do próximo.
Observe que o resultado do Exemplo 1, item d, pode ser calculado de outra maneira:
Rotacione a tela. 
Da mesma forma, e assim por diante. Em geral, o vetor de probabilidade de enésimo passo é dado por:
Rotacione a tela. 
Exemplo 2 - Participação de mercado de longo prazo
Uma empresa de pesquisa de marketing rastreou as vendas de três marcas de tacos de golfe. A cada ano, em média:
Player-One mantém 70% de seus clientes, mas perde 20% para Slapshot e 10% para Extreme Styx.
Slapshot mantém 65% de seus clientes, mas perde 10% para Extreme Styx e 25% para Player-One.
Extreme Styx mantém 55% de seus clientes, mas perde 30% para Player-One e 15% para Slapshot.
Qual é a matriz de transição? Assumindo que cada marca começa com uma participação de mercado igual, determine a participação de mercado de
cada marca depois de um, dois e três anos. Determine a participação de mercado de longo prazo de cada marca. Que suposição você deve fazer
para responder ao item anterior?
Solução
A matriz de transição é:
Rotacione a tela. 
Assumindo que cada marca começa com uma participação de mercado igual, o vetor de probabilidade inicial é:
S(2) = S(1)P = (S(0)P)P = S(0)(PP) = S(0)P 2
S(3) = S(0)P 3 S(n)
S(n) = S(0)P n
P =
P S E
⎡⎢⎣ 0, 7 0, 2 0, 10, 25 0, 65 0, 10, 3 0, 15 0, 55⎤⎥⎦ PSE
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 10/55
Rotacione a tela. 
Para determinar as participações de mercado de cada marca depois de um ano, vamos calcular o vetor de probabilidade do primeiro passo:
Rotacione a tela. 
Assim, depois de um ano, o Player-One terá uma participação de mercado de aproximadamente 42%, o Slapshot terá 33% e o Extreme Styx terá 25%.
Da mesma forma, você pode prever as participações de mercado depois de dois anos usando:
Rotacione a tela. 
E depois de três anos:
Rotacione a tela. 
Depois de três anos, Player-One terá aproximadamente 46% do mercado, Slapshot terá 34% e Extreme Styx terá 20%. Os resultados do item b
sugerem que as participações de mercado relativas podem estar convergindo para um estado estacionário por um longo período de tempo. Você
pode testar essa hipótese calculando vetores de estado superior e verificando a estabilidade. Por exemplo, temos:
Rotacione a tela. 
Nesse caso, o vetor de estado estacionário [0,471 0,347 0,182] indica que, por um longo período de tempo, o Player-One terá aproximadamente 47%
do mercado de tacos de golfe, enquanto Slapshot e Extreme Styx terão 35 e 18%, respectivamente, com base nas tendências atuais.
S(0) = [ ]1
3
1
3
1
3
S(1) = S(0) × P
S(1) = [ ] × = [ ]1
3
1
3
1
3
⎡⎢⎣ 0, 7 0, 2 0, 10, 25 0, 65 0, 10, 3 0, 15 0, 55⎤⎥⎦ 0, 416 0, 33 0, 25S(2) = S(1) × PS(2) = [ ] × = [ ]0, 416 0, 33 0, 25 ⎡⎢⎣ 0, 7 0, 2 0, 10, 25 0, 65 0, 10, 3 0, 15 0, 55⎤⎥⎦ 0, 45 0, 3375 0, 2125S(3) = S(2) × PS(3) = [ ] ×= [ ]0, 45 0, 3375 0, 2125 ⎡⎢⎣ 0, 7 0, 2 0, 10, 25 0, 65 0, 10, 3 0, 15 0, 55⎤⎥⎦0, 463 0, 341 0, 196S(10) = S(9) × P = [ ]S(11) = S(10) × P = [ ]0, 471 0, 347 0, 1820, 471 0, 347 0, 182
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 11/55
A suposição que responde a pergunta feita anteriormente é que a matriz de transição não muda, ou seja, as tendências de mercado permanecem as
mesmas no longo prazo.
OBSERVAÇÃO
No próximo módulo veremos cadeias de Markov, mas guarde os seguintes conceitos:
A teoria das cadeias de Markov pode ser aplicada a modelos de probabilidade em que o resultado de uma tentativa afeta diretamente o resultado
da próxima tentativa.
Cadeias de Markov regulares eventualmente atingem um estado estacionário, que pode ser usado para fazer previsões de longo prazo.
Mão na massa
Questão 1
Encontre a matriz de transição de estado (P) para a cadeia de Markov abaixo:

A P =
⎡⎢⎣0, 4 0, 2 0 00, 6 0, 2 0, 2 0, 50 0, 5 0, 8 0, 50 0, 1 0 0 ⎤⎥⎦B P = ⎡⎢⎣0, 4 0 0, 6 00, 2 0, 2 0, 5 0, 10 0, 2 0, 8 00 0, 5 0, 5 0 ⎤⎥⎦C P = ⎡⎢⎣0, 4 0, 6 0 00, 2 0, 2 0, 5 0, 10 0, 2 0, 8 00, 5 0, 5 0 0 ⎤⎥⎦
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html#12/55
Parabéns! A alternativa D está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EObserve%20a%20sequ%C3%AAncia%20de%20cores%20dos%20arcos%20e%20dos%20n%C3%B3s%3A%3C%2Fp%3E%0A%20%20%20%
image%20src%3D%22img_POOL%2Fpool_02.png%22%20alt%3D%22%22%20title%3D%22Mauro%20Rezende%20Filho.%22%20loading%3D%22lazy%2
image%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20
Questão 2
Um sistema de aquisição de dados do sistema de instrumentação adquire um bloco de dados de cada um dos dois sensores de temperatura
redundantes a cada 50ms. Em seguida, os sensores são numerados 0 e 1. A cada período de 50ms, o computador verifica os dados de um dos
dois sensores para a presença de picos de dados causados por interferência eletromagnética de impulso (EMI). Se a EMI de impulso estiver
presente, o computador rejeitará os dados desse sensor e examinará os dados do outro. Se o outro sensor também tiver EMI de impulso, o
computador aguardará os próximos dois períodos de aquisição de dados sem coletar dados e, em seguida, começará a adquirir dados
novamente do primeiro sensor. Qual será o gráfico desse sistema usando as probabilidades de impulso EMI?
Sensor
Probabilidade
do impulso
EMI
0 0,05
1 0,08
Tabela: Probabilidade de impulso.
Mauro Rezende Filho.
D P =
⎡⎢⎣0, 4 0, 6 0 00, 2 0, 2 0, 5 0, 10 0, 2 0, 8 00 0, 5 0, 5 0 ⎤⎥⎦E P = ⎡⎢⎣0, 4 0, 6 0 00, 2 0, 2 0, 5 0, 10 0, 8 0, 2 00 0, 5 0, 5 0 ⎤⎥⎦
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 13/55
A
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 14/55
B
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 15/55
C
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 16/55
D
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 17/55
Parabéns! A alternativa A está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EObserve%20a%20matriz%20de%20transi%C3%A7%C3%A3o%20de%20estado%20P.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20
paragraph'%3E%24%24%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Cquad%5Cqquad0%5Cquad%5Cquad1%5Cq
paragraph'%3E%24%24%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20P%3D%5Cleft%5B%5Cbegin%7Barray%7D%7Bc
Questão 3
Uma cadeia de Markov geralmente é mostrada por um diagrama de transição de estado. Considere uma cadeia de Markov com três estados
possíveis 1, 2 e 3 e as seguintes probabilidades de transição. Encontre P(X4=3|X3=2).
E
P =
⎡⎢⎣1/4 1/2 1/42/3 0 1/31/2 0 1/2⎤⎥⎦A 2/3
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 18/55
Parabéns! A alternativa B está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3ESolu%C3%A7%C3%A3o%3A%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20clas
paragraph'%3E%24%24%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20P(X%204%3D3%20%5Cmid%20X%203%3D2)%3
Questão 4
Considere um sistema que pode estar em um dos dois estados possíveis, S={0,1}. Em particular, suponha que a matriz de transição seja dada
pela matriz a seguir. Qual será o diagrama de transição de estado?
B 1/3
C 1/4
D 1/2
E 3/4
P = [ ]1/2 1/2
1/3 2/3
A
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 19/55
B
C
D
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 20/55
Parabéns! A alternativa C está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3ESolu%C3%A7%C3%A3o%3A%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20clas
paragraph'%3EIdentificando%20os%20estados%3A%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp
paragraph'%3E%24%24%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Cbegin%7Baligned%7D%0A%20%20%20%20
Questão 5
Considere um sistema que pode estar em um dos dois estados possíveis, S={0,1}. Em particular, suponha que a matriz de transição seja dada
pela matriz a seguir. Encontre a probabilidade de que o sistema esteja no estado 1 no instante n=3.
Parabéns! A alternativa B está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EAssista%20ao%20v%C3%ADdeo%20para%20conferir%20a%20resolu%C3%A7%C3%A3o%20da%20quest%C3%A3o.%3C%2Fp%3E%0A%
heading%20u-title-
xsmall%22%3EExemplo%20de%20aplica%C3%A7%C3%A3o%20de%20matriz%20de%20transi%C3%A7%C3%A3o%3C%2Fh4%3E%0A%20%20%20%20%
E
P = [ ]1/2 1/2
1/3 2/3
A [0,5972 0,4028]
B [0,4028 0,5972]
C [0,5972 0,6018]
D [0,6018 0,5972]
E [0,3981 0,6018]
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 21/55
video-
player%20src%3D%22https%3A%2F%2Fplay.yduqs.videolib.live%2Fplayer%3Ftoken%3D3c4eeda0fc0749769dae8385344e0e35%22%20videoId%3D%2
video-player%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20
Questão 6
Ao analisar a mudança de clientes da Business Class entre companhias aéreas, os seguintes dados foram obtidos pela LATAM:
Por exemplo, se o último voo de um cliente da Business Class foi da LATAM, a probabilidade de que seu próximo voo seja da LATAM é de 0,85.
Os clientes da classe executiva fazem em média dois voos por ano. Atualmente a LATAM detém 30% do mercado da classe executiva. Qual
seria a participação da LATAM no mercado da classe executiva depois de dois anos?
Parabéns! A alternativa B está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3ETemos%20o%20estado%20inicial%20do%20sistema%20s1%20dado%20por%20s1%20%3D%20%5B0%2C30%2C%200%2C70%5D%20e%
paragraph'%3E%24%24%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20P%3D%5Cleft%5B%5Cbegin%7Barray%7D%7Bll
paragraph'%3EEm%20que%20o%20termo%20quadrado%20surge%20quando%20os%20clientes%20da%20classe%20executiva%20fazem%20em%20m
Teoria na prática
A 21,4%
B 36,8%
C 28,7%
D 32,6%
E 41.2%
_black
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 22/55
Um gestor de admissão está analisando inscrições de alunos em potencial para um curso de graduação específico em uma universidade. Ela
considera cada aluno em potencial como estando em um dos quatro estados possíveis:
Estado 1: não se aplicou na universidade.
Estado 2: candidatou-se à universidade, mas uma decisão de aceitação/rejeição ainda não foi tomada.
Estado 3: candidatou-se à universidade e foi rejeitado.
Estado 4: candidatou-se à universidade e foi aceito (foi feita uma oferta de lugar).
No início do ano (mês 1 no ano de admissão), todos os alunos em potencial estão no estado 1.
Sua revisão das estatísticas de admissões nos últimos anos identificou a seguinte matriz de transição para a probabilidade de mudança entre os
estados a cada mês:
Qual é a porcentagem de alunos em potencial que serão aceitos depois de 3 meses?
Falta pouco para atingir seus objetivos.
Vamos praticar alguns conceitos?
Questão 1
Quais das matrizes a seguir não representa um vetor de probabilidade?
Para
1 2 3 4
de 
1
2
3
4
⎡⎢⎣0, 97 0, 03 0 00 0, 100 0, 15 0, 750 0 1 00 0 0 0 ⎤⎥⎦ Mostrar soluçãoA [0,3 0,45 0,25]
B [0,4 -0,1 0,7]
C [ ]0, 4
0, 6
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 23/55
Parabéns! A alternativa B está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EUm%20vetor%20de%20probabilidade%20%C3%A9%20um%20vetor%20(matriz%20linha%20ou%20matriz%20coluna)%20no%20qual%20
Questão 2
Qual das alternativas a seguir não pode ser uma matriz detransição?
Parabéns! A alternativa C está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EUma%20matriz%20de%20transi%C3%A7%C3%A3o%20(matriz%20estoc%C3%A1stica)%20%C3%A9%20uma%20%3Cstrong%3Ematriz%
D [0,29 0,71]
E [0,4 0,35 0,25]
A
⎡⎢⎣0, 3 0, 3 0, 40, 1 0 0, 90, 2 0, 4 0, 4⎤⎥⎦B [ ]0, 2 0, 80, 65 0, 35C [ ]0, 5 0, 1 0, 40, 3 0, 22 0, 48D ⎡⎢⎣0, 3 0, 4 0, 30, 1 0, 2 0, 70, 3 0, 3 0, 4⎤⎥⎦E [ ]0 10, 55 0, 45
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 24/55
2 - Cadeias de Markov
Ao �nal deste módulo, você será capaz de identi�car o conceito e as aplicações das cadeias de Markov.
Vamos começar!
Conceito e aplicações das cadeias de Markov
Confira os principais aspectos que serão abordados neste módulo.
Cadeias de Markov: conceitos básicos
As cadeias de Markov, nomeadas em homenagem ao matemático russo Andrey Markov, são sistemas matemáticos que saltam de um "estado"
(uma situação ou conjunto de valores) para outro.
Se você fez um modelo de cadeia de Markov do comportamento de um tempo, você pode incluir "sol", "neve”, "nublado" e "chuva" como estados, que
junto com outros comportamentos podem formar um “espaço de estado”: uma lista de todos os estados possíveis. Além disso, no topo do espaço

13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 25/55
de estados, uma cadeia de Markov informa a probabilidade de pular, ou "transição", de um estado para outro — por exemplo, a chance de estar “sol”
que pode mudar para “neve” nos próximos cinco minutos sem “chuva” primeiro.
Com dois estados (A e B) em nosso espaço de estados, por exemplo, existem quatro transições possíveis (não duas, porque um estado pode fazer a
transição de volta para si mesmo). Se estivermos em A, podemos fazer a transição para B ou ficar em A. Se estivermos em B, podemos fazer a
transição para A ou ficar em B. Neste diagrama de dois estados, a probabilidade de transição de qualquer estado para qualquer outro estado é de
0,5.
Representação de uma cadeia de Markov.
Claro, modeladores reais nem sempre desenham diagramas de cadeia de Markov. Em vez disso, eles usam uma matriz de transição para calcular as
probabilidades de transição. Cada estado no espaço de estados é incluído uma vez como uma linha e novamente como uma coluna, e cada célula
na matriz informa a probabilidade de transição do estado de sua linha para o estado de sua coluna. Assim, na matriz, as células fazem o mesmo
trabalho que as setas fazem no diagrama.
Se o espaço de estado adiciona um estado, adicionamos uma linha e uma coluna, adicionando uma célula a cada coluna e linha existente. Isso
significa que o número de células cresce quadraticamente à medida que adicionamos estados à cadeia de Markov.
Comentário
As cadeias de Markov são uma maneira bastante comum e relativamente simples de modelar estatisticamente processos aleatórios. Eles têm sido
usados em muitos domínios diferentes, desde a geração de texto até a modelagem financeira. No geral, as cadeias de Markov são conceitualmente
bastante intuitivas e muito acessíveis, pois podem ser implementadas sem o uso de conceitos estatísticos ou matemáticos avançados. Eles são
uma ótima maneira de começar a aprender sobre modelagem probabilística e técnicas de ciência de dados.
Um uso das cadeias de Markov é incluir fenômenos do mundo real em simulações de computador. Por exemplo, podemos querer verificar com que
frequência uma nova barragem transbordará, o que depende do número de dias chuvosos seguidos. Para construir este modelo, começamos com o
seguinte padrão de dias chuvosos (R) e ensolarados (S):
Uma maneira de simular esse clima seria simplesmente dizer "Metade dos dias são chuvosos. Portanto, todos os dias na simulação terão 50% de
chance de chuva". Essa regra geraria a seguinte sequência na simulação:
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 26/55
Você notou como a sequência acima não se parece muito com a original? A segunda sequência parece pular, enquanto a primeira (os dados reais)
parece ter uma "aderência". Nos dados reais, se está ensolarado (S) um dia, então o dia seguinte também é muito mais provável de ser ensolarado.
Podemos minimizar essa "aderência" com uma cadeia de Markov de dois estados. Quando a cadeia de Markov está no estado R, ela tem 0,9 de
probabilidade de ficar parada e 0,1 de chance de sair para o estado S. Da mesma forma, o estado S tem 0,9 de probabilidade de ficar parado e 0,1 de
chance de fazer a transição para o estado R.
Nas mãos de meteorologistas, ecologistas, cientistas da computação, engenheiros financeiros e outras pessoas que precisam modelar grandes
fenômenos, as cadeias de Markov podem se tornar bastante grandes e poderosas.
Por exemplo, o algoritmo que o Google usa para determinar a ordem dos resultados da pesquisa, chamado
PageRank, é um tipo de cadeia de Markov.
Formalmente, uma cadeia de Markov é um autômato probabilístico. A distribuição de probabilidade das transições de estado é tipicamente
representada como a matriz de transição da cadeia de Markov. Se a cadeia de Markov tiver N estados possíveis, a matriz será uma matriz N x N, tal
que a entrada (I, J) é a probabilidade de transição do estado I para o estado J. Além disso, a matriz de transição deve ser uma matriz estocástica,
uma matriz cujas entradas em cada linha devem somar exatamente 1. Isso faz todo o sentido, pois cada linha representa sua própria distribuição de
probabilidade.
Exemplo de matriz de transição com três estados possíveis.
Visão geral de uma cadeia de Markov de amostra, com estados como círculos e arestas como transições.
Rotacione a tela. 
P =
⎡⎢⎣ 0, 9 0, 075 0, 0250, 15 0, 8 0, 050, 25 0, 25 0, 5 ⎤⎥⎦
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 27/55
Adicionalmente, uma cadeia de Markov também possui um vetor de estado inicial, representado como uma matriz N x 1 (um vetor), que descreve a
distribuição de probabilidade de iniciar em cada um dos N estados possíveis. A entrada I do vetor descreve a probabilidade da cadeia começar no
estado I.
Rotacione a tela. 
Essas duas entidades são normalmente tudo o que é necessário para representar uma cadeia de Markov.
Agora sabemos como obter a chance de fazer a transição de um estado para outro, mas que tal descobrir a chance
dessa transição ocorrer em várias etapas?
Para formalizar isso, devemos determinar a probabilidade de passar do estado I para o estado J em M etapas. Como se vê, é realmente muito
simples de descobrir. Dada uma matriz de transição P, isso pode ser determinado calculando o valor da entrada (I, J) da matriz obtida elevando P à
potência de M. Para valores pequenos de M, isso pode ser feito manualmente com multiplicação repetida. No entanto, para grandes valores de M, se
você estiver familiarizado com a álgebra linear simples, uma maneira mais eficiente de elevar uma matriz a uma potência é primeiro diagonalizar a
matriz.
Cadeias de Markov aplicadas no mundo real:
S(0) =
⎡⎢⎣1000⎤⎥⎦
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 28/55
Os modelos de cadeias de Markov analisam os cronogramas de entrega de pacotes quando os pacotes são transportados entre vários locais
intermediários de transporte e armazenamento a caminho do destino final. Nessas situações, as cadeias de Markov costumam fazer parte
de modelos matemáticos maiores usando uma combinação de outras técnicas, como otimização para maximizar lucro ou receita ou
minimizar custos usando programação linear.
As cadeias de Markov podem ser usadas em estudos de pesquisa de mercado para muitos tipos de produtos e serviços, para modelar a
fidelidade à marca e as transições de marca. No campo das finanças, as cadeias de Markov podem modelar o retornoe o risco para vários
tipos de investimentos.
As cadeias de Markov podem modelar as probabilidades de pedidos de seguro, como seguro de vida e seguro de invalidez, e para pensões e
anuidades. Por exemplo, para seguro de invalidez, um modelo muito simplificado pode incluir estados saudáveis, temporariamente
incapacitados, permanentemente incapacitados, recuperados e falecidos. Refinamentos adicionais poderiam distinguir entre segurados com
deficiência ainda no período de espera antes de receber benefícios e sinistros que cobram benefícios ativamente.
As cadeias de Markov têm sido usadas em saúde pública e Medicina. Os modelos das cadeias de Markov de HIV e aids incluem estados
para modelar a transmissão do HIV, progressão para aids e sobrevivência (vivendo com HIV ou aids) versus morte devido à aids. A
comparação dos modelos da cadeia de Markov de transmissão do HIV e progressão da aids para vários grupos de risco e grupos étnicos
pode orientar as organizações de saúde pública no desenvolvimento de estratégias para reduzir o risco e gerenciar os cuidados para esses
vários grupos de pessoas. Em geral, a modelagem da transmissão de várias doenças infecciosas com cadeias de Markov pode ajudar na
determinação de respostas de saúde pública apropriadas para monitorar e retardar ou interromper a transmissão dessas doenças e
determinar as formas mais eficientes de abordar o tratamento da doença.
Modelos de aplicações
Exemplo 1
Considere a cadeia de Markov com três estados, S={1,2,3}, que tem a seguinte matriz de transição:
Exemplo 1 
Exemplo 2 
Exemplo 3 
Exemplo 4 
P =
⎡⎢⎣ 12 14 1413 0 2312 12 0⎤⎥⎦
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 29/55
Rotacione a tela. 
Desenhe o diagrama de transição de estado para esta cadeia.
Se soubermos P(X1=1)=P(X1=2)=1/4, encontre P(X1=3,X2=2,X3=1).
Solução
Diagrama de transição de estado.
Primeiro, obtemos:
Rotacione a tela. 
Agora podemos escrever:
Rotacione a tela. 
Exemplo 2
Considere a cadeia de Markov na figura a seguir. Existem duas classes recorrentes, R1={1,2} e R2={5,6,7}. Assumindo , encontre a
probabilidade de que a cadeia seja absorvida em R1.
Diagrama de transição de estado.
P(X1 = 3) = 1 − P(X1 = 1) − P(X1 = 2) = 1 −
1
4
−
1
4
=
1
2
P(X1 = 3,X2 = 2,X3 = 1) = P(X1 = 3) × p32 × p21
P(X1 = 3,X2 = 2,X3 = 1) =
1
2
×
1
2
×
1
3
=
1
12
X0 = 3
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 30/55
Solução
Podemos então substituir cada classe recorrente por um estado absorvente. Observe o diagrama de estado:
O diagrama de transição de estado no qual substituímos cada classe recorrente por um estado absorvente.
Agora podemos aplicar a metodologia padrão para encontrar a probabilidade de absorção no estado R1, definindo:
Rotacione a tela. 
Por essa definição, temos e . Para encontrar os valores desconhecidos de , podemos usar as seguintes equações:
Rotacione a tela. 
Para i , em que obtemos:
Rotacione a tela. 
Resolvendo as equações acima, temos:
Rotacione a tela. 
Portanto, se , a cadeia terminará na classe com probabilidade .
ai = P ( absorção em R1 ∣ X0 = i), para todo i ∈ S. 
aR1 = 1 aR2 = 0 ai
ai = ∑
k
ak × pik
∈ S
a3 =
1
2
aR1 +
1
2
a4 =
1
2
+
1
2
a4
a4 =
1
4
aR1 +
1
4
a3 +
1
2
aR2 =
1
4
+
1
4
a3
a3 =
5
7
e a4 =
3
7
X0 = 3 R1 a3 = 57
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 31/55
Exemplo 3
Considere a cadeia de Markov mostrada na figura a seguir. Suponha , e seja a primeira vez que a cadeia retorna ao estado 1, isto é:
Rotacione a tela. 
Encontre .
Diagrama de transição de estado.
Nessa questão, somos solicitados a encontrar o tempo médio de retorno ao estado 1. Seja o tempo médio de retorno ao estado 1, isto é,
. Então:
Rotacione a tela. 
Em que é o tempo esperado até que a cadeia atinja o estado 1 dado . Especificamente, :
Rotacione a tela. 
Para .
Então, vamos primeiro encontrar . Obtemos:
Rotacione a tela. 
X0 = 1 R
R = min{n ≥ 1 : xn = 1}
E [R ∣ X0 = 1]
r1
r1 = E [R ∣ X0 = 1]
r1 = 1 +∑
k
tk × p1k
tk X0 = k t1 = 0
tk = 1 +∑
j
tj × pkj
k ≠ 1
tk′s
t2 = 1 +
1
3
t1 +
2
3
t3 = 1 +
2
3
t3
t3 = 1 +
1
2
t3 +
1
2
t1 = 1 +
1
2
t3
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 32/55
Resolvendo as equações propostas, temos:
Rotacione a tela. 
Agora podemos escrever:
Rotacione a tela. 
Mão na massa
Questão 1
Imagine um serviço de aluguel/empréstimo de bicicletas elétricas. Para conseguir um empréstimo, a pessoa precisa ir a uma das três estações:
Centro (C), Copacabana (O) e Recreio dos Bandeirantes (R). Vamos supor também que as bicicletas devam ser devolvidas em um dos locais
mencionados. Os dados obtidos revelam que a circulação das bicicletas ocorre da seguinte forma: 95% das bicicletas que são recolhidas no
centro são devolvidas ao centro, 3% das bicicletas retiradas do centro são devolvidas em Copacabana e 2% delas são devolvidas no Recreio. Em
relação às bicicletas retiradas em Copacabana, 2% das bicicletas são devolvidas no centro, 90% são deixadas em Copacanana e 8% são
devolvidas no Recreio. Em relação às bicicletas recolhidas no Recreio, 5% são deixadas no Centro, 5% em Copacabana e 90% são deixadas no
mesmo local. Sabendo-se que a distribuição inicial, no primeiro dia, do total de bicicletas foi de 50% no Centro, 30% em Copacabana e 20% no
Recerio. Qual será a distribuição no final desse dia?
t3 = 2 e t2 =
7
3
r1 = 1 +
1
4
t1 +
1
2
t2 +
1
4
t3 = 1 +
2
3
t3
r1 = 1 +
1
4
× 0 +
1
2
×
7
3
+
1
4
× 2 =
8
3

A 39,1% no Centro, 29,5% em Copacabana e 31,4% no Recreio dos Bandeirantes.
B 29,1% no Centro, 39,5% em Copacabana e 31,4% no Recreio dos Bandeirantes.
C 49,1% no Centro, 29,5% em Copacabana e 21,4% no Recreio dos Bandeirantes.
D 49,1% no Centro, 19,5% em Copacabana e 31,4% no Recreio dos Bandeirantes.
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 33/55
Parabéns! A alternativa C está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EAssista%20ao%20v%C3%ADdeo%20para%20conferir%20a%20resolu%C3%A7%C3%A3o%20da%20quest%C3%A3o.%3C%2Fp%3E%0A%
heading%20u-title-
xsmall%22%3EAs%20cadeias%20de%20Markov%20%E2%80%93%20aplica%C3%A7%C3%A3o%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%2
video-
player%20src%3D%22https%3A%2F%2Fplay.yduqs.videolib.live%2Fplayer%3Ftoken%3D61784c04d8904af29ec553c00a2e35a5%22%20videoId%3D%2
video-player%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20
Questão 2
Três em cada quatro caminhões (T) na estrada são seguidos por um carro (C), enquanto apenas um em cada cinco carros (C) é seguido por um
caminhão (T). Que fração dos veículos na estrada são caminhões?
C C T C C C T T C C C C T C C C
Parabéns! A alternativa E está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3o
Questão 3
Considere que o humor de um indivíduo é considerado como uma cadeia de Markov de três estados com uma matriz de probabilidade de
transição:
E 40,1% no Centro, 29,5% em Copacabana e 30,4% no Recreio dos Bandeirantes.
A 6/19 e 13/19.
B 8/19 e 11/19.
C 9/19 e 10/19.
D 5/16 e 14/19.
E 4/19 e 15/19.
P =
⎡⎢⎣0, 5 0, 4 0, 10, 3 0, 4 0, 30, 2 0, 2 0, 5⎤⎥⎦
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 34/55
No longo prazo, qual é a proporção de tempo do processo em cada um dos três estados?
Parabéns! A alternativa A está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3oQuestão 4
Um problema de interesse dos sociólogos é determinar a proporção da sociedade que tem uma ocupação de classe alta ou baixa. Um possível
modelo matemático seria assumir que as transições entre classes sociais das sucessivas gerações de uma família podem ser consideradas
como transições de uma cadeia de Markov. Ou seja, assumimos que a ocupação de uma criança depende apenas da ocupação de seus pais.
Suponhamos que tal modelo seja apropriado e que a matriz de probabilidade de transição seja dada por:
No longo prazo, qual é a proporção de tempo do processo em cada um dos três estados?
A e .2162 ,
23
62
18
62
B e .2362 ,
21
62
18
62
C e .2162 ,
18
62
23
62
D e .2362 ,
18
62
21
62
E e .1862 ,
23
62
21
62
P =
⎡⎢⎣0, 45 0, 48 0, 070, 05 0, 70 0, 250, 01 0, 50 0, 49⎤⎥⎦A 0,62, 0,31 e 0,07.B 0,31, 0,07 e 0,62.C 0,07, 0,62 e 0,31.
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 35/55
Parabéns! A alternativa C está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3o
Questão 5
Considere o seguinte diagrama de transição. Qual será a matriz de transição?
D 0,31, 0,62 e 0,07.
E 0,07, 0,31 e 0,62.
A P =
⎡⎢⎣0, 5 0, 25 0, 250, 5 0, 5 01 0 0 ⎤⎥⎦B P = ⎡⎢⎣0, 5 0, 25 0, 250, 5 0, 5 01 0 0 ⎤⎥⎦C P = ⎡⎢⎣0, 25 0, 25 0, 50, 5 0 0, 50 0 1 ⎤⎥⎦D P = ⎡⎢⎣0, 25 0, 25 0, 50, 5 0, 5 00 1 0 ⎤⎥⎦E P = ⎡⎢⎣0, 25 0, 25 0, 50, 5 0 0, 50 1 0 ⎤⎥⎦
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 36/55
Parabéns! A alternativa A está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EObserve%20as%20cores%20no%20diagrama%20que%20mostram%20as%20transi%C3%A7%C3%B5es%3A%3C%2Fp%3E%0A%20%20%
12%20col-md-10%20col-lg-
7'%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cyduqs-
image%20src%3D%22img_POOL%2Fpool_23.png%22%20alt%3D%22%22%20title%3D%22Mauro%20Rezende%20Filho.%22%20loading%3D%22lazy%2
image%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%
paragraph'%3EA%20matriz%20ser%C3%A1%3A%20%5C(P%3D%5Cleft%5B%5Cbegin%7Barray%7D%7Bccc%7D0%2C25%20%26%200%2C25%20%26%2
Questão 6
A figura a seguir mostra um exemplo de uma cadeia de Markov com quatro estados. Qual será a matriz de transição?
Parabéns! A alternativa D está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EComo%20a%20soma%20das%20probabilidades%20tem%20de%20ser%20igual%201%2C%20temos%3A%3C%2Fp%3E%0A%20%20%20
A P =
⎡⎢⎣1/3 1/3 0 1/30 0 1/2 1/20 1 0 01/2 0 0 1/2⎤⎥⎦B P = ⎡⎢⎣1/3 1/3 1/3 00 1/2 0 1/20 1 0 00 0 1/2 1/2⎤⎥⎦C P = ⎡⎢⎣1/2 0 0 1/20 0 1/2 1/20 1 0 01/3 1/3 0 1/3⎤⎥⎦D P = ⎡⎢⎣1/3 1/3 1/3 00 0 1/2 1/21 0 0 01/2 0 0 1/2⎤⎥⎦E Não é possível determinar a matriz de transição.
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 37/55
items-center%20justify-content-
center'%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D'col-12%20col-md-
10%20col-lg-
8'%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cyduqs-
image%20src%3D%22img_POOL%2Fpool_25.png%22%20alt%3D%22%22%20title%3D%22Mauro%20Rezende%20Filho.%22%20loading%3D%22lazy%2
image%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%
paragraph'%3E%24%24%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20P%3D%5Cleft%5B%5Cbegin%7Barray%7D%7Bc
Teoria na prática
No final de junho, em ano de eleição presidencial, 40% dos eleitores estavam registrados como liberais, 45% como conservadores e 15% como
independentes. Durante um período de um mês, os liberais mantiveram 80% de seu eleitorado, enquanto 15% mudaram para conservadores e 5%
para independentes. Os conservadores ficaram com 70% e perderam 20% para os liberais. Os independentes retiveram 60% e perderam 20% cada
para os conservadores e liberais. Suponha que essas tendências continuem.
1. Escreva uma matriz de transição usando essas informações.
2. Escreva um vetor de probabilidade para a distribuição inicial.
Encontre a porcentagem de cada tipo de eleitor no final de cada um dos meses seguintes:
1. Julho
2. Agosto
3. Setembro
4. Outubro
Falta pouco para atingir seus objetivos.
Vamos praticar alguns conceitos?
Questão 1
Suponha que um aluno possa estar em um de quatro estados:
Rico
Médio
Pobre
Em débito
Suponha as seguintes probabilidades de transição:
Se um aluno for rico, na próxima etapa de tempo o aluno será:
_black
Mostrar solução
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 38/55
Médio: 0,75
Ruim: 0,2
Em dívida: 0,05
Se um aluno for médio, na próxima etapa de tempo o aluno será:
Rico: 0,05
Médio: 0,2
Em dívida: 0,45
Se um aluno for pobre, na próxima etapa de tempo o aluno será:
Médio: 0,4
Ruim: 0,3
Em dívida: 2
Se um aluno estiver em dívida, na próxima etapa o aluno será:
Médio: 0,15
Ruim: 0,3
Em dívida: 0,55
Suponhamos que um aluno inicie seus estudos como “médio”. Qual será a probabilidade de ser “rico” depois de 1, 2, 3 passos de tempo?
Parabéns! A alternativa A está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3o
Questão 2
A 4,275%
B 2,11%
C 2,96%
D 4,025%
E 3,078%
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 39/55
Considere a cadeia de Markov a seguir. Encontre a distribuição estacionária para esta cadeia.
Parabéns! A alternativa B está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3o
3 - Cadeia regular de Markov: probabilidades e distribuição
A 0,455, 0,259 e 0,286.
B 0,457, 0,257 e 0,286.
C 0,457, 0,260 e 0,283.
D 0,357, 0,357 e 0,286.
E 0,057, 0,457 e 0,486.
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 40/55
Ao �nal deste módulo, você será capaz de identi�car as probabilidades de transição em várias etapas e a distribuição
estacionária de uma cadeia regular de Markov.
Vamos começar!
As propriedades de transição em várias etapas e a distribuição estacionária
de uma cadeia regular de Markov
Confira os principais aspectos que serão abordados neste módulo.
Cadeias de Markov: transições de várias etapas
A propriedade de Markov é quando a probabilidade de transição para o próximo estado depende apenas do estado atual. O sistema não tem
memória. Uma cadeia de Markov é uma sequência de transições discretas no tempo sob a propriedade de Markov com um espaço de estados
finito.
Vamos estudar agora as equações de Chapman-Kolmogorov e como elas são usadas para calcular as probabilidades de transição de vários passos
para determinada cadeia de Markov.
Considere a seguinte cadeia de Markov com espaço de estados {A,B,C}:
Essa cadeia de Markov está associada à seguinte matriz de transição:

13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 41/55
Rotacione a tela. 
Esses valores nos informam das probabilidades de passar do estado i (linha) para o estado j (coluna). No entanto, essas probabilidades são apenas
para transições de uma etapa. Qual seria a probabilidade de passar do estado B para o estado A em duas etapas? Bem, podemos resolver isso por
força bruta, referindo-se ao diagrama da cadeia de Markov:
Rotacione a tela. 
No entanto, essa abordagem se torna cada vezmais difícil quando o espaço de estados fica maior e precisamos calcular mais de duas transições.
Existe uma maneira mais fácil e mais geral de expressar transições de várias etapas usando as equações de Chapman-Kolmogorov, as quais
estudaremos a seguir. Podemos generalizar as transições de várias etapas usando a seguinte fórmula:
Rotacione a tela. 
Qual é a probabilidade de ir para o estado j no instante n quando acabamos de estar no estado i no instante m. Essa equação pode ser resolvida a
partir das equações de Chapman-Kolmogorov:
Rotacione a tela. 
Em que l é um valor inteiro entre m e n, P é a probabilidade de transição entre estados e k é uma variável de índice que só pode assumir valores no
espaço de estados. Vamos passar por um exemplo na implementação das equações de Chapman-Kolmogorov para nossa cadeia de Markov acima.
Desejamos ir do estado B ao estado A em duas etapas:
Rotacione a tela. 
Obtivemos a mesma probabilidade anterior!
Pij =
⎡⎢⎣ 0 0, 4 0, 60, 5 0, 3 0, 20, 5 0, 3 0, 2⎤⎥⎦P 2B,A = 0, 5 × 0, 3 + 0, 2 × 0, 5 = 0, 25P m,ni,j = P (Xn = j ∣ Xm = i)
P
m,n
i,j = ∑
k
P
m,l
i,k × P
l,n
k,j
P
0,2
B,A =
∞
∑
k
P
0,1
B,k × P
1,2
k,A
P
0,2
B,A = 0, 3 × 0 + 0, 3 × 0, 5 + 0, 2 × 0, 5 = 0, 25
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 42/55
Definimos o momento como igual a zero. Isso é permitido porque o histórico de estados é irrelevante para uma cadeia de Markov, portanto, definir o
tempo atual como zero não perde generalidade na expressão.
Intuitivamente, estamos apenas quebrando a transição de duas etapas em um conjunto de transições de uma etapa, pois conhecemos suas
probabilidades. Então, nós os combinamos para calcular a probabilidade de transição de duas etapas.
Se quiséssemos calcular a transição em três etapas, o valor de l poderia ser 1 ou 2. Portanto, teríamos de aplicar as equações de Chapman-
Kolmogorov duas vezes para expressar a fórmula em transições de uma etapa. Esse processo é conhecido como recursão, pois estamos
constantemente calculando as probabilidades para trás.
Exemplo
Seja se chover no dia i, caso contrário . Suponha que e . Suponha que chova na segunda-feira. Qual é a
probabilidade de chover na sexta-feira?
Solução
Então:
Rotacione a tela. 
Assim, a probabilidade de chover na sexta é . Observe que:
Rotacione a tela. 
Logo, .
A relação de Chapman-Kolmogorov é um resultado importante na teoria das cadeias de Markov (discretas), pois fornece um método para calcular a
matriz de probabilidade de transição de n passos de uma cadeia de Markov a partir da matriz de probabilidade de transição de 1 passo de uma
cadeia de Markov. A relação de Chapman-Kolmogorov pode ser escrita da seguinte forma:
Xi = 0 Xi = 1 P00 = 0, 7 P10 = 0, 4
P = [ ]0, 7 0, 3
0, 4 0, 6
P 400
P 4 = [ ]
4
= [ ] × [ ] × [ ] × [ ]×
P 4 = [ ]
0, 7 0, 3
0, 4 0, 6
0, 7 0, 3
0, 4 0, 6
0, 7 0, 3
0, 4 0, 6
0, 7 0, 3
0, 4 0, 6
0, 7 0, 3
0, 4 0, 6
0, 5749 0, 4251,
0, 5668 0, 4332
P 400 = 0, 5749
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 43/55
Rotacione a tela. 
Aqui é a matriz de probabilidade de transição de passos, é a matriz de probabilidade de transição de passos e é a matriz
de probabilidade de transição de m passos. A equação acima vale para cadeias de Markov discretas. Para cadeias de Markov de tempo contínuo, os
elementos da matriz de probabilidade de transição são escritos em função do tempo.
Vamos ver agora como resolvemos o problema utilizando a função “MATRIZ.MULT” do Microsoft Excel para multiplicação de matrizes. Vamos,
então, colocar a matriz em uma planilha:
Agora veja o uso da função calcular :
Agora analise a próxima imagem:
Vamos utilizar o mesmo procedimento para calcular e :
Exemplo
Suponha que chover ou não, hoje, dependa das condições meteorológicas anteriores nos últimos dois dias. Especificamente, suponha que se
choveu nos últimos dois dias, então choverá amanhã com probabilidade de 0,7; se choveu hoje mas não ontem, então choverá amanhã com
probabilidade de 0,5; se choveu ontem mas não hoje, então choverá amanhã com probabilidade 0,4; se não choveu nos últimos dois dias, então
choverá amanhã com probabilidade 0,2.
P m+n = P n × P m
P m+n n + m P n n P m
PxP (P 2)
P 2 × P (P 3) P 3 × P (P 4)
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 44/55
Se deixarmos o estado no tempo depender apenas de estar chovendo ou não no tempo , então o modelo acima
não é uma cadeia de Markov.
No entanto, podemos transformar o modelo acima em uma cadeia de Markov dizendo que o estado a qualquer momento é determinado pelas
condições climáticas durante o dia e o dia anterior. Em outras palavras, podemos dizer que o processo está em:
Estado 0 se choveu hoje e ontem.
Estado 1 se choveu hoje, mas não ontem.
Estado 2 se choveu ontem, mas não hoje.
Estado 3 se não choveu ontem nem hoje.
O precedente representaria, então, uma cadeia de Markov de 4 estados com uma matriz de probabilidade de transição:
Rotacione a tela. 
Dado que choveu na segunda e na terça, qual é a probabilidade de chover na quinta?
Solução
A matriz de transição de duas etapas é dada por .
Rotacione a tela. 
Como a chuva na quinta-feira é equivalente ao processo estar no estado 0 ou no estado 1, a probabilidade desejada é dada por
.
Distribuição estacionária de uma cadeia regular de Markov
Agora que conhecemos a arquitetura geral de uma cadeia de Markov, é hora de ver como podemos analisar uma cadeia de Markov para fazer
previsões sobre o comportamento do sistema. Para isso, consideraremos primeiro o conceito de distribuição estacionária. Primeiro, vamos definir o
que queremos dizer quando dizemos que um processo é estacionário.
n n
P =
⎡⎢⎣0, 7 0 0, 3 00, 5 0 0, 5 00 0, 4 0 0, 60 0, 2 0 0, 8⎤⎥⎦P 2 = P × PP 2 = × =⎡⎢⎣0, 7 0 0, 3 00, 5 0 0, 5 00 0, 4 0 0, 60 0, 2 0 0, 8⎤⎥⎦ ⎡⎢⎣0, 7 0 0, 3 00, 5 0 0, 5 00 0, 4 0 0, 60 0, 2 0 0, 8⎤⎥⎦ ⎡⎢⎣0, 49 0, 12 0, 21 0, 180, 35 0, 20 0, 15 0, 300, 20 0, 12 0, 20 0, 480, 10 0, 16 0, 10 0, 64⎤⎥⎦P 200 + P 201 = 0, 49 + 0, 12 = 0, 61
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 45/55
De�nição
Um processo estocástico (tempo discreto) é estacionário se para quaisquer pontos de tempo e qualquer , a
distribuição conjunta de é a mesma que a distribuição conjunta de .
Assim, "estacionário" refere-se a "estacionário no tempo". Em particular, para um processo estacionário, a distribuição de é a mesma para todos
os .
Então, por que nos importamos se a cadeia de Markov é estacionária?
Resposta
Se fosse estacionária e soubéssemos qual é a distribuição de cada , saberíamos a proporção de tempo em que a cadeia de Markov estava em
qualquer estado.
Por exemplo, suponha que o processo seja estacionário e saibamos que 1/10 para cada . Então, em mais de períodos de
tempo, devemos esperar que aproximadamente 100 desses períodos de tempo tenham sido gastos no estado 2, e ao longo de períodos de
tempo, aproximadamente desses períodos de tempo tenham sido gastos no estado 2.
À medida que vai para o infinito, a proporção de tempo gasto no estado 2 convergirá para 1/10 (isso pode ser provado rigorosamente por alguma
forma da Lei dos grandes números). Uma das características atraentes das cadeias de Markov é que muitas vezes podemos torná-las estacionárias
e há uma caracterização interessante e clara da distribuição de quando é estacionário.
Então, como fazemos uma cadeia de Markov ser estacionária?
Se ela pode ser estacionária (e nem todos eles podem, por exemplo, o passeio aleatório simples não pode ser estacionário e, mais geralmente, uma
cadeia de Markov em que todos os estados são transitórios ou recorrentes nulos não pode ser estacionária), assim, tornando-a estacionária é
simplesmente uma questão de escolher a distribuição inicialcorreta para . Se a cadeia de Markov é estacionária, então chamamos a distribuição
comum de todos os de distribuição estacionária da cadeia de Markov.
Vamos ver agora como encontramos uma distribuição estacionária para uma cadeia de Markov.
Proposição
Suponha que seja uma cadeia de Markov com espaço de estados e matriz de probabilidade de transição . Se ) é uma
distribuição sobre (ou seja, é um vetor (linha) com componentes tais que para todo ), então definir a
distribuição inicial de igual a tornará a cadeia de Markov estacionária com distribuição estacionária se:
Rotacione a tela. 
Logo:
{Xn : n ≥ 0} i1, … , in m ≥ 0
(Xi1, … ,Xin ) (Xi1+m, … ,Xin+m)
Xn
n
Xn
P (Xn = 2) = n 1.000
N
N/10
N
Xn
X0
Xn
X S P π = (πj, j ∈ S
S π |S| ∑j πj = 1 e πj ≥ 0 j ∈ S
X0 π π
π = πP
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 46/55
Rotacione a tela. 
Para todo .
Em outras palavras, é o produto escalar entre e a j-ésima coluna de .
Exemplo
Considere apenas a classe recorrente . A matriz de transição para essa classe é:
Rotacione a tela. 
Intuitivamente, a cadeia passa um terço do seu tempo no estado 1, um terço do seu tempo no estado 7 e um terço do seu tempo no estado 10.
Pode-se verificar facilmente que a distribuição satisfaz , assim, é uma distribuição estacionária.
Exemplo
Três em cada quatro caminhões em uma estrada são seguidos por um carro, enquanto apenas um em cada cinco carros é seguido por um
caminhão. Que fração dos veículos na estrada são caminhões?
Solução
Imagine-se sentado à beira da estrada observando os veículos passarem. Se um caminhão passar, o próximo veículo será um carro com
probabilidade 3/4 e será um caminhão com probabilidade 1/4. Se um carro passar, o próximo veículo será um carro com probabilidade 4/5 e será
um caminhão com probabilidade 1/5. Podemos configurar isso como uma cadeia de Markov com dois estados 0 = caminhão e 1 = carro, e matrizes
de probabilidade de transição.
Rotacione a tela. 
πj = ∑
i∈S
πi × pij
j ∈ S
πj π P
{1, 7, 10}
P =
1 7 10
1
7
10
⎡⎢⎣0 1 00 0 11 0 0⎤⎥⎦π = (1/3, 1/3, 1/3) π = πP e (1/3, 1/3, 1/3)
P = [ ]
0 1
0
1
1/4 3/4
1/5 4/5
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 47/55
As equações são:
Rotacione a tela. 
Resolvendo, temos da primeira equação que , ou . Colocando isso na restrição de que , temos
que , ou , ou . Portanto, . Ou seja, como estamos sentados à beira da estrada, a
proporção de longo prazo de veículos que serão caminhões é de .
Precisamos da restrição de que para determinar uma solução.
Em geral, precisamos da restrição de que para determinar uma solução. Isso ocorre porque o sistema de equações tem em
si mesmo infinitas soluções; (se é uma solução, então também é para qualquer constante c). Precisamos da restrição de normalização
basicamente para determinar c para tornar uma distribuição adequada sobre .
Exemplo
Considere a cadeia de Markov a seguir. Encontre a distribuição estacionária para esta cadeia:
Solução
Para encontrar a distribuição estacionária, precisamos resolver:
Rotacione a tela. 
Resolvendo esse sistema, encontramos:
π = πP
π0 =
1
4
π0 +
1
5
π1 e π1 =
3
4
π0 +
4
5
π1
(3/4)π0 = (1/5)π1 π0 = (4/15)π1 π0 + π1 = 1
(4/15)π1 + π1 = 1 (19/15)π1 = 1 π1 = 15/19 π0 = 4/19
4/19
π0 + π1 = 1
∑j∈S πj = 1 π = πP
π cπ
π S
π1 =
1
4
π1 +
1
3
π2 +
1
2
π3
π2 =
1
2
π1
π3 =
1
4
π1 +
2
3
π2 +
1
2
π3
π1 + π2 + π3 = 1
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 48/55
Rotacione a tela. 
Mão na massa
Questão 1
Suponha que nossa matriz de transição de probabilidade seja a apresentada a seguir e encontre a distribuição estacionária para esta cadeia.
Parabéns! A alternativa B está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3o
Questão 2
Encontre a distribuição estacionária da cadeia de Markov a seguir:
π1 =
3
8
, π2 =
3
16
, π3 =
7
16

P =
⎡⎢⎣0, 7 0, 2 0, 10, 4 0, 6 00 1 0 ⎤⎥⎦A 0,44, 0,41, 0,15.B 0,54, 0,41, 0,05.C 0,54, 0,21, 0,25.D 0,34, 0,41, 0,25.E 0,44, 0,21, 0,35.
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 49/55
Parabéns! A alternativa A está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3o
Questão 3
Seja a classe social de uma família: 1 (inferior), 2 (médio), 3 (superior) na enésima geração. Isso foi modelado como uma cadeia de Markov
com matriz de transição apresentada a seguir. Qual será a distribuição estacionária?
P =
⎡⎢⎣ 0 0, 9 0, 1 00, 8 0, 1 0 0, 10 0, 5 0, 3 0, 20, 1 0 0 0, 9⎤⎥⎦A 0,2788, 0,3009, 0,0398, 0,3805.B 0,1788, 0,3009, 0,1398, 0,3805.C 0,2788, 0,1009, 0,2398, 0,3805.D 0,2788, 0,2009, 0,0398, 0,4805.E 0,0788, 0,3009, 0,2398, 0,3805.
Xn
P =
⎡⎢⎣0, 8 0, 1 0, 10, 2 0, 6 0, 20, 3 0, 3 0, 4⎤⎥⎦A 0.69, 0.17, 0.14.B 0.5471, 0.2715, 0.1814.C 0.5454, 0.2727, 0.1818.
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 50/55
Parabéns! A alternativa C está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3o
Questão 4
Uma cadeia de Markov , começando em , tem a matriz de probabilidade de transição:
Seja a primeira vez que o processo atinge o estado 2, no qual é absorvido. Se em algum experimento observamos
tal processo e notamos que a absorção ainda não ocorreu, podemos estar interessados na probabilidade condicional de que o processo esteja
no estado 0 (ou 1), dado que a absorção não ocorreu. Determine .
Parabéns! A alternativa D está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3o
Questão 5
D 0.5430, 0.2745, 0.1825.
E 0.5441, 0.2737, 0.1822.
Xn ∈ {0, 1, 2} X0 = 0
P =
⎡⎢⎣0, 7 0, 2 0, 10, 3 0, 5 0, 20 0 1 ⎤⎥⎦T = inf {n ≥ 0 ∣ Xn = 2} P [X3 = 0 ∣ T > 3]A 0,5845B 0,5972C 0,6108D 0,6652E 0,6843
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 51/55
O proprietário de um posto de gasolina está considerando o efeito em seu negócio (Superpet) de um novo posto de gasolina (Global) que abriu
logo abaixo da estrada. Atualmente (do mercado total compartilhado entre Superpet e Global), Superpet tem 80% do mercado e Global tem 20%.
A análise da última semana indicou as seguintes probabilidades de os clientes trocarem de estação em que param a cada semana:
Qual será a participação de mercado esperada para Superpet e Global depois de mais duas semanas?
Parabéns! A alternativa A está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EAssista%20ao%20v%C3%ADdeo%20para%20conferir%20a%20resolu%C3%A7%C3%A3o%20da%20quest%C3%A3o.%3C%2Fp%3E%0A%
heading%20u-title-
xsmall%22%3EComportamento%20de%20mercado%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C
video-
player%20src%3D%22https%3A%2F%2Fplay.yduqs.videolib.live%2Fplayer%3Ftoken%3D841bbaaffd494ceb93845cfd0109d66c%22%20videoId%3D%22
video-player%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20
Questão 6
O proprietário de um posto de gasolina está considerando o efeito em seu negócio (Superpet) de um novo posto de gasolina (Global) que abriu
logo abaixo da estrada. Atualmente (do mercado total compartilhado entre Superpet e Global). Superpet tem 80% do mercado e Globaltem 20%.
A análise da última semana indicou as seguintes probabilidades de os clientes trocarem de estação em que param a cada semana:
Qual seria a previsão de longo prazo para a participação de mercado esperada para Superpet e Global?
Para
S G
De  [ ]Superpet
Global
0, 75 0, 25
0, 55 0, 45
A 69,2% e 30,8% para Superpet e Global, respectivamente.
B 30.8% e 69,2% para Superpet e Global, respectivamente.
C 59,2% e 40,8% para Superpet e Global, respectivamente.
D 40.8% e 59,2% para Superpet e Global, respectivamente.
E 65,2% e 35,8% para Superpet e Global, respectivamente.
Para
S G
De  [ ]Superpet
Global
0, 75 0, 25
0, 55 0, 45
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 52/55
Parabéns! A alternativa A está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EAssista%20ao%20v%C3%ADdeo%20para%20conferir%20a%20resolu%C3%A7%C3%A3o%20da%20quest%C3%A3o.%3C%2Fp%3E%0A%
heading%20u-title-
xsmall%22%3EComportamento%20de%20mercado%20%E2%80%93%20previs%C3%A3o%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20
video-
player%20src%3D%22https%3A%2F%2Fplay.yduqs.videolib.live%2Fplayer%3Ftoken%3De5641341155d48348dd4973edab42ed1%22%20videoId%3D%2
video-player%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20
Teoria na prática
Uma grande empresa de publicidade está considerando usar a teoria de Markov para analisar a participação de mercado para toners para
impressoras a laser, fabricadas e vendidas por seu cliente. Os dados da pesquisa foram coletados e usados para estimar a seguinte matriz de
transição para a probabilidade de mudar de marca a cada mês:
A participação de mercado atual (mês 1) é de 45%, 25% e 30% para as marcas 1, 2 e 3, respectivamente.
Quais serão as participações de mercado esperadas depois de dois meses (ou seja, no mês 3)?
Qual é a previsão de longo prazo para a participação de mercado esperada para cada uma das três marcas?
Você esperaria que a participação de mercado real se aproximasse da previsão de longo prazo para o mercado ou não (e por quê)?
A 68,75% e 31,25% para Superpet e Global, respectivamente.
B 31.25% e 68,75% para Superpet e Global, respectivamente.
C 58,75% e 41,25% para Superpet e Global, respectivamente.
D 41.25% e 58,75% para Superpet e Global, respectivamente.
E 48,75% e 51,25% para Superpet e Global, respectivamente.
_black
1 2 3
1
2
3
⎡⎢⎣0, 80 0, 10 0, 100, 03 0, 95 0, 020, 20 0, 05 0, 75⎤⎥⎦ Mostrar solução
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 53/55
Falta pouco para atingir seus objetivos.
Vamos praticar alguns conceitos?
Questão 1
Ao analisar a mudança de escolha, por parte dos clientes, entre diferentes marcas de tubos de cobre, uma pesquisa foi estabelecida e os dados
coletados foram usados para estimar a seguinte matriz de transição para a probabilidade de mudança entre marcas a cada mês:
As quotas de mercado atuais (mês 1) são de 45%, 23%, 20% e 12% para as marcas 1, 2, 3 e 4, respectivamente. Quais serão as quotas de
mercado esperadas depois de dois meses (ou seja, no mês 3)?
Parabéns! A alternativa C está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3o
Questão 2
Um pesquisador está analisando a troca entre dois produtos diferentes. Ela sabe que no período 1 as quotas de mercado para os dois produtos
foram de 55% e 45%, mas que no período 2 as quotas de mercado correspondentes foram de 67% e 33% e no período 3 foram de 70% e 30%. O
1 2 3 4
1
2
3
4
⎡⎢⎣0, 95 0, 02 0, 02 0, 010, 05 0, 90 0, 02 0, 030, 10 0, 05 0, 83 0, 020, 13 0, 13 0, 02 0, 72⎤⎥⎦A 48,44%, 24,93%, 16,74% e 18,89% para as marcas 1, 2, 3 e 4 respectivamente.B 49,44%, 14,93%, 26,74% e 8,89% para as marcas 1, 2, 3 e 4 respectivamente.C 49,44%, 24,93%, 16,74% e 8,89% para as marcas 1, 2, 3 e 4 respectivamente.D 49,44%, 24,93%, 6,74% e 18,89% para as marcas 1, 2, 3 e 4 respectivamente.E 39,44%, 14,93%, 16,74% e 28,89% para as marcas 1, 2, 3 e 4 respectivamente.
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 54/55
pesquisador acredita que uma representação precisa da participação de mercado em qualquer período pode ser obtida por meio de processos
de Markov. Supondo que sua crença esteja correta, estime a matriz de transição.
Parabéns! A alternativa A está correta.
%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D'c-
paragraph'%3EVeja%20o%20feedback%20completo%20no%20Solucion%C3%A1rio%20disponibilizado%20no%20campo%20Prepara%C3%A7%C3%A3o
Considerações �nais
Neste conteúdo, vimos que as cadeias de Markov são usadas para modelar probabilidades com base em informações que podem ser codificadas
no estado atual. Algo transita de um estado para outro semialeatoriamente ou estocasticamente. Cada estado tem certa probabilidade de transição
para outro estado, então cada vez que você está em um estado e deseja fazer a transição, uma cadeia de Markov pode prever resultados com base
em dados de probabilidade preexistentes. Mais tecnicamente, a informação é colocada em uma matriz e um vetor — também chamado de matriz
coluna — e com muitas iterações, uma coleção de vetores de probabilidade compõe as cadeias de Markov.
Demonstramos que um modelo de Markov é um modelo estocástico com a propriedade de que os estados futuros são determinados apenas pelo
estado atual — isto é, o modelo não tem memória; ele só sabe em que estado está agora, não qualquer um dos estados que ocorreram
anteriormente.
A 70,75% e 29,25%.
B 60,75% e 39,25%.
C 50,75% e 49,25%.
D 29,25% e 70,75%.
E 99,25% e 60,75%.
Referências
CHING, W. et al. Markov chains models, algorithms and applications. 2nd ed. Boston, MA: Springer, 2013.
13/03/2023 14:46 Processos estocásticos
https://stecine.azureedge.net/repositorio/00212en/04495/index.html# 55/55
GAGNIUC, P. A. Markov chains: from theory to implementation and experimentation. New York: Wiley, 2017.
MEYER, C. D.; PLEMMONS, R. J. Linear algebra, Markov chains, and queueing models. New York: Springer Nature, 2019.
Explore +
Para se aprofundar neste assunto, recomendamos buscá-lo nos seguintes portais:
Portal de Periódicos da Capes.
Biblioteca Digital de Domínio Público.