Modelagem de Sistemas Discretos - Unidade 2

Prévia do material em texto

Unidade 2 – Cadeias de Markov
Introdução
É verdade que os processos estocásticos estão presentes na rotina de trabalho dos tomadores de decisão. A Cadeia de Markov, sendo um caso tipicamente particular, permite abordar e tratar cenários que se apresentam de modo desafiador, como o comportamento dos níveis de estoque de diversos produtos, o próprio mercado financeiro e os sistemas de filas. Dessa forma, o tema que será visto nesta unidade é de extrema importância para a formação do profissional que pretende estar apto a compreender e atuar nesses contextos. INTRODUÇÃO Nesta unidade você será capaz de: • Analisar, com base nos conceitos relacionados às Cadeias de Markov, a melhor alternativa para tomada de decisão diante dos problemas reais da modelagem de sistemas.
OBJETIVO
Nesta unidade você será capaz de:
• Analisar, com base nos conceitos relacionados às Cadeias de Markov, a melhor alternativa para tomada de decisão diante dos problemas reais da modelagem de sistemas.
Cadeias de Markov em tempo discreto. Probabilidades de transição
Dentro do universo da Pesquisa Operacional (P.O) temos muitas ferramentas criadas com o intuito de facilitar as análises e direcionar o pesquisador quanto ao melhor tratamento de problemas em cenários de tomada de decisão. A partir disso e com base em um estudo de Eom e Kim (2006) apud Belfiore e Fávero (2013), temos três classificações principais das ferramentas voltadas para a Pesquisa Operacional. Vejamos a seguir:
 
Observando as informações apresentadas na tabela é possível perceber que um grupo de ferramentas em particular, associadas à classificação “Modelos Estocásticos”, possui como característica comum o uso de uma ou mais variáveis aleatórias em que pelo menos um de seus atributos é definido a partir de funções de probabilidade (BELFIORE; FÁVERO, 2013).
Importante
Considerando um determinado espaço amostral S de resultados possíveis, pode-se dizer que a aplicação da variável aleatória é uma forma de atribuir valores numéricos aos resultados no espaço amostral S de um determinado experimento aleatório.
Dentro deste contexto podemos destacar um caso específico de Modelo de Programação Dinâmica Estocástica, chamado de “Cadeias de Markov”
Cadeias de Markov em tempo discreto
Cadeias de Markov de Tempo Discreto “são sequências aleatórias de valor discreto tais que o valor atual da sequência seja um estado do sistema. Este estado resume o passado histórico da sequência com relação a previsão de valores futuros” (YATES; GOODMAN, 2017). Vejamos um exemplo para melhor compreensão.
Exemplo
Imagine um experimento aleatório em que um supervisor de qualidade está avaliando as características de chapas de aço em processo de galvanização. Esse supervisor percebeu que todas as vezes em que há superaquecimento em um equipamento específico A da galvanoplastia, há alteração da temperatura ideal do processo e, consequentemente, a qualidade do produto entregue fica comprometida. No caso desse experimento, podemos dizer que o evento “produto final apresentar alteração na qualidade” depende do evento “há superaquecimento no equipamento A”.
Nesse cenário, pode-se dizer que há relação de dependência entre os eventos. Então, nas várias tentativas de produção de chapas de aço, a qualidade do produto depende de alterações no equipamento A, ou seja, têm-se sequências aleatórias dependentes.
Agora, além das situações apresentadas nos exemplos anteriores, suponha que abordaremos os processos estocásticos, ou seja, situações em que os resultados do experimento são funções do tempo. Análogo à aplicação da definição de variáveis aleatórias, na qual são atribuídos valores numéricos a cada resultado do espaço amostral desse experimento, no cenário dos processos estocásticos serão atribuídas funções amostrais a cada resultado do espaço amostral (YATES; GOODMAN, 2017)
Exemplo
Exemplos interessantes de processos estocásticos para os conceitos abordados são as oscilações das ações na bolsa de valores ao longo de semanas, variações nos patamares de estoque de uma fábrica ao término de uma semana, entre outros. Observe que, nesses exemplos, o tempo é abordado como um conjunto de inteiro não negativo. A partir dessas informações, introduzimos a definição de Cadeias de Markov em tempo discreto. Segundo Hillier e Lieberman (2013), diz-se que um processo estocástico é uma cadeia de Markov quando possui a seguinte propriedade:
Um processo estocástico {Xt} é dito ter propriedade markoviana se: 
P {Xt+1= j|X0= k0, X1 = k1, …, Xt−1= kt−1, Xt = i} = P {Xt+1 = j |Xt = i} para t = 0, 1, … e toda a sequência i, j, k0, k1, …, kt−1.
Ou seja, a probabilidade condicional de qualquer evento futuro, considerando quaisquer eventos passados e o estado presente Xt=i, é independente dos eventos passados e depende apenas do estado atual.
Importante
Quando a probabilidade condicional de um evento A dada a ocorrência de outro evento B é a probabilidade do próprio evento A, diz-se que estes são eventos independentes, ou seja, P(A|B) =P(A)
Probabilidade de transição
Para proporcionar o entendimento dos conceitos vistos até o momento e aplicarmos novas definições — como a própria definição de probabilidade de transição —, primeiramente vamos analisar a situação a seguir.
Imagine que um hospital está avaliando se disponibiliza ou não novos leitos para cirurgias eletivas. Contudo, nesse cenário existem casos mais graves de cirurgias que devem ser priorizados. Sabe-se também que, para facilitar a identificação do nível de gravidade dos pacientes, estabeleceu-se uma codificação de criticidade A e B, ou seja, os pacientes críticos B necessitam de extrema urgência na realização das cirurgias e os pacientes críticos A vêm em seguida, em termos de urgência. Com base nos dados coletados pelo hospital, foi observado que, em função da espera, ocorre uma mudança no nível de criticidade dos pacientes e 40% dos que se encontravam no nível A passam para o nível B. Além disso, 20% possuem melhora significativa, saindo do nível B e migrando para o nível A de criticidade. O hospital percebeu que, nesse cenário de tomada de decisão, o planejamento da semana seguinte só dependia dos dados da semana vigente.
Diante das informações prestadas, temos alguns dados: a. Os períodos analisados são a semana vigente e a semana seguinte. b. A tomada de decisão está relacionada ao cenário futuro do hospital em termos de pacientes que demandam urgência em cirurgias, para que se possa definir a abertura de novos leitos para cirurgias eletivas, sabendo que estas não são urgentes. c. A probabilidade de pacientes migrarem na semana seguinte para o nível B, dado que estavam no nível A, é de 40%. d. A probabilidade de pacientes migrarem na semana seguinte para o nível A, dado que estavam no nível B, é de 20%.
Voltando à definição de propriedade markoviana, pode-se dizer que o valor Xt, resume o histórico do sistema necessário para prever a próxima variável Xt+1 na sequência aleatória. Chama-se de Xt o estado do sistema no instante t, já o espaço amostral de Xt “é chamado de conjunto de estados ou espaço de estados”. Sendo assim, há uma probabilidade de transição “ Pij de que o próximo estado seja j dado que o atual é i” (YATES; GOODMAN, 2017). Adicionalmente, lidamos com probabilidades e, sabendo disso, uma das propriedades que precisam ser satisfeitas pelas probabilidades de transição é: 
Matriz de transição e Diagrama de transição
Uma cadeia de Markov pode ser representada por meio da forma matricial ou por meio de grafos, nos quais os nós constituem os estados e os arcos as transições entre estados com a sinalização das respectivas probabilidades de transição. Ou seja:
Nós -> constituem os estados 
Arcos -> constituem as transições entre os estados
No caso das matrizes, sumariamente associa-se a coluna ao estado futuro e a linha ao esestado atual da cadeia. Retomando o exemplo do hospital mencionado na probabilidade de transição, trabalhando com as informações que foram listadas anteriormente e atribuindo valores às variáveis aleatórias “nívelde criticidade A” e “nível de criticidade B”, temos:
Adicionalmente, sabemos que P {Xt+1=1 | Xt =0} =0,4 ou 40% e que P {Xt+1=0 | Xt =1} =0,2 ou 20%. De modo simplificado podemos representar também da seguinte forma p01=0,4 ou 40% e p10=0,2 ou 20%.
Representando estas informações na configuração matricial, a qual também é chamada de Matriz de Transição de Estados ou Matriz Estocástica, temos: 
Considerando que o somatório da probabilidade de transição do vetor linha (cada linha) precisa ser igual a 1, temos:
Dessa forma, para o exemplo, temos:
Nota: A matriz de transição sempre será uma matriz quadrada, ou seja, o número de colunas sempre será igual ao número de linhas. Observe que o que apresentamos anteriormente foi uma representação matricial. Agora, por meio de um grafo, também chamado de Diagrama de Transição, temos:
 
Com base nessas informações, uma forma de interpretarmos estes dados é que na semana seguinte, mesmo que em alguns casos haja evolução positiva na criticidade dos pacientes para a cirurgia (migração do nível B para A), há uma probabilidade alta de que os pacientes permaneçam no nível de máxima criticidade (os que permanecem em B, ou seja, 80%).
Classificação de estados. Probabilidades de estados estáveis. Cadeias ergódicas
Na definição de Cadeias de Markov é necessário que um processo estocástico apresente propriedade markoviana para que seja caracterizado como uma Cadeia de Markov, ou seja, ter propriedade markoviana significa que “[...] a probabilidade condicional de qualquer ‘evento’ futuro, dados quaisquer ‘eventos’ passados e o estado presente Xt=i, é independente dos eventos passados e depende apenas do estado atual” (HILLIER; LIEBERMAN, 2013).
Probabilidades de transição em n etapas
Podemos atribuir valores numéricos às variáveis aleatórias e estas representam um determinado estado no sistema que estamos analisando. Por exemplo, Xt=i pode representar o estado do sistema no instante t. Agora, imagine que essa mudança entre estados ocorra em várias etapas. E essa transição pode ocorrer em n etapas (unidades de tempo). Dessa forma, dado um determinado sistema analisado, se para cada i e j temos: 
Então, diz-se que as probabilidades de transição em uma etapa são estacionárias. Dessa forma, quando as probabilidades de transição não mudam ao longo do tempo, tem-se o que podemos chamar de probabilidade de transição estacionária ou probabilidade de estado estável. No entanto, esta definição será abordada mais à frente. Voltemos à análise das transições que podem ocorrer em um determinado sistema.
Seja P uma matriz de transição de estado. Para uma Cadeia de Markov finita, as probabilidades de transição em n etapas são dadas pela matriz P(n), que tem como elementos i e j sendo:
Os elementos i, j e n, (n = 0, 1, 2 …) de P(n) indicam a probabilidade de passar do estado i para o estado j em n etapas (YATES; GOODMAN, 2017). Logo, para n = 1, a matriz de transição de estado será 
Fazendo uso de um conhecimento prévio de cálculo vetorial e geometria analítica, apresentaremos a seguir a multiplicação entre matrizes. Dessa forma, considere uma matriz 3x3, isto é, três linhas e três colunas, com os seguintes elementos:
Sabendo que os índices dos elementos representam a posição “linha x coluna”, respectivamente, para obtermos a matriz A2 é necessária a multiplicação:
O intuito de apresentar a multiplicação de matrizes é justamente o de obter as matrizes de transição em n etapas. Para melhor compreensão do que abordamos até o momento, vamos a um exemplo. Imagine agora um cenário em que o setor de Recursos Humanos de uma empresa foi demandado para gerar um relatório de evolução dos funcionários, a partir das promoções que já ocorreram entre os possíveis cargos disponíveis. O intuito é avaliar se o plano de carreira vem sendo compatível com os objetivos estratégicos da empresa. Sabendo que as próximas mudanças de cargo independem de promoções anteriores, mas consideram apenas a posição atual dos funcionários e que essas mudanças ocorrem anualmente, foi proposta a seguinte matriz de transição, com as respectivas probabilidades de um funcionário migrar de um cargo a outro (em uma etapa):
 
Dessa forma, com o objetivo de sabermos qual a probabilidade de um analista se tornar um gerente daqui a dois anos, multiplicaremos a matriz anterior para obtermos esta probabilidade:
Sendo assim, a probabilidade de um analista se tornar um gerente daqui a dois anos é de 0,0975 ou 9,75%.
Classificação de estados
Para que possamos entender como as Cadeias de Markov funcionam é importante destacar alguns conceitos e definições fundamentais, que permitem classificar os estados dessa cadeia. Sendo assim, considere dois estados i e j quaisquer. Vejamos as situações a seguir:
a) Podemos dizer que o estado j é acessível a partir do estado i se, o estado j é alcançável a partir do estado i e pij (n)> 0 n ≥ 0;
 Diagrama de transição para estado acessível
 
b) Quando o estado j é acessível a partir do estado i, e o estado i é acessível a partir do estado j, diz-se que os estados i e j se comunicam. Observação: se o estado i se comunica com um estado j e este se comunica com um estado k, pode-se dizer que o estado i se comunica com k. 
 Diagrama de transição para estados comunicantes
 
c) Se um processo, partindo do estado i, acessar outro estado (j, por exemplo) e não retornar mais ao estado i, pode-se dizer que i é dito um estado transiente.
 
 Diagrama de transição para estado transiente
 
d) Um estado i é considerado recorrente se, e somente se, ele não for transiente. A recorrência é considerada uma propriedade de classe. 
 
 Diagrama de transição para estados recorrentes.
 
e) Quando dizemos que dois estados se comunicam entre si, podemos afirmar que ambos pertencem à mesma classe. Assim, se em uma Cadeia de Markov todos os estados se comunicarem entre si, todos pertencem à mesma classe. Logo, a cadeia é dita irredutível. 
 Diagrama de transição para Cadeia Irredutível.
 
f) Um estado j é considerado absorvente se, e somente se, uma vez que o processo tenha adentrado neste estado, ele jamais o deixará novamente. Para esses casos, temos que pjj= 1. É importante destacar que a definição de estado absorvente é uma particularidade de estados recorrentes, pois consideramos que este estado se comunica com ele mesmo. Sendo assim, podemos dizer que todos os estados absorventes também são recorrentes, mas o contrário não pode ser afirmado.
 Diagrama de transição para estado absorvente.
 
g) Periodicidade: um estado i é periódico com período t se o retorno a este estado é possível somente em t, 2 t, 3 t... passos para t >1 e t é o maior inteiro com essa propriedade. Isso implica em pii (n)= 0 sempre quando n não é divisível por t. Se há dois números consecutivos s e s+1 tal que o processo pode estar no estado i, nos tempos s e s+1, o estado é dito ter período 1 e é chamado estado aperiódico (HILLIER; LIEBERMAN, 2013).
h) h) Estados recorrentes que são aperiódicos são chamados de estados ergódicos. Uma Cadeia de Markov é dita ser ergódica se, e somente se, todos os estados pertencentes a essa cadeia forem ergódicos.
Para consolidarmos as informações apresentadas, voltemos ao exemplo do setor de Recursos Humanos com a seguinte matriz:
Desenhando o diagrama detransição deste cenário, chamaremos de “E” para o estado “estagiário”, “A” para o estado “analista” e “G” para o estado “gerente”. Dessa forma, obtemos: 
 Diagrama de transição para o exemplo do RH.
 
Analisando o cenário, a classificação dos estados será feita com o intuito de sabermos se esta é uma cadeia ergódica ou não. Podemos observar que: 
1. O estado G é acessível a partir de A, e A é acessível a partir de E, mas não o contrário. Logo, os estados não se comunicam e não pertencem à mesma classe. 
2.Uma vez que o processo saia dos estados E e A, não é possível que retorne a esses estados; logo, dizemos que estes estados são transientes.
3.Uma vez que o processo adentre o estado G, não há possibilidade de sair desse estado; logo, este estado é dito recorrente absorvente. 
4.O número de passos que leva para o processo sair do estado E, por exemplo, e retornar a esse estado é igual a 1; logo, este estado é dito aperiódico. O mesmo ocorre para os estados A e G, sendo estes também aperiódicos. 
5.Neste cenário, temos então 3 (três) classes, sendo cada classe composta por um estado. Como todos os estados não se comunicam entre si, esta cadeia não é irredutível. 
6.Para que tenhamos uma cadeia classificada como ergódica, é necessário que todos os seus estados também sejam ergódicos, isto é, sejam recorrentes e aperiódicos. Observe que isso não ocorre nesta cadeia; logo, não se trata de uma cadeia ergódica.
Probabilidade de estado estável
Primeiramente, vamos imaginar que talvez seja do nosso interesse saber as probabilidades de transição em um cenário de longo prazo. Assim, daqui a mais alguns anos, meses, dias, quais seriam as probabilidades de transição de um determinado processo que apresente como característica a propriedade markoviana? Precisaríamos efetuar incansáveis cálculos de multiplicação entre matrizes para obter essa resposta, conforme visto no tópico “probabilidade de transição em n etapas”? Na verdade, existe uma forma mais direta de encontrar essas informações. Vejamos. 
Considere uma Cadeia de Markov qualquer, mas classificada como ergódica irredutível. Existe um valor limite para as probabilidades de transição que satisfazem às seguintes equações de estado estável (HILLIER; LIEBERMAN, 2013):
Dessa forma, os valores de πj obtidos por meio das equações são chamados de “probabilidades de estado estável” ou “probabilidade de estado estacionário” de uma cadeia markoviana. 
Como veremos a seguir nos cálculos, vamos considerar as informações da matriz e diagrama de transição do exemplo do hospital, já abordado no primeiro tópico. O objetivo é obter as probabilidades de estado estável aplicando as equações anteriores:
 Diagrama de transição para o exemplo do hospital.
 
Sendo assim: 
π0 = 0,6 π0 + 0,2 π1 
π1 = 0,4 π0 + 0,8 π1 
1 = π0+ π1
Resolvendo esse sistema, obtém-se que π0 = 0,3333 e π1 = 0,6667. A matriz com as probabilidades de estado estável para este exemplo apresenta-se dessa forma:
 
Interpretação dessas informações: passadas várias semanas, estas serão as probabilidades de que os pacientes migrem entre níveis de criticidade A e B.
Tempos de Primeira Passagem. Estados Absorventes
No Tópico 2 falamos da equação de Chapman-Kolmogorov e como ela auxilia, por exemplo, a encontrar probabilidades de transição em várias etapas entre dois estados. Agora, porém, imagine que haja interesse em saber em quantas etapas, ou em quanto tempo, um processo pode sair de um determinado estado e retornar a esse estado novamente, pois, de forma prática, isso pode vir a auxiliar um tomador de decisão a fazer melhores escolhas. Além do tempo de retorno, também queira analisar um processo estocástico que, ao atingir uma determinada condição, não sofrerá mais mudanças ou migrações para novos estados. Esses cenários que acabamos de narrar serão vistos neste tópico.
Tempos de primeira passagem e recorrência
Sejam dois estados i e j, analisados sob o ponto de vista de um processo estocástico, podemos dizer que o número de migrações realizadas pelo processo para ir do estado i ao estado j pela primeira vez é denominado tempo de primeira passagem. Adicionalmente, nos cenários em que j = i, o número de passagens ou transições até que o processo retorne ao estado inicial i é também chamado de tempo de primeira passagem, contudo mais precisamente denominado de tempo de recorrência para o estado i (HILLIER; LIEBERMAN, 2013).
Vejamos um exemplo para entender melhor a definição. Pense em um cenário em que o proprietário de uma oficina mecânica precisa realizar o controle dos estoques das peças que são utilizadas nos serviços de manutenção prestados pela oficina. A partir de um levantamento dos dados da demanda semanal, ele pôde observar a distribuição de probabilidade associada ao nível de estoque. Sabe-se que existe a possibilidade de reposição de peças apenas em situações em que não haja estoque disponível, mas essa reposição está limitada a, no máximo, três peças. Com base nos dados levantados pelo proprietário foi possível elaborar a seguinte matriz de probabilidades de transição (em uma etapa), bem como o respectivo diagrama. Destaca-se que a variável aleatória (Xt) em análise está relacionada ao nível de estoque semanal:
 
 Diagrama de transição para o exemplo da oficina mecânica.
 
Para este exemplo podemos dizer que o tempo de primeira passagem está associado ao nível de estoque ao término de uma semana. Faremos agora a apresentação das equações que facilitam a obtenção dessa estimativa. Seja μij a representação do tempo de primeira passagem para o processo ir do estado i para o estado j. Dessa forma μij pode ser definido por (HILLIER; LIEBERMAN, 2013):
Adicionalmente, todas as vezes que ∑ n=1 ∞ f ij (n) = 1, μij pode ser calculado a partir da equação:
μij = 1 + ∑ k≠j pik · ukj
Aplicando ao nosso exemplo, podemos obter o tempo esperado até que o estoque se esgote, considerando que o processo foi iniciado com duas peças. Temos:
μ20 = 1 + p21. μ10+ p22. μ20 μ10 = 1 + p11. μ10+ p12. μ20
Substituindo os valores, chegamos ao seguinte sistema:
μ20 = 1 + 0,3721. μ10+ 0,0472. μ20 μ10 = 1 + 0,2945. μ10+ 0. μ20
A partir das informações anteriores, temos:
μ10 = 1,4174 semana 
μ20 = 1,6031 semana
Ou seja, o tempo esperado até que o estoque se esgote, iniciando a partir do estado 2 (duas peças no estoque) é de 1,6 semana. Este dado também se refere ao tempo de primeira passagem do estado 2 para o estado 0. 
Para a obtenção do tempo de recorrência no nosso exemplo, ou seja, obter o valor de μij quando i = j, considere a seguinte equação:
em que M representa o total de estados possíveis
Seguindo a lógica de cálculos para obter a probabilidade de estado estável, conforme visto no tópico anterior, tem-se π0 = 0,48, π1 =0,373, π2 = 0,081, π3 = 0,066.
A partir dos valores de π0, π1, π2, e π3 é possível obter o tempo de recorrência da seguinte forma:
 
Sendo assim, o tempo necessário para que o nível do estoque volte ao estado inicial, uma vez que o processo tenha se iniciado nos estados 0, 1, 2 e 3, estão calculados acima, respectivamente.
Probabilidade do tempo de primeira passagem
Semelhante à análise para o cálculo das probabilidades de transição em n etapas, em que fizemos uso de uma aplicação recursiva do modo de obtenção da probabilidade de transição em uma etapa, aqui faremos o mesmo, só que agora com o tempo de primeira passagem das probabilidades de transição em uma etapa. Vejamos um exemplo a seguir.
Considere que n seja o tempo de primeira passagem do estado i para o estado j, e que f ij (n) seja a probabilidade associada ao tempo de primeira passagem entre esses dois estados (i e j). Podemos dizer que (HILLIER; LIEBERMAN, 2013
Em que esta última equação é satisfeita para um valor de n > 1. Aplicando-se esta equaçãopara o exemplo anterior da oficina mecânica, temos:
Ou seja, pelo fato de o tempo de primeira passagem ser uma variável aleatória, é possível calcular a distribuição probabilística de acordo com a fórmula acima e com base nas probabilidades de transição.
Probabilidade de estados absorventes
Vimos no tópico anterior qual o critério para que um estado seja considerado absorvente, ou seja, se k for um estado absorvente, então pkk= 1. Dessa forma, segundo Hillier e Lieberman (2013), se “o processo iniciar no estado i, a probabilidade de alguma vez ir para o estado k é conhecida como probabilidade de absorção no estado k, dado que o sistema saiu do estado i.” Podemos representar essa probabilidade como f ik 
Para calcularmos a probabilidade de absorção, considere as seguintes equações:
Vejamos agora a aplicação dessas equações por meio de um exemplo. Imagine que você está reunido(a) com um grupo de amigos(as). Para passar o tempo, vocês resolveram organizar um jogo em que todos deveriam dispender valores monetários para participar. Foi estabelecido que apenas em duas situações o participante pode deixar o jogo, sendo elas quando atingir o montante de R$ 15,00 ou quando perder tudo. Como regra do jogo, também foi proposto que, em cada rodada (que tem uma duração de 1 hora), o participante pode ganhar R$ 5,00 com probabilidade de 50% ou perder R$ 5,00 com o mesmo percentual de chance.
Sabendo que este cenário se configura como uma Cadeia de Markov, montaremos a matriz de transição com todas as probabilidades correspondentes. Considerando como possíveis valores às variáveis aleatórias deste problema, 0, 1, 2 e 3, temos:
A partir dessas informações é possível apresentar a matriz de probabilidades de transição, conforme a seguir:] 
Observe que, se o jogador não dispõe de valor monetário, ele não participa do jogo. Logo a probabilidade de que ele adquira R$ 5,00 (estado 1), R$ 10,00 (estado 2) ou R$ 15,00 (estado 3) é nula, permanecendo no mesmo estado inicial, que é sem recurso para jogar (estado 0). Algo semelhante ocorre quando o jogador atinge o estado 3, ou seja, R$ 15,00, pois ele sairá do jogo. Dessa forma, ao chegar no valor de R$ 15,00 ele não continuará no jogo e, consequentemente, não poderá perder ou ganhar R$ 5,00. Note também que não existe a possibilidade de escolha de “não participar”, caso o jogador possua recurso, como pode ser visto nas probabilidades nulas p11 e p22. A seguir, apresentamos o diagrama de transição deste cenário.
 Diagrama de transição para o exemplo do jogo.
 
Para este exemplo a probabilidade de absorção pelo estado 0 (cenário em que o participante não possui recurso), partindo do estado 1, pode ser calculada da seguinte forma:
Substituindo os valores, temos:
Resumo da Unidade 2
A identificação dos problemas e o direcionamento para o melhor tratamento pode parecer uma atribuição da área de saúde, mas a engenharia também cuida da “saúde” financeira e operacional das organizações e dos processos. Nesta unidade foi possível abordar aspectos relacionados ao tratamento de possíveis problemas quando estes se apresentam com algumas características que nos permitem abordar como Cadeias de Markov. Caracterizar as variáveis aleatórias com os possíveis valores assumidos pelos estados da cadeia facilita o entendimento da matriz e das probabilidades de transição entre esses estados. A classificação dessas condições (estados) é relevante para compreender as propriedades de uma cadeia e, igualmente, permitir nomeá-las como irredutíveis e ergódicas. Por fim, os cálculos com a aplicação das equações apresentadas nos exemplos servem como arcabouço para o entendimento e interpretação das situações construídas.
PÚBLICA
PÚBLICA
PÚBLICA
image4.png
image5.png
image6.png
image7.png
image8.png
image9.png
image10.png
image11.png
image12.png
image13.png
image14.png
image15.png
image16.png
image17.png
image18.png
image19.png
image20.png
image21.png
image22.png
image23.png
image24.png
image25.png
image26.png
image27.png
image28.png
image29.png
image30.png
image31.png
image32.png
image33.png
image34.png
image35.png
image36.png
image37.png
image38.png
image39.png
image40.png
image41.png
image1.png
image2.png
image3.png