(20170815180451)Processo Estocásticos

Prévia do material em texto

1 
 
 
 
2 
 
I. INTRODUÇÃO 
1.1. Generalidades 
Qualquer sistema real opera sempre em ambientes onde a incerteza impera, principalmente quando o sistema 
envolve, pela sua natureza, ações humanas imprevisíveis ou desgaste natural de máquina. Os modelos 
determinísticos certamente contribuem para a compreensão, em um nível básico, do comportamento dinâmico de 
um sistema. No entanto, por não poderem lidar com a incerteza, acabamos por ser insuficientes nos processos de 
tomada de decisão. Assim, recorre-se a Processos Estocásticos como uma forma de regularidade que eles 
apresentam para serem descritos por modelos probabilísticos. 
Pode definir-se um Processo Estocástico ( em inglês, “Stochastic Process” ou “Random Process”) como um 
conjunto de variáveis aleatórias indexadas a um variável (geralmente a variável tempo), sendo representado por 
{ ( ) }. Estabelecendo o paralelismo com o caso determinístico, onde uma função toma valores bem definidos ao longo 
do tempo, um processo estocástico toma valores aleatórios ao longo do tempo. Aos valores que ( ) pode assumir chamam-se 
estados e ao seu conjunto x espaços de estados. 
Como exemplos de processos estocásticos, poderemos considerar: 
1) ( ) representa o estado de uma máquina (ligada/desligada) no memento t; 
2) ( ) representa o número de clientes em uma loja no instante t; 
3) ( ) representa o número de máquinas defeituosa no final de um dia t; 
4) ( ) representa a cotação de uma ação na bolsa de valores no final de um dia t; 
5) ( ) representa o nível de estoque de uma determinada peça no final de um dia t; 
6) ( ) representa a condição de funcionamento de um componente no instante t; 
Os Processos Estocásticos representam sistemas nos quais o estado muda ao longo do tempo. Estas 
mudanças não são totalmente previsíveis, mas elas estão associadas a distribuição de probabilidade. Diversos 
fenómenos reais admitem a modelagem através dos processos estocásticos. Vejamos alguns: 
Exemplo 7 (cadeia de montagem) Os produtos finais de uma cadeia de montagem, após uma supervisão à 
que são submetidas, podem ser consideradas defeituosos ou não. Se o n-ésimo produto não tiver defeito, 
fazemos , caso contrario . Suponha que um produto é defeituoso independentemente dos outros 
produtos e que a probabilidade de que isto aconteça é p , então é uma sequência de variáveis 
aleatórias independentes e identicamente distribuídas (i.i.d.) Bernoulli com parâmetros p de sucesso. 
Exemplo 8 (Estoque). Uma pequena loja de equipamentos eletrodomésticos vende um certo tipo de 
máquina de lavar roupa. No entanto ela somente pode ter em estoque no máximo cinco unidades. Então se no 
final do dia a loja tem no estoque somente uma unidade ou nenhuma, o gerente manda buscar tantas unidades 
quantas forem necessárias para ter cinco na loja no dia seguinte antes de iniciar o expediente. Vamos chamar de 
 a quantidade de unidades na loja no final do n-ésimo dia. Elas podem ser consideradas variáveis aleatória, 
pois é razoável supor que não temos como prever a quantidade de máquinas de lavar que serão compradas a 
cada dia. 
Exemplo 9 (Mobilidade social) Consideremos a história de várias gerações de uma família que ao longo do 
tempo tem somente um filho. Neste modelo simples, a observação da classe social (alta, média ou baixa) da 
 
3 
 
família para cada geração permitiria descrever sua evolução social ao longo do tempo. Se tivermos uma 
sociedade composta por famílias deste tipo, podemos escolher ao acaso uma família e para cada geração n 
chamar de à quantidade que valerá 1 se fora família de classe alta, 2 se ela for de classe média e 3 se for de 
classe baixa. Desta forma, cada será uma variável aleatória e a sua evolução ao longo do tempo, permitirá 
tirar conclusões sobre mudanças na estrutura da sociedade. 
Exemplo 10 (Lucro de uma companhia seguradora). Suponha que uma seguradora recebe c unidades 
monetárias (u.m.) pelo total dos prêmios que ela cobra dos segurados dentro de uma determinada carteira por 
período de tempo (mês, semestre, por exemplo). Assuma também que a seguradora coleta os prêmios 
regularmente e que as indenizações pagas quando os sinistros ocorrem. Além disto, não vamos considerar aqui 
eventuais despesas administrativas, ganhos ou perdas por investimentos, etecetera. Desta forma, a reserva 
desta seguradora será afetada somente pela cobrança dos prêmios ou por pagamentos de indenizações na 
ocorrências de sinistros. Em particular, o lucro da companhia no n-ésimo período ser c − Zn u.m., sendo Zn o 
valor total de indenizações pago pela seguradora nesse período. Se chamarmos de Ln ao lucro da seguradora 
desde que essa carteira começa a operar até o final do n-ésimo período, teremos que 
 ∑ 
 
 
 
 
O comportamento desta quantidade ao longo do tempo influenciará na saúde financeira da seguradora. 
Como se pode constatar pelo exemplos apresentados, há casos em que o tempo é considerado de forma 
discreta ( ... no final do dia t) e outros em que é tomado de modo contínuo (... no instante t). A variável tempo é, 
por definição, uma variável contínua, a qual pode ser “discretizada” se os fenómenos forem observados a intervalos 
regulares. Outra constatação que se pode fazer é que os “estados” tanto são valores que a variável ( ) pode 
assumir (número de clientes, número de máquinas, etc.) como estados (máquinas defeituosas, máquinas em 
funcionamento, etc.). 
Chamaremos processo estocástico a qualquer sequencia ou família de variáveis aleatória ( ) , com t ϵ T e sendo 
T algum espaço de parâmetros. Quando T é enumerável diremos que o processo estocástico correspondente é a 
tempo discreto. Se T for um intervalo, o processo estocástico será chamado a tempo contínuo. 
Os valores que tornam as variáveis do processo serão chamados de estados e o conjunto E destes valores será o 
espaço de estados. 
Os processos estocásticos podem ter espaço de estados discreto ou espaço de estados contínuo em 
correspondência com a natureza do conjunto E. Nos exemplos 1 e 7 temos E={0,1}, no exemplo 8, 
E={0,1,2,3,4,5}, no exemplo 9, E={1,2,3}... 
 
OBS.: O comportamento probabilístico de um processo estocástico está caracterizado pelas relações de 
dependência entre distribuições conjuntas e suas marginais. 
Exemplo 11: Consideremos os vetores aleatórios discretos (X1,X2) e (Y1, Y2) com funções de probabilidade 
conjunta: 
X1 \ X2 0 1 Y1 \ Y2 0 1 
0 
1 
 1/4 1/4 
 1/4 1/4 
E 0 
1 
 0 1/2 
 1/2 0 
 
4 
 
 
 Estas funções de probabilidade são diferentes no entanto as marginais coincidem. 
 
ESTADO 
Conceito de estado ( no domínio do tempo contínuo). A representação entrada/saída de um sistema linear só é 
válida quando, no tempo inicial, o sistema está no estado estacionário (ESTÁVEL). 
Assim é válida a seguinte relação: 
y = H u 
 
que indica que, através do operador H, pode-se determinar y(t) para qualquer u(t). 
 
Quando o sistema não está inicialmente em estado estacionário é necessário conhecer as condições iniciais para 
poder determinar o comportamento frente a uma entrada u: O conjunto de condições iniciais que é necessário 
conhecer para poder determinar y(t) univocamente em t  [t0, ) constitui o estado inicial do sistema. 
 
Ao aplicar uma força externa (entrada u(t), t  [t0, )) a uma partícula (sistema) no tempo t0, o seu movimento 
(saída y(t)) para t  t0, não estará univocamente determinado enquanto não forem conhecidas, também, a 
posição e a velocidade dessa partícula no tempo t0. Estas duas informações constituem o estado do sistema no 
tempo t0. 
“O estado de um sistema no tempo t0 é o conjuntode informações em t0 que, junto com a entrada u(t), t  [t0, 
), determina univocamente o comportamento do sistema para t  t0”. 
 
 A escolha do estado não é única. 
 O estado é uma quantidade auxiliar que pode não ser facilmente identificável em termos físicos. 
 O estado pode estar constituído por um conjunto finito ou infinito de valores. Considerando só o caso de 
estados descritos por um número finito de variáveis, eles serão representados por vetores x t , chamados   
vetores de estado. Cada elemento do vetor é uma variável de estado. O espaço de dimensão “n” em que x t 
pode   variar é o espaço de estados. 
 
Na engenharia de controle, uma representação em espaço de estados é um modelo matemático de um sistema 
físico composto de um conjunto de variáveis de entrada, de saída e de estado relacionadas entre si por meio de 
equações diferenciais de primeira ordem. 
Para abstrair-se do número de entradas, saídas e estados, as variáveis são expressas em vetores e as equações 
diferenciais e algébricas são escritas na forma matricial (esta forma é possível somente quando o sistema 
dinâmico é linear e invariante no tempo). 
A representação em espaço de estados (também conhecida como "abordagem no domínio do tempo") fornece 
uma maneira prática e compacta para modelar e analisar sistemas com múltiplas entradas e saídas. Com p 
entradas e q saídas, teríamos de outra forma, que escrever transformadas de Laplace para codificar todas as 
informações sobre um sistema. Diferentemente da abordagem no domínio da frequência, o uso da 
representação no espaço de estados não se limita a sistemas com componentes lineares e com condições 
iniciais nulas. 
 
5 
 
O "espaço de estados" refere-se ao espaço cujos eixos são as variáveis de estado. O estado do sistema pode ser 
representado como um vetor dentro desse espaço. 
 
1.2. Relação entre os vários tipos de Processo Estocásticos 
 
 
 
 
 
 
 
 
 
 
 
 
 
1.3. Classificação dos Processos Estocásticos 
1.4. Processos Estocásticos 
Para melhor entendimento é necessário apresentar alguns conceitos que relacionam variáveis aleatórias e 
processos estocásticos. Considere por exemplo uma central telefônica( Call Center). Seja n(t) , o número de 
chamadas presentes nesta central durante um tempo t. Observando este mesmo número de chamadas em 
função do tempo, em várias centrais idênticas a conclusão é que n(t) é uma variável aleatória. Para entender e 
representar seu comportamento, será preciso especificar sua função de distribuição de probabilidade para cada 
possível valor de t. Seguindo o mesmo raciocínio, o tempo de espera na fila u(t) também é uma função aleatória 
no tempo. Como já se pôde perceber, a modelagem analítica emprega não apenas inúmeras variáveis aleatórias, 
mas também, sequências ou famílias de variáveis aleatórias que são funções do tempo. Tais funções são 
chamadas de Processos estocásticos. 
Com base no conceito de processos estocásticos, podem-se conceituar os denominados “sistemas estocásticos”. 
Esses são sistemas que apresentam variações aleatórias no seu estado ao longo do tempo. São, portanto, 
sistemas dinâmicos e com mudanças aleatórias em suas variáveis de estado. A seguir será apresentado um 
resumo dos tipos de Processos Estocásticos que serão estudados nesta disciplina; 
1.4.1. Processos de estado-contínuo ou de estado-discreto: cccc 
1.4.2. Processos de Markov: Um processo é dito “de Markov” ou processos “Markovianos” se seus futuros 
estados dependem apenas do presente. São independente de seu passado. Sua análise é mais simples, 
uma vez que não é necessário conhecer a trajetória passada do processo. Para prever o futuro é 
suficiente conhecer o seu estado presente, sendo desnecessário saber a quanto tempo o processo se 
encontra em determinado estado. Isto se torna possível se o tempo de um estado possui uma 
distribuição exponencial ( ou dita “sem memória”). 
a) Em relação ao Estado: 
Processos de 
Markov 
Processo 
Nascimento e 
Morte 
Processo de 
Poisson 
Processos 
Estocásticos 
 
6 
 
 Estado Discreto (cadeia): X(t) é definido sobre um conjunto enumerável ou finito. 
 Estado Contínuo (sequência): X(t) caso contrário. 
 
b) Em relação ao Tempo (Parâmetro) 
 Tempo Discreto: t é finito ou enumerável. 
 Tempo Contínuo: t caso contrário. 
Exemplos: 1. Número de usuários em uma fila de banco em um determinado instante: Estado Discreto e 
Tempo Contínuo. 2. Índice pluviométrico diário: Estado Contínuo e Tempo Discreto. 3. Número de dias 
chuvosos: Estado Discreto e Tempo Discreto. 
O Processo Estocástico é subdividido em Cadeia de Markov e Processos de Markov 
 
1.4.2.1. Cadeia de Markov: São processo estocásticos definidos por Espaço de Estados discretos e podem 
seguir um t de tempo contínuo ou discreto. 
1.4.2.2. Processos de Markov: São processos estocásticos definidos por Espaços de Estados contínuos e 
podem seguir em um t de tempo contínuo ou discreto. 
Vejam a tabela abaixo: 
 
1.4.3. Processos de Nascimento e Morte: ccc 
1.4.4. Processos de Poisson: ccc 
Para classificar os processos estocásticos analisam-se o espaço de estados, a natureza do conjunto T e as 
características estatísticas da variáveis que definem o processo. 
(i) Espaços de estados 
Se “x” for um conjunto de estados finito ou contável x = {0, 1, 2, ... }, ou seja, o conjunto de inteiros não-negativos), ( ) é 
um “espaço de estados discretos” ou, como é usualmente referido , uma “cadeia”. Para qualquer outro caso, o processo é 
designado por “processo de estados contínuos”. 
Dos exemplos apresentados, os exemplos 1, 2 e 6 são “cadeias” enquanto que o restante podem ser “processos de 
estados contínuos”. 
(ii) Variável temporal 
Tempo t 
 
7 
 
 Se o conjunto T, que específica os valores da variável t, for finito ou contável, ( ) é um “processo em tempo discreto” e 
anotação usada é { ( ) }. Neste caso, T é normalmente o conjunto dos números inteiros não-negativos. Em 
caso contrário ( ) é designado por “processo em tempo contínuo”, sendo usada a notação { ( ) } . 
Dos exemplos apresentado, os exemplos 3, 4 e 5 são “processo em tempo discreto” uma vez que representam 
quantidades observadas dia a dia, enquanto que os restantes são processos estocásticos em tempo contínuo por 
representarem fenómenos observados em qualquer momento do dia (do tempo). 
(iii) Características estatísticas das variáveis aleatórias 
Um processo estocástico diz-se estacionário se o seu comportamento estocástico for independente do tempo, ou seja, se 
a função distribuição da(s) v.a. que o define(m) não variar no tempo. 
Um processo estocástico diz-se Markoviano ou de Markov se for estacionário e obedecer a propriedade de 
Markov ou da “perda de memoria” , isso é, se o seu comportamento futuro apenas for condicionado pelo estado 
presente, independentemente do seu histórico ou dos estados passados. De fato, para um processo de Markov é 
completamente irrelevante qualquer informação sobre estados passados ou sobre o tempo de permanência no 
estado presente. Em um processo estocástico as transições entre estados são causadas pela ocorrência de 
acontecimentos ou eventos, pelo que a variável aleatória diretamente restringida pela propriedade de ausência de 
memória é o tempo entre acontecimentos sucessivos (em inglês “interenvent time”). Dados que, como iremos ver 
mais a diante, a única distribuição contínua que apresenta esta propriedade é a distribuição exponencial, num 
processo de Markov todos os tempos entre acontecimentos sucessivos tem de ser exponencialmente distribuídos. 
. 
De acordo com a relação entre os espaços de parâmetroT como tempo temos: 
a) Estados Independentes: A relação de dependência entre variáveis aleatória mais simples que podemos pensar a 
ausência dela, chamaremos de processos de estados independentes a aqueles processos estocásticos tal que todos 
os seus estados constituem uma família de variáveis aleatórias independentes. Um exemplo é o processo de 
Bernoulli de parâmetro p. 
b) Processos de Markov: consideraremos os instantes t1, t2, ... tn ϵ T, com t1 < t2 < ... < tn< t. Um processo X é 
chamado de processo de Markov quando para todos a, b, a1, ..., an ϵ E vale 
 , - , - 
Ou seja o estado não depende da sua historia anterior nos instantes t1, t2, ... tn , desde que se conheça o 
presente e não do passado , assim utilizaremos o tempo presente para encontrar o tempo 
futuro . 
 Exemplo 12: Martingais: Para os martingais vale o que pode ser previsto sobre o estado do processo num 
instante futuro sendo que são conhecidos n estados anteriores é exatamente o estado no instante presente . 
Ex.: Um exemplo de martingais aparece em jogos simples de azar como o seguinte. Suponhamos que no n-ésimo 
lançamento de uma moeda honesta acrescentamos um valor A ao capital do jogador se sair cara, e subtraímos a mesma 
 
8 
 
quantidade se sair coroa. O jogador começa o jogo com capital igual a k e é admitido ter capital negativo. Vamos supor 
também que os lançamentos são independentes. 
 Fazendo {
 
 
 
Teremos que o capital do jogador no instante do n-ésimo lançamento será 
 
 Se * + é um processo estocástico, então chamaremos de incremento correspondente ao intervalo (s,t) à 
variável aleatória . 
 
O processo tem incrementos estacionários quando a distribuição de depende dos instantes s e t e para 
todos os ponto das distribuições s e t os valores dos incrementos sejam iguais. O processo de Poisson tem incrementos 
estacionários e independentes. 
Exemplo 13: Movimento Browniano 
Em 1827, o botânico escocês Robert Brown observou e descreveu o movimento irregular executado por 
pequenos grãos de pólen suspensos em água. Esta observação aparente mente sem muita importância, tornou-se 
especialmente relevante alguns anos depois. Embora L. Bachelier em 1900 e A. Einstein em 1905 tenham sido os 
primeiros a abordar quantitativamente o estudo deste fenômeno, foi o matemático norte americano Norbert Wierner 
quem em 1923 estudou e formalizou rigorosamente o modelo matemático motivado no fenômeno físico do movimento 
browniano. É por isso que ele é chamado de processo de Wiener ou movimento browniano, sendo que este último dá 
ênfase ao processo físico. 
Considerando o processo a tempo contínuo * + com espaço de estados E = r, que tem as seguintes 
características: 
( i ) ; 
( ii ) X tem incrementos independentes; 
( iii ) ( ) 
 
√ ( )
∫ 
 
 
 ( )
 
 
 , 
i.e. ( ); 
( iv ) X possui trajetórias contínuas 
 
9 
 
 X é conhecido como movimento Browniano em processo Estocástico de Wierner e tem incrementos 
estacionários e independentes. Veja o gráfico a seguir: 
 
Vejamos pro exemplo, como calcular a função distribuição de probabilidade conjunta de para dois 
instantes fixados s e t tais que . Se fizermos 
{
 
 
 
Usando a independência e a estacionariedade dos incrementos, teremos 
 ( ) ( ) ( ) , 
 (
 
√ 
 { 
 
 
})( 
 
√ ( )
 { 
 
 ( )
}) 
 
 
 √ ( )
 { 
 
 
(
 
 
 
 
 
)} 
O vetor ( ) segue a distribuição normal bivariada com vetor médio nulo e ( ) 
 2. O PROCESSO DE BERNOULLI 
O processo a tempo discreto * + é chamado processo de Bernoulli, com probabilidade de sucesso p se: 
(i) são variáveis aleatórias independentes e 
(ii) ( ) 
Uma trajetória do processo de Bernoulli será uma sequencia de sucessos e fracassos obtidos em ensaios de Bernoulli 
consecutivos e independentes e com probabilidade p de sucesso. 
Seja * + um processo de Bernoulli, então: 
(i) 
Figura: 2 Trajetória do 
movimento Browniano 
 
10 
 
(ii) 
(iii) 
Considere um processo de Bernoulli * + com probabilidade p de sucesso e defina 
 {
 
 
 
 é número de sucesso nos n primeiros ensaios de Bernoulli * + é um processo estocástico que será chamado 
processo do número de sucessos no processo de Bernoulli. 
 O processo * + tem incrementos independentes e estacionários e satisfaz a propriedade de Markov. 
 processo dos instantes dos sucessos ou processo das chegada. 
Observe que n > 0 temos ( ), pois . Além disso , o processo do número de sucessos no 
processo de Bernoulli é crescente em que e para . 
Temos que ( ) ( ) { 
 
 
 
 
“Propriedades de transição” do processo estocástico * + do estado j para o estado k, o processo tem incrementos 
estacionários e independentes. 
Proposição: 
(i) Para todo n, 
 ( ) = ( ) = (
 
 
) ( ) 
(ii) Para todo vale que os incrementos 
 são independentes. 
Exemplo12: calcule ( ) 
 ( ) 
 ( ) ( ) ( ) 
. 
 
/ .
 
 
/ .
 
 
/ 
Voltando ao exemplo 7, suponha que registramos o número de todos os produtos supervisionados e que não foram 
defeituosos. Por exemplo, se nos primeiros cinco produtos observados tivemos que somente o primeiro e o terceiro 
foram defeituosos teríamos que . Então os produtos não defeituosos foram 
aqueles numerados com índices . Graficamente., podemos representar esta trajetória da forma 
seguinte: 
 
 
 
 
11 
 
 
 
Para o processo de Bernoulli chamaremos a sequencia instantes nos quais acontecem os sucessos 
consecutivos. Fica definida uma sequencia de variáveis aleatórias formando o processo estocástico * + , chamado 
de processo dos instantes dos sucessos ou processo das chegada. 
OBS.: O teorema de De Finetti afirma que uma sequência de variáveis aleatórias com distribuição de Bernoulli é uma 
"mistura" de variáveis aleatórias Bernoulli independente e identicamente distribuídas (i.i.d). 
Teorema: Para todo k ϵ n. 
( i ) 
 ( ) ∑.
 
 
/
 
 
 ( ) 
( ii ) 
 ( ) .
 
 
/ ( ) 
Usando ( ). O processo das chegada * + é Markoviano. 
Teorema : (Propriedade de Markov para os instantes dos sucessos). Para todo k ϵ n e para todo vale: 
 ( ) ( ) 
Teorema : Para todo k ϵ n, e para todo vale: 
 ( ) ( ) ( )
 
 ( ) ( ) ( ) 
Logo é a soma de k variáveis aleatórias i.i.d.s com distribuição Geométrica (p). Isto é ( ), 
logo; 
 , - 
 
 
 
 , - 
 
 
 
 , - 
 
 
 , - 
 
 
 
Exemplo 13: Os componentes de um dispositivo tem tempo de vida (o tempo até falhar) aleatório. Suponha que os 
componentes são reemplazados imediatamente após falhar e que o tempo de vida, de cada um dos 
componentes não depende dos outros e tem distribuição Geométrica (p). 
 
12 
 
Se chamarmos de os instantes nos quais acontecem as falhas, então os tempos entre falhas consecutivas serão 
 e ( ) ( )
 . Estes instantes , serão os instantes dos sucessos de 
um processo de Bernoulli. 
Suponha que foram observados . Com esta informação queremos estimar . Para isso 
vamos calcular a esperança de ; 
 , - 
Pela propriedade de Markov: 
 , - , - 
 , - , - 
 
 
 
 , - 
 
 
 
 Definição: Seja * + um processo estocástico. Consideremos para cada conjunto 
 a função de distribuição conjunta do vetor aleatório ( ) que 
denotaremos por . Que satisfaz a propriedade de consistência. 
 
 
 ( ) ( ) 
Exercícios: 
1) Num cruzamento em T, aproximadamente 60% viram à direita. Defina X, como sento 1 ou 0 em dependendo se 
o p-ésimo carro virou à direita ou esquerda. Suponha que os motoristas decidem para onde virar 
independentemente um do outro. Então X = { * + é um processo estocástico de Bernolli com 
probabilidade 0,6 de sucesso. Num certo dia um pedestre observou o que faziam 10 carros que passaram 
consecutivamente e fez a anotação ( D, E, D, D, D, E, D, E, D, E ) , onde D=direita e E=esquerda. Quais seriam os 
valores correspondente de; 
 a. b. c. 
d. Represente em gráfico os instantes dos sucessos no processo de Bernoulli. 
 
2) Para um processo de Bernoulli em p = 0,7 interprete e calcule as seguintes quantidades; 
a. ( ) 
b. ( ) 
c. ( ) 
 
 
13 
 
 3. CADEIA DE MARKOV EM TEMPO DISCRETO 
 
3.1 Definição 
Uma Cadeia de Markov em Tempo Discreto é um processo estocástico em que a variável t representa 
intervalos de tempo, { ( ) }e que segue a propriedade de Markov, ou seja, a probabilidade de estar no 
estado “j” no próximo período depende apenas do estado presente. 
 { ( ) ( ) ( ) ( ) ( ) } 
 
 { ( ) ( ) } 
 
Consideraremos Cadeia de Markov os processos estocásticos com as características: 
1) O espaço de estados x é contável (estado discreto). 
2) As probabilidades de transição entre estados são constantes no tempo (cadeia de Markov 
estacionária) 
 
 { ( ) ( ) } { ( ) ( ) } 
 
2.1. Representação 
Uma Cadeia de Markov em tempo discreto é definida no caso de estado em que e as probabilidades de 
transição entre os estados * + em um período. Existem duas formas de representação: graficamente, 
através do “diagrama de transições”, ou através da matriz quadrada P, ou matriz de transição, que contém as 
probabilidades de transição em um período. 
Em um diagrama de transição cada estado é representado por um vértice, e cada arco orientado ligando dois 
vértices representa uma transição possível entre dois estados em um período, a qual tem uma certa probabilidade 
de ocorrência (o coeficiente associado ao arco). 
Na matriz P, cada linha i representa o estado atual e cada coluna j representa o estado futuro (a ordem dos 
estados atuais deve ser igual â dos estados futuros, respectivamente, nas linhas e nas colunas de P). Deste modo, o 
elemento da matriz representa a probabilidade de ocorrência da transição do estado i para o estado j em um 
período. A matriz P estocástica, pois sendo os seus elementos probabilidades, e contendo cada linha ima 
distribuição de probabilidade ∑ . 
A probabilidade condicional (3.1) é chamada probabilidade de transição. Vamos restringir o nosso estudo às 
cadeias de Markov homogêneas, isto é, cadeias nas quais (3.1) não depende do tempo n (3.2). 
(3.1) 
(3.2) 
 
14 
 
B W 
0,10 
0,20 
0,80 
0,90 
Logo, é a probabilidade de passar em qualquer instante do estado i ao estado j. É comum arranjar as probabilidades 
de transição numa matriz de transição. Se E é finito, por exemplo * +, então: 
 [
 
 
 
 
 
 
 
 
] 
Definição A matriz ( ) é uma matriz estocástica se 
( i ) para todo i,j ϵ E 
( ii ) para todo i ϵ E ∑ (somatório de cada linha da matriz é igual a um) 
Exemplo 14: Na Escócia, ainda hoje, existem duas famílias integrantes da família real europeia, fabricantes dos 
melhores Whisky, a família de Windsor ( Shivas Regal ) e Bourbon. As duas famílias primam pela qualidade da água 
utilizada na produção do seu whisky, mesmo sendo a pureza da água encontrada na Escócia o que determina o auto 
nível de qualidade do whisky escocês. A família Bourbon capta a água nas límpidas corredeiras que descem do 
degelo dos alpes escoceses, fazendo do seu whisky o mais apreciado no mundo. O que garante os Bourbons 90% de 
probabilidade de uma pessoa que compre o seu whisky comprá-lo novamente em uma segunda compra. Já a 
família de Windsor utiliza a água de uma nascente em sua propriedade, o que influencia uma pessoa que tenha 
comprado seu whisky uma probabilidade de 80% de que o próximo whisky continue sendo o Windsor. 
Com base nestes dados, pretende-se construir uma cadeia de Markov que represente a situação descrita. 
Se ( ) representa o tipo de whisky comprado por uma pessoa na sua t-ésima compra, então a cadeia de 
Markov limita-se a assumir um dos dois valores seguinte B (último whisky comprado foi o Bourbon) ou W (último 
whisky comprado foi o de Windsor), O espaço de estado será, deste modo X = { B,W }. 
A cadeia de Markov será escrita pela seguinte matriz (estocástica) de transição: 
 ( ) ( ) 
 
( )
( )
0
 
 
1 
Outra forma de representar a cadeia é através do grafos de transição (topologia): 
 
 
OBS.: As setas entre os estados correspondem às transições, e o grafo é chamado de topologia da cadeia. 
 
transições do estado 0 aos estados 0,1,...,N 
 
15 
 
2.2. Probabilidades de Transição 
O conhecimento das probabilidade de transição entre os estados é de grande importância nas cadeias de 
Markov. Conforme foi referido anteriormente, as probabilidades de transição em um período fazem parte da 
definição da cadeia de Markov. É igualmente importante conhecer as probabilidades de transição em n períodos ou 
passos. 
Define-se a probabilidade de transição em n passos como: 
 { ( ) ( ) } { ( ) ( ) } 
Uma das formas de obter o valor de 
( ) é calcular as probabilidades de cada um dos caminhos que, partindo 
do estado i , conduzem ao estado j em n passos, e somá-las. Apesar da aparente simplicidade deste método, à 
medida que n aumenta também aumenta a possibilidade de esquecimento de caminhos alternativos e o cálculo da 
probabilidade torna-se mais complexo. Alternativamente pode-se calcular o elemento (i j) da matriz Pn, com mais 
eficiência. 
Para demonstrar a equivalência dos dois métodos, retornaremos o exemplo anterior. Suponhamos que se 
pretende conhecera probabilidade de a terceira compra futura de uma pessoa ser whisky de Windsor, sabendo que 
no momento presente, comprou o Bourbon, ou seja 
( ) . 
Uma hipótese seria calcular as propriedades de todas as sequências de compras, de forma que a transição BW 
ocorra em três aquisições ou passos. Assim, verifica-se que só há quatro sequências diferentes de transições em 
três passos tais que, partindo do estado B, se acaba no estado W: 
1) B → W → W → W 
2) B → B → W → W 
3) B → B → B → W 
4) B → W → B → W 
Relembrando que, se A e B forem independentes, P{A e B}= P{A} x P{B}, podemos então calcular a 
probabilidade de cada sequência: 
1) P {B → W e W → W e W → W} = 0,1 x 0,8 x 0,8 = 0,064 
2) P {B → B e B → W e W → W} = 0,9 x 0,1 x 0,8 = 0,072 
3) P {B → B e B → B e B → W} = 0,9 x 0,9 x0,1 = 0,081 
4) P {B → W e W → B e B → W} = 0,1 x 0,2 x 0,1 = 0,002 
Do mesmo modo, P{A ou B} = P{A} + P{B} , pelo que 
 
( ) 
Houve aqui a aplicação das equações de Chapman-Kolmogorov: 
 
 
( ) ∑ 
( ) 
( )
 
 
 
16 
 
Assumindo q=1 e m=2 aquisições. 
 
( ) * + * + * + * + ???? 
Este resultado pode ser obtido de outra forma, elemento da linha que corresponde ao estado B (estado atual) 
e da coluna que corresponde ao estado W (estado futuro) da matriz P3, é exatamente 0,219, como se poderá ver 
seguidamente. 
 ( ) ( ) 
 
( )
( )
0
 
 
1 
Na verdade, a forma usada para calcular o valor anterior (somar a probabilidades de caminhos alternativos) 
corresponde exatamente a operação de multiplicação de matrizes que nos conduz a P3, tendo correspondência 
direta às equações de Chapman-Kolmogorov. 
É importante referir que se P for matriz estocástica, então qualquer potência de P também é, pois 
[ 
( )], sendo 
( ) e ∑ 
( )
 
2.3. Classificação dos Estados 
Um caminho do estado i para o estado j é uma sequência de transição com probabilidades de ocorrência 
positivas que ligam os dois estados (do exemplo anterior: (B→W→B→W). Não existe qualquer limite ao número de 
transições nem há obrigação de a sequência ser a mais curta entre os dois estados. 
Definição 2.??? Dizemos que i ϵ E e escrevemos i → j se 
( ) para algum n ≥ 1. Dizemos que i e j 
comunicam-se, o escrevemos i ↔ j se somente se i → j e j → i. 
Verificamos a transitividade. Suponhamos i → j e j → k. Ou seja Ǝ q ≥ 1 e m ≥ 1 tais que 
( ) e 
( ) 
 
( ) ∑ 
( ) 
( )
 
 
( ) 
( ) 
Esta relação de equivalência divide o espaço de estados em classes de equivalência. 
Então o estado j é atingido a partir do estado i se e somente se houver pelo menos um caminho de i para j. 
Dois estados i e j se comunicam se somente se existir uma transitividade entre i e j. Sair de i para j ou sair de j para i. 
 
 
Definição 2.3.2. Uma Cadeia é chamada de irredutível, se tem só uma classe de equivalência. 
Definimos também ∑ 
( ) 
 , Onde µi indica o número médio de etapas necessárias para retornar ao 
estado inicial i. µi é chamado tempo médio de recorrência. 
 
17 
 
1 2 3 0 
1 
1 
1 
0,40 
0,60 
1 
2 
0 
0,60 
0,30 
0,40 0,70 
1 
1 2 0 
1 0,30 
0,70 
Dizemos que uma Cadeia de Markov é irredutível se e somente se qualquer estado j for atingido a partir de 
estados i. Isto é se todos os estados se comunicarem. 
Definição: 2.3.3. Um estado recorrente é chamado recorrente nulo (recorrente positivo) se ( ) . 
Teorema: 2.3.1. Um estado i ϵ E é recorrente ou transitório de acordo com que 
∑ 
( ) 
 
 
 
Um estado é recorrente ou transitório se existir um estado k que seja atingido pelo estado j, mas sendo j 
atingido a partir de k. Em outras palavras se j for recorrente ou transitório não há a garantia de que saindo do 
estado j volte ao estado j. 
Um estado j é chamado de recorrente se não for transitório, isto é se for sempre possível retornar a j. 
No próximo exemplo os estados 0 e 1 são transitórios, enquanto os estados 2 e 3 são recorrentes 
 
 
 
Definição 2.3.4 Um estado j ϵ E é chamado absorvente se ( ) . Um estado é chamado absorvente se 
houver uma finalização de transição. Em que em um estado existe o processo de chegadas e não tem nenhuma 
saídas. 
 
 
 
 
Um estado recorrente j diz-se periódico com período k > 1 se k for o menor inteiro tal que todos as trajetórias 
de j para j tiverem um comportamento múltiplo de k ( ou seja, ké o máximo divisor comum dos comprimentos de 
todos os caminhos do estado j para o estado j). No exemplo seguinte os estados 0 e 1 têm período k = 2. 
 
 
 
 
 
18 
 
1
 
1 0 0,75 
0,25 
Um estado recorrente diz-se aperiódico de k = 1. Uma cadeia de Markov diz-se Ergódica se todos os estados 
forem recorrentes, aperiódicos e se comunicam. A cadeia seguinte é Ergódica. 
 
 
 
 
 
 
2.4. Probabilidade Estacionárias 
Em uma Cadeia de Markov irredutível e Ergódica decorrido um número muito elevado de períodos de tempo 
( ), a probabilidade de o processo estar no estado j é constante e independente do estado inicial i, como se 
pode observar através da matriz P16, que contém as probabilidades de transição dos dezesseis períodos: 
 
 ( ) ( ) 
 
( )
( )
0
 
 
1 
 A probabilidade chama-se probabilidade estacionária do estado j e representado por 
 . Em outras palavras, 
 
( ) 
( ) 
Tendo esta característica presente, e como (pelas equações de Chapman-Kolmogorov) 
( ) pode ser escrito 
como o produto [linha i x Pn] x [coluna j de P], então para n muito grande, podemos escrever 
 , - , sendo π o vetor linha , -. 
 Isso corresponde a um sistema de equações (π = πP) em que o número de equações é igual ao número de 
variáveis, sendo ambos iguais ao número de estados. No entanto este sistema é indeterminado, pois uma das 
equações é redundante; a indeterminação é resolvida acrescentando a equação que garante que a solução seja 
uma distribuição de probabilidades. Assim, para conhecer as probabilidades estacionárias resolve-se o sistema 
 ∑ (1) 
 ∑ (2) 
Subtraindo a ambos os membros das equações (1) do sistema elas podem ser reescrita da seguinte forma 
 ( ) ∑ , 
Tendo a seguinte interpretação: 
 
19 
 
 
 
 
 
 
 
Relembrando o exemplo do whisky, quais as probabilidades estacionárias? 
 
 
 
 
O que estes valores significam é que, depois de bastante tempo, cerca de dois terços das pessoas, em média, 
comprarão o whisky da família Bourbon enquanto que só um terço delas irá comprar o whisky da família Windsor. 
Deste modo as probabilidades estacionárias podem ser usadas como indicadores das quotas de mercado de cada 
marca e úteis no processo de tomada de decisão. Conhecendo a sua fatia de mercado, a família Windsor poderá 
aumentar o grau de fidelização dos seus clientes, aumentando a sua participação mercadológica, servindo o modelo 
estudado para quantificar estes aumentos. 
2.5. Tempos de Transição 
O tempo (medido em números de períodos) que decorre até que o processo, partindo do estadoi, atingir o 
estado j pela primeira vez, é chamado tempo de transição. Se o estado final coincidir com o estado inicial ( j = j ), 
este tempo é chamado de tempo de recorrência para o estado j. O tempo de transição do estado i para o estado j é 
representado por . 
Trata-se de uma variável aleatória, uma vez que assumirá diferentes valores. Conhecer a distribuição de 
probabilidade das variáveis não é fácil. Porém é possível conhecer o valor esperado ( [ ] ), tempo 
esperado de transição. 
Para calcular o tempo esperado da transição de i para j , para qualquer que seja a cadeia de Markov, é feita em 
um período com probabilidade , e em todos os outros casos ( k ≠ j ) o número esperado de períodos será igual a 
( ) com probabilidade . O que leva à 
 ( ) ∑ ( ) , 
A qual depois de simplificada origem ao seguinte sistema de equações lineares: 
 ∑ 
Voltamos novamente ao exemplo do whisky: 
 
 
 
[Probabilidade de uma transição saindo do estado j] = 
= [Probabilidade de uma transição para o estado j] 
 
20 
 
 
 
No caso dos tempos médios de recorrência verifica-se que ⁄ . No exemplo considerado, significa 
que uma pessoa que compre o Bourbon demora, em média, 10 períodos até passar a comprar o whisky da família 
Windsor. 
 
 
21 
 
1 2 
0,10 
0,10 
3 0 
0,20 0,20 
0,20 
0,20 1 
0,70 
2.6. Cadeias de Markov com Estados Absorventes 
Consideremos agora o caso da cadeia de Markov com estado(s) absorvente(s), uma vez entrando em um 
estado absorvente j tem não sai mais. Assim, em uma cadeia de Markov qualquer estado que se comunique 
com um estado absorvente é um estado transitório. 
Se pensarmos no que acontece à medida que o número de períodos vai aumentando ( ), concluímos 
que a probabilidade do processo estar em um estado transitório tende para zero. Ou seja, à longo prazo, o processo 
estará em um estado absorvente. Neste caso interessa conhecer a probabilidade de, estando em um dado estado 
transitório, o processo vir a entrar em um estado absorvente. Estas probabilidades são chamadas probabilidades 
estacionárias de absorção, Ou seja, as probabilidades do processo passar de um estado transitório para um estado 
absorvente em qualquer número de períodos. 
Para ilustrar este tipo de cadeia de Markov, consideraremos o seguinte exemplo: 
Exemplo 14: Consideremos a carteira de um grande estabelecimento de produtos informáticos. Cada conta 
(cliente) são classificadas em dos “estados” de acordo com o nível dos pagamentos já efetuados; Pagou (categoria 
0), inadimplente menos que 30 dias (categoria 1), inadimplente menos que 60 dias (categoria 2), depois deste prazo 
o cliente é considerado caloteiro (categoria 3) e suas contas enviadas a uma empresa de cobrança. Após a análise 
dos dados históricos, foi construída a seguinte matriz de transição: 
 ( ) ( ) ( ) ( ) 
 
( )
( )
( )
( )
[
 
 
 
 
 
 
 
 
] 
Com base neste histórico pretende-se conhecer a probabilidade de um cliente no futuro pertencer à categoria 
3 (caloteiro), visto que possa estar no presente na categoria 1 ou 2. 
 
 
 
 
 
 
 
 
Consideremos as seguintes partições da matriz da probabilidade de transição: 
 [
 
 
] 
Em que: I é a matriz (identidade) que contem as probabilidades de transição entre estados absorventes: 0 é a 
matriz nula, indicando que não existem transições dos estados absorventes para os estados transitórios; R é a 
 
22 
 
matriz que contem as probabilidades de transição dos estados transitórios para os estados absorventes; Q é a 
matriz que contem as probabilidades de transição entre estados transitórios. 
-em 1 período são dadas por R; 
-em 2 períodos são dadas por QR; 
-em 3 períodos são dadas por Q2R; 
 ... ... ... ... 
-em (n – 1) períodos são dadas por QnR; 
 
Para obter as probabilidades de passar de um qualquer estado transitórios para algum estado absorvente em 
qualquer um dos períodos temos que considerar a soma 
 
R + QR + Q2R + ... = (I – Q)-1R 
Ou seja, os elementos da matriz (I – Q)-1R são as probabilidades estacionária de absorção. Alternativamente, 
chega-se à mesma conclusão se considerasse a matriz Pn quando . 
A matriz (I – Q)-1 é chamada de matriz fundamental da cadeia de Markov, tendo os seus elementos um 
significados especial: o elemento ( i j ) representa o número esperado de vezes que o processo passa pelo estado 
transitório j até que entre em um processo de estado absorvente qualquer, partindo do estado transitório i. 
( ) 0
 
 
1 
Assim, a probabilidade de um cliente ser, eventualmente, caloteiro é igual a 0,032 se o seu débito tiver menos 
de 30 dias e é igual a 0,254 como também se seu débito tiver entre 30 a 60 dias. 
( ) 0
 
 
1 
O que significa que uma conta com um débito até 30 dias demora 1,27 + 0,16 = 1,43 meses até estar 
totalmente liquidada. Note que é possível uma conta “ser renovada” (ter um débito até 30 dias ou mais que poderá 
ser paga integralmente indo para a categoria 0, e ou realizando novas compras. 
 
3. PROCESSO DE POISSON 
3.1. Introdução 
Apresentaremos aqui o processo de Poisson. Este processo estocástico deve o seu nome ao matemático francês Simion-
Denis Poisson (1781 - 1840). Veremos que ele pode ser definido em termos das ocorrências de eventos, em outras 
palavras, se denotarmos este processo como * + e fixarmos o tempo no instante t, teremos que é um número 
inteiro que representa o número de chegadas ou eventos até o instante t. O processo de Poisson é portanto, um 
processo estocástico a tempo contínuo, isto é T = [0,∞), e com espaço de estados * + . 
 
Exemplo: Suponha que e suponha que não chegam dois “eventos” no mesmo instante, uma realização do 
processo poderia ser 
 
 
23 
 
 
Que também pode ser representada como um trajetória; 
 
Como é ilustrado na figura acima, cada trajetória do processo é uma função escada. O número de eventos no intervalo 
( - será . Veremos que ele é independente do número de eventos até o instante * +. 
Em outras palavras, o processo tem incrementos independentes. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
O processo de Poisson 
 
3.2. Definição: Um processo contínuo * + definido sobre um espaço amostral , com espaço de estado e tal 
que para todo evento elementar ω ϵ , a trajetória correspondente, ( ), verifique; 
( 1 ) é não decrescente; 
( 2 ) cresce somente com saltos. ( i.e. é constante entre os saltos); 
( 3 ) é contínua a direita e tem limite à esquerda; 
( 4 ) ( ) 
É chamado processo de contagem ou processo das chegadas. 
Sejam os tempos das chegada (ou os tempos dos saltos ou dos instantes nos quais ocorrem os eventos). Estas 
variáveis definem um processo a tempo discreto. Uma trajetória típica deste processo é: 
 
24 
 
 
 
3.3. Definição 2: O processo de contagem * + é chamado de processo de Poisson homogêneo se 
( 1 ) os saltos têm comprimento um; 
( 2 ) é independente de * + , para todo t, s > 0; 
( 3 ) a distribuição de é independente de t. 
A propriedade (3) expressa que os incrementos do processo são estacionários. O processo de Poisson fica 
definido então como um processo de contagem com saltos de valor um e incrementos estacionários e 
independentes. 
Alguns exemplos de situações que podem ser modeladasusando o processo de Poisson aparecem a seguir. 
(1) O número de ligações que chegam numa central telefônica durante um intervalo de tempo 
determinado define um processo de Poisson, se supormos que o número de chamadas recebidas durante 
intervalos disjuntos são independentes, dependem somente do comprimento do intervalo e se pudermos 
assumir que há um número médio constante de chegadas por unidade de tempo. Em problemas mais 
realistas, este número médio depende do tempo, sendo mais apropriado o modelo de Poisson não 
homogêneo. 
(2) O número de fótons que chega num detector de fótons ao longo do tempo. 
(3) Os astrônomos podem considerar o número de estrelas num volume determinado no espaço como 
uma variável aleatória de Poisson e o número de estrelas em regiões disjuntas podem ser consideradas 
independentes. Com estas suposições, o número de estrelas observadas num volume V é um processo de 
Poisson tridimensional sobre o espaço definido pelo volume V. 
A definição que temos apresentado do processo de Poisson não coloca nenhuma restrição explícita sobre a 
distribuição das variáveis Nt. No entanto, estas distribuições estão determinadas pela definição dada. A seguir 
calcularemos a distribuição de Nt. Isto será a consequência de uma série de proposições. 
 
 
Proposição 1: Existe uma constante tal que todo t > 0, 
 
 ( ) 
 
Proposição 2: 
 
25 
 
 
 
 
 
 ( ) 
 
Este processo não é explosivo, i.e. não acontecem dois ou mais eventos no mesmo instante. 
Se t → 0 então e 
 
 
 . Logo basta mostrar que .
 
 
/ . Para isso dividimos o intervalo 
[0,1] em subintervalos de comprimento 
 
 
 . 
 
Seja o número dos subintervalos onde temos mais de dois eventos, então é o número de sucessos num 
processo de Bernoulli com probabilidade de sucesso .
 
 
/. Logo 
 (
 
 
) 
Considere uma realização ω do processo Nt, para n grande os subintervalos são suficientemente pequenos 
como para conter no máximo um evento. Logo (ω) . 
Agora usamos o fato de , que implica , e para concluir que 
 
 
 
 (
 
 
) 
 
 
 
Proposição 3: 
 
 
 
 
 ( ) 
Teorema 1: Seja * + o processo de Poisson, então existe tal que 
 
 ( ) 
( ) 
 
 
 
 ( ) , com 
 
 ( ) 
 ( ) 
 
Corolário: Seja * + o processo de Poisson com taxa , então: 
 
 ( ) ( ) 
( ) 
 
 
 
 
Exemplo: Seja * + o processo de Poisson com taxa . Achar ( ) 
Solução: 
 
 
26 
 
 ( ) 
 ( ) 
 ( ) ( ) ( ) 
 
( ( ))
 
 
 ( ) 
( ( ))
 
 
 ( ) 
( ( ))
 
 
 ( ) 
 
Teorema: * + é o processo de Poisson com taxa se e somente se. 
 ( 1 ) com probabilidade um os saltos das trajetórias ( ) têm valor um; 
 ( 2 ) Para todo vale que , - 
 
Considere o conjunto ( - ; O número de eventos que ocorrem no intervalo ( - 
está definido como 
 ( - 
 
Pelo fato dos incrementos do processo de Poisson ser independentes e identicamente distribuídos, 
 
 ( - ( ) 
 
Mas (( -) , onde (( -) é o comprimento do intervalo ( -. Isto é é um 
intervalo então, 
 ( ) ∫ 
 
 
Podemos estender esta definição a um conjunto e considerar o número de eventos que acontecem 
neste conjunto. 
Qual será a distribuição 
 ( ( )) 
 
Teorema: O processo Nt de Poisson, com taxa , se e somente se para todo que seja união finita de intervalos 
disjuntos vale. 
 ( ) 
( ) 
 
 ( ) 
Suponha agora que conhecemos que em instantes no conjunto ( - ocorreram k eventos. Gostaríamos de ter 
informação sobre os instantes em que eles ocorreram. 
 
Teorema: Seja intervalos disjuntos dois a dois e tais que e ( ) 
( ( ) ∑ 
 
 ). Sejam tais que . Então vale 
 
 ( ) 
 
 
.
 
 
/
 
 .
 
 
/
 
 
Logo 
( ) ( .
 
 
/ .
 
 
/) 
 
 
 
 
 
 
27 
 
Podemos generalizar este resultado: 
Teorema: Lei dos grandes Números do processo de Poisson. 
 
 
 
Se . 
Logo, um estimador consistente da taxa do processo é: 
 
 , -
 
 
E um intervalo de confiança assintótico para este estimador pode ser obtido do seguinte resultado. 
Teorema: Teorema Central do Limite do processo de Poisson. 
 
√ 
 
 ( ) 
 
Observe que se t for grande se comporta aproximadamente como uma normal de média e variância 
 . 
2.1. TEMPOS DE CHEGADA 
Vamos considerar os tempos de chegada do processo de Poisson. Eles são os tempos nos quais acontecem 
os eventos do processo. O tempo de chegada está definido por 
 * + 
Observe que A distribuição de pode ser obtida a partir da distribuição do processo a partir 
da igualdade dos seguintes eventos 
* + * + 
Assim, 
 ( ) * + ∑
( ) 
 
 
 
 
 
 
A avaliação desta expressão é complicada. No lugar de fazer isto vamos mostrar por outra via que 
 ( ) e para isso vamos estudar propriedades do processo dos tempos das chegadas, * + . 
 
28 
 
Uma observação importante é que conhecer o processo até o instante * + é o mesmo 
que conhecer o processo dos tempos das chegadas até o instante n, i.e. * + , isto é fácil de 
visualizar na seguinte figura. 
 
Sabendo que para vale 
 ( ( - ) ( ( - ) 
 
 
2.2. n 
 
 
 
29 
 
3. CADEIA DE MARKOV EM TEMPO CONTÍNUO 
Uma cadeia de Markov em tempo contínuo é, como a designação indica, uma cadeia de Markov em que a 
variável tempo é contínua, representando instantes ou momentos do tempo. Assim, uma cadeia de Markov em 
tempo contínuo é um processo estocástico { ( ) } com a propriedade de Markov, ou seja, a probabilidade do 
processo estar no estado j em um momento futuro depende apenas do estado presente. 
 
 ( ) { ( ) ( ) ( ) } 
 { ( ) ( ) } 
 
As cadeias de Markov seguem as características: 
1. O espaço de estado x é finito ou contável 
2. As probabilidades de transição de um estado para outro não dependem do tempo de permanência 
nesses estado (cadeia estacionária); 
 ( ) { ( ) | ( ) } * ( ) ( ) } 
 
3.1. Tempos de Permanência no Estado 
O tempo que o processo permanece em cada estado passa a ser considerado importante, pois o processo é em 
tempo contínuo e não em tempo discreto. Este tempo é naturalmente, incerto ou aleatório. Seja a variável 
aleatória “tempo de permanência no estado i”, isto é, o tempo necessário para que o sistema saia do estado i, 
efetuando umatransição para outro estado. 
Então, facilmente se conclui que o processo permanece no estado i entre os instantes 0 e t se somente se o 
tempo de permanência no estado i for superior a t, 
 { ( ) ( ) } * + * + 
Por outro lado, o sistema permanece no estado i, entre os instantes s e (t + s) se e somente se o tempo 
necessário para que o sistema seja do estado i for superior a (t + s), dado que o tempo de permanência no estado i 
era superior a s, ou seja, 
 { ( ) ( ) } * + 
 
 
 
30 
 
 
Como { ( ) ( ) } { ( ) ( ) } Então * + * +. Em outras 
palavras, a distribuição de variáveis aleatória “tempo de permanência num dado estado” é independente do tempo que 
o processo já tenha passado neste estado (p ropriedade da ausência de memória ). Como a única distribuição contínua 
que goza desta propriedade é a distribuição exponencial, concluímos que tem distribuição exponencial. 
Suponhamos que a variável aleatória tem distribuição exponencial com parâmetro (taxa) . Então a 
função distribuição de probabilidade é dada por 
 * + 
 . O valor esperado é , - 
 
 ⁄ e a variância é , - 
 
 
⁄ . 
Lembrando que a média e o desvio padrão são iguais. 
A distribuição exponencial goza de duas propriedades muito importantes no estudo da cadeia de Markov em 
tempo contínuo; 
1. Propriedade da “ausência de memória” 
 * + * + 
2. Se a variável aleatória for o mínimo de diferentes variáveis independente ( ), cada 
qual com distribuição exponencial de parâmetro (i=1,2,...,N), então tem distribuição 
exponencial, sendo o parâmetro dado por ∑ . 
 
3.2. Representação 
Uma cadeia de Markov em tempo contínuo fica completamente definida se conhecendo os estados , s, 
o parâmetro da distribuição (exponencial) de cada variável ( tempo de permanência em cada estado i ) e as 
probabilidades de o processo transitar para o estado j, dado que saiu do estado i ( ). Em alternativa para 
conhecer os parâmetros e as probabilidades , basta encontrar as taxas de transição entre os estados , 
A interpretação intuitiva de e de é de que se trata de taxas de transição. Concretamente, é a taxa de 
transição para fora do estado i, significando que é o número esperado de vezes que o processo sai do estado i 
por unidade de tempo permanecido no estado i. Assim é o inverso do tempo médio de permanência no estado i, 
então , - 
 
 ⁄ . De modo semelhante, é a taxa de transição do estado i para o estado j, significando que 
é o número esperado de vezes que o processo efetuou uma transição de i para j por unidade de tempo passado em 
i. 
Existem duas formas de representação: graficamente através dos grafos , ou através de uma matriz quadrada 
U que contem as taxas de transição. 
Num grafo – topologia do processo de transição onde cada estado é representado por um vértice, e cada arco 
orientado ligando dois vértices representa uma transição possível entre dois estados, sendo o coeficiente associado 
ao arco à respectiva taxa. 
 
31 
 
Na matriz U, cada linha i representa o estado atual e cada coluna j representa o estado futuro (a ordem dos 
estados atuais deve ser igual a dos estados futuros, respectivamente, nas linhas e nas colunas de U). Deste modo , o 
elemento da matriz representa a taxa de transição do estado i para o estado j. 
As taxas de transição são dadas por ( ), e portanto verifica-se que 
∑ ∑ 
3.3. Probabilidades Estacionárias 
No estado das cadeias de Markov em tempo contínuo interessa conhecer as probabilidades estacionárias 
( ) em estar em diferentes estados ( ). 
Para se obterem as responsabilidades estacionárias, escrevem-se as chamadas “equações de balanço” que 
traduzem a ideia de que, em equilíbrio, a taxa de saídas de qualquer estado deve se igual à taxa média de entradas 
nesse mesmo estado. Essas equações constituem a seguinte sistema; 
 ∑ (1) 
Á semelhança do que acontecia nas cadeias em tempo discreto, também o sistema (1) é indeterminado. As 
probabilidades estacionárias são encontradas pela equação seguinte; 
∑ (2) 
Consideremos o exemplo seguinte: 
Uma máquina, integrada em uma linha de produção, solda duas peças idênticas. Sabe-se que o tempo entre 
duas chegadas consecutivas de peças à máquina tem uma distribuição exponencial com média igual a um quarto de 
hora. Da mesma forma, tempo de soldagem segue uma distribuição exponencial com média igual á meia hora. 
Pretende-se construir um cadeia de transição que represente a situação descrita, determinando as probabilidades 
estacionárias. 
Se ( ) representar o número de peças na máquina no momento t, então ( ) limita-se a assumir um dos três 
valores seguinte: 0 , 1 ou 2 peças. O espaço de estados será, deste modo, x={0, 1, 2}. Existem apenas dois tipos de 
acontecimentos: chegada de uma peça à máquina ( ) e saída das duas peças soldadas 
( ). 
As transições 0→1 e 1→2 correspondem à chegada de uma peça à máquina, enquanto que a transição 2→0 
correspondem à saída das peças soldadas. Não se considera a possibilidade de haver a transição 0→2 pelo fato de 
se considerar que só ocorre um evento de cada vez (é possível efetuar a separação temporal de acontecimentos 
quase simultâneo). 
 
 
32 
 
 
 
 
 
 
 
 
 
 
A matriz que contem as taxas de transição é a seguinte: 
 ( )( )( ) 
 
( )
( )
( )
[
 
 
 
] 
Para calcular as probabilidade estacionárias, escrevemos as equações de balanço e a equação de normalização: 
Equações de balanço: estado 0: 
 estado 1: 
 estado 2: 
Equação de normalização: 
 
A solução do sistema é , e . Significa que a máquina passa 25% do 
tempo com 0 ou 1 peça e 50% com 2 peças. 
4. PROCESSOS DE NASCIMENTO-MORTE 
4.1. Generalidades 
Os processos de Nascimento-Morte são processos estocásticos muito utilizados na descrição de Sistema de 
Filas de Espera, dada a sua particular estrutura: as transições de qualquer estado só são possíveis para estados 
“vizinhos” (i.e. de um estado i para os estados i+1 ou i-1). De fato, adaptando um espaço de estado x = {0,1,2,...} e 
representando cada estado e representando cada estado com um certo “nível de população” (número de clientes 
em uma loja, número de mensagens na caixa de e-mail, número de mensagens no whatsApp, número de produtos 
a serem processados, produzidos embalados, etc.) tais transições podem ser facilmente interpretadas: a a transição 
do estado i para o estado i+1 será um “nascimento” (por exemplo, chegada de um cliente), por significar um 
aumento do “nível de população” , enquanto que a transição do estado i para o estado i-1 será uma “morte” (saída 
de cliente já atendido), por significar um decréscimo do “nível da população”. 
1 2 
4 
0 
 
4 
2 
 
33 
 
1 0 
𝜇 
3 2 
𝜇 𝜇 𝜇 
𝜇 
𝜇 𝜇 𝜇 
... 
4.2. Equações de Balanço 
As equações de balanço são escritas a partir da topologia de transição, pois o fato de as transições de qualquer 
estado só serem possíveis, para no máximo, dois estados. 
Consideremos a seguinte topologia 
 
 
 
 
 
 
As equações de balanço serão: 
 Estado 0: 
 Estado 1 ( ) 
 Estado 2: ( ) 
 ... 
 Estado n:( ) 
Da primeira equação concluímos que ( ⁄ ) . Da segunda equação, e substituindo pela sua 
expressão em termos de , tiramos que ( ⁄ ) . Prosseguindo da mesma forma é possível 
exprimir as restantes probabilidades em termos de , e através da equação de normalização encontrar o valor de 
 . E assim, calcular as probabilidades estacionárias restantes. 
 
5. TEORIA DA FILAS 
5.1. Introdução: 
Ao efetuar certos tipos de estudos de planejamento, é comum depararmos com problemas de 
dimensionamento ou fluxo cuja solução é aparentemente complexa. O cenário pode sert a linha de produção 
de uma fábrica, o tránsito de uma cidade, o fluxo de documentos em um escritório, o movimento de navios e 
cargas em um porto, o movimento de veículos, equipamentos e minério em uma mineração, etc. Estes estudos 
podem ser efetuados para obter modificações de layout, ampliações de fábricas, troca de equipamentos, 
reengenharia, automatização, dimensionamento de uma nova fábrica, etc. Geralmente estamos interessados 
em dimensionar: 
 A quantidade correta de equipamentos (sejam eles máquinas, veículos, etc.) e pessoas; 
 O melhor layout e o melhor fluxo dentro do sistema que está sendo analisado. 
 
34 
 
Assim, dado um determinado objetivo de produção ou de qualidade de atendimento, o estudo vai procurar 
definir a quantidade adequada de atendentes (equipamentos, veículos, pessoas, etc.) que devem ser colocados 
em cada estação de trabalho, assim como o melhor layout e o melhor fluxo. Ou seja, desejamos que o sistema 
tenha um funcionamento eficiente. Algumas vezes procuramos uma solução otimizada e, em outras, apenas a 
mais adequada. Assim, um determinado estudo pode procurar a melhor qualidade do serviço prestado, a 
qualquer custo, ou o menor custo dentro de uma faixa aceitável de qualidade para o serviço prestado. 
O ponto de partida de qualquer estudo geralmente é a correta escolha da qualidade esperada do 
atendimento. Outras variáveis importantes são os recursos disponíveis e as limitações de funcionamento. 
Qualquer que seja o objetivo do nosso trabalho, a modelagem é feita de modo que não exista nenhum gargalo, 
ou seja, um ponto de estrangulamento no luxo que implica uma perda inaceitável para o sistema como um 
todo. 
 Balanceado – Um sistema ou processo adequadamente dimensionado (sem nenhum gargalo) está 
balanceado. 
É importante destacar que um sistema balanceado (balanced system) não é obrigatoriamente um sistema 
otimizado: garante-se, apenas, a prestação de um certa qualidade de atendimento, mas não o atendimento 
ótimo. Eventualmente um sistema balanceado pode estar, também, otimizado relativamente a custo, 
benefícios ou qualidade do serviço prestado. 
Um importante componente do sistema são as filas. Quando alguma delas assume valor além dos adequados, 
passam a constituir gargalos. 
5.2. Definição O que são Filas? 
Qualquer pessoa sabe exatamente o que são filas, em decorrência das experiência que o dia a dia nos coloca. 
Nós entramos em uma fila no banco para sacar ou depositar no caixa, ou no caixa eletrônico, para pagar as 
compras em um supermercado, para comprar ingresso em um cinema, para entrar no cinema, para entrar no 
estádio de futebol, para pagar o pedágio em uma estrada, para pegar o elevador da faculdade e tantas outras 
situações. Filas existem também em ambientes de produção, tais como de lingotes aquecidos em um aciaria, 
esperando pelo serviço de lingotamento, ou caminhões em uma mineração, esperando, junto a uma 
carregadeira, a vez de serem carregados com minério. 
Algumas vezes as filas são algo abstrato, tais como uma lista no computador referentes a pedidos de 
manufatura em uma fábrica de geladeiras, ou um pilha de papeis referente a solicitação de reparos de 
máquinas estragadas dentro de uma fábrica, que devem aguardar a disponibilidade do reparador. Outras vezes 
a fila não é vista ”enfileirada” mas, sim, dispersas, como, por exemplo, pessoas em um barbearia, esperando 
pela vez de cortar o cabelo, aviões sobrevoando um aeroporto, esperando pela vez para aterrissar, ou navios 
parados no mar, esperando pela vez de atracar no porto para descarregar 
Uma área de muita importância surgiu nas ultimas décadas: filas em computadores,. Aqui temos filas de 
programas esperando por espaço na memória, ou para serem atendidos pela UCP (Unidade Central de 
Processamento), ou para buscar um registro de dados em disco rígido ou CD ou DVD, ou ainda para ter acesso a 
um servidor por meio da rede. 
 
35 
 
Filas não são simpáticas 
Filas são dispendiosas 
 
5.3. Teoria das Filas e Simulação: 
A teoria das Filas é um método analítico que aborda o assunto por meio de fórmulas matemática. Já a 
simulação é uma técnica que , usando o computador digital, procura montar um modelo que melhor 
represente o sistema em estudo. 
 
5.3.1. Aplicações de modelagem de sistemas 
Linhas de Produção 
Transportes 
Modelos 
Modelo de elevador 
Comunicações 
Bancos, Supermercados, Escritórios, etc. 
Confiabilidade 
Processamento de dados 
5.4. Elementos de Uma Fila 
5.5. Características de Uma Fila 
 
 
36 
 
6. REFERENCIAS: 
Çinlar, Erhan. Introduction Stochastic Processe, . Prentice Hall, New Jersey, 1975 
Hillier, G and J Lieberman. Introduction to Operations research, sisth Editions, McGraw-Hill, 1995 
Ross, Sheldon M.. Stochastic Processes, Jhon Wiley & Sons, 1983 
Alves, R. e Delgado C.. Processos estocásticos , Universidade do Porto Notas de Aula, Faculdade de Economia, 
Universidade do Porto, 1997. 
Hinojosa, A. e Milanés A. Uma Introdução aos Processos Estocásticos com Aplicação, Notas de aula UFMG 
 
Markov https://en.wikipedia.org/wiki/Markov_chain 
Poisson https://en.wikipedia.org/wiki/Poisson_point_process 
Processo estocástica https://pt.wikipedia.org/wiki/Processo_estoc%C3%A1stico 
Estocástico https://pt.wikipedia.org/wiki/Estoc%C3%A1stico 
 
http://www.de.ufpe.br/~rjdsc/teaching/2012.1/et592/ 
 
exercícios 
http://www.ufjf.br/epd042/files/2009/02/cadeiaMarkov.pdf