A Cadeia de Markov

ENGENHARIA PRODUÇÃO

CADEIAS DE MARKOV

Claudia M. Rossi Silveira

Marco Angelo C. Thaubaty Santos

Luís Marceneiro Souza

Luís Fernandes Machado

Hiago Frota Santos

Rio de janeiro - RJ

2020

---

Sumário

Introdução        4

Cadeias de Markov Homogêneas no Tempo        4

Cadeia de Markov Irredutível        5

Processo de Nascimento e Morte        5

Processo de Poisson        6

Outros Processos Markovianos        8

---

Introdução

O nome Cadeia de Markov foi dado em homenagem ao matemático russo Andrey Markov. Trata-se de um processo estocástico caracterizado por seu estado futuro depender apenas do seu estado atual, sendo que os estados passados não influenciam no estado futuro.

Existem dois tipos de cadeias de Markov, são elas: Homogêneas no Tempo e Irredutíveis. De modo geral, elas possuem diversas aplicações. Alguns exemplos comuns são encontrados nas ciências da informação, neste caso elas são usadas no processamento de sinais, codificação e compactação de dados. Nos aplicativos da internet, eles as utilizam para classificar páginas da web. Em finanças usam para descrever a evolução dos preços dos ativos.

Eles também são usados em jogos, música, genética, beisebol, história e assim por diante.

Cadeias de Markov Homogêneas no Tempo

Uma cadeia de Markov de parâmetro contínuo é chamada conceitualmente homogênea no tempo se possuir probabilidades de transição estacionárias caso apresente a seguinte forma:

[pic 1]

De acordo com a fórmula apresentada acima, as probabilidades de transição são expressas por meio de: [pic 2] segundo Fogliatti (2007, p. 25) “representam as probabilidades de passar do estado i para o estado n em qualquer intervalo de tempo de tamanho t”. Adotando-se o Teorema da Probabilidade Total, entende-se que:[pic 3]

 

Em um caso específico, em que v tenha sido considerado v=0, a fórmula de probabilidade “tomaria” seguinte forma: [pic 4] ou seja, o comportamento probabilístico seria completamente determinado, se o vetor das probabilidades [pic 5] juntamente com as probabilidades de transição tenham sido especificadas.

Cadeia de Markov Irredutível

Neste caso, já é possível ser observado um comportamento distinto do elucidado anteriormente, onde em uma cadeia homogênea todo estado pode ser alcançado a partir dos demais. Para este tipo de cadeia denomina-se irredutível, Fogliatti (2007, p. 26) acrescenta que: “quando t tende a infinito, sempre existe e independe do estado i”. Resultando em “onde Pn, denominada distribuição limite, é a probabilidade do sistema estar no estado n”. Deste modo:  

[pic 6]

Portanto, existe um regime estacionário em um tempo t em que as características se mantêm estáveis:

[pic 7]

Processo de Nascimento e Morte

Segundo Fogliatti (2007, p. 26) “Uma cadeia de Markov homogênea, irredutível, de parâmetro contínuo, é denominada processo de nascimento e morte (Birth-Death Process)”, somente se houver algumas mudanças permitidas por um determinado estado n, ou seja, n + 1 para todo n, representa um nascimento e n – 1, n > 0, uma morte. Tal processo de nascimento e morte será representado na imagem abaixo:

[pic 8]

 Novamente, segundo Fogliatti (2007 p. 27), algumas hipóteses devem ser consideradas a respeito desse processo de nascimento e morte:

[pic 9] 

[pic 10]

Processo de Poisson

“É uma cadeia de Markov de parâmetro contínuo onde a única mudança permitida a partir de qualquer estado n é para o estado n + 1 e se processa com uma taxa constante” (FOGLIATTI, 2007 p. 35).

[pic 11]

  Para o processo de Poisson, as hipóteses 1 e 2, tais hipóteses 3a) e 3c) que seriam expressas como:

[pic 12] 

Segundo Fogliatti (2007, p. 37), “O processo de Poisson pode ser descrito de forma equivalente pela caracterização do tempo entre mudanças sucessivas como uma variável aleatória exponencial: seja T a variável aleatória que representa o tempo entre ocorrências sucessivas em um Processo de Poisson de taxa λ, e seja N(t) a variável aleatória que representa o número de ocorrências num intervalo de tempo de comprimento t”.

...