DEFINIÇÃO DE UMA CADEIA DE MARKOV

[pic 1]

CADEIAS DE MARKOV

[pic 2]

Referência:

TAHA, H. A. Pesquisa operacional. 8.ed. São Paulo:

Pearson; Prentice Hall, 2007.

Capítulo 17

Prof. Luiz Phillipe Mota Pessanha

---

DEFINIÇÃO DE UMA CADEIA DE MARKOV[pic 3]

• Seja X uma variável aleatória que caracteriza =o 1,2,estado… de um sistema em pontos discretos do tempo

• A família de variáveis aleatórias [ ] forma um processo estocástico.

• O número de estados em um processo estocástico pode ser finito ou infinito.

---

DEFINIÇÃO DE UMA CADEIA DE MARKOV[pic 4]

EXEMPLO – Manutenção de Máquinas:

A        condição        de        uma        máquina        na        ocasião        da        manutenção

preventiva mensal é caracterizada como razoável, boa ou ruim. Para o mês , o processo estocástico para essa situação pode ser

representado como:	0,   çã
=	1,   çã  á
	2,   çã
onde,  = 1,2, …

A variável aleatória é finita porque representa três estados.

---

DEFINIÇÃO DE UMA CADEIA DE MARKOV[pic 5]

• Um processo estocástico é um processo Markov se a ocorrência de um estado futuro depender somente do estado imediatamente

precedente.				…  ,
• Dados  os	tempos   ,	diz-se  que  a  família	de  variáveis
possuir as		$	= {&", &', … , &#}
aleatórias		!	"	#		é	um	processo  de	Markov  se
	seguintes propriedades:
			)  $	= &#		$*+ = &#,"}
• Em  um	processo  markoviano  com		estados	(resultados)
								ponto específico do tempo
exaustivos, as probabilidade em um					=
0, 1, 2, … são habitualmente expressas por:
-./ = )	= 0	," = },		, 0	= 1,2, … ,  = 1,2, … , 1

[pic 6][pic 7][pic 8][pic 9]

---

DEFINIÇÃO DE UMA CADEIA DE MARKOV[pic 10]

definição,				− 1		0		.
• Isso  é  conhecido  como  probabilidade  de  transição  em  uma
etapa de	passar  do estado		em		ao  estado		em	Por
	4 -./ = 1 ,  = 1,2, … ,
	-.// ≥ 0,	, 0 = 1,2, …

[pic 11]

• Uma maneira conveniente de resumir as probabilidades de transição em uma etapa é usar a seguinte notação matricial:

[pic 12]

• A matriz P define a denominada cadeia de Markov.

---

O PROBLEMA DO JARDINEIRO[pic 13]

Anualmente no início da estação de plantio (março a setembro), um jardineiro usa um teste químico para verificar as condições do solo. Dependendo do resultado do teste, a produtividade para nova estação se classifica como: (1) bom; (2) razoável e (3) ruim. Ao longo dos anos, o jardineiro observou que a condição do solo no ano anterior causava um impacto sobre a produtividade do ano corrente e que a situação poderia ser descrita por:

...