Proceso Esto Cast i Cos
Transcript of Proceso Esto Cast i Cos
-
8/13/2019 Proceso Esto Cast i Cos
1/116
-
8/13/2019 Proceso Esto Cast i Cos
2/116
-
8/13/2019 Proceso Esto Cast i Cos
3/116
Introduccin.
La palabra estocstico es sinnimo de aleatorio, los procesos estocsticos sonmodelos matemticos que estudian los fenmenos aleatorios que evolucionan en eltiempo, se puede describir estos fenmenos por medio de una coleccin de variablesaleatorias, los procesos estocsticos estudian esta coleccin, de variables desde el puntode vista de su interdependencia y su comportamiento lmite. La aplicacin de losprocesos estocsticos abunda en la naturaleza, se presentan en; la Medicina, Biologa,Economa, Comunicacin, por citar slo algunas reas, es una herramienta muy tilpara modelar aquellos problemas en los que se involucre la aleatoriedad, a travs deltiempo.
La inquietud por desarrollar este trabajo radica en que a pesar de que en laactualidad se pueden encontrar libros muy completos respecto al tema,desgraciadamente en el pas no contamos con este tipo de libros, que hablenespecficamente del tema y que sean adecuados a los estudios que se desarrollan en lacarrera, esta situacin hace que el estudio de una materia, que si de por s, por ellamisma guarda un grado de dificultad alto, al no contar con material bibliogrficoaccesible, la hace an ms difcil, problema que personalmente me toco experimentar, yahora, que he tenido la oportunidad de dar el curso, lo encontr tambin en misalumnos.
Dado el gran desarrollo que ha tenido la teora de los procesos estocsticos, esprcticamente imposible incluir toda la teora en un solo trabajo, por lo que el objetivocentral del presente trabajo es que sea un material de apoyo, que cubra lo que se ve enun curso de procesos estocsticos en la carrera de Actuara, procurando mantener unnivel terico que est de acorde con el nivel matemtico de licenciaturas con perfilmatemtico y sirva de introduccin a este campo tan extenso de los procesosestocsticos.
Los conocimientos que se requieren para poder comprender el trabajo son;conocer los fundamentos de la teora de la probabilidad, del clculo y lgebra matricial.
Se recomienda hacer hincapi en los conceptos de probabilidad condicional.
En el primer captulo, se ven las definiciones bsicas de los procesosestocsticos, en este captulo tambin se ve la teora fundamental relacionada con dostipos de procesos muy importantes, el proceso Poisson y Bernoulli, el primero tieneespacio de tiempo continuo y el otro su espacio de tiempo es discreto, considero queempezar con estos dos tipos de procesos ayudan a entender mejor el concepto de loque es un proceso estocstico, la teora que lo rodea y lo ms importante, como
III
-
8/13/2019 Proceso Esto Cast i Cos
4/116
IV
modelar problemas que involucren procesos estocsticos, ambos son procesos sencillosde comprender y muy tiles.
Los procesos estocsticos que cumple la propiedad de Markov, son procesosmuy importante en el estudio de los procesos estocsticos, las cadenas de Markov son
de este tipo de procesos y es el tema que se analiza en el captulo 2, ah se desarrolla lateora referente a las cadenas de Markov, se define la propiedad de Makov, se analizanlos conceptos de distribucin inicial, estado absorbente, estado transitorio y estadorecurrente, se exponen los elementos tericos para el manejo de distribucionesestacionarias en las cadenas de Markov.
En el captulo tres se presenta la teora general de los procesos de Markov, queson procesos que cumplen con la propiedad de Markov, la diferencia con las cadenas deMarkov es, que en los primeros se considera el espacio del tiempo discreto y en estos seconsidera el espacio del tiempo continuo. Adems se expone la relacin que hay entrelas cadenas de Markov y los procesos de Markov, as como una serie de aplicaciones delos procesos de Markov a los sistemas de colas por medio de los procesos denacimiento y muerte.
En cada uno de los captulos se incluyen una serie de ejemplos para comprendermejor cada uno de los conceptos que se manejan.
-
8/13/2019 Proceso Esto Cast i Cos
5/116
-
8/13/2019 Proceso Esto Cast i Cos
6/116
2 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
siempre representa unidades de tiempo lo es el ejemplo 1.2. As como el espacioparametral puede ser discreto o continuo, el espacio de estados tambin lo es.
Ejemplo 1.4. Sea X( t ) = ( X1( t ), X2( t )) , donde X( t ) representa la temperaturamxima y mnima de algn lugar en el intervalo de tiempo de ( 0, t).
De este ejemplo podemos ver que el proceso Xtpuede ser el resultado de unexperimento un vector, es decir, el proceso puede ser multidimensional. Tambinpodramos tener un espacio parametral multidimensional, veamos el siguiente ejemplo.
Ejemplo 1.5.Para un proceso estocstico que es la profundidad del mar en la posicin x
en el instante ,Xtes tal que, t= (, x) con Ry xX, donde Xrepresenta elconjunto de las referencias geogrficas para todo el mar. Aqu t no es solamente eltiempo, sino una combinacin de las coordenadas de tiempo y espacio, aqu el espacio
de estados es S= [ 0, ), donde la profundidad es 0 cuando quede expuesto el lecho
del ocano y no existe lmite para la altura que puedan alcanzar las olas, por supuesto,no se formarn olas de altura infinita.
Aqu nicamente analizaremos procesos de tipo unidimensional, en los cualespodemos tener cuatro tipos de procesos:
a) Tiempo discreto y espacio de estado discreto.b) Tiempo discreto y espacio de estados continuo.c) Tiempo continuo y espacio de estados discreto.d) Tiempo continuo y espacio de estados continuo.
1.2. Procesos Bernoulli.
Definicin 1.2.El proceso estocstico {Xn ; nN} es unproceso Bernoulli si satisface
a) X1, X2, son independientes y
b) P{Xn= 1 } =p, P{Xn= 0 } = 1 p= q para todo n.
Al eventoXn= 1, lo llamaremos xito y al eventoXn= 0, fracaso.
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
7/116
Captulo 1 1.2. Procesos Bernoulli 3________________________________________________________________________________
Definicin 1.3.Sea {Xn ; nN} un proceso Bernoulli, con probabilidad de xitop, elnmero de xitos en el n-simo ensayose define como
Nn=
1 2
0 si
si 1, 2,n
n
X X X n
=
+ + + =
0
EntoncesNnes el nmero de xitos en los primeros nensayos, yNn+mNnes el
nmero de xitos en los ensayos n +1, n +2, , n + m. Como podemos ver {Nn; n=0, 1, 2, }define un proceso estocstico, con espacio de estados y tiempo discreto {0,1, 2, }.
De la definicin de proceso Bernoulli, tenemos que las Xnse distribuyen comouna Bernoulli con parmetrop(Bernoulli(p)) y lasXnson independientes y la suma devariables aleatorias independientes Bernoulli se distribuye como una binomial con
parmetro n y p (b(n, p)), entonces Nn es una suma de variables aleatoriasindependientes Bernoulli, con lo que podemos enunciar el siguiente resultado.
Teorema 1.1. Para n= 0, 1, 2,
a) P{Nn= k} =n
k
}
pkqnk, k= 0, 1, ,n
b) E[Nn] = np
c) V[Nn] = npq.
El uso de probabilidad condicional en la prueba del siguiente resultado ilustra unade las principales tcnicas usadas en el estudio de los procesos estocsticos.
Teorema 1.2.Para n, k{0, 1, 2, }
P{Nn+1= k} =pP{Nn= k 1} + qP{Nn= k}
Demostracin.
Usando el teorema de la probabilidad total.
P{Nn+1= k} = 1{ | } {n n nj
P N k N j P N j + = = =Dado que {X1, ,Xn} es independiente de Xn+1, tenemos que Nnes independientedeXn+1 y comoNn+1=Nn+Xn+1 , es decir,
-
8/13/2019 Proceso Esto Cast i Cos
8/116
4 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
P{Nn+1= k,Nn=j}= P{Nn+Xn+1= k,Nn=j}
= P{Xn+1= kj,Nn=j}
= P{Xn+1= kj}P{Nn=j}con lo que
P{Nn+1= k|Nn=j} = P{Xn+1= kj} =
si 1
si
0 cualquier otro caso
p j k
q j k
=
=
de aqu, tenemos
P{Nn+1= k} =pP{Nn= k 1}+ qP{Nn= k}.
Teorema 1.3.Para algn m, n{ 0, 1 2, }
P{Nm+nNm= k|N0, ,Nm} = P{Nm+nNm= k} =n
k
pkqn k, k= 0, 1, ,n
Demostracin.
Las variables aleatoriasN0,N1, ,Nm estn completamente determinadas porlas variables X1, X2, , Xm , por definicin de Nn e inversamente las variablesaleatorias X1, X2, , Xm estn completamente determinadas por N0, , Nm, porejemploXm=NmNm1. Luego entonces
P{Nm+nNm= k|N0, ,Nm} = P{Nm+nNm= k|X1, ,Xm}
tenemos que Nm+n Nm= Xm+1 +Xm+2 + +X m+n y {Xm+1, Xm+2, , Xm+n} esindependiente de {X1, , Xm}, lo que significa que Nm+n Nmes independiente de{X1, ,Xm} as llegamos al resultado.
P{Nm+nNm= k|N0, ,Nm} = P{Nm+nNm= k|X1, ,Xm}= P{Nm+nNm= k}
ahora bienNm+nNm=Xm+1+Xm+2+ +Xm+nes la suma de nvariables aleatoriasBernoulli(p) independientes e idnticamente distribuidas, lo que significa que es unavariable aleatoria binomial con parmetro nyp, es decir,
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
9/116
Captulo 1 1.2. Procesos Bernoulli 5________________________________________________________________________________
P{Nm+nNm= k} =n
k
k
1n j
0
pkqn-k, k= 0, 1, ,n
De este teorema podemos ver que la variable aleatoria paracualquier k{1, 2, ... ,j } tal que n
1kn nN N N kcumpla con n0= 0 < n1< n2< < nj ,
es independiente de { , , }, a continuacin enunciamos este resultado.1k kn nN
0nN
2knN
Corolario 1.3.1 Sea n0 = 0 < n1 < n2 < < nj son enteros, entonces las variables
aleatorias , , , son independientes.1 0n nN N 2nN N 1nN jnN
En el teorema 1.3 se prob queNm+nNmes independiente deN0, , Nm, enla demostracin no se hizo ninguna referencia a la distribucin de lasXnnicamente se
considero su independencia. De esta forma podemos decir que el corolario 1.3.1 secumple para algn proceso estocstico {Mn ; n= 0, 1, } definido por
Mn=1 2
0 si
si 1, 2,n
n
Y Y Y n
= + + + =
con Y1, Y2, ,Yn , variables aleatorias independientes
Un proceso estocstico que cumple con
P{Nm+nNm= k|N0, ,Nm} = P{Nm+nNm= k}
o con el corolario 1.3.1, es unproceso estocstico con incrementos independientes.
Si para el proceso {Mn ; n = 0, 1, } definido anteriormente, las variablesaleatorias Y1, Y2, ,Yn a parte de la independencia entre ellas son idnticamentedistribuidas, entonces la distribucin de los incrementosMn+sMsno depende de s, sedice entonces, {Mn} es estacionario con incrementos independientes.
Regresando al proceso Bernoulli, tenemos el siguiente resultado.
Teorema 1.4. Sea Z una variable aleatoria que depende de un nmero finito de
variables aleatoriasNm,Nm+1,; es decir,
Z=g(Nm,Nm+1, ,Nm+n)
para alguna ny alguna funcing. Entonces
-
8/13/2019 Proceso Esto Cast i Cos
10/116
6 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
E[Z|N0,N1,,Nm] =E[Z|Nm]
Demostracin.
Dado queNm+1= Nm+ Xm+1 , , Nm+n= Nm+ Xm+1+ + Xm+n, hay unafuncin htal que
Z=g(Nm,Nm+1, ,Nm+n) = h(Nm,Xm+1,,Xm+n)
As
E[Z|N0,N1, ,Nm] = ( ) {1 1 1, , , , , , | , ,n m m m n n k
h k i i P N k X i X i N N + += = =i
}0 m
m
)n
la segunda suma es sobre toda las n-uples i= ( i1, , in) de ceros y unos. Dado que{Xm+1, , Xm+n} es independiente de {X1, , Xm}, tambin {Xm+1, , Xm+n} esindependiente deN0,N1, ,Nmque son determinadas por {X1, ,Xm}. Entonces
P{Nm= k,Xm+1= i1, ,Xm+n= in|N0, ,Nm }
= P{Xm+1= i1, ,Xm+n= in}P{Nm= k|N0, ,Nm}
= (i1) (in)P{Nm= k|N0, ,Nm},
donde (i) = P{Xn= i} =po q si i= 1 o i= 0 respectivamente. Por otro lado
P{Nm= k|N0, ,Nm} =E[ I{k}(Nm)|N0, ,Nm]
= I{k}(Nm) = .1 si
0 cualquier otro caso
mk N=
Tenemos que
E[Z|N0,N1, ,Nm] = ( ) { }( )1 1, , , ( ) ( )n n kk
h k i i i i I N i
E[ Z|N0,N1, ,Nm] = =f (N( )1 1, , , ( ) ( m nh N i i i i i
m)
independiente deN0, ,Nm1 , esto significa
E[ Z|N0,N1, ,Nm] = f (Nm) = E[ Z|Nm]
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
11/116
Captulo 1 1.2. Procesos Bernoulli 7________________________________________________________________________________
El teorema anterior lo satisfacen varios procesos con una estructura menoscompleja, tales procesos son llamados cadenas de Markov, del estudio de estosprocesos nos ocuparemos en el siguiente captulo.
Definicin 1.4. Sea {Xn; n= 1, 2, } un proceso Bernoulli con probabilidad de xitop, consideremos una realizacin del proceso X1, X2, , Xn , esta es una secuencia deunos y ceros, denotemos por T1, T2, , los ndices correspondientes a los sucesivosxitos, a los Tkse les llama los tiempos de xitos.
Ejemplo 1.6.Si
X1 = 1,X2= 0,X3 = 0,X4= 1,X5= 1,
Es una realizacin del proceso, entonces T1 = 1, T2= 4, T3= 5, ,es decir, Tk es elnmero del evento en el que ocurri el k-simo xito.
Supongamos que para una realizacin del proceso el k-simo xito ha ocurrido
antes de n-simo evento, esto es Tkn, entonces el nmero de xitos en los primeros neventos debera ser al menos k, esto significa que Nnk, e inversamente si Nnkentonces Tk n.
Otra relacin entre los tiempos de xitos y el nmero de xitos es; si Tk = nsignifica que en esta realizacin hay exactamente k 1 xitos en los primeros n 1eventos y un xito ocurre exactamente en el n-simo evento, es decir, Nn-1= k 1 yXn= 1 e inversamente si Nn-1 = k 1 y Xn = 1 entonces Tk = n. A continuacin
enunciamos estas dos relaciones.
Lema 1.1. Sea X1, X2, , Xn una realizacin del proceso k = 1, 2, y n k,tenemos que
a) Tkn si, y slo siNnk
b) Tk= n si, y slo siNn1 = k 1 yXn= 1.
Teorema 1.5.Para alguna k N
a) P{Tkn} = n= k, k+1, .,n
j n j
j k
np q
j
=
b) P{Tk= n}= p1
1
n
k
kqn k, n= k, k+1, .
-
8/13/2019 Proceso Esto Cast i Cos
12/116
8 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
Demostracin.
a) Para k Ny nk, por el lema 1.1 el evento { Tkn } es igual al evento {Nn k },entonces
P{Tkn} = P{Nnk} = { }n
nj k
P N j=
=
por el teorema 1.1
P{Nn= k} = n
k pkqn k, k= 0, 1, ,n
es decir,
P{Tkn}= , , 1, .n
j n j
j k
np q n k kj
=
= +
b) Por el lema 1.1 el evento {Tk= n} es igual al evento {Nn 1= k 1 ,Xn= 1}, pordefinicin, el procesoNn-1 es independiente deXn= 1. Entonces
P{Tk= n} = P{Nn-1= k 1,Xn= 1}
= P{Nn 1= k 1} P{Xn= 1}
=1
1
n
k
.
p k 1 qn k p = p1
1
n
k
kqn k
El teorema anterior nos da informacin muy importante sobre la estructura del
proceso {Tk, k= 1, 2, } pero veamos otros resultados concernientes a la estructurade este proceso.
Teorema 1 6. Sea T0= 0 y T1, T2, los tiempos del primer xito, segundo xito, de un proceso Bernoulli {Xn; nN} con probabilidad de xitop, para alguna k{0,1, },
P{Tk+1= n| T0, , Tk} = P{Tk+1= n| Tk}.
Demostracin.
Para algn k,n y enteros 0 = a0< a1< < ak= a, sea
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
13/116
Captulo 1 1.2. Procesos Bernoulli 9________________________________________________________________________________
f(a0, a1, , ak) = P{Tk+1= n| T0= a0, T1= a1, , Tk= ak}
si n ak = a, entonces la probabilidad condicional es cero, si n> ak= a , Tk= a yTk+1=n , lo que significa queXa+1= 0, ,Xn 1= 0,Xn= 1. Entonces
f(a0, a1, , ak) = P{Xa+1= 0, ,Xn 1 = 0,Xn= 1} =pqn-1-a
hemos llegado a que
P{Tk+1= n| T0= a0, T1= a1, , Tk= ak}= (1.1)10 si {
si { },kk
n Tk
T n
pq T n
-
8/13/2019 Proceso Esto Cast i Cos
14/116
10 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
b) V[ Tk+1 Tk] = 2q
p.
1.3 Procesos Poisson.
Definicin 1.5. Un proceso estocstico {Nt ; t 0}, de tiempo continuo y valoresenteros, es un proceso de conteo si Nt representa el nmero total de eventos que hanocurrido hasta el tiempo t.
A partir de la definicin anterior podemos ver que un proceso de conteo debe
de cumplir con:
a) Nt0b) Nt es un valor entero
c) sis t, entoncesNsNtd) para s < t, Nt Ns es igual al nmero de eventos que han ocurrido en el
intervalo ( s, t].
Un proceso de conteo se dice que tiene incrementos independientes, si el nmero deeventos que ocurren en intervalos disjuntos son independientes. Por ejemplo esto
significa que Nt + h Nt con h> 0 es independiente de {Nu; ut} para toda t.
Un proceso de conteo se dice que tiene incrementos estacionariossi el nmero deeventos en el intervalo ( t+h, s+ h ] tiene la misma distribucin que el nmero deeventos en el intervalo ( t, s ] para todo t< s, y h> 0, o bien, se puede decir que unproceso de conteo cuya distribucin del nmero de eventos que ocurren en unintervalo, depende nicamente de la longitud del intervalo, se le dice que poseeincrementos estacionarios.
A continuacin vamos a definir al proceso Poisson, hay varias definiciones pero
todas son equivalentes, daremos una que nos da una buen informacin sobre laestructura probabilstica del proceso.
Definicin 1.6. Sea {Nt ; t 0} un proceso de conteo, dondeN( t, t + h) ( oNt + h Nt ) es el nmero de eventos o llegadas que ocurren en el intervalo (t, t + h ] y
Nt:=N[0, t]. Entonces {Nt ; t 0} es unproceso Poissoncon parmetro si
1) P{N( t, t + h) = 0} = 1 h+ o( h)
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
15/116
Captulo 1 1.3. Procesos Poisson 11________________________________________________________________________________
2) P{N( t, t +h) = 1} = h + o( h)
3) P{N( t, t + h) 2 } = o( h)
4) Para toda t y h>0,N( t, t + h) es independiente de {Nu; ut}
5) Tiene incrementos estacionarios
Aqu o( h) es una funcin tal que
( )o h
h0 cuando h0.
En la definicin anterior tambin hay que considerar queN0= 0.
Sea t0 R+0 y Z el tiempo de espera hasta la prxima llegada despus deltiempo t0,
P{x} = P{Z> x},
entonces
P{x+ h} = P{ Z> x+ h} = P{ Z> x,N( t0+x, t0+ x+ h) = 0}
de la definicin de probabilidad condicional
= P{N(t0+x, t0+ x+ h) = 0 | Z> x}P{ Z> x} (1.2)
Ahora bien Z> x si, y slo si, N(t0 , t0+ x ) = 0, pero N(t0+ x , t0+ x+ h ) esindependiente de N(t0 , t0 + x ) por la propiedad 4 de la definicin 1.6, entonces laecuacin 1.2 es equivalente a
P{x+ h} = P{N( t0+x, t0+ x+ h) = 0 }P{x}
= (1 h + o( h))P{x}
entonces
P{x+ h} P{x} = ( h)P{x}+ o( h)P{x}
lo dividimos entre hy tomamos h0, obtenemos
-
8/13/2019 Proceso Esto Cast i Cos
16/116
12 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
P{x} =0
{ } {limh
P x h P x
h
+ }= P{x}
Esta ecuacin diferencial tiene la solucin
P{x} = P{0} ex .
Pero P{0} = P{Z> 0} = 1 ya que la probabilidad de dos llegadas al mismo tiempo es
P{N( t, t + h) 2 } = o( h)
y dado que h0,
P{N( t, t + h) 2 } = 0
es decir,
P{ Z= 0 } = 0
y si obtenemos su complemento P{Z> 0} = 1 P{ Z= 0 }. Entonces
P{x} = ex
con esto hemos demostrado el siguiente resultado.
Teorema 1.7. Z se distribuye como una exp() (exponencial con parmetro ),independiente de t0.
As como para un proceso Bernoulli, tenemos los tiempos de xito, para un
proceso Poisson, tenemos el siguiente concepto totalmente equivalente, si {Nt ; t0}es un proceso Poisson con parmetro denotaremos por T1, T2, , los tiempos dellegada, correspondientes a los sucesivos arribos.
Como vimos anteriormente para t0R+0 y Z el tiempo de espera hasta laprxima llegada despus del tiempo t0,
P{x} = P{Z > x} = ex ,
la probabilidad de que el tiempo de llegada del primer suceso sea mayor a x sera;
P{T1> x} = ex
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
17/116
-
8/13/2019 Proceso Esto Cast i Cos
18/116
14 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
P0{t} = P{Nt= 0 } = P {Z> t } = P{t}
y por eso
P0{t} = et
Ahora bien por los incisos 4 y 5 de la definicin 1.6
Pm{t +h} = Pm{t}P0{h} + Pm1{t}P1{h} + 2
{ } { }m
m i ii
P t P h =
a partir de i= 2, tenemos
Pm2{ t }P2{ h } = P{Nt= m 2 }P{Nh= 2 }
por la propiedad 3 de la definicin 1.6
= P{Nt= m 2 }o( h) ,
es decir, podemos hacer
2
{ } { }m
m i i
i
P t P h= = o(h)
quedndonos
Pm{t+h} = Pm{t}P0{h} + Pm1{t}P1{h} + o(h)
Usando la propiedad uno y dos de la definicin 1.6
Pm{t+h} = Pm{t}(1 h+ o(h) ) + Pm1{t}( h+ o(h) ) + o(h)
Pm{t+h} Pm{t} = hPm{t} + hPm1{t} + o(h)
Entonces si dividimos todo entre hy tomamos el lmite cuando h0
'mP {t} = Pm{t} + Pm1{t}
tambin sabemos que
Pm{0} = P{N0= m} = 0 para m= 1, 2, . ( 1.4 )
Ahora definamos
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
19/116
Captulo 1 1.3. Procesos Poisson 15________________________________________________________________________________
Qm{t} = Pm{t}et. (1.5)
Entonces la ecuacin
'mP {t} = Pm{t} + Pm1{t}
usando la ecuacin 1.5 nos queda como
-etQm{t} + et'mQ {t} = -e
tQm{t} + Qm1{t}et
dividiendo todo entre et nos queda
-Qm{t} + {t} = -Q'mQ m{t} + Qm1{t}
llegamos a
'mQ {t} = Qm1{t}.
Resolviendo recursivamente:
Q0{t} = P0{t}et= etet= 1
'1Q {t} = Q0{t} = de aqu Q1{t} = t+ c.
haciendo t= 0, en la ecuacin 1.5
Q1{0} = P1{0}e0= c
por la ecuacin 1.4 P1{0} = 0, tenemos queQ1{0} = 0 lo que significa que c = 0 asque
Q1{t} = t
ahora'2Q {t } = Q1{ t } = t
2
Q2{t} =2 2
2
t+ c
Por otro lado tenemos que Q2{0} = P2{0}e0= 0 , luego entonces c = 0 y nos quedaque
-
8/13/2019 Proceso Esto Cast i Cos
20/116
16 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
Q2{t} =2 2
2
t
y as podemos seguir sucesivamente hasta llegar a
Qm{t} =
!
m mt
m.
De la ecuacin 1.5
Pm{t} =
!
m mtt
em
.
Es decir, queNtse distribuye como una Poisson con parmetro t (Po( t)).
Teorema 1.10.Ntse distribuye como una Po( t).
Corolario 1 10.1.
a) E[Nt] = t
b) V[Nt] = t
Definicin 1.7. tN
tes el tiempo de intensidad.
Del corolario 1.10.1 tenemos que el valor esperado del tiempo de intensidad es
tNEt
t
= ,
se le llama intensidad.
Por otro lado tenemos por definicin que los incrementos de las llegadas sonindependientes, es decir, para 0 = t0< t1< < ti< < tk = t , es
independiente de N
k kt s tN N+
k kt s tN N+ u; u tk , para s, u 0 esto significa que es
independiente de . Ya queNiu
N N t se distribuye como una Po( t) tenemos que
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
21/116
Captulo 1 1.3. Procesos Poisson 17________________________________________________________________________________
kt s tN N+ k
.
se distribuye Po( s ) esto significa que a cualquier tiempo empieza otro
proceso Poisson.
Corolario 1 10.2.Sea {Nt; t0 } un proceso Poisson con intensidad . Entonces paraalguna s, t0,
P{Nt+sNt = k|Nu; ut} = P{Nt+sNt = k }
=( )
!
k ss e
k
, k= 0, 1, .
Teorema 1.11. Sea Ltun proceso Poisson con intensidad yMtes un proceso Poisson
con intensidad , ambos procesos son independientes. Si definimos a Nt= Lt + Mt,entoncesNt es un proceso Poisson con intensidad + .
Demostracin.
Tenemos que probar que Nt cumple con la definicin de un proceso Poisson,probaremos nicamente la propiedad dos y la propiedad cuatro, la uno y la tres soninmediatas a partir de probar la propiedad dos y la cinco es semejante a la cuatro.
P{N( t, t+ h) = 1 } = P{ L( t, t+ h) +M( t, t+ h) = 1}
= P{{L( t, t+ h) = 1 y M( t, t+ h) = 0 } {L( t, t+ h) = 0 y M( t, t+ h) = 1}}
como ambos eventos son excluyentes y adems, Lt yMt,son independientes, tenemosque
P{N(t, t + h)= 1}
= P{L(t, t + h)= 1}P{M(t, t + h)= 0}+ P{L(t, t + h)= 0}P{M(t, t + h)= 1}
= ( h+ o( h) ) ( 1 h+ o( h) ) + ( 1 h+ o( h) ) ( h+ o( h) )
= h- h2+ ho(h) + o( h) - o( h) h+ o( h)o( h) +
h- h2+ ho(h) + o( h) - o( h) h+ o( h)o( h)
como podemos ver todo depende de o( h) excepto h y h, es claro ver que para h2si tomamos a o( h) = h2tenemos una funcin del tipo de o( h) luego entonces
-
8/13/2019 Proceso Esto Cast i Cos
22/116
18 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
P{N( t, t+ h) = 1 } = ( + ) h+ o( h)
con esto hemos probado queNtcumple la propiedad cuatro de un proceso Poisson.
Ahora hay que probar queN( t, t + h) es independiente de {Nu; ut}.Como Lt yMt, ambos son proceso Poisson cumplen que
L( t, t + h) es independiente de {Lu; ut} yM( t, t + h) es independiente de {Mu; ut}
Por definicin Lt yMtson independientes, lo que significa que
M( t, t + h) es independiente de {Lu; ut} yL( t, t + h) es independiente de {Mu; ut}
y por consiguiente
L( t, t + h) +M( t, t + h) es independiente de {Lu; ut} y {Mu; ut}
y por tanto L( t, t + h) +M( t, t + h) es independiente de {Lu+Mu; ut}, como sequera probar.
1.4 Ejercicios.
Ejemplo1.7. Un cierto componente en un sistema, tiene un tiempo de vida cuya
distribucin puede considerarse como ( m) =pqm 1, m1 . Cuando el componentefalla es remplazado por uno idntico. Sea T1, T2, denota el tiempo de falla;
Uk= Tk Tk1
es el tiempo de vida del k-simo componente remplazado. Dado que los componentesson idnticos,
P{ Uk= m} =pqm 1, m1
y los componentes tienen tiempos de vida independientes, as tenemos que { Tk} lopodemos considerar los tiempos de xito de un proceso Bernoulli. Si sabemos que los
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
23/116
Captulo 1 1.4. Ejercicios 19________________________________________________________________________________
tiempos de las tres primeras fallas ocurren en los tiempos 3, 12 y 14, Cul es el tiempoesperado de la quinta falla?.
Por el teorema 1.6,
E [ T5 | T1, T2, T3] = E [ T5| T3].
Si hacemos T5= T3+ ( T5 T3), nos queda
E [ T5| T3] = E [ T3| T3] + E [T5 T3| T3]
= E [ T3| T3] + E [T5 T3]
Por el corolario 1.6.3, y haciendo T5 T3= T4 T3+ T5 T4
E [ T5| T3] = T3+2
p .
Lo que se quera calcular es:
E [ T5 | T1, = 3,T2= 12, T3= 14] = 14 +2
p.
Ejemplo 1.8.Considrese el proceso estocstico como la trayectoria de una partcula, la
cual se mueve a lo largo de un eje con pasos de una unidad a intervalos de tiempotambin de una unidad. Supngase que la probabilidad de cualquier paso que se tome ala derecha es py el que se tome a la izquierda es q= 1 p. Suponemos tambin quecualquier paso se da de manera independiente a cualquier otro. Este tipo de proceso esuna caminata aleatoria. Si la partcula esta en la posicin cero en el instante cero,determnese la probabilidad de que se encuentre en la posicin kdespus de npasos.
Definimos {Xn ; n N } como las variable aleatorias independientes, dondeXn= 1 si la partcula da el paso a la derecha yXn= 1 si el paso fue a la izquierda, cadauna con probabilidad
P{Xn= 1} =p y P{Xn= 1} = q .
Sea {Zn} un proceso estocstico, donde Zn es la posicin de la partcula en el tiempo
n, este proceso estocstico tiene un espacio de estados discreto con valores en { - , , -1, 0, 1, 2, , }, el tiempo n {0, 1, 2, }. Para n = 0 tenemos queinicialmente Z0= 0 . Despus de npasos
-
8/13/2019 Proceso Esto Cast i Cos
24/116
20 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
Zn=X1 +X2 + +Xn
se desea determinar el valor de
P{Zn= k| Z0 = 0 }
sea la variable aleatoria
Yi= i= 1, 2, , n.1 si 1
0 si
i
i
X
X
= = 1
0
Es decir, la Yi= (Xi+ 1 ), al ser las Xi independientes tenemos que tambin los son
las Yi, es decir, {Yn; nN} define un proceso Bernoulli (ver la definicin 1.2 ) , siNnes el nmero de xitos tenemos de la definicin 1.3, que
Nn=1 2
0 si
si 1, 2,n
n
Y Y Y n
=
+ + + =
en trminos de lasXi tenemos que
Nn= (X1+ 1 )+ (X2+ 1 )+ + (Xn+ 1 ) = (Zn + n)
Luego entonces
P{Zn= k| Z0 = 0 } = P{Zn = 2Nnn= k| Z0 =N0 = 0 }= P{Nn = ( k+ n) |N0 = 0 }
por el teorema 1.3
P{Zn= k| Z0 = 0 } = P{Nn = ( k+ n) }
=
( )1
2
n
k n
+
p (k+n) q (n k) , siempre que ( k+ n) = {0, 1, ,n }.
Tambin podemos calcular
E [Zn] = E [ 2Nnn]
= 2 E [Nn] n
= 2np n
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
25/116
Captulo 1 1.4. Ejercicios 21________________________________________________________________________________
= 2np n(p+q)
= n(p q) // p+q = 1 //
anlogamente
V[Zn] = V[ 2Nnn] = 4npq
Ejemplo 1.9. Hay un restaurante por el cual, los vehculos solo pueden llegar a el pormedio de la carretera, supngase que la llegada de vehculos al restaurante por el ladoderecho sigue una proceso Poisson con parmetro y las llegadas por el lado izquierdo
siguen un proceso Poisson con parmetro , luego del teorema 1.11 sabemos que elnmero de llegada al restaurante en vehculo sigue un proceso Poisson con parmetro
+.
Ejemplo 1.10. Un componente de un sistema, su tiempo de vida sigue una distribucinexp(). Cuando ste falla es inmediatamente reemplazado por uno idntico; y cuandoste falla es reemplazado inmediatamente por otro idntico, etc. Esto significa que los
tiempos de vida X1, X2, de los sucesivos componentes son independientes eidnticamente distribuidos con distribucin
P{Xnt} = 1 , t0.te
Supongamos que el costo de reemplazamiento del componente que falla es de
pesos y supongamos una tasa de inters de > 0, as que un peso gastado en untiempo ttrado a valor presente es . Si Tte 1 , T2 , , son los tiempos de las sucesivasfallas, entonces T1 =X1, T2=X1+ X2 , ; el tiempo de la n-sima falla es Tn, y elvalor presente del costo del reemplazamiento es . Sumando sobre todas las n,obtenemos el valor presente del costo de todos los futuros reemplazamientos; esto es
- nTe
C = -1
nT
n
e
=
A nosotros nos interesa calcular el valor esperado de C, que es,
E[ C ] = -
1
nT
n
E e
=
calculemos la esperanza, por el teorema 1.8. sabemos que los tiempos entre llegadas,son independientes e idnticamente distribuidas.
-
8/13/2019 Proceso Esto Cast i Cos
26/116
22 Nociones de los Procesos Estocsticos Captulo 1________________________________________________________________________________
- nTE e =( ) ( )2 1 11 -E n nT T T T Te e e
= ( ) ( )2 1 11 -E E E n n
T T T T Te e e
= 1-EnT
e
=
0
n
t te e dt
=( )
0
n
te dt
+
haciendo un cambio de variable
=0
+
n
ue du
=
+
n
luego entonces
E [ C ] = 1
+
n
n
=
= 0
+ +
n
n
=
= 1
+ 1+
= 1
++
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
27/116
Captulo 1 1.4. Ejercicios 23________________________________________________________________________________
= +
+
=
-
8/13/2019 Proceso Esto Cast i Cos
28/116
Captulo 2.
2.- Cadenas de Markov.
2.1. Introduccin.
Hay procesos estocsticos, tales que, la informacin de algn estado futuro
Xn+1, dado que se sabe la informacin de los estados pasadosX0 ,X1, , Xn 1 y delestado presenteXn, es independiente de los estados pasados y nicamente depende delestado presenteXn, por su forma de comportarse, estos procesos se aplican en diversasreas, aqu analizaremos aquellos que tienen un espacio parametral de tiempo discreto Ty un espacio de estadosE, finito o contable infinito.
Definicin 2.1. Un proceso estocstico {Xn , n T }, con espacio parametral detiempo discreto T y un espacio de estadosEfinito o contable infinito es una cadena deMarkovsi
P{Xn+1=j|X0= i0,X1= i1, ,Xn= i} = P{Xn+1=j|Xn= i } =pij.
pij es la probabilidad de transicin o de paso, del estado ien el tiempo n, al estadojenel tiempo n +1, es decir, pijes la probabilidad de transicin o de paso del estado ialestadojen un paso.
Sin prdida de generalidad tomaremos a T y E como subconjunto de losnmeros enteros.
Definicin 2.2. Si las pij no dependen de n, se dice que la cadena de Markov eshomognea.
La definicin 2.2 nos dice que
P{Xn+1=j|Xn= i } = P{Xm+1=j|Xm= i } =pij con mn.
supondremos siempre quepij no dependen de n. A pij=P{X1=j|X0= i } tambinlo podemos poner como
-
8/13/2019 Proceso Esto Cast i Cos
29/116
Captulo 2 2.1. Introduccin 25________________________________________________________________________________
P{X1=j|X0= i } = Pi{X1=j}
Las probabilidades de transicinpij satisfacen
pij0, i,j0 y .1ijj E
p
=
Podemos escribir todas las probabilidades de transicin del estado ien el tiempon, al estadojen el tiempo n +1, de la siguiente forma matricial
estados deXn+1
estados deXn = P
00 01 02
10 11 12
20 21 22
0 1 2
0
1
2
p p p
p p p
p p p
Pes la matriz de probabilidades de transicin.
Definicin 2.3. Una matriz Pse llama estocsticasi cada uno de sus elementos, pij0,i,j0 y , es decir cada uno de los elementos de la matriz es mayor o igual
que cero y en cada rengln su suma es uno.
1ijj E
p
=
Definicin 2.4. Una matriz Pse llama doblemente estocsticasi cada uno de sus elementos
pij0 , i,j0 , y1ijj E
p
= 1iji E
p
=
La definicin 2.4 nos dice que una matriz es doblemente estocstica si tanto suscolumnas como sus renglones suman uno.
Ejemplo 2.1.Supngase que la posibilidad de que el da de maana llueva slo dependede la situacin climatolgica de hoy y no de das previos, adems supongamos que si
llueve hoy, la probabilidad de que maana llueva es y si hoy no llueve, laprobabilidad de que llueva maana es , esto quiere decir que si hoy llueve, entoncesmaana no llover con probabilidad 1 y si hoy no llueve, la probabilidad de quemaana tampoco sera 1 , si consideramos que el estado 0 es que llueva y al estado 1
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
30/116
26 Cadenas de Markov Captulo 2________________________________________________________________________________
0
0
1
0
que no llueva, claramente bajo los supuestos que hemos hecho ste ejemplo es unacadena de Markov con la siguiente matriz de transicin,
P= 1
1
Ejemplo 2.2. Un apostador tiene $N , en cada juego que apuesta tiene la probabilidad pde ganar $1 o perder $1 con probabilidad 1 p, el jugador se retirar cuando se quedesin dinero o bien cuando haya duplicado su dinero original $N.
Si consideramos Xn como el dinero que tienen el apostador despus de la n-simavez que apuesta, Xn claramente es una cadena de Markov, ya que lo que va apostarnicamente depender del dinero que tenga actualmente y no de lo que haya jugado
antes, Xn tienen espacio de estados E= {0, 1 , 2, , 2N}, sus probabilidades detransicin son
pij = p con j= i+1 , i= 1, 2, , 2N 1
pij = 1 p con j= i 1, i= 1, 2, , 2N 1 y
p00 = p2N,2N= 1
los estados 0 y 2N son estados absorbentes, este concepto lo definiremos ms adelante,
de aqu obtenemos la siguiente matriz de transicin
P=
1 0 0 0 0 0
1 0 0 0 0
0 1 0 0 0 0
0 0 0 0 1 0
0 0 0 0 0 0
p p
p p
p p
Ejemplo 2.3. Sea {Xn ; n= 0, 1, } definido por
Xn=1 2
0 si
si 1, 2,n
n
Y Y Y n
= + + + =
-
8/13/2019 Proceso Esto Cast i Cos
31/116
Captulo 2 2.1. Introduccin 27________________________________________________________________________________
con Y1, Y2, , Yn , variables aleatorias discretas, independientes e idnticamentedistribuidas, con distribucin de probabilidad { pk ; k = 0, 1, 2, }. Dado queXn+1=Xn+ Yn+1 , tenemos que,
P{Xn+1 =j|X0,X1, ,Xn } = P{Yn+1 =jXn|X0,X1, ,Xn } =n
j Xp
Claramente nicamente depende de Xn . As tenemos que el proceso {Xn , n T }define una cadena de Markov con probabilidades de transicin
pij= P{Xn+1 =j|Xn =i} =pji
y matriz de transicin
P=
0 1 2 3
0 1 2
0 1
0
00 0
0 0 0
p p p p
p p pp p
p
Teorema 2.1. Sea {Xn; nT, n0} una cadena de Markov, para todo m, nT, conm, n0 y i0, i1, , im E
P{Xn+1= i1, ,Xn+m=im|Xn= i0 } = 0 1 1 2 1m mi i i i i i p p p Demostracin.
P{Xn+1= i1, ,Xn+m=im|Xn= i0 }
= P{Xn+2= i2, ,Xn+m=im|Xn= i0,Xn+1= i1}P{Xn+1= i1|Xn= i0 }
por ser {Xn; nT, n0} una cadena de Markov y por definicin de probabilidad de
transicin
= P{Xn+2= i2, ,Xn+m=im|Xn+1= i1}0 1i i
p
repitiendo el primer paso
= P{Xn+3 = i3, ,Xn+m= im|Xn+1 = i1,Xn+2= i2} P{X0 1i i
p n+2 = i2|Xn+1= i1}
=P{Xn+3 = i3, ,Xn+m= im|Xn+2= i2}0 1i i
p1 2i i
p
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
32/116
28 Cadenas de Markov Captulo 2________________________________________________________________________________
.
}=
y as sucesivamente hasta llegar a
P{Xn+1= i1, ,Xn+m=im|Xn= i0 } =0 1 1 2 1m mi i i i i i
p p p
Sea ( i) = P{X0= i} la distribucin inicial deXn .
Corolario 2 1.1. Sea {Xn; nT, n0} una cadena de Markov, la ley de distribucinde probabilidades del vector aleatorio ( X0 = i0, X1= i1, ,Xn=in) depende de lasprobabilidades de transicinpij y de la distribucin inicial, es decir,
P{X0 = i0, X1= i1, ,Xn=in} = (i0)0 1 1 2 1n ni i i i i i
p p p
Demostracin.
P{X0 = i0, X1= i1, ,Xn=in} = P{X1= i1, ,Xn=in|X0= i0 } P{X0= i0}
Del teorema 2.1 y de la definicin de distribucin inicial
P{X0 = i0, X1= i1, ,Xn=in}= (i0)0 1 1 2 1n ni i i i i i
p p p
Los para n, i,j0, son los elementos de la matriz .nijpnP
Teorema 2.2. Sea {Xn; nT, n0} una cadena de Markov, paramT, con m 0
P{Xn+m=j|Xn= i} =mijp
para todo i,jE .
Demostracin.
Demostremos por induccin.
Para m = 1, por definicin, esto es claro.Por hiptesis de induccin se cumple para m = l, ahora verifiquemos si se
cumple para m = l + 1.
P{Xn+l +1=j|Xn= i } = 1{ , |n l n l n k E
P X j X k X i + + +
= =
-
8/13/2019 Proceso Esto Cast i Cos
33/116
Captulo 2 2.1. Introduccin 29________________________________________________________________________________
= 1{ | , } { |n l n l n n l n k E
P X j X k X i P X k X i + + + +
= = = = }=
}=
}
}=
= 1{ | } { |n l n l n l n k E
P X j X k P X k X i + + + +
= = =
por hiptesis de induccin
= =lkj ikk E
p p lik kj
k E
p p
= 1lijp +
As que para una cadena de Markov, la probabilidad de transicin en mpasos sedefine como
P{Xn+m=j|Xn= i} = .mijp
Teorema 2.3. Sea {Xn; nT, n0} una cadena de Markov
P{Xn=j} = 0{ }nij
i E
P X i p
=para todojE .
Demostracin.
P{Xn=j }= 0{ ,n
i EP X j X i = =
= 0 0{ } { |ni E
P X i P X j X i
= =
por el teorema anterior
= 0{ }nij
i E
P X i p
=
Teorema 2.4. ( Ecuacin de Chapman Kolmogorov ) Sea {Xn; nT, n0} unacadena de Markov, para todo m, nT, con m, n0 e i,j E
n mijp + = n mik kj
k E
p p
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
34/116
30 Cadenas de Markov Captulo 2________________________________________________________________________________
}
}
}=
Demostracin.
= P{Xn mijp +
n+m=j|X0= i}
= 0{ , |n m mk E
P X j X k X i +
= = =
= 0 0{ | , } { |n m m m k E
P X j X k X i P X k X i +
= = = = =
= P X 0{ | } { |n m m m k E
j X k P X k X i+
= = =
=
m nik kj
k E
p p
Ejemplo 2.4.Del ejemplo 2.1, consideremos que = 0.7 (la probabilidad de que maanallueva dado que hoy llueve) y = 0.4 (la probabilidad de que maana llueva dado quehoy no llueva), entonces la matriz de transicin es:
P= 0.7 0.3
0.4 0.6
Cul es la probabilidad de que llueva en 4 das dado que hoy est lloviendo?
Tenemos que calcular , para obtenerlo calculemos la matriz de transicin ,luego entonces
400p
4
P
2P = P P = y0.61 0.39
0.52 0.48
= =4P 2P 2P0.5749 0.4251
0.5668 0.4332
por tanto la probabilidad de que llueva dentro de 4 das dado que est lloviendo hoy es0.5749.
-
8/13/2019 Proceso Esto Cast i Cos
35/116
Captulo 2 2.2. Clasificacin de estados. 31________________________________________________________________________________
2.2. Clasificacin de estados.
Definicin 2.5. Si la probabilidad es no cero para alguna n1 se dice que el estadoi lleva al estadojo tambin quejes alcanzadoo accesible desde el estado ise denota por
ij.
nijp
Definicin 2.6. Se dice que los estadosi, jse comunicansi ij y ji , se denotapor i j.
Definicin 2.7. Una cadena de Markov es irreduciblesi todos los estados se comunican.
La definicin anterior nos dice que una cadena de Markov es irreducible si cadaestado es alcanzado desde cualquier otro, en algn nmero de pasos.
Teorema 2.5. La comunicacin es simtrica y transitiva es decir para estados i,j y k,
1) i j j i2) si i j y j k i k
Demostracin.
1) se cumplen inmediatamente a partir de la definicin, probemos 2).
Si i j entonces existe n1> 0, > 0 y1nijp
j k entonces existe n2> 0 , > 02njkp
usando Chapman Kolmogorov
1 2n nikp + = >0,1 2n nir rk
r E
p p 1nijp 2njkp
lo que significa que si existe un n3tal que
3nikp > 0 .
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
36/116
32 Cadenas de Markov Captulo 2________________________________________________________________________________
Definicin 2.8.Un estadojque se comunica nuevamente con l, jj , se dice que esun estado de retorno, es decir, jes un estado de retornosi >0, para alguna n1.njjp
Definicin 2.9. Dado un estado j una clase de comunicacinEj es definida como el
conjunto de todos los estados klos cuales se comunican con j; es decir
kEj si, y slo si kj.
Podra pasar que Ej sea un conjunto vaco, es decir, que puede existir un estado jque no se comunica ni con el mismo,jes un estado de no retorno.
Teorema 2.6. Si E1 y E2 son dos clases de comunicacin, entonces E1 y E2 sondisjuntos.
Demostracin.
Si para un estado que est tanto en E1 como en E2, significa que E1 = E2,habremos probado que son disjuntos.
Supongamos queE1yE2 tienen un estado ien comn. Sean jy kdos estadostales que E1=EjyE2=Ek, probemos queEj=Ek.
Verifiquemos primero que Ej Ek sea hEj, dado que hj y j i ,entonces h i, como ik entonces hk, se cumple que Ej Ek,, anlogamentepodemos probar queEkEj, lo que significa queE1=E2 cuando tienen un estado encomn.
Con la definicin de clase de comunicacin, tenemos que una cadena de Markoves irreducible si la cadena consiste de una sola clase de comunicacin.
Podemos entonces decir que todo estado j en una cadena de Markov o bienpertenece a una clase de comunicacin o es un estado de no retorno. Podemosenunciar el siguiente resultado.
Teorema 2.7. El conjunto de estados E de una cadena de Markov puede escribirse
como la unin de un finito o contable infinito, de conjuntos disjuntosEr,
E=E1 E2 Er y EiEj= para i j,
Donde cada conjunto Er es una clase de comunicacin o contiene exactamente unestado de no retorno.
-
8/13/2019 Proceso Esto Cast i Cos
37/116
Captulo 2 2.2. Clasificacin de estados. 33________________________________________________________________________________
Cuando un proceso entra a un conjunto Cde estados y ya no puede salir nuncade l, se dice que el conjunto C de estados es cerrado, un conjunto cerrado puedecontener uno o ms estados, definamos formalmente a un conjunto cerrado.
Definicin 2.10. Un conjunto Cde estados se dice que es cerradosi = 0, para alguna
n1 y para todo iCy jC.
nijp
Definicin 2.11. jes un estado absorbentesi, = 1 y = 0 para toda n1 y para
todojk.
njjp
njkp
La definicin anterior nos dice que, si un conjunto cerrado Ccontiene solamente
un estado, entonces se le llama absorbente.
A partir de las definiciones es claro que si un proceso no contiene conjuntos
cerrados ser irreducible.
Definicin 2.12.Elperiodod( i) de retorno al estado ies definido como
d( i) := m.c.d. {m : > 0 }.miip
Definicin 2.13. El estado ies aperidicosi d( i) = 1 yperidicosi d( i) >1.
Definicin 2.14. El tiempo de llegadaa un estadojE, se define como
Tj= inf{n 1 |Xn=j }.
La probabilidad de empezar en el estado i y llegar al estado j en m pasos es,
=Pmijf i{Tj= m}.
Definamos a
fij = Pi{ Tj< } = =1
{ }i jm
P T m
=
=1
mij
m
f
=
como la probabilidad de que el proceso est en i y alcance alguna vezj.
fij la podemos calcular teniendo en cuenta las siguientes opciones:
1) que de ipase ajen el primer paso con probabilidadpijo
2) que la primera transicin sea a k{Ej} y despus eventualmente pasar aj.
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
38/116
34 Cadenas de Markov Captulo 2________________________________________________________________________________
, 2,
De esto, podemos enunciar el siguiente resultado.
Teorema 2.8. Para cada i, j E,
fij =pij + .{ }
ik kj k E j
p f
Del teorema anterior podemos tambin deducir
mijf =
{ }
1
1
2
ij
mik kj
k E j
p m
p f m
=
Definicin 2.15.Sea {Xn; nT, n0} una cadena de Markov, definimos a
Nj= { }0
kk
I X j
=
=
como el nmero de llegadasal estadoj
De la definicin anterior Pi{Nj= m} es la probabilidad, de estando en el estadoivisitemos mveces el estadoj.
Teorema 2.9. Sea {Xn; nT, n0} una cadena de Markov entonces
1) Pj{Nj= m} = ( ) ( 1 f1m
jjf
jj) , m= 1, 2,
2)Pi{Nj= m}= para ij.
( ) ( )1
1 0
1 1
ij
m
ij jj jj
f m
f f f m
=
=
Hacemos notar que significa que f( )1m
jjf
jj est elevado a la potencia m 1 , que es
muy diferente a como definimos .m
jjfDemostracin.
Demostremos 1), el que suceda el evento Nj= mes equivalente a que ocurra
< , < , , T < , T = , donde j1j
T2j
Tmj 1mj +
m representa la m-sima llegada al
estadoj.
-
8/13/2019 Proceso Esto Cast i Cos
39/116
Captulo 2 2.2. Clasificacin de estados. 35________________________________________________________________________________
El tiempo entre las llegadas es independiente es decir,
{T < }, { T < },{T < }, , { T T = }1j 2j
T1j 3j 2j
T1mj + mj
son independientes, esto se debe a que Markov implica independencia de llegadas dejaj, sus respectivas probabilidades asociadas son:
1, fjj,fjj, , 1 fjj
la primera es uno porque ya estamos enj, luego entonces tenemos que
Pj{Nj= m } =fjjfjj ( 1 fjj) = ( ) ( 1 f1m
jjf
jj).
Ahora demostremos 2), para m= 0, significa quejnunca ser alcanzado desde i,es decir
Pi{Nj= 0 }= Pi{Tj= } = 1 Pi{Tj < } = 1fij .
Para m0, la diferencia con el inciso anterior es que ya estamos en el estado j ( conprobabilidad uno ) luego entonces slo hace falta considerar la probabilidad de pasarde i aj por primera vez, esto suceder con probabilidad
Pi{Tj < } = fij
tenemos entonces que
Pi{Nj= m}=fij( )1m
jjf
( 1 fjj)
Definicin 2.16.
1) j es recurrente si Pj{ Tj < } = 1 , significa que si estamos en el estado j, laprobabilidad de que el proceso regrese alguna vez al estado j es uno.
2) Si no es recurrente se dice que es transitorio. Es decir Pj{ Tj = } > 0.
3) Sijes recurrente y Ej( Tj) = se dice quejes cero recurrenteo recurrente nulo.4) Sijes recurrente yEj( Tj) < se dice que es recurrente positivo.
Si fjj= 1 entonces jes recurrente, que fjj= 1 significa que tendremos un nmero
infinito de llegadas a j, P{Nj= } = 1 y que para todo m, P{ Nj= m }= 0, tambinpodemos ver queEj(Nj) = .
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
40/116
36 Cadenas de Markov Captulo 2________________________________________________________________________________
Si fjj
-
8/13/2019 Proceso Esto Cast i Cos
41/116
Captulo 2 2.2. Clasificacin de estados. 37________________________________________________________________________________
rij =1
{ }i jm
mP N m
=
=
= ( )1
1
(1 )m
ij jj jj
m
mf f f
=
=fij ( )1
1
(1 )m
jj jjm
m f f
=
= fijEj(Nj)
=fijrjj
Podemos decir quejes recurrente si, y slo siEj(Nj) = yjes transitorio si, yslo siEj(Nj) 0
y tambin
=flim nijn
p
ij(j)
para todo iE.
Demostracin.
Aqu probaremos el caso cuando j es transitorio, para una demostracin de jrecurrente nulo y el inciso 2 puede encontrarse en inlar [ 1975, p. 301].
Sijes transitorio entonces rjj=Ej(Nj) < , entonces
rij=fijrjj < rjj <
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
42/116
38 Cadenas de Markov Captulo 2________________________________________________________________________________
rij = < 0
nij
n
p
=
luego entonces rijes finito solamente si = 0.limnij
np
Teorema 2.13.Sijes recurrente y j kentonces k j y fkj = Pk{Tj< } = 1 .
Demostracin.
j k significa que se puede pasar de ja ksin visitar a j, a la probabilidad deeste evento le asignamos > 0. Sean:
A = nunca visitar ajdesdej yB = Caminar deja ky nunca regresar ajdesde k
por ser B un caso especial de A tenemos que P{ A } P { B }, ahora bien
P{A} = 1 fjj y P {B} = ( 1 fkj )
Por serjrecurrentefjj= 1, entonces
0 = 1 fjj=P{A} P{B} = ( 1 fkj ) 0
entonces, ( 1 fkj ) = 0como > 0, entonces 1 fkj = 0 , es decir,fkj = 1.
Significa tambin que k j.
Teorema 2.14.Sijes recurrente y j kentonces kes recurrente.
Demostracin.
Si j k significa que existe un s > 0 tal que > 0 , del teorema anterior
comojes recurrente yj k entonces k j, es decir, existe un m> 0 tal que >0 ,
es decir que > 0.
sjkp
mkjp
sjkp
mkjp
Usando Chapman Kolmogorov
-
8/13/2019 Proceso Esto Cast i Cos
43/116
Captulo 2 2.2. Clasificacin de estados. 39________________________________________________________________________________
m n lkkp + + = Pk{Xm+n+l = k} =
m n lki ik
i E
p p +
considerando un caso particular de n likp +
m n lki ik
i E
p p +
m n lki ii ik
i E
p p p
ya quejE, tomamos el elementojde la suma, nos queda que
m n lki ii ik
i E
p p p m n lkj jj jkp p p
es decir, que
m n lkkp + + (1)m n lkj jj jkp p p
por otro lado
rkk=Ek(Nk) = { }0
k nn
P X k
=
=
= 0
nkk
n
p
=
nkkn m l
p
= +
= 0
n m lkk
n
p
+ +
=
por (1)
0
n m lkk
n
p
+ +
= 0
m n lkj jj jk
n
p p p
=
=0
m l nkj jk jj n
p p p
= = Em lkj jkp p j(Nj)
como jes recurrente Ej(Nj) = , luego entoncesEk( Nk) = , luego entonces kesrecurrente.
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
44/116
40 Cadenas de Markov Captulo 2________________________________________________________________________________
Teorema 2.15.Sijes recurrente, entonces existe un conjunto Cjcerrado e irreducibleque contiene aj.
Demostracin.
Sea Cj:= {jE, ji} , comojes recurrente entonces siji entonces porel teorema 2.13 i j entonces Cj := { iE, ji}.
Con la demostracin de este teorema y el teorema 2.6. podemos enunciar el siguienteresultado.
Teorema 2.16.Los estados recurrentes se dividen en una manera nica en conjuntos
cerrados e irreducibles.
Teorema 2.17. Si {Xn; nT , n0} es una cadena de Markov, con E irreducibleentonces.
1) Todos los estados son recurrentes.2) Todos los estados son transitorios.
Demostracin.
1) Por el teorema anterior y el teorema 2.14 sijes recurrente y E es irreducible,
entonces todo elemento deEdebe ser recurrente.
2) Por el teorema 2.14, sabemos que paraj, kE, si j es recurrente yj kentonces kes recurrente, negando ambas proposiciones, tenemos que, si kes transitorio entoncesj
es transitorio, kj.
Teorema 2.18. Si {Xn; nT , n0} es una cadena de Markov, con E irreducibleentonces. Todos los estados tienen la misma periodicidad.
Demostracin.
Sea kun estado con periodicidad d( k), como Ees irreducible kj, entoncesexiste s>0 y r > 0, tal que > 0 y > 0 , ahora bien,rjkp
skjp
s rkkp + > 0skjp
rjkp
-
8/13/2019 Proceso Esto Cast i Cos
45/116
Captulo 2 2.2. Clasificacin de estados. 41________________________________________________________________________________
para el estadoj, sea d(j) su periodicidad, sea nun mltiplo de d(j), supongamos que nno es mltiplo de d( k), luego entonces para
s r nkkp + + skjp
njjp
rjkp
como n no es mltiplo de d( k ), entonces = 0, lo que significa que
=0, pero como > 0 entonces =0, es una contradiccin ya que n
es un mltiplo de d(j), entonces, por tanto d( k) = d(j).
s r nkkp + +
njjp
skjp
njjp
rjkp
skjp
rjkp
Teorema 2.19. Si {Xn; n T , n 0} es una cadena de Markov, y sea C < unsubcojunto de estados irreducible, entonces no tiene estados transitorios, ni recurrentesnulos.
Demostracin.
Demostremos que C no puede tener estados transitorios, el caso de recurrentenulo es totalmente anlogo.Seajun estado transitorio por el teorema anterior significa que todos los estados en C
son transitorios, ahora del teorema 2.12, sijes transitorio, entonces para algn iC
lim nijn
p
= 0
para cada iCtenemos que = 1, entoncesn
ijj Cp
1= = =0limn
nij
j C
p lim nij
nj C
p
es una contradiccin por lo quejno puede ser transitorio.
Ejemplo 2.5.Sea Pla siguiente matriz de transicin.
P=
0.8 0 0.2 0
0 0 1 0
1 0 0 0
0.3 0.4 0 0.3
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
46/116
42 Cadenas de Markov Captulo 2________________________________________________________________________________
Dado quep13 >0 yp31 >0 y p12=p14=p32=p34= 0, los estados {1, 3} son cerrados eirreducibles, son recurrentes positivos por que son finitos, esto es por el teorema 2.19,los estados 2 y 4 son transitorios.
24
310.8
0.3 0.4
1
1
0.2
0.3
Obtengamos los elementos de la matriz R, sea {Xn } una cadena de Markov ,con espacio de estadosEy matriz de transicin P.
Sijes un estado recurrente significa que:
fjj= 1 rjj= ,
ahora bien, si ies cualquier estado, entonces
ij fij> 0 rij=fij rjj=
y si
i j fij= 0 rij= 0.
Sijes transitorio e ies recurrente, tenemos que i j por que si ij e iesrecurrente entonces jes recurrente, caeramos en una contradiccin, as que
rij= 0 porque fij= 0.
Por ltimo analicemos el caso en el que i,json transitorios, sea Del conjuntode estados transitorios, sean Q y S las matrices que se obtienen a partir de P y Rrespectivamente, al eliminar todos los renglones y columnas correspondientes a losestados recurrentes, es decir, Q y Stienen elementos
qij=pij y sij= rij, con i,jD.
la matriz de probabilidades de transicin la podemos particionar de la siguiente manera.
-
8/13/2019 Proceso Esto Cast i Cos
47/116
Captulo 2 2.2. Clasificacin de estados. 43________________________________________________________________________________
P=
K 0
L Q
de manera similar tendramos, para m 0 en los enteros
mP = ,
m
mm
K 0
L Q
aqu es la potencia mde Ksimilar para Qpero LmK mes nicamente una matriz. Pordefinicin
R= = =
m
0m
=P
m
0
mm
0 0
m
m m
=
= =
K 0
L Q
'
'
K 0
L S
con S= = I+ Q+ + m
0m
=Q 2Q
tenemos que,
SQ = Q+ + + = QS2Q 3Q
SQ = QS = S I
( I Q)S= I y S(I Q) = I
SiDes finita entoncesS es la inversa deI Q . Si no es finita podemos tener muchassoluciones.
Teorema 2.20. Ses la solucin minimal de ( I Q)Y= I,Y0.
Demostracin.
Hay que demostrar que si hay otra solucinYde ( I Q)Y= I entoncesYS,seaYuna solucin,Y0
( I Q)Y= I Y =I +QY
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
48/116
44 Cadenas de Markov Captulo 2________________________________________________________________________________
.
=I +Q( I +QY)
=I +Q +Q Y2
y sustituyendoY sucesivamente
Y =I +Q +Q + + Q +Q Y,2 n n+1
tenemos que
Y I +Q + Q + + Q 2 n
S= Y.m
0m
=Q
SiYes una solucin y Ses otra solucin, entonces , H= Y S0, y
H= Y S = I +QYI QS
= Q (YS)
=QH
cada columna h deH satisface
h = Qh 0
por otro lado, de S
sij = fijrjj rjj <
porque i, j son estados transitorios, la nica solucin de ( I Q)Y = I es S, si, y slosi, la solucin de h = Qh es h= 0.
Corolario 2 20.1. Ses la nica solucin a ( I Q)Y =I, Y 0 si, y slo sih = Qh,0 h 1 implica queh = 0 .
Ejemplo 2.6.Xes una cadena de Markov con espacio de estadosE= { 1, 2 , 3, 4, 5, 6,7, 8} y matriz de transicin
-
8/13/2019 Proceso Esto Cast i Cos
49/116
Captulo 2 2.2. Clasificacin de estados. 45________________________________________________________________________________
P=
0.4 0.3 0.3 0 0 0 0 0
0 0.6 0.4 0 0 0 0 0
0.5 0.5 0 0 0 0 0 0
0 0 0 0 1 0 0 0
0 0 0 0.8 0.2 0 0 0
0 0 0 0 0 0.4 0.6 0
0.4 0.4 0 0 0 0 0 0.2
0.1 0 0.3 0 0 0.6 0 0
o bien,
P =
0.4 0.3 0.3
0 0.6 0.4 0 0
0.5 0.5 0
0 10 0
0.8 0.2
0 0 0 0.4 0.6 0
0.4 0.4 0 0 0 0 0.2
0.1 0 0.3 0.6 0 0
Como podemos ver los estados 1, 2, 3 forman un conjunto irreducible, deestados recurrentes positivos, los estados 4 y 5 forman otra clase de conjuntoirreducible de estados recurrentes positivos y los estados 6, 7, y 8 son estadostransitorios, los cuales nicamente pueden ir a los estados 1, 2 y 3, no tienencomunicacin con los estados 4 y 5.
Calculemos R, para j recurrente e i cualquier estado tenemos que rij = , encaso de que i j , tenemos que rij = 0, nicamente nos hace falta calcular el caso enel que tanto i como j son estados transitorios (nos hace falta calcular la submatrizinferior del lado derecho), obtengamos Q que se obtienen a partir de P, al eliminartodos los renglones y columnas correspondientes a los estados recurrentes
Q=
0.4 0.6 0
0 0 0.2
0.6 0 0
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
50/116
46 Cadenas de Markov Captulo 2________________________________________________________________________________
tenemos estados transitorios finitos, luego entonces S (S que se obtienen a partir de R,al eliminar todos los renglones y columnas correspondientes a los estados recurrentes)es la inversa deI Q
S = (I Q) 1= =
10.6 0.6 0
0 1 0.2
0.6 0 1
125 75 151 15 75 15
6675 45 75
,
as tenemos que la matriz Rpara esta cadena de Markov es
R=
125 75 1566 66 66
15 75 1566 66 66
75 45 7566 66 66
0 0
0 0
0
Ahora calculemos los valores para la matriz F. Si i, j son recurrentes y
pertenecen al mismo conjunto cerrado e irreducible entoncesfij= 1.
Si ies recurrente yjes transitorio entoncesfij= 0.
Si i,json recurrentes, iE1 y jE2, E1E2= entoncesfij= 0.
Si i,json transitorios, entonces rij< , del teorema 2.11.1
rjj=1
1jj
f rjj ( 1 fjj) = 1
rjj 1 = rjjfjj
fjj= 1 1
jjr
y del teorema 2.11.2
-
8/13/2019 Proceso Esto Cast i Cos
51/116
Captulo 2 2.2. Clasificacin de estados. 47________________________________________________________________________________
rij =fijrjj fij =ij
jj
r
r
Teorema 2.21.Si ies transitorio y Ces un conjunto cerrado e irreducible de estadosrecurrentes
fij =fih para todoj, hC.
Demostracin.
Para j, hC , fjh=fhj= 1 , as si la cadena llega a un estado de C, ste tambinvisita todos los otros estados, entoncesfij =fih.
Sea C1 , C2 , una clase de conjuntos cerrados e irreducibles y D es unconjunto de estados transitorios, donde P1, P2, son las matrices de transicincorrespondientes a los conjuntos C1 , C2 , y Q es la que est formada por losestados transitorios y Q1, Q2, son las matrices de transicin de los estadostransitorios a los estados de la clase de conjuntos cerrados e irreducibles C1 , C2, respectivamente, la matriz Pnos queda de la siguiente forma
P= .
1
2
3
1 2 3
P 0 0 0
0 P 0 0
0 0 P 0
Q Q Q Q
Como estamos interesados nicamente en saber cuando el conjunto Cjser alcanzado,sin prdida de generalidad podemos considerarlos como estados absorbentes es decir
cambiemos a P1, P2, por 1, 1, , as nuestra matriz de transicin P la podemosrescribir de la siguiente forma
P =
1 2 3
1
1
1
0 0 0
0 0
0 0 0
b b b Q
0
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
52/116
48 Cadenas de Markov Captulo 2________________________________________________________________________________
donde el i-simo elemento de bj ( bj es un vector columna ) es, la probabilidad deestando en el estado transitorio i, llegue al conjunto Cj,
bj( i) = , con iDj
ikk C
p
o ms simple
P =
I 0
B Q
con B= ( b1, b2, , bm), los elementos de Bson bij = , de aqu se sigue quej
ikk C
p
n
P
=
nn
I 0
B Q
donde Bn =(I +Q +2Q + + )B, los elementos de la matriz B n-1Q nijb n, nos
indican la probabilidad de que en npasos vayamos desde el estado ia Cjo bien es laprobabilidad que desde el estado iel proceso entre al Cjen un tiempo no antes es decir( lo podemos ver comoX0= i queremos llegar a Xn = Cj )
nijb = Pi{ Tj < n +1}
entonces la probabilidad de que alcancemos a Cj a partir del estado transitorio i enalgn momento sera
Pi{ Tj < } = Plimn
i{ Tj n +1 }
= limn
1n ijb +
Blimn
n+1 = limn
k 0
n
=
kQ B
= k 0
=
kQ B
=SB
luego entonces si ies transitorio, fik=(sb)ij, para todo kCj, por el teorema anteriorpodemos definir
-
8/13/2019 Proceso Esto Cast i Cos
53/116
Captulo 2 2.2. Clasificacin de estados. 49________________________________________________________________________________
gij=fik=(sb)ij
como la probabilidad de alcanzar el conjunto Cjdesde el estado transitorio i.
De todo lo anterior podemos concluir que para cada estado transitorio i y una claserecurrente Cj, la probabilidad de alcanzar el conjunto Cjdesde el estado transitorio i, es
gij=fik=(sb)ij para todok enCj .
Lema 2.1. Sea iun estado transitorio desde el cul nicamente un nmero finito deestados transitorios puede ser alcanzado. Adems, supngase que hay nicamente unaclase Cde estados recurrentes, que puede ser alcanzado desde i. Entonces fij= 1 para
todojC.
Demostracin.
Al existir nicamente un conjunto de estados recurrentes que son alcanzados apartir del conjunto de estados transitorios D, tenemos que la matriz Bse convierte en
un vector columna, por definicin , es decir, si 1 es el vector columna
formado por puros unos, por la definicin
1ijj E
p
=
P1 = 1
tenemos que, B+ Q1= 1 ,o bienB= 1 Q1, entonces,
Bn =(I +Q +2Q + + )Bn-1Q
=(I +Q +Q2 + + Q )( 1 Q1)n-1
=I 1+Q1+ 1+ + Q 1 Q1 1 Q 12Q n-1 2Q n
=1 1nQ
As si tomamos el lmite
limn
Bn = ( 1 Q 1)limn
n
dado que < , entonces =0, entonces el lmite anterior nos queda
como B
nQ limn
nQ
limn
n = 1, obtenemos
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
54/116
50 Cadenas de Markov Captulo 2________________________________________________________________________________
gij=fik =1, para todo kC.
Ejemplo 2.7. Ahora calculemos la matriz F de la cadena del ejemplo 2.6, si i, j son
recurrentes y pertenecen a la misma clase entonces fij = 1, cuando pertenecen adiferentes clasesfij= 0, si ies recurrente yjes transitorio fij= 0. Si i,json transitoriosusamos los resultados de Rpara calcular
fjj= 1 1
jjr, fij =
ij
jj
r
r
por ejemplo seai = 6, j = 7, del ejemplo 2.6 r67=75
66 y r77=
75
66 luego entonces
f67= 1.Y usando el lema 2.1 para el caso en que ies transitorio y jes recurrentefij = 1, as
F=
0.472 1 0.20
0.12 0.12 0.20
0.60 0.60 0.12
1 1 1
1 1 1 0 0
1 1 1
1 10 0
1 1
1 1 1
1 1 1 0
1 1 1
2.3 Distribucin estacionaria.
Definicin 2.18. Sea {Xn; n T , n 0} una cadena de Markov, con matriz detransicin P, es una distribucin estacionariacon respecto a Po {Xn; nT, n0} si, yslo si
1) es una distribucin.
-
8/13/2019 Proceso Esto Cast i Cos
55/116
Captulo 2 2.3. Distribucin estacionaria 51________________________________________________________________________________
2) =P, es decir, (j) = para todajE.( ) iji E
i p
Teorema 2.22. Si {Xn; nT, n0} es una cadena de Markov irreducible, aperidicaentonces todos los estados son recurrentes positivos si, y slo si el sistema de
ecuaciones lineales(j) = , para todajE( ) ij
i E
i p
( )j E
j = 1
tiene una solucin . Si existe una solucin esta es positiva, (j ) > 0 para todaj, es nica y
(j) = para todo i,jE.lim nijn p
Demostracin.
Sijes recurrente positivo y aperidico por el teorema 2.12
lim nijn
p
= (j) >0
ya que para todo i,j E,fij= 1, y
( )j E
j = = = 1lim nij
nj E
p
lim nij
nj E
p
es una distribucin.
Sea =1nijp + n
ik kj k E
p p
(j) = 1lim nijn
p +
= lim nik kj n
k E
p p
= lim nik kj n
k E
p p
= ( ) kjk E
k p
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
56/116
52 Cadenas de Markov Captulo 2________________________________________________________________________________
p
= P
Todava nos hace falta revisar su unicidad, sea otra solucin
=P= PP
=PPP
= nP
(j) = para todojE( ) niji E
i p
= lim ( ) nijn
i E
i p
= ( ) lim nijn
i E
i p
= ( ) ( )i E
i j
=(j) ( )i E
i
= (j)
Ahora demostremos la otra parte del teorema, es decir, hay que probar que la
existencia de una solucin al sistema de arriba implica que todos los estados sonrecurrentes positivos.
Sea una distribucin estacionaria
= P = Pn
(j) = para todojE.( ) niji E
i p
Supongamos que la cadena no es recurrente positiva por el teorema 2.12,
lim nijn
p
= 0
entonces
(j) = = = 0lim ( ) nijn
i E
i p
( ) lim nij
ni E
i
-
8/13/2019 Proceso Esto Cast i Cos
57/116
Captulo 2 2.3. Distribucin estacionaria 53________________________________________________________________________________
esto significa que = 0, esto es una contradiccin, por tanto los estados son
recurrentes positivos.
( )j E
j
Ejemplo 2.8.SeaXuna cadena de Markov, con matriz de transicin
P=
0.2 0.8 0 0 0 0 0
0.7 0.3 0 0 0 0 0
0 0 0.3 0.5 0.2 0 0
0 0 0.6 0 0.4 0 0
0 0 0 0.4 0.6 0 0
0 0.1 0.1 0.2 0.2 0.3 0.1
0.1 0.1 0.1 0 0.1 0.2 0.4
podemos ver que los estados {0, 1} forman una clase de conjunto de recurrencia C1, losestados {2,3,4} forman otra clase de conjunto de recurrencia C2, ambos conjuntos estformado por estados aperidicos y los estados {5, 6} son transitorios. Calculemos la
matriz , para calcularla usamos el teorema 2.12.2 =flim nn
P lim nijn
p
ij(j) y el resultado
del teorema 2.22.
Del primer conjunto calculemos su probabilidad cuando n
, calculemos, donde1limn
nP
P1 =
0.2 0.8
0.7 0.3
para calcularla tenemos que resolver el siguiente sistema de ecuaciones
(0) = 0.2(0)+0.7(1)
(1) = 0.8(0)+0.3(1)
(0) + (1) = 1
de la primera ecuacin (0) =0.7
0.8(1), sustituyendo en la ltima ecuacin
0.7
0.8(1)+(1) = 1
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
58/116
54 Cadenas de Markov Captulo 2________________________________________________________________________________
de aqu
(1)=7
15y (0) =
8
15
para el otro conjunto de estados recurrentes tenemos la siguiente matriz de transicin
P2 =
0.3 0.5 0.2
0.6 0 0.4
0 0.4 0.6
tenemos que resolver el siguiente sistema de ecuaciones
(2) = 0.3(2) + 0.6(3)
(3) = 0.5(2) +0.4(4)
(4) = 0.2(2) + 0.4(3)+0.6(4)
y adems
(2) + (3) + (4) = 1
de la ecuacin uno y dos
(3) =7
6(2) y (4) =
5
2(3)
5
4(2)
ya que los estados son recurrentes y aperidicos, sabemos que el sistema tiene solucin
nica, hacemos (2)=1, obtenemos que (3)=7
6 y (4)=
10
6, sumamos las tres
cantidades (2) + (3) + (4) =23
6y luego las dividimos entre la suma para hacer que
se cumpla la ltima condicin, obtenemos que (2)=6
23, (3) =
7
23y (4)=
10
23, para
calcular por completo la matriz , nos hace falta calcular la matriz F, para esto
calculemos primeroR,.
lim nn
P
Q= 0.3 0.1
0.2 0.4
-
8/13/2019 Proceso Esto Cast i Cos
59/116
Captulo 2 2.3. Distribucin estacionaria 55________________________________________________________________________________
tenemos estados transitorios finitos, luego entonces S (S que se obtienen a partir de R,al eliminar todos los renglones y columnas correspondientes a los estados recurrentes)es la inversa deI Q
S = (I Q)-1= = ,
10.7 0.1
0.2 0.6
1.5 0.25
0.5 1.75
as tenemos que la matriz Rpara esta cadena de Markov es
R=
0 0
0 0
1.5 0.25
0.5 1.75
Ahora calculemos la matriz F,
G= SB = = 1.5 0.25
0.5 1.75
0.1 0.5
0.2 0.2
0.2 0.8
0.4 0.6
entonces,
F=
1 13 7
313 7
1 10 0
1 1
1 1 1
0 1 1 1
1 1 1
0.2 0.2 0.8 0.8 0.80.4 0.4 0.6 0.6 0.6
0
ahora si, ya podemos obtener P,
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
60/116
56 Cadenas de Markov Captulo 2________________________________________________________________________________
limn
n P =
7 815 15
7 815 15
6 7 1023 23 23
6 7 1023 23 23
6 7 1023 23 23
1.4 1.6 4.8 5.6 815 15 23 23 23
2.8 3.2 3.6 4.2 615 15 23 23 23
0 0
0 0
0 0
0 0
Veamos ahora que ocurre en caso de que los estados sean peridicos.
Teorema 2.23. Sea X una cadena de Markov, irreducible con estados peridicos y
recurrentes con periodo , entonces los estados pueden ser divididos en conjuntosdisjuntos B1, B2, ,B tal quepij=0 a no ser que iB1 y jB2o iB2 y jB3oo iB y jB1.
Demostracin
Sin prdida de generalidad tomemos los estados 0 y j, dado que la cadena es
irreducible 0j y j0, es decir, existen enteros r, stal que
0rjp >0 y = >00
sjp
00m sp + = = 0
mjp 0
sjp 0
mjp
como el estado 0 tiene periodo , >0 si m+ s= k, si >0 entonces m =ks
se cumple que >0, si m= , +, + 2,.
00m sp + 0
mjp
0mjp
Definimos para todo j B ,como el conjunto de todos los estados que sepueden alcanzar desde 0 slo en los pasos , +, + 2, y a B+1 el conjuntode todos los estados que se pueden alcanzados desde 0 en los pasos +1, ++1,+2+1, . Entonces pij= 0 excepto si, iB y jB+1 para = 1, 2, , .
Teorema 2.24. Sea Pla matriz de transicin de una cadena de Markov irreducible con
estados peridicos, con periodo y B1, B2, , B definidos como el teorema anterior.
-
8/13/2019 Proceso Esto Cast i Cos
61/116
Captulo 2 2.3. Distribucin estacionaria 57________________________________________________________________________________
Entonces en la cadena de Markov con matriz de transicin P = P, las clases B1, B2,
, B son conjuntos cerrados e irreducibles de estados aperidicos.
Demostracin.
En pasos la cadena se mueve de B1a B1, de B2a B2, , de Ba B, veamos estopaso por paso, en un paso slo podemos llegar al conjunto inmediato a l, esto es, pij
=0 a no ser que iB1 y jB2o iB2 y jB3o o iB y jB1, en dos pasoocurrira lo siguiente, =0 a no ser que iB2ijp 1 y jB3o iB2 y jB4o o iB
y jB2, en 1 pasos, ocurrira lo siguiente, =0 a no ser que iB1ijp
1 y jBo
iB2 y jB1o o iB y jB1, entonces como podemos ver en pasos, =0
a no ser que iBijp
1 y jB1o iB2 y jB2o o iB y jB, como se aseveroal inicio, la matriz de transicin en pasos la podemos poner de la siguiente forma,
P = P =
1
2
P 0
P
0 P
analicemos que ocurre con los estados de esta matriz de transicin, podemos ver quecada una de las clases de conjuntos forman un conjunto cerrado e irreducible, adems
son aperidicos, > 0 para i,jBijp , recordemos que ya no trabajamos con la matrizP, ahora estamos trabajando sobre la matriz P .
A partir de la matriz P
j E
podemos calcular n , usando el teorema 2.22,podemos ver tambin que = . Hay que ver que no tiene lmite cuando
n , excepto, cuando para todos los estados p
( )j nP
ij = 0 , sin embargo los lmites de
existen cuando n, pero dependen del estado inicial i. Con el siguienteteorema terminaremos con el estudio de los estados peridicos, slo se demuestra laprimera parte del teorema, la otra parte de la demostracin se puede consultar en inlar[ 1975, p. 163].
n +mP
Teorema 2.25. Sea Py B, definidos como en el teorema anterior y supngase que la
cadena es positiva. Entonces para m{0, 1, , 1} ,
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
62/116
58 Cadenas de Markov Captulo 2________________________________________________________________________________
lim n mijn
p +
=( ) si B , B , (mod )
0 cualquier otro caso
j i j m = +
(j),jE, son la nica solucin de
(j) = , = , jE.( ) iji E
i p ( )
j E
j
Demostracin.
Del teorema 2.24 la cadena correspondiente a =P P , tiene clases deconjuntos, de estados recurrentes positivos y aperidicos. Sea 1, 2, ,, ladistribucin lmite correspondiente de B1, B2, B y (j) = (j) sijB.
Sea m{ 0, 1, , 1} un valor fijo, supngase que iB, y sea =+m(mod).Tenemos,
n mijp + = m npik kj
k
p p
= Bsi B
0 cualquier otro c
m nik kj
k
p p j
aso
dado que =0 excepto si kBm
ikp , y para kB , = 0 a no ser que jBn
kjp
tambin. Para k, jB , = ( j ), independiente de k, tomando el lmite en
ambos lados hemos demostrado que
lim nkjn
p
lim n mijn
p +
=( ) si B , B , (mod )
0 cualquier otro caso
j i j m = +
Con este ltimo teorema y junto con el teorema 2.22 podemos enunciar elsiguiente resultado.
Corolario 2.25.1. Sea X una cadena de Markov, y consideremos el sistema de
ecuaciones lineales
-
8/13/2019 Proceso Esto Cast i Cos
63/116
Captulo 2 2.3. Distribucin estacionaria 59________________________________________________________________________________
(j) = ,jE( ) iji E
i p
Entonces todos los estados son recurrentes no nulos o positivos, si, y slo si, existe una
solucin con
( )j E
j = 1y (j) >0, para cadajE, y no hay otra solucin.
Hace falta completar nuestro estudio acerca de la relacin de los tipos de estados
y el lmite de Pncuando n. Si la cadena de Markov es finita, y sta contiene estadostransitorios, hay un momento en el que la cadena de Markov sale de los estadostransitorios, pero si no es finita puede ocurrir que nunca salga de ellos.
Sea Xuna cadena de Markov, con matriz de transicin P,Aes el conjunto deestados transitorios de la cadena, tal que AE, y sea Q la matriz que se obtienen apartir de P, al eliminar todos los renglones y columnas correspondientes a los estadosrecurrentes, es decir, Q tienen elementos
qij=pij con i,jA.
Q2 la obtenemos de la siguiente forma,
2ijq = 1
1
ii ij i A
q q
y en general Q sera,n
nijq = 1 1 2
1 2
n
n
ii i i i j i A i A i A
q q q
= Pi{X1A,X2A, ,Xn1A,Xn=j}
= P
n
ijj A q
i
{X1
A,X2
A,
,Xn1
A,X
n
A}
Si ncrece, decrece porquenijj A
q
{X1A,X2A, ,Xn1A }{X1A,X2A, ,Xn1A,XnA}
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
64/116
60 Cadenas de Markov Captulo 2________________________________________________________________________________
Sea
f( i) = = Plim nijn
j A
q
lim
ni{X1A,X2A, ,Xn1A,XnA}
la probabilidad de que la cadena de Markov nunca salga deA, dado que empez en i.
Teorema 2.26.fes la solucin mxima de
h= Qh 0h1,
adems f= 0 o f( i)=1.supi A
Demostracin.
Sea fn(i) = = Pnij
j A
q i{X1A,X2A, ,Xn1A,XnA}
f1 f2 f3
y
f = flimn
n
tenemos que
fn+1(i) = f ( )ik nk A
q k
tomando el lmite
f( i) = f( )ikk A
q k
luego entonces f es una solucin a h = Qh, ahora probemos que es una solucinmxima. Sea hotra solucin, h1
h= Qh entonces h= Q h Q 1 = f n n n
haciendo n, hf,por tantof es una solucin mxima.
-
8/13/2019 Proceso Esto Cast i Cos
65/116
Captulo 2 2.3. Distribucin estacionaria 61________________________________________________________________________________
Slo hace falta probar la ltima parte, para f = 0es trivial, sea c= s f( i)upi A
f = Q f c Q 1cfn n n para toda n,
tomando lmite por ambos lados fcf entonces 1 c, por lo tanto su f( i) = 1.pi A
Teorema 2.27. SeaXuna cadena de Markov irreducible con matriz de transicin P, y
Q es la matriz que obtenemos a partir de P al eliminar la fila y columna k, k E.Todos los estados son recurrentes, si, y slo si, la nica solucin de h= Qhes h= 0.
Demostracin.
SeaA=E{k}, como la cadena es irreducible de kpodemos ir aA, y sea
f( i) = Plimn
i{X1A,X2A, ,Xn1A,XnA}
Si h= 0es la nica solucin a h= Qh,f( i) = 0 para todo i, esto significa que salimosdel conjunto A y regresamos a k, entonces k es recurrente y como la cadena esirreducible todos los estados son recurrentes.
Ahora, si los estados son recurrentes significa que la probabilidad de quedarnosenAes cero ya que tenemos que regresar a k, por lo tanto f( i) = 0 para todo i, lo quees lo mismo h = 0.
A continuacin veremos como clasificar los estados en base a calcular .limn
nP
Ejemplo 2.9. Sea X una cadena de Markov con espacio de estados E = {0, 1, } ymatriz de transicin
P=
0 1 0 0 0
0 0 0
0 0 0
0 0 . . .
0 0 0 . . .
0 0 0 0 . .
q p
q p
donde 0 < p< 1, q= 1 p. Est cadena es llamada caminata aleatoria, si est en laposicin i en el n-simo paso, el siguiente paso es a la posicin i1 o a i+1, con
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
66/116
62 Cadenas de Markov Captulo 2________________________________________________________________________________
probabilidad q y p respectivamente, excepto cuando est en i=0 es seguro que va a 1.Todos los estado pueden ser alcanzados uno del otro, lo que significa que la cadena esirreducible, si empezamos en el estado cero podemos regresar a l, en al menos 2
pasos, es decir el estado 0 es peridico con periodo = 2, lo que significa que la cadenaes peridica con periodo = 2, lo que no podemos ver es si los estados son recurrentespositivo o bien transitorios. Para saber como son los estados vamos a emplear la teora
vista en esta seccin.
Resolvamos primero el sistema de ecuaciones que se obtienen a partir de = P, elsistema es el siguiente:
(0) = q(1)
(1) = (0) + q(2)
(2) = p(1) + q(3)
(3) =p(2) + q(4)
y as sucesivamente, poniendo a (1) en trminos de (0) y luego a (2) en trminos de(0) y as sucesivamente tenemos que
(1) =1
q(0)
(2) =1
q
1(0) (0)
q
=
2
p
q(0)
(3) =1
q 2(0) (0)
p p
qq
=
2
3
p
q(0)
en general tendramos que
(j) =1
q
1jp
q
(0) =1j
j
p
q
(0) para j= 1, 2, 3,
Si p< q, entoncesp
q< 1 y
-
8/13/2019 Proceso Esto Cast i Cos
67/116
Captulo 2 2.3. Distribucin estacionaria 63________________________________________________________________________________
0
( )j
j
= =
1
0
11 (
j
j
p
q q
=
+
0) =
1 11
1 p qq
+
(0) =2q
q p(0)
haciendo =1, tenemos que0
( )j
j
=(0) =
2
q p
q
=
11
2
p
q
(2.1)
Luego entonces parap< q,
(j) =1
11 s
2
1 1 s2
j
pj
q
p p jq q q
=
i 0
i 1
(2.2)
por el teorema 2.22. podemos decir que parap< qlos estados son recurrentes no nuloso positivos.
Si pq la serie converge nicamente si (0) = 0, sabemos que para pq losestados no son recurrentes positivos, entonces los estados deben ser, recurrentes nuloso transitorios, para distinguir entre estos dos casos usaremos el teorema 2.27,excluyendo de Pla fila y la columna del estado cero, obtenemos la siguiente matriz
Q =
0 0 0 0
0 0 0
0 0 0
0 0 . . .
0 0 0 . . .
0 0 0 0 . .
p
q p
q p
el sistema de ecuaciones que se obtiene de h= hQes:
h(1) =ph(2)
h(2) = qh(1) +ph(3)
h(3) = qh(2) +ph(4)
UNAM-Acatln-Mahil Herrera Maldonado
-
8/13/2019 Proceso Esto Cast i Cos
68/116
64 Cadenas de Markov Captulo 2________________________________________________________________________________
en general tenemos h( i) = qh( i 1) +ph( i+ 1), de h( i) = qh( i) +ph( i), sustituimosen la anterior ecuacin
p(h( i+1) h( i))= q(h( i ) h( i 1)), i= 2, 3,
y de la primera ecuacin
p(h(2)h(1))= qh(1)
sustituimos para obtener i= 2,
h(3) h(2) =q
p(h(2) h(1)) =
2q
p
h(1)
ahora lo hacemos para i= 3
h(4) h(3) =
2q
p
(h(2) h(1)) =
3q
p
h(1)
y as sucesivamente iteramos sobre i, obtenemos que
h( i+1) h( i) =
1iq
p
(h(2) h(1)) =
iq
p
h(1) , i= 2, 3,
luego entonces,
h( i +1)= (h( i+1) h( i))+(h( i) h( i 1)) + +(h(2) h(1))+h(1)
=
1
1
i iq q q
p p p
+ + +
+ h(1)
la solucin a h=hQ es de la siguiente forma
h( i) =
1
1
iq q
p p
+ + +
c , i= 1, 2, 3,
donde ces una constante.
-
8/13/2019 Proceso Esto Cast i Cos
69/116
Captulo 2 2.3. Distribucin estacionaria 65________________________________________________________________________________
Si p= q, entonces tenemos que h( i) = ic, para toda i 1 , la nica forma deque para toda i se cumpla, 0 h( i ) 1 es que c=0. Por tanto si p = q, la nicasolucin de h = hQ es h = 0, por el teorema 2.27 significa que los estados sonrecurrentes y como vimos ya anteriormente no son recurrentes no nulos, lo quesignifica los estados son recurrentes nulos cuandop= q.
Si p> q, entonces 0
Es claro queXn+1nicamente depende deXn y Dnes independiente de los niveles de labodega.
La probabilidad de pasar de tener Xn = i artculos en la semana nen la bodega
a tenerXn+1 =j artculos la calculamos de la siguiente manera:
Para iS:Si sm+ 1 j i entonces tenemos que Dn=XnXn+1 = ij, por tanto pij
=pij y paraXn+1 =j= Stenemos que,Xn Dn sm o bien Xn smDn, estaocurra con la siguiente probabilidad
P{ i smDn} =m
kk i s
p
Para i= S :Si sm+ 1 jS 1 entonces tenemos que Dn= Xn Xn+1 = S j,por tanto
pij =pSj y paraXn+1 =j= Spueden pasar dos cosas si hay demanda, tenemos que,Xn Dnsm o bien Xn smDn, esto ocurre con la siguiente probabilidad
P{ S smDn} =m
kk S s
p