Cadenasss de Markov
36
-
Upload
jucarlosph -
Category
Documents
-
view
570 -
download
0
Transcript of Cadenasss de Markov
Algunas veces se está interesado en saber cómo cambia una variable aleatoria con el tiempo
Ejemplo:
Es posible que se desee saber como evoluciona el precio de una parte de las acciones o de la participación en el mercado de una empresa que comercializa software.
El estudio de cómo evoluciona una variable con el tiempo incluye procesos estocásticos.
Fijaremos la atención en un tipo de proceso estocástico conocido como cadena de Markov.
Las cadenas de Markov se han aplicado en áreas como Ingenierías, Educación, Salud, Finanzas, Contabilidad, Producción, etc.
1. ¿Qué es un proceso estocástico?• Suponga que se observan algunas características de un
sistema en puntos discretos en el tiempo( identificados con 0,1,2, ….). Sea Xt el valor de la característica de sistema en el tiempo t. En la mayoría de situaciones Xt no se conoce con certeza antes del tiempo t y se podrá considerar como una variable aleatoria.
• Un proceso estocástico discreto en el tiempo es simplemente una descripción de la relación entre las variables aleatorias X0, X1, X2, …..
En el tiempo 0. tengo $2 En los tiempo 1,2… participo en un juego en el que apuesto $1.Con probabilidad p, gano el juego y con probabilidad 1-p, pierdo.Mi objetivo es incrementar mi capital a $4, y cuando lo logre se termina el juego. El juego
también se termina si mi capital se reduce a $ 0.Si se define X t como mi capital después de que se juega el juego en el tiempo t ( si existe),
entonces X0, X1, X2, ….. Xt, se podría considerar como un proceso estocástico discreto en el tiempo t.
Por ejemplo que X0 = 2 es una constante conocida pero X1, X2, ….. Xt, posteriores son aleatorias.
Por ejemplo, con probabilidad p; Xt = 3, y con probabilidad ( 1-p), Xt =1.Observe que si Xt =4, entonces Xt+1 y las Xt posteriores también serán igual a 4. De manera similar, si X t = 0, entonces todas las posteriores X t+1 y las adicionales Xt también serán igual 0.
Por razones evidentes, este tipo de situaciones se llama problema de la ruina del jugador.
Procesos Estocásticos Discretos en el tiempo
Una urna tiene dos bolas sin pintar. Se elige una bola al azar y se lanza una moneda. Si la bola elegida no está pintada y resulta cara la moneda, se pinta de rojo la bola; si la bola elegida está sin pintar y la moneda muestra una cruz, la bola elegida se pinta de negro. Si la bola ya está pintada, entonces ( ya sea que resulte cara o cruz en los lanzamientos de la moneda) se cambia el color de la bola ( de rojo a negro y de negro a rojo).
Para modelar esta situación como un proceso estocástico, se define el tiempo t como el tiempo después que se lanzó la moneda por t –ésima vez y se pintó la bola elegida.
El estado en cualquier instante se podría describir mediante el vector u r b, donde u es el número de bolas sin pintura en la urna, r es el número de bolas rojas en la urna y b es el número de bolas negras en la urna. Se tiene que X0 = 2 0 0. Después del lanzamiento de la primera moneda, se tiene una bola pintada de rojo o negro y el estado será 1 1 0 o 1 0 1 . Por consiguiente, se puede estar seguro de que X1 = 1 1 0 o X1 = 1 0 1. Resulta claro que debe haber alguna clase de relación entre las Xt. Por ejemplo , si Xt = 0 2 0 , se puede estar seguro de que X t+1 será 0 1 1 .
Procesos Estocásticos Discretos en el tiempo
• Un proceso estocástico continuo en el tiempo, es simplemente un proceso estocástico en el que el estado del sistema se puede ver en cualquier instante, no solo en instantes discretos del tiempo.
• Por ejemplo: El número de personas en un supermercado t minutos después de que la tienda abre se podría considerar como un proceso estocástico continuo en el tiempo.
2. ¿ Qué es una Cadena de Markov?
El nombre de cadenas de Markov se debe al matemático ruso Andrei Andreevich Markov (1856 -1922), quien las definió por primera vez en un artículo de 1906 que trataba la ley de los grandes números y posteriormente demostró muchos resultados estándar sobre ellas.Su interés en estás sucesiones se originó en las necesidades de la teoría de la probabilidad; Markov nunca trato sus aplicaciones a las ciencias.
Un tipo especial de proceso discreto en el tiempo se llama
Cadena de Markov
Para simplificar la exposición, se supone que en cualquier instante, el proceso estocástico discreto en el tiempo puede estar en un número finito de estados identificados con 1, 2 , 3, …, s
2. ¿ Qué es una Cadena de Markov?
Definición Un proceso estocástico discreto en el tiempo es una Cadena de Markov si para t= 0, 1, 2, …. Y los estados
= P ( X t+1 = i t+1/Xt = i t, X t-1 = i t-1, ….., X1 = i 1, Xo = io)
= P ( X t+1 = i t+1 / Xt = i t ) (1)
Básicamente (1) dice que la distribución de probabilidad del estado en el tiempo t +1 depende del estado en el tiempo t (i t) y no depende de los estados por los que pasa la cadena en el camino a it en el instante t.
• En el estudio de Cadenas de Markov, se hace la suposición adicional de que para los estados i y j y toda t,
• P (X t+1 = j / X t = i ) es independiente de t. Esta suposición permite escribir:
P (X t+1 = j / X t = i ) = p i j (2)
2. ¿ Qué es una Cadena de Markov?
Donde p i j es la probabilidad de que dado que el sistema está en el
estado i en el tiempo t ; estará en un estado j en el tiempo t+1.
Si el sistema se mueve del estado i durante un periodo al estado j durante el siguiente periodo, se dice que ocurrió una transición de i a j .
Las p i j se denominan probabilidades de transición para la cadena de Markov.
La ecuación 2 implica que la ley de probabilidad que relaciona el estado del siguiente periodo con el estado actual no cambia ( o permanece estacionaria) con el tiempo. Por esta razón a (2) se le llama suposición estacionaria. Cualquier Cadena de Markov que satisface (2)
se llama cadena de Markov Estacionaria.
P (X t+1 = j / X t = i ) = p i j (2)
• Nuestro estudio de las Cadenas de Markov también requiere que definamos qi como la probabilidad de que la cadena está en estado i e el tiempo 0; en otras palabras,
P ( X 0 = i ) = q
• Llamaremos al vector q = q1 q2 … qs distribución de probabilidad inicial para la cadena de Markov
• En la mayoría de las aplicaciones las probabilidades de transición se muestran como una matriz de probabilidad de transición P de orden s x s. La matriz de probabilidad de transición P se puede escribir como:
P =
• Dado que el estado en el tiempo t es i, el proceso en alguna parte debe estar en el tiempo t+1. Esto significa que para cada i
Σ P (X t+1 = j / X t = i ) = 1j = 1
j = s
j = 1
j = s
Σ p i j = 1
También sabemos que cada elemento de la matriz P debe ser no negativo. Por consiguiente, los elementos de la matriz de probabilidad de transición son no negativos, y la suma de los elementos de cada reglón debe ser igual a 1.
Un Estado es la condición o la ubicación de un objeto en el sistema en un momento determinado.
En una cierta región el tiempo atmosférico sigue la siguiente secuencia: Un día se denomina soleado (S) si el sol luce más de la mitad del día, y se denomina nublado (N), si lo hace menos. Por experiencia, se sabe que si hay un día nublado, es igual de probable que el día siguiente sea también nublado. Si el día es soleado hay una probabilidad de 2/3 de que sea también soleado.
Ejemplo Nº 1
N S
N 1/2 1/2
S 1/3 2/3
Solución
a) Hallar la matriz de transición
En una comunidad hay 3 supermercados (S1, S2, S3) existe la movilidad de un cliente de uno a otro.. Cada mes el S1 retiene el 90% de sus clientes y pierde el 10% que se va al S2. Se averiguó que el S2 solo retiene el 5% y pierde el 85% que va a S1 y el resto se va a S3, el S3 retiene solo el 40%, pierde el 50% que va al S1 y el 10% va al S2.
Ejemplo Nº 2
a) La matriz de transición para el orden S1, S2, S3 es:
4,01,05,0
10,005,085,0
01,09,0
P
Solución
• Los consumidores de café en el área de San Ignacio usan tres marcas A, B, C. En marzo de 2005 se hizo una encuesta en lo que entrevistó a las 8450 personas que compran café y los resultados fueron:
• a) Hallar la matriz de transición
Ejemplo Nº 3
Compra en el siguiente mesCompra actual
Marca A Marca B Marca C
Marca A = 507 845 338Marca B = 676 2028 676Marca C = 845 845 1690
Compra en el siguiente mes TOTALESCompra actual
Marca A Marca B Marca C
Marca A = 1690
507 845 338 1690
Marca B = 3380
676 2028 676 3380
Marca C = 3380
845 845 1690 3380
TOTALES 2028 3718 2704 8450
Solución 3
5,025,025,0
2.06,02,0
2,05,03,0
P
• Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar desplazamientos innecesarios, está todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al día siguiente, si no tiene suficiente trabajo. Después de estar trabajando un día en C, la probabilidad de tener que seguir trabajando en ella al día siguiente es 0,4, la de tener que viajar a B es 0,4 y la de tener que ir a A es 0,2. Si el viajante duerme un día en B, con probabilidad de un 20% tendrá que seguir trabajando en la misma ciudad al día siguiente, en el 60% de los casos viajará a C, mientras que irá a A con probabilidad 0,2. Por último si el agente comercial trabaja todo un día en A, permanecerá en esa misma ciudad, al día siguiente, con una probabilidad 0,1, irá a B con una probabilidad de 0,3 y a C con una probabilidad de 0,6.
Ejemplo Nº 4
a) Hallar la matriz de transición
4,04,02,0
6,02,02,0
6,03,01,0
P
Solución 4
Ejemplo Nº 5
Construir la matriz de transición para el Caso Nº 1
Solución 5
Puesto que la cantidad de dinero que tengo después de t + 1 jugadas depende de lo sucedido antes en el juego sólo por la cantidad de dinero que tengo después de t jugadas, en definitiva se tiene una Cadena de Markov . Puesto que las reglas del juego no cambian con el tiempo, se tiene una cadena de Markov estacionaria. La matriz de transición es como sigue ( el estado i significa que se tienen i dólares)
$ 0 $ 1 $ 2 $ 3 $ 4
0 1 0 0 0 0
1 1 - p 0 P 0 0
2 0 1 - p 0 P 0
3 0 0 1 – p 0 p
4 0 0 0 0 1
P =
Si el estado es $ 0 o $ 4, el juego se termina, así que el estado ya no cambia; por consiguiente p 00 = p 44 = 1. Para los otros estados, se sabe que con probabilidad p, el estado del siguiente periodo excederá el estado actual por 1, y con probabilidad 1-p, el estado del siguiente periodo será 1 menos que el estado actual
Estado
Figura Nº 1Representación
gráfica de la matriz de
transición para la ruina del
jugador
0 1 2 3 4
1
1 - p
1 - p
1 - p
p
p
p
1
Una matriz de transición se puede representar mediante una gráfica en la que cada nodo representa un estado y un arco (i, j ) representa la probabilidad de transición p i j . La figura 1 es una representación gráfica de la matriz de probabilidad de transición del caso Nº1..
Ejemplo Nº 6
Construir la matriz de transición para el Caso Nº 2
Solución 6
Puesto que el estado de la urna después del siguiente lanzamiento de la moneda depende únicamente de lo sucedido antes del proceso hasta el estado de la urna después del lanzamiento actual de la moneda, se tiene una cadena de Markov estacionaria. La matriz de transición es como sigue :
0 1 1 0 2 0 0 0 2 2 0 0 1 1 0 1 0 1
0 1 1 0 ½ ½ 0 0 0
0 2 0 1 0 0 0 0 0
0 0 2 1 0 0 0 0 0
2 0 0 0 0 0 0 ½ ½
1 1 0 ¼ ¼ 0 0 0 ½
1 0 1 ¼ 0 ¼ 0 ½ 0
P =
Para ilustrar la determinación de la matriz de transición, se determina el renglón 1 1 0 de ésta matriz de transición. Si el estado actual es 1 1 0 , entoces debe ocurrir uno de los eventos mostrados en la tabla. Así el siguiente estado será 1 0 1 con probabilidad ½; 0 2 0 con probabilidad ¼ ; y 0 1 1 con probabilidad 1/4.
Evento Probabilidad Estado Nuevo
En el lanzamiento se obtiene cara y se elige una bola sin pintar
¼ 0 2 0
Se elige una bola roja ½ 1 0 1
En el lanzamiento se obtiene cruz y se elige una bola sin pintar.
¼ 0 1 1
Tabla Nº 1
Cálculos de las probabilidades de transición si el estado actual es 1 1 0
3. Probabilidades de transición en la n – ésima etapa
Suponga que se está estudiando una cadena de Markov con una matriz de probabilidad de transición conocida P. ( Las cadenas de Markov con las que se tratará son estacionarias) . Una pregunta de interés es : Si una Cadena de Markov está en el estado i en el tiempo m. ¿Cuál es la probabilidad de que n periodos después la cadena esté en el estado j? . Puesto que se trata de una Cadena de Markov estacionaria, esta probabilidad es independiente de m , así que se podría escribir.
P ( X m + n = j / X m = i) = P ( X n = j / X 0 = i ) = P i j ( n)
Donde: P i j ( n) se llama probabilidad del n –ésimo paso de una transición del estado i al estado j.
Resulta claro que
P ij (1) = p i j
Para determinar P ij (2), observe que si el sistema ahora está en el estado i, entonces para que el sistema termine en el estado j dos periodos a partir de ahora, se debe ir del estado i a algún estado k y luego del estado k al estado j ( véase la figura 2). Este razonamiento nos permite escribir
P ij (2) = ( probabilidad de transición de i a k ) * ( probabilidad de transición de k a j
)
3. Probabilidades de transición en la n – ésima etapa
k = 1
k = s
Σ
El lado derecho de (3) es solo el producto escalar del renglón i de la matriz P con la columna J de la matriz P. Por consiguiente, P ij (2) es el i j –ésimo elemento de la matriz P(2). Al ampliar este razonamiento, se puede demostrar que para n>1 ,
3. Probabilidades de transición en la n – ésima etapa
Usando la definición de P, la matriz de probabilidad de transición, se reescribe la ecuación como
P ij (2) = p ik p kj (3) k = 1
k = s
Σ
P ij (n) = i j – ésimo elemento de Pn (4)
Por supuesto, para n = 0; P ij (0) = P( X0 = j / Xo = i), así que se debe escribir
3. Probabilidades de transición en la n – ésima etapa
P ij (0) = 1 si j = i
0 si j = i
Se ilustra el uso de la ecuación (4) en el ejemplo 7
Figura 2P ij (2) = pi1 p1i + p i2 p2j + …+
pis psji
1
2
k
s
J
Estado
pi1
pi2
pik
pis
p1i
p2i
pki
psi
Tiempo 0 Tiempo 1 Tiempo 2
3. Probabilidades de transición en la n – ésima etapa
Ejemplo Nº 7
Suponga que toda la industria de bebidas de cola produce solo dos. Dado que una persona la última vez que compró cola 1, hay 90% de probabilidades de que su siguiente compra sea cola 1. Dado que la última compra de una persona fue cola 2, hay un 80% de probabilidades que su siguiente compra sea cola 2 1.Si una persona en la actualidad es comprador de cola 2 ¿Cuál es la probabilidad de que compre cola 1 dos veces a partir de ahora.?2.Si una persona en la actualidad es comprador de cola 1 ¿ Cuál es la probabilidad de que compre cola 1 tres veces a partir de ahora.?
Solución Nº 7
3. Probabilidades de transición en la n – ésima etapa
Vemos las compras de cada persona como una Cadena de Markov con el estado, en cualquier tiempo dado del tipo de cola que compró la persona en la última vez. Así, las compras de cada individuo pueden representarse como una cadena de Markov de dos estados , donde:Estado 1 = La persona compró cola de tipo 1 la última vez Estado 2 = La persona compró cola de tipo 2 la última vez
Si se define Xn como el tipo de cola que una persona compra en su n –ésima vez compra futura (compra actual de cola = X0 ), entonces X0 , X1, … se podría describir como una cadena de Markov con la siguiente cadena de transición
Cola 1 Cola 2
Cola 1 0.90 0.10
Cola 2 0.20 0.80P =
1. Si una persona en la actualidad es comprador de cola 2 ¿Cuál es la probabilidad de que compre cola 1 dos veces a partir de ahora.?
Se busca P ( X2 = 1 / X0 = 2) = P 21 (2) = elemento 21 de P 2.
• Por consiguiente P 21 = 0.34. Esto significa que la probabilidad de que el bebedor de cola 2 compre en el futuro cola 1 es 0.34.
Solución Nº 7
3. Probabilidades de transición en la n – ésima etapa
0.90 0.10
0.20 0.80P =
0.90 0.10
0.20 0.80
0.83 0.17
0.34 0.66=
2. Si una persona en la actualidad es comprador de cola 1 ¿ Cuál es la probabilidad de que compre cola 1 tres veces a partir de ahora.?
Se busca P 11 (3) = elemento 11 de P 3.
• Por lo tanto la probabilidad de que el bebedor compre cola 1 tres veces a partir de ahora es 0.781
Solución Nº 7
3. Probabilidades de transición en la n – ésima etapa
0.90 0.10
0.20 0.80P =
0.83 0.17
0.34 0.66 =0.781 0.219
0.438 0.562
1. Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que trabajar en C al cabo de cuatro días?
La matriz de transición es:
3. Probabilidades de transición en la n – ésima etapa
Ejemplo Nº 8 : el Problema del Ejemplo Nº 4
4,04,02,0
6,02,02,0
6,03,01,0
P
1 ) consiste en averiguar el término p433, es decir el término que
ocupa la fila 3 y la columna 3 de la matriz P4.
Propuesta de respuesta:0,5008
2.¿Cuales son los porcentajes de días en los que el agente comercial está en cada una de las tres ciudades?
3. Probabilidades de transición en la n – ésima etapa
Ejemplo Nº 8 : el Problema del Ejemplo Nº 4
),,(
4,04,02,0
6,02,02,0
6,03,01,0
).,,( zyxzyx
1 zyx
Nos piden las probabilidades estacionarias. Para ello hay que resolver el siguiente sistema:
;
Desarrollando resulta el sistema de ecuaciones lineales:
1
0666
0483
0229
zyx
zyx
zyx
zyx
Se deduce que x =2/11=0,1818 y = 7/22=0.3181 z = 0,5. En porcentajes serían el 18,18% para la ciudad A, el 31,81 para B y el 50% para la ciudad C.
• Si adicionamos la información de que el 1 de septiembre, ¼ de los clientes va al S1, 1/3 al S2 y 5/12 al S3 de un total de 10.000 personas.Entonces:
3. Probabilidades de transición en la n – ésima etapa
Ejemplo Nº 9 : el Problema del Ejemplo Nº 2
¿Cuál es la proporción de clientes para los supermercados el 1 de noviembre?
4,01,05,0
10,005,085,0
01,09,0
P
3. Probabilidades de transición en la n – ésima etapa
Ejemplo Nº 9 : el Problema del Ejemplo Nº 2
Para el mes de noviembre (han transcurrido 2 meses desde 1 de septiembre), la proporción de clientes es
0883,00958,08158,0
17,0095,0735,0
045,00975,08575,0
01,0095,0895,0
12
5
3
1
4
1
12
5
3
1
4
1 2
P
La proporción es del 81,58% para S1, 9,58% para S2 y 8,83% para S3
