Santiago Figueira · y 1s es la misma y esta propiedad de estabilidad es heredada por cualquier...

Aleatoriedad y anti-aleatoriedad

Santiago Figueira

Universidad de Buenos AiresFacultad de Ciencias Exactas y Naturales

Departamento de Computacion

3 de noviembre de 2006

Contenidos

I Aleatoriedad

I Nociones debiles

I numeros normalesI numeros absolutamente normalesI numeros estocasticos

I Nociones fuertes

I paradigma computacionalI paradigma de teorıa de la medidaI paradigma de impredecibilidad

I Anti-aleatoriedad

I K -trivialidad y C -trivialidadI Nociones de bajura (lowness)I Equivalencia entre varas nociones

NotacionI Numeros reales = secuencias = conjuntos de naturales

2ω= secuenciasinfinitas de 0s y 1s

A = 010110101011 . . .

[0, 1] = numeros realesentre 0 y 1

A = 0, 010110101011 . . .

conjuntos de NA = 1, 3, 4, 6, 8, 10, 11 . . .

I 2 = 0, 1I 2<ω = conjunto de todas las cadenas binariasI A n = primeros n dıgitos de AI A(i) ∈ 2 es el i-esimo bit de A. Entonces A(i) = 1 sii i ∈ A.I si σ es una cadena, |σ| es la longitud de σ

Numeros normalesExperimento: tirar una moneda y anotar 0 = cara y 1 = ceca.

0001110110101101010110100111101101 . . .

Esperamos que frecuencia de 0s = frecuencia de 1s.

0101010101010101010101010101010101 . . .

no parece una salida de este experimento. Es porque tambienesperamos que los bloques de la misma longitud aparezcan con lamisma frecuencia. En el ejemplo de arriba, 00 no aparece nunca.

Definicion (Borel, 1909)

I Un numero real A es normal en base t si para todo bloque σde 0, . . . , t − 1,

lımn→∞

# apariciones de σ en A n

t |σ|.

I Un numero es absolutamente normal cuando es normal encada base t = 2, 3, 4, . . .

0001110110101101010110100111101101 . . .

0101010101010101010101010101010101 . . .

lımn→∞

t |σ|.

0001110110101101010110100111101101 . . .

0101010101010101010101010101010101 . . .

lımn→∞

t |σ|.

0001110110101101010110100111101101 . . .

0101010101010101010101010101010101 . . .

lımn→∞

t |σ|.

Numeros absolutamente normales

Teorema (Borel, 1909)

Casi todos los numeros reales (en el sentido dela medida de Lebesgue) son absolutamentenormales:

µ (A ∈ [0, 1] : A es abs. normal) = 1

Hay muchos pero es difıcil encontrar ejemplosconcretos.

I Ningun racional es normal en base t.I Se cree que

√2, π, e son normales en base 10.

I El numero de Champernowne (1933):

0,12345678910111213. . .

es normal en base 10 pero no es abs. normal.

normales

abs. normales

computables

Sierpinski (1917) da el primer ejemplo un numero abs. normal.

Pregunta: ¿Hay numeros absolutamente normales y computables?

µ (A ∈ [0, 1] : A es abs. normal) = 1

0,12345678910111213. . .

normales

abs. normales

computables

µ (A ∈ [0, 1] : A es abs. normal) = 1

I Ningun racional es normal en base t.

I Se cree que√

2, π, e son normales en base 10.I El numero de Champernowne (1933):

0,12345678910111213. . .

normales

abs. normales

computables

µ (A ∈ [0, 1] : A es abs. normal) = 1

0,12345678910111213. . .

normales

abs. normales

computables

µ (A ∈ [0, 1] : A es abs. normal) = 1

0,12345678910111213. . .

normales

abs. normales

computables

µ (A ∈ [0, 1] : A es abs. normal) = 1

0,12345678910111213. . .

normales

abs. normales

computables

Pregunta: ¿Hay numeros absolutamente normales y computables?5

Hay numeros absolutamente normales en todos lados

TeoremaExisten numeros abs. normales computables.

Pero el algoritmo para computarlo es muy malo.Pregunta: ¿Hay numeros abs. normales en P?Dos enfoques:

I mejorar los algoritmos

I mejorar las tecnicas de demostracion (talvez π es absolutamente normal)

TeoremaHay un real absolutamente normal computableX y un conjunto infinito computable A tal quecualquier real Y que difiere con X solo en lasposiciones de A tambien es absolutamentenormal.

abs. normales

computables

=B : B ≡T ∅

B:B≡

CorolarioExisten numeros absolutamente normales en todo grado 1.

abs. normales

computables

=B : B ≡T ∅

B:B≡

CorolarioExisten numeros absolutamente normales en todo grado 1.

abs. normales

computables

=B : B ≡T ∅

B:B≡

CorolarioExisten numeros absolutamente normales en todo grado 1. 6

Numeros estocasticos

El primer intento de definicion de aleatoriedad es de von Mises:

Definicion (Von Mises, 1919)

Una secuencia es aleatoria cuando el numero de ocurrencias de 0sy 1s es la misma y esta propiedad de estabilidad es heredada porcualquier subsecuencia infinita obtenida por una regla de seleccion“admisible”.

Definicion (Church, 1940)

Llamamos funcion de seleccion a una funcion f : 2<ω → 2computable total. f es densa a lo largo de A si f (A n) = 1 parainfinitos n. A es estocastico si para cada funcion de seleccion f quesea densa sobre A,

lımn→∞

‖k < n : f (A k) = 1 ∧ k ∈ A‖‖k < n : f (A k) = 1‖

= 1/2.

Numeros estocasticos

El primer intento de definicion de aleatoriedad es de von Mises:

Definicion (Von Mises, 1919)

Una secuencia es aleatoria cuando el numero de ocurrencias de 0sy 1s es la misma y esta propiedad de estabilidad es heredada porcualquier subsecuencia infinita obtenida por una regla de seleccion“admisible”.

Definicion (Church, 1940)

Llamamos funcion de seleccion a una funcion f : 2<ω → 2computable total. f es densa a lo largo de A si f (A n) = 1 parainfinitos n. A es estocastico si para cada funcion de seleccion f quesea densa sobre A,

lımn→∞

‖k < n : f (A k) = 1 ∧ k ∈ A‖‖k < n : f (A k) = 1‖

= 1/2.

Paradigma de impredecibilidadIdea: El conocimiento de los primeros n bits no ayuda paraconocer el n + 1-esimo.

Definicion (Ville, 1939)I Una martingala es una funcion d : 2<ω → [0,∞) tal que

d(λ) > 0 y para cada σ ∈ 2<ω

d(σ) =d(σ0) + d(σ1)

I d tiene exito en A si

lım supn→∞

d(A n) = ∞.

I d tiene exito en una clase C si d tiene exito en cada A ∈ C.

La interpretacion es:I juego justo de apuestas en bits sucesivos de una secuencia escondida

I d representa el capital. El apostador empieza con capital d(λ) > 0.

I en cada vuelta, apuesta αd(σ) al 0 y (1− α)d(σ) al 1 para α ∈ [0, 1]

I si acierta, duplica; sino pierde. d(σ0) = 2αd(σ); d(σ1) = 2(1− α)d(σ).8

Paradigma de impredecibilidad

Recordemos que µ es la medida de Lebesgue.

Teorema (Ville, 1939)

Para cualquier clase C, µ (C) = 0 sii hay una martingala que tieneexito en C.

Definicion (Schnorr, 1971)

A es recursivamente aleatorio (rec. aleatorio) si ninguna martingalacomputable tiene exito en A.

Proposicion

Casi todos los numeros reales son rec. aleatorios.

Paradigma de impredecibilidad

Recordemos que µ es la medida de Lebesgue.

Teorema (Ville, 1939)

Para cualquier clase C, µ (C) = 0 sii hay una martingala que tieneexito en C.

A es recursivamente aleatorio (rec. aleatorio) si ninguna martingalacomputable tiene exito en A.

Proposicion

Casi todos los numeros reales son rec. aleatorios.

Impredecibilidad con recursos acotados

DefinicionA es t(n)-rec. aleatorio si ninguna martingala enDTIME(t(n)) tiene exito en A.

Pregunta: ¿Existe t tal que si A es t(n)-rec.aleatorio entonces es absolutamente normal? Porejemplo: ¿si A es n2-rec. aleatorio entonces Asera absolutamente normal?

Pregunta: ¿Para que t(n) vale que hay unt(n)-rec. aleatorio en cada grado 1 (m, tt, T )

t(n)-rec. aleat.

t’(n)-rec. aleat.

rec. aleat.

t < t ′

computables

Impredecibilidad con recursos acotados

DefinicionA es t(n)-rec. aleatorio si ninguna martingala enDTIME(t(n)) tiene exito en A.

Pregunta: ¿Existe t tal que si A es t(n)-rec.aleatorio entonces es absolutamente normal? Porejemplo: ¿si A es n2-rec. aleatorio entonces Asera absolutamente normal?

Pregunta: ¿Para que t(n) vale que hay unt(n)-rec. aleatorio en cada grado 1 (m, tt, T )

t(n)-rec. aleat.

t’(n)-rec. aleat.

rec. aleat.

t < t ′

computables

Paradigma de teorıa de la medida

I los numeros aleatorios deben se aquellos que no tenganpropiedades “efectivamente” raras

I si una propiedad es un conjunto efectivamente nulo, entoncesun numero aleatorio no debe tener esa propiedad

I o sino, el paradigma de estocasticidad: un aleatorio debe pasartodos los test estadısticos efectivos

Definicion (Martin-Lof, 1966)I un test de Martin-Lof es una secuencia (Vn)n∈N de clases Σ0

uniformemente c.e. tal que µ (Vn) ≤ 2−n

I A pasa el test de Martin-Lof (Vn)n∈N si A /∈⋂

n∈N Vn

I A es Martin-Lof aleatorio (ML aleatorio) si y solo si A pasatodo test de Martin-Lof

I los numeros aleatorios deben se aquellos que no tenganpropiedades “efectivamente” raras

I si una propiedad es un conjunto efectivamente nulo, entoncesun numero aleatorio no debe tener esa propiedad

I o sino, el paradigma de estocasticidad: un aleatorio debe pasartodos los test estadısticos efectivos

Definicion (Martin-Lof, 1966)I un test de Martin-Lof es una secuencia (Vn)n∈N de clases Σ0

uniformemente c.e. tal que µ (Vn) ≤ 2−n

I A pasa el test de Martin-Lof (Vn)n∈N si A /∈⋂

n∈N Vn

I A es Martin-Lof aleatorio (ML aleatorio) si y solo si A pasatodo test de Martin-Lof

TeoremaExiste un test universal de Martin-Lof; i.e. existe (Un)n∈N tal que Aes ML aleatorio sii A pasa (Un)n∈N.

En otras palabras, los ML aleatorios son 2ω \⋂

n∈N Un

Proposicion

Casi todos los reales son ML aleatorios.

La crıtica de SchnorrTeorema (Schnorr, 1971)

A es ML aleatorio sii ninguna martingala c.e. tiene exito en A.

DefinicionUn martingala d es c.e. si d(σ) es un real left-c.e. tal qued(σ) = lıms d(σ) y λσ, s.ds(σ) ∈ Q es una funcion computable.

Segun ScnorrI el teorema muestra una falla en la intuicion detras de la nocion de ML

aleatoriedad

I la aleatoriedad debe estar relacionada con vencer estrategias computablesy no c.e.

I de la misma manera, en la definicion de Martin-Lof, los tests Vn son c.e.pero no computables

Lo mismo que Martin-Lof, pero con µ (Vn) = 2−n.

Ası, los Vn se vuelven computables (i.e. σ2ω ⊆ Vn es computable).

TeoremaNo hay test universal de Schnorr.

La crıtica de SchnorrTeorema (Schnorr, 1971)

A es ML aleatorio sii ninguna martingala c.e. tiene exito en A.

DefinicionUn martingala d es c.e. si d(σ) es un real left-c.e. tal qued(σ) = lıms d(σ) y λσ, s.ds(σ) ∈ Q es una funcion computable.

Segun ScnorrI el teorema muestra una falla en la intuicion detras de la nocion de ML

aleatoriedad

I la aleatoriedad debe estar relacionada con vencer estrategias computablesy no c.e.

I de la misma manera, en la definicion de Martin-Lof, los tests Vn son c.e.pero no computables

Lo mismo que Martin-Lof, pero con µ (Vn) = 2−n.

Ası, los Vn se vuelven computables (i.e. σ2ω ⊆ Vn es computable).

TeoremaNo hay test universal de Schnorr. 13

Paradigma computacionalIdea: los numeros aleatorios son algorıtmicamente incompresibles

Sea T0,T1,T2, . . . una enumeracion de todas las maquinas deTuring libres de prefijos.

DefinicionU es una maquina libre de prefijos universal sii

(∀e)(∃c)(∀p)(∃q) [U(q) = Te(p) ∧ |q| ≤ |p|+ c].

Fijamos U = maquina universal.

Definicion (Levin, 1973; Schnorr, 1973; Chaitin, 1975)

K : 2<ω → N, la complejidad de largo de programa con respecto ala maquina universal U, es K (σ) = mın|p| : U(p) = σ.K es una nocion de complejidad absoluta.

Definicion (Levin, 1974; Gacs, 1974, Chaitin, 1975)

A es Levin-Chaitin aleatorio sii (∃c)(∀n) K (A n) > n − c .

Paradigma computacionalIdea: los numeros aleatorios son algorıtmicamente incompresibles

Sea T0,T1,T2, . . . una enumeracion de todas las maquinas deTuring libres de prefijos.

DefinicionU es una maquina libre de prefijos universal sii

(∀e)(∃c)(∀p)(∃q) [U(q) = Te(p) ∧ |q| ≤ |p|+ c].

Fijamos U = maquina universal.

Definicion (Levin, 1973; Schnorr, 1973; Chaitin, 1975)

K : 2<ω → N, la complejidad de largo de programa con respecto ala maquina universal U, es K (σ) = mın|p| : U(p) = σ.K es una nocion de complejidad absoluta.

Definicion (Levin, 1974; Gacs, 1974, Chaitin, 1975)

A es Levin-Chaitin aleatorio sii (∃c)(∀n) K (A n) > n − c .14

Ejemplo de numero aleatorio: probabilidad de detencion

Dada una maquina libre de prefijos M,

ΩM =∑

p:M(p)↓

2−|p| = µ (domM2ω) .

es la probabilidad de que M se detenga.

Por ejemplo, si M(p) ↓ solo cuando p = 0i1 con i par, entonces

ΩM = 0,1010101 . . . = 2/3.

Teorema (Chaitin, 1975)

Para cualquier maquina universal U, ΩU es aleatorio.

Teorema (Slaman y Kucera, 2001)

Para cualquier A left-c.e. Son equivalentes:

I A es ML aleatorio

I Para todo B left-c.e. (∃c)(∀n) K (B n) ≤ K (A n) + c

I A es la probabilidad de detencion de alguna maquina universal

ΩM =∑

p:M(p)↓

2−|p| = µ (domM2ω) .

ΩM = 0,1010101 . . . = 2/3.

I A es ML aleatorio

I A es la probabilidad de detencion de alguna maquina universal

ΩM =∑

p:M(p)↓

2−|p| = µ (domM2ω) .

ΩM = 0,1010101 . . . = 2/3.

I A es ML aleatorio

I A es la probabilidad de detencion de alguna maquina universal15

Martin-Lof aleatorio ⊆ rec. aleatorio ⊆ Schnorr aleatorio

Teorema (Schnorr, 1971)

A es ML aleatorio sii A es Levin-Chaitinaleatorio.

A partir de ahora, los llamo simplementealeatorios.

Teorema (Nies, Stephan y Terwijn, 2005)

Para todo A, son equivalentes:

I A es alto (high)

I ∃B ≡T A tal que B es rec. aleatorio perono ML aleatorio

I ∃C ≡T A tal que C es Schnorr aleatoriopero no rec. aleatorio

normales

abs. normales

computables

rec. aleatorios

Schnorr aleatorios

ML aleatorios

Martin-Lof aleatorio ⊆ rec. aleatorio ⊆ Schnorr aleatorio

Teorema (Schnorr, 1971)

A es ML aleatorio sii A es Levin-Chaitinaleatorio.

A partir de ahora, los llamo simplementealeatorios.

Teorema (Nies, Stephan y Terwijn, 2005)

Para todo A, son equivalentes:

I A es alto (high)

I ∃B ≡T A tal que B es rec. aleatorio perono ML aleatorio

I ∃C ≡T A tal que C es Schnorr aleatoriopero no rec. aleatorio

normales

abs. normales

computables

rec. aleatorios

Schnorr aleatorios

ML aleatorios

(Parentesis: teorıa de la computabilidad)

DefinicionA es T -reducible a B, (notado A ≤T B) si existe un funcional Ψtal que (∀x) ΨB(x) = A(x).

DefinicionEl salto de A es

A′ = x : ΦAx (x) ↓.

Por ejemplo, ∅′ es el problema de la detencion (halting problem).

I para cualquier A, ∅ ≤T A <T A′

I si A ≤T B entonces A′ ≤T B ′

Si A es c.e. entonces 0 ≤T A ≤T ∅′. Luego ∅′ ≤T A′ ≤T ∅′′.Definicion

I A es alto (high) si A′ ≡T ∅′′ (i.e. lo mas difıcil que puede ser).

I A es bajo (low) si A′ ≡T ∅′ (i.e. lo mas facil que puede ser).

A′ = x : ΦAx (x) ↓.

Reales anti-aleatorios: K -trivialidad y C -trivialidadA es aleatorio cuando es algorıtmicamente incompresible: lacomplejidad de A n es mayor que n.

A es anti-aleatorio cuando A es altamente compresible: lacomplejidad de A n es parecida a la complejidad de 0n.

A n = A0 A1 A2 . . . An−1

0n = 0 0 0 . . . 0

Definicion (Kolmogorov, 1965; Solomonoff, 1964; Chaitin1975)

C : 2<ω → N es la complejidad plana (como K pero sin trabajarcon maquinas libres de prefijos).

C < K y C no sirve para definir aleatoriedad.

Definicion

I Un real A es C -trivial cuando (∃c)(∀n) C (A n) ≤ C (0n) + c .

I Un real A es K -trivial cuando (∃c)(∀n) K (A n) ≤ K (0n)+ c .

A n = A0 A1 A2 . . . An−1

0n = 0 0 0 . . . 0

Definicion

I Un real A es K -trivial cuando (∃c)(∀n) K (A n) ≤ K (0n)+ c .

A n = A0 A1 A2 . . . An−1

0n = 0 0 0 . . . 0

Definicion

I Un real A es K -trivial cuando (∃c)(∀n) K (A n) ≤ K (0n)+ c . 18

Reales anti-aleatorios: K -trivialidad y C -trivialidad

A es C-trivial sii A es computable.

Si A es K-trivial entonces A ≤T ∅′ (i.e.A ∈ ∆0

Teorema (Solovay, 1975; Downey et al.2002)

Existen K-triviales no computables.

Chaitin pregunto: ¿Se pueden caracterizar alos reales computables usando K?

computables= C -triviales

aleatorios

K-triv

TeoremaA es computable sii A es K∞-trivial.

(K∞ es una variante de K sobre computos infinitos. Es libre deprefijos.)

aleatorios

K-triv

aleatorios

K-triv

aleatorios

K-triv

Nociones de lowness y K -trivialidadUna nocion de bajura (lowness) de un conjunto A ⊆ N dice que Aes computacionalmente debil cuando se lo usa como oraculo. Porlo tanto A esta cerca de ser computable. Algunas son nociones deanti-aleatoriedad.

Algunas nociones de bajura

La funcion de complejidad K y la definicion de ML aleatorio sepueden relativizar a oraculos.Algunos oraculos pueden ser utiles y otros no.

I A es K -trivial: algorıtmicamente muy compresible.(∃c)(∀n) K (A n) ≤ K (0n) + c .

I A es bajo para K (low for K ): no es util para reducir K .(∃c)(∀σ) K (σ) ≤ KA(σ) + c .

I A es bajo para aleatorios (low for random): no es util paradetectar regularidades.Para todo B, si B es aleatorio entonces B es A-aleatorio

Teorema (Nies, 2003)

Las tres clases son equivalentes.

Algunas nociones de bajura

La funcion de complejidad K y la definicion de ML aleatorio sepueden relativizar a oraculos.Algunos oraculos pueden ser utiles y otros no.

I A es K -trivial: algorıtmicamente muy compresible.(∃c)(∀n) K (A n) ≤ K (0n) + c .

I A es bajo para K (low for K ): no es util para reducir K .(∃c)(∀σ) K (σ) ≤ KA(σ) + c .

I A es bajo para aleatorios (low for random): no es util paradetectar regularidades.Para todo B, si B es aleatorio entonces B es A-aleatorio

Teorema (Nies, 2003)

Las tres clases son equivalentes.

Otras nociones combinatorias de bajura

I Investigamos dos nociones de lowness(bajura) combinatorias que no involucranK y provienen de la teorıa de lacomputabilidad.

I Tienen propiedades parecidas a las deK -trivialidad.

I Estan relacionadas entre sı y vinculadascon C .

Pregunta ¿Podemos caracterizar a losK -triviales en terminos otras nocionescombinatorias de bajura provenientes de lateorıa de la computabilidad?

computables

aleatorios

K-triv

¿otras?

Otras nociones combinatorias de bajura

I Investigamos dos nociones de lowness(bajura) combinatorias que no involucranK y provienen de la teorıa de lacomputabilidad.

I Tienen propiedades parecidas a las deK -trivialidad.

I Estan relacionadas entre sı y vinculadascon C .

Pregunta ¿Podemos caracterizar a losK -triviales en terminos otras nocionescombinatorias de bajura provenientes de lateorıa de la computabilidad?

computables

aleatorios

K-triv

¿otras?

ReferenciasTeorıa algorıtmica de la informacion

Rod G. Downey and Denis R. Hirschfeldt.

Algorithmic randomness and complexity.

In preparation.http://www.mcs.vuw.ac.nz/∼downey/randomness.pdf.

Ming Li and Paul Vitanyi.

An introduction to Kolmogorov complexity and its applications.

Springer, 2nd edition, 1997.

Cristian Calude.

Information and Randomness, an Algorithmic Perspective.

Springer-Verlag, Berlin, 1994.

Joseph S. Miller and Andre Nies.

Randomness and computability: Open questions

Bulletin of Symbolic Logic, 12(3):390-410, 2006.

ReferenciasAleatoriedad

Rod Downey, Denis R. Hirschfeldt, Andre Nies, and SebastiaanTerwijn.

Calibrating randomness.

Bulletin of Symbolic Logic, 12(3):411-491, 2006.

Gregory J. Chaitin.

A theory of program size formally identical to information theory.

Journal of the ACM, 22:329–340, 1975.

Klaus Ambos-Spies and Elvira Mayordomo.

Resource Bounded Measure and Randomness.

In Complexity Logic and Recursion Theory, pages 1–47, New YorkNY, 1997.

ReferenciasAnti-aleatoriedad

Rod G. Downey, Denis R. Hirschfeldt, Andre Nies, and FrankStephan.Trivial reals.In Proceedings of the 7th and 8th Asian Logic Conferences,pages 103–131. World Scientific, River Edge, NJ, 2003.

Andre Nies.Reals which compute little.Proceedings of Logic Colloquium 2002, Chatizdais, Z, Koepke,P. and Pohlers, W., editors, Lecture Notes in Logic27:261-275, 2002.

ReferenciasTeorıa de la computabilidad

Robert I. Soare.

Recursively enumerable sets and degrees.

Springer, Heidelberg, 1987.

Piergiorgio Odifreddi.

Classical recursion theory, volume 1.

North-Holland, Amsterdam, 1999.

¡Vengan a Logic, Computability and Randomness 2007!

Vienen:

I Eric Allender

I Roberto Cignoli

I Noam Greenberg

I Joos Heintz

I Carl Jockusch

I Antonin Kucera

I Steffen Lempp

I Wolfgang Merkle

I Joseph S. Miller

I Jean-Eric Pin

I Jan Reimann

I Claus-Peter Schnorr

I Richard A. Shore

I Theodore Slaman

I Ray Solomonoff

I Ludwig Staiger

I Sebastiaan Terwijn

I Vladimir V’yugin

I Liang Yu

Organizan:

I Veronica Becher

I Rod Downey

I Denis Hirschfeldt

Mas informacion en www.dc.uba.ar/logic2007

Santiago Figueira · y 1s es la misma y esta propiedad de estabilidad es heredada por cualquier...

Documents

Transcript of Santiago Figueira · y 1s es la misma y esta propiedad de estabilidad es heredada por cualquier...