Elementos de Teoría de la Información Clase 29-Junio-2011
description
Transcript of Elementos de Teoría de la Información Clase 29-Junio-2011
![Page 1: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/1.jpg)
1
Elementos de Teoría de la Información
Clase 29-Junio-2011
![Page 2: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/2.jpg)
2
Recordemos ….
que es “Ruido “ ….
![Page 3: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/3.jpg)
3
Perturbaciones en la transmisión La señal recibida puede diferir de la señal
transmitida Analógico - degradación de la calidad de la
señal Digital – Errores de bits Causado por
Atenuación y distorsión de atenuación Distorsión de retardo Ruido
![Page 4: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/4.jpg)
4
Atenuación La intensidad de la señal disminuye con la
distancia Depende del medio La intensidad de la señal recibida:
Debe ser suficiente para que se detecte Debe ser suficientemente mayor que el ruido para que se
reciba sin error Crece con la frecuencia
Ecualización: amplificar más las frecuencias más altas
Problema “menos grave” para las señales digitales
![Page 5: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/5.jpg)
5
Distorsión de retardo
Sólo en medios guiados La velocidad de propagación en el medio varía
con la frecuencia Para una señal limitada en banda, la velocidad
es mayor cerca de la frecuencia central Las componentes de frecuencia llegan al
receptor en distintos instantes de tiempo, originando desplazamientos de fase entre las distintas frecuencias
![Page 6: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/6.jpg)
6
Ruido (1) Señales adicionales insertadas entre el transmisor
y el receptor Térmico
Debido a la agitación térmica de los electrones Aumenta linealmente con la temperatura absoluta (N0= kT) Uniformemente distribuido en la frecuencia Ruido blanco (NBW= kTB)
Intermodulación Señales que son la suma y la diferencia de frecuencias
originales y sus múltiplos (mf1± nf2) Se produce por falta de linealidad
![Page 7: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/7.jpg)
7
Ruido (2)
Diafonía Una señal de una línea se mete en otra
Impulsivo Impulsos irregulares o picos Ej: Interferencia electromagnética externa
(tormenta) Corta duración Gran amplitud
![Page 8: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/8.jpg)
8
Efecto del ruido en señal digital
![Page 9: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/9.jpg)
9
Conceptos relacionados con la capacidad del canal Velocidad de datos
En bits por segundo Velocidad a la cual se pueden transmitir los datos
Ancho de Banda En ciclos por segundo (hertz) Limitado por el transmisor y el medio
Ruido, nivel medio a través del camino de transmisión Tasa de errores, cambiar 0 por 1 y viceversa (BER, Bit
Erro Rate)
![Page 10: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/10.jpg)
10
Ancho de Banda de Nyquist (ancho de banda teórico máximo)Para 2 niveles SIN RUIDO
Velocidad binaria
Para M niveles SIN RUIDO Velocidad binaria
1 Baudio = 1 estado señalización/sg 1 Baudio = 1 bps si M=2 La relación entre la velocidad de transmisión C y la velocidad de modulación V es:
)(2)( HzBbpsC
)(log)(2)( 2 nivelesMHzBbpsC
MbaudiosVbpsC 2)·log()( Nyquist, H., “Certain Factors Affecting Telegraph Speed,” Bell System Technical Journal, April 1924, p. 324; “Certain Topics inTelegraph Transmission Theory,” A.I.E.E. Trans., v. 47, April 1928, p. 617.
![Page 11: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/11.jpg)
11
Capacidad de Shannon (1) Para un cierto nivel de ruido, a mayor velocidad,
menor período de un bit, mayor tasa de error (se pueden corromper 2 bits en el tiempo en que antes se corrompía 1 bit)
Relación Señal / Ruido (Signal Noise Ratio, SNR) en dB
Restricción: no se puede aumentar M cuanto se quiera porque debe cumplirse:
RuidoPotencia
SeñalPotenciaSNRSNRdB _
_log10)log(10
SNRM 1
![Page 12: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/12.jpg)
12
Capacidad de Shannon (2) En principio, si se aumenta el ancho de banda B
y la potencia de señal S, aumenta la velocidad binaria C.
Pero: Un aumento del ancho de banda B aumenta el ruido Un aumento de potencia de señal S aumenta las no
linealidades y el ruido de intermodulación Por tanto, la velocidad binaria teórica máxima será:
=>
2222 ·log·log·2·log)( MBMBMVbpsC
)1()·log()( 2 SNRHzBbpsCmáx
![Page 13: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/13.jpg)
13
Ley de Shannon (1948)
La cantidad de símbolos (o bits/baudio) que pueden utilizarse dependen de la calidad del canal, es decir de su relación señal/ruido.
La Ley de Shannon expresa el caudal máximo en bits/s de un canal analógico en función de su ancho de banda y la relación señal/ruido :
Capacidad = BW * log2 (1 + S/R) donde: BW = Ancho de Banda S/R = Relación señal/ruido
![Page 14: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/14.jpg)
14
Ejemplo
Canal entre 3 MHz y 4 MHz Relación señal ruido = 24 dB, SNR=102,4=251
Calcular ancho de banda Respuesta: B = 1 MHz
Calcular la velocidad binaria teórica máxima y el número de niveles Respuesta: SNR = 251 Respuesta: C = 8 Mbps Respuesta: M = 16 niveles
![Page 15: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/15.jpg)
15
Relación Eb/N0 (1)
Eb: energía de señal por bit (Eb=S·Tb=S/R)
siendo S potencia señal, Tb tiempo de un bit, R bits/sg
N0: densidad de potencia de ruido por Hz Se demuestra fácilmente que:
O bien
kTR
S
N
RS
N
Eb 00
/
6,228log10log100
TRS
N
EdBW
dB
b
![Page 16: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/16.jpg)
16
Relación Eb/N0 (2)siendo k la constante de Boltzmann, cuyo valor es
y siendo T la temperatura absoluta en grados Kelvin
Ejemplo: Para obtener una relación Eb/N0 = 8,4 dB a una temperatura ambiente de 17 ºC (290 ºK) y una velocidad de transmisión de 2.400 bps, ¿qué potencia de señal recibida se necesita?
Respuesta:
KJk /º10·3803,1 23
8,161dBWS
![Page 17: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/17.jpg)
17
Teoría de la Información y Codificación
![Page 18: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/18.jpg)
18
Teoría de la Información
Claude Shannon estableció la Teoría de la Información Clásica
Dos Teoremas Fundacionales:
1. Noiseless source coding2. Noisy channel coding
C. E. Shannon, Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948. Reprinted with corrections from The Bell System Technical Journal,
![Page 19: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/19.jpg)
19
Uno de ellos describe la máxima eficiencia posible de un método de corrección de errores ( codificación ) frente a los niveles de ruido y de corrupción de los datos. No dice nada sobre como implementar dicha codificación . En definitiva brinda el limite para la TX de bits (basándose en la Ley de los Grandes Números )
Teoría de Shannon
![Page 20: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/20.jpg)
20February 8, 2010 Harvard QR48 20
Shannon , paper Bell Labs (1948)
![Page 21: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/21.jpg)
21
C. E. Shannon, Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948
A method is developed for representing any communicationsystem geometrically. Messages and the corresponding signals arepoints in two “function spaces,” and the modulation process is amapping of one space into the other. Using this representation, anumber of results in communication theory are deduced concerningexpansion and compression of bandwidth and the thresholdeffect. Formulas are found for the maximum rate of transmissionof binary digits over a system when the signal is perturbed byvarious types of noise. Some of the properties of “ideal” systemswhich transmit at this maximum rate are discussed. The equivalentnumber of binary digits per second for certain information sourcesis calculated.
![Page 22: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/22.jpg)
22
C. E. Shannon (January 1949). "Communication in the presence of noise"
Proc. Institute of Radio Engineers vol. 37 (1): 10–21. THE recent development of various methods of modulation such as PCM and PPM which exchangebandwidth for signal-to-noise ratio has intensified the interest in a general theory of communication. Abasis for such a theory is contained in the important papers of Nyquist and Hartley on this subject. In thepresent paper we will extend the theory to include a number of new factors, in particular the effect of noisein the channel, and the savings possible due to the statistical structure of the original message and due to thenature of the final destination of the information.The fundamental problem of communication is that of reproducing at one point either exactly or approximatelya message selected at another point. Frequently the messages have meaning; that is they referto or are correlated according to some system with certain physical or conceptual entities. These semanticaspects of communication are irrelevant to the engineering problem. The significant aspect is that the actualmessage is one selected from a set of possible messages. The system must be designed to operate for eachpossible selection, not just the one which will actually be chosen since this is unknown at the time of design.If the number of messages in the set is finite then this number or any monotonic function of this numbercan be regarded as a measure of the information produced when one message is chosen from the set, allchoices being equally likely. As was pointed out by Hartley the most natural choice is the logarithmicfunction. Although this definition must be generalized considerably when we consider the influence of thestatistics of the message and when we have a continuous range of messages, we will in all cases use anessentially logarithmic measure.
![Page 23: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/23.jpg)
23
Modelo de un Sistema de Comunicaciones
![Page 24: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/24.jpg)
24
“If the rate of Information is less than the Channel capacity then there exists a coding technique such that the information can be transmitted over it with very small probability of error despite the presence of noise.”
![Page 25: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/25.jpg)
25
Información
![Page 26: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/26.jpg)
26
Definición : unidades
![Page 27: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/27.jpg)
27
1 Bit
![Page 28: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/28.jpg)
28
Fuente de memoria nula
![Page 29: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/29.jpg)
29
Memoria nula (cont)
![Page 30: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/30.jpg)
30
Entropía
![Page 31: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/31.jpg)
31
Entropía (cont)
La entropía de un mensaje X, que se representa por H(X), es el valor medio ponderado de la cantidad de información de los diversos estados del mensaje.
H(X) = - p(x) log2 p(x)
Es una medida de la incertidumbre media acerca de una variable aleatoria y el número de bits de información.
El concepto de incertidumbre en H puede aceptarse. Es evidente que la función entropía representa una medida de la incertidumbre, no obstante se suele considerar la entropía como la información media suministrada por cada símbolo de la fuente
![Page 32: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/32.jpg)
32
Entropía: Fuente Binaria
![Page 33: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/33.jpg)
33
a) La entropía es no negativa y se anula si y sólo si un estado de la variable es igual a 1 y el resto 0 .
b) La entropía es máxima, mayor incertidumbre del mensaje, cuando todos los valores posibles de la variable X son equiprobables (empíricamente fácil).
Si hay n estados equiprobables, entonces pi = 1/n.
Luego:
H(X) = - pi log2 pi = - n(1/n) log2 (1/n) = - (log2 1 - log2 n)
i
H(X)máx = log2 n
Propiedades de la entropía
![Page 34: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/34.jpg)
34
Si existe una segunda variable Y que influya sobre X, esto nos entregará importante información adicional.
H(X/Y) = - p(x,y) log2 p(x,y)
x,y
Luego:
H(X/Y) = - p(y) p(x/y) log2 p(x/y)
y x
La entropía se reduce: hay más orden y menos incertidumbre.
La entropía se reduce: hay más orden y menos incertidumbre.
Entropía condicional
Donde p(x,y) = p(y)p(x/y) y la relación p(x/y) es la probabilidad de que se obtenga un estado X conocido el valor de Y.
![Page 35: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/35.jpg)
35
Sea X = {x1, x2, x3, x4} con p(xi) = 0.25Sea ahora Y = {y1, y2, y3} con p(y1) = 0.5; p(y2) = 0.25; p(y3) = 0.25Luego H(X) = 4 log2 4 = 2.0 y H(Y) = 2 log2 4 + log2 2 = 1.5Además hay las siguientes dependencias entre X e Y: Si Y = y1 X = x1 o x2 o x3 o x4 (cualquiera con igual probabilidad)Si Y = y2 X = x2 o x3 (cualquiera con igual probabilidad)Si Y = y3 X = x3 o x4 (cualquiera con igual probabilidad) y=3 x=4
Como H(X/Y) = - p(y) p(x/y) log2 p(x/y) y=1 x=1
H(X/Y) = - p(y1)[p(x1/y1)log2p(x1/y1) + p(x2/y1)log2p(x2/y1) + p(x3/y1)log2p(x3/y1) + p(x4/y1)log2p(x4/y1)]
- p(y2)[p(x1/y2)log2p(x1/y2) + p(x2/y2)log2p(x2/y2) + p(x3/y2)log2p(x3/y2) + p(x4/y2)log2p(x4/y2)]
- p(y3)[p(x1/y3)log2p(x1/y3) + p(x2/y3)log2p(x2/y3) + p(x3/y3)log2p(x3/y3) + p(x4/y3)log2p(x4/y3)]
Calculando, se obtiene H(X/Y) = 1.0 + 0.25 + 0.25 = 1.5. La entropía de X ha bajado en medio bit con el conocimiento de su relación con Y.
Ejemplo
![Page 36: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/36.jpg)
36
Extensión de una Fuente de Memoria
Nula
![Page 37: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/37.jpg)
37
Fuente de Markov
![Page 38: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/38.jpg)
38
Fuente de Markov (cont)
![Page 39: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/39.jpg)
3939
Establecer una correspondencia entre los símbolos de una fuente y los símbolos del alfabeto de un código.
Codificación de FuenteCodificación de Fuente
Proceso encaminado a lograr una representación más eficiente de la información ( eliminar redundancia)*.
![Page 40: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/40.jpg)
40
Condiciones del Condiciones del códigocódigo
40
• singular
• separable (Únicamente decodificable)
• instantáneo
![Page 41: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/41.jpg)
4141
m1 --- 01 m1 --- 0 m1 --- 0 m1 --- 0
m2 --- 01 m2 --- 01 m2 --- 01 m2 --- 10
m3 --- 10 m3 --- 001 m3 --- 011 m3 --- 110
a b c d
No singularsingulares
no separable separables
instantáneo*
![Page 42: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/42.jpg)
42
Condición de los prefijosCondición de los prefijos
42
La condición necesaria y suficiente para que un código sea instantáneo es que sus palabras cumplan la condición de los prefijos:
No exista palabra que sea prefijo de No exista palabra que sea prefijo de otra palabra de longitud mayorotra palabra de longitud mayor
![Page 43: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/43.jpg)
4343
CódigosNo Singulares
SingularesNo separables
SeparablesNo
instantáneos
Instantáneos
![Page 44: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/44.jpg)
44
Códigos eficientesCódigos eficientes
44
l i longitud de la palabra codificada del mensaje m i
r : # de símbolos del alfabeto del código
L = pi l i : Longitud promedio de la palabra*
EstrategiaEstrategia: Asignar palabras más cortas a símbolos más probables
![Page 45: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/45.jpg)
45
Relación entre L y H !!!Relación entre L y H !!!
45
log r : Cantidad promedio máxima de información de un símbolo del código.
L log r L log r H(s) H(s)
Eficiencia del código :
S) S) / (/ (L L log r)log r)
![Page 46: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/46.jpg)
46
![Page 47: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/47.jpg)
47
![Page 48: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/48.jpg)
48
Nos falta encontrar el segundo término pendiente en la definición de cantidad de información: codificador óptimo.
Introduciendo el signo negativo dentro del logaritmo en la expresión de la entropía, ésta nos quedará como:
H(X) = p(x) log2 [1/p(x)]
i
La expresión log2 [1/p(x)] representa el número necesario de bits para codificar el mensaje X en un codificador óptimo.
Codificador óptimo es aquel que para codificar un mensaje X usa el menor número posible de bits.
Codificador óptimo
Veamos un ejemplo de codificación
![Page 49: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/49.jpg)
49
M = 1 “ ” = 01 A = 000 I = 0010 E = 0011
Letra Frecuencia Ocurrencias
E 1 vez 3 6 9 15
I 2 veces
A 3 veces I E A “ “ M
“ “ 3 veces I E A “ “
M 6 veces I E A
I ECódigo óptimo:
Mensaje: MI MAMA ME MIMA
Mensaje: 1 0010 01 1 000 1 000 01 1 0011 01 1 0010 1 000 (33 bits)Pregunta: ¿Con cuántos bits se codificaría si se usara ASCII? Saque conclusiones.
Creación del árbol de
frecuencias observadas
Codificación de Huffman
![Page 50: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/50.jpg)
50
Compresión de las señales
Consiste en la reducción del volumen de información tratable (procesar, transmitir o grabar).
En principio, con la compresión se pretende transportar la misma información, pero empleando la menor cantidad de espacio.
Ocupación espectral de 30 Mbits / seg a 40 Mbits / seg, para poder sr utilizado por una transmisión: via satélite de 27 Mhz a 36 Mhz canal de cable de 6 Mhz a 8 Mhz
• El espacio que ocupa una información codificada (datos, señal digital, etc.) sin compresión es el cociente entre la frecuencia de muestreo y la resolución. • Por tanto, cuantos más bits se empleen mayor será el tamaño del archivo.
![Page 51: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/51.jpg)
51
Técnicas de CompresiónCoding Type Basis Technique
EntropyEncoding
Run-length Coding
Huffman Coding
Arithmetic Coding
Source Coding
PredictionDPCM
DM
TransformationFFT
DCT
Layered Coding
Bit Position
Subsampling
Sub-band Coding
Vector Quantization
Hybrid Coding
JPEG
MPEG
H.263
Many Proprietary Systems
![Page 52: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/52.jpg)
52
Compresión de las señales
Proceso
Se buscan repeticiones en la serie de datos.
Se almacena solo el dato junto al número de veces que se repite.
Ejemplo: Si en un archivo aparece una secuencia como "AAAAAA", ocupando 6 bytes, se podría almacenar simplemente "6A" que ocupa solo 2 bytes.
![Page 53: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/53.jpg)
53
Compresión de las señales
Algoritmos de compresión
Huffman: Examina los caracteres más repetidos, luego los codifica en una forma mas corta.
LZW: Construye un diccionario con los patrones encontrados, a los cuales se hace referencia posteriormente.
![Page 54: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/54.jpg)
54
Lectura Opcional
Compresión
DCT
JPEG
![Page 55: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/55.jpg)
55
Compresión de las señales
Conceptos Redundancia: Datos que son repetitivos o previsibles.
Entropía: Diferencia entre la cantidad total de datos de un mensaje y su redundancia.
Irrelevante: Información que no podemos apreciar y cuya eliminación no afecta al contenido del mensaje.
Básica: Información relevante. No es redundante ni irrelevante. Debe ser transmitida en su totalidad para que se pueda reconstruir la señal.
![Page 56: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/56.jpg)
56
Compresión de las señales
Tipos Sin pérdidas reales: La transmisión es equivalente a la
entropía del mensaje ( toda la información básica e irrelevante, pero eliminando la redundante ).
Subjetivamente sin pérdidas: Se elimina la información redundante y la irrelevante.
Subjetivamente con pérdidas: Se elimina cierta cantidad de información básica, por lo que el mensaje se reconstruirá con errores perceptibles pero tolerables.
![Page 57: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/57.jpg)
57
Tipos de codificación de las señales
R L C ( Run Length Coding )
Uso: Cuando la información contiene series largas de elementos idénticos.
Codificación: El elemento y su Nro. de repeticiones.
Reversibilidad: Total, no se pierde información.
Aplicación: Informática. Archivos Zip, Arc, etc.
![Page 58: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/58.jpg)
58
Tipos de codificación de las señales
V L C ( Variable Length Coding )
Base de uso: La probabilidad de que todos los elementos componentes de una información no tendrán la misma codificación.
Codificación: Menos bits los elementos de aparición frecuente.Más bits los elementos mas raros.
Inconveniente: Conocer previamente la serie de elementos que hay que transmitir, esto es totalmente incompatible con el “ Tiempo Real ”.
![Page 59: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/59.jpg)
59
DCT (Discrete Cosine Transform) Es un caso particular de la transformada de Fourier , aplicada a
las señales discretas ( muestreos ). Transformada de Fourier: Cualquier señal periódica puede ser
representada por una serie de sumas trigonométricas en senos y cosenos relacionadas armónicamente.
Imagen:
Trabajar a partir de una señal muestreada bidimensional.
Analizar en horizontal y vertical
Armar un bloque de N x N pixels con los valores discretos de luminancia (o crominancia).
Transformar el bloque anterior en otro de N x N coeficientes, que corresponderán a la amplitud de cada una de las funciones cosenos armónicos.
![Page 60: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/60.jpg)
60
DCT (Discrete Cosine Transform Proceso
720 pxels – 90 bloques
576
pixe
ls -
bl
oque
s
Bloque
La imagen se divide en bloques de 8 x 8 pixels.
Imagen dividida en bloques
En el bloque transformado, los coeficientes de las frecuencias horizontales van de izquierda a derecha sobre el eje horizontal y los de las frecuencias horizontales, crecientes de arriba a abajo sobre le eje vertical
![Page 61: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/61.jpg)
61
DCT (Discrete Cosine Transform) Proceso
Bloque de 8 x 8 pixels.
Los valores representan la intensidad luminosa de un píxel
![Page 62: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/62.jpg)
62
DCT (Discrete Cosine Transform) Proceso
A los coeficientes se les resta 128 para que queden números entorno al 0, entre -128 y 127.
![Page 63: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/63.jpg)
63
DCT (Discrete Cosine Transform) Proceso La DCT transforma el contenido
del bloque en una matriz de 8 x 8 coeficientes.
El primero (arriba a la izquierda, coordenadas 0, 0) indica la componente continua (DC) que representa la intensidad media del bloque.
El último ( abajo a la derecha ), da la componente de frecuencia espacial mas elevada para los dos ejes.
![Page 64: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/64.jpg)
64
DCT (Discrete Cosine Transform)
Representación en forma visual de la contribución de cada uno de los coeficientes al aspecto del bloque de 8 x 8 pixels originales.
![Page 65: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/65.jpg)
65
DCT (Discrete Cosine Transform)
Consideraciones finales
Los coeficientes dependen del Nro. de detalles contenidos en el bloque.
Normalmente la energía del bloque se concentra en unos pocos coeficientes en el ángulo superior izquierdo.
Los coeficientes son independientes unos de otros.
Los coeficientes tienen menor precisión cuando la frecuencia aumenta.
![Page 66: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/66.jpg)
66
Cuantificación
Características del ojo humano
Detecta pequeños cambios de brillo en áreas grandes.
No detecta rápidos cambios de brillo en áreas pequeñas, variaciones de alta frecuencia.
![Page 67: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/67.jpg)
67
Cuantificación
Lo anterior nos permite eliminar las altas frecuencias, sin perder excesiva calidad visual.
Esto se observa en los coeficientes correspondientes tendiendo a 0 (cero).
Este proceso es en el que se pierde la mayor parte de la información (y calidad) cuando una imagen es procesada por este proceso.
![Page 68: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/68.jpg)
68
Cuantificación
Ejemplo de una matriz de cuantificación típica
![Page 69: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/69.jpg)
69
Cuantificación
La matriz cuantificada se obtiene dividiendo cada coeficiente de la matriz de la imagen transformada con cada coeficiente de la matriz de cuantificación.
![Page 70: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/70.jpg)
70
Compresión de imágenes fijas
JPEGJoint Photographic Experts Group
Se basa en una norma de compresión de imágenes fotográficas de resolución variable, en forma Y, Cb, Cr.
Puede realizarse con o sin pérdida (reversible), según la finalidad y la tasa de compresión.
En los usos mas habituales se toleran ciertas pérdidas lo que permite alcanzar índices de compresión superiores a 10 sin una degradación apreciable.
![Page 71: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/71.jpg)
71
JPEG
La compresión se descompone en 6 etapas
1.- Descomposición en bloques.
2.- Transformación mediante DCT.
3.- Discriminación por umbral y cuantificación.
4.- Lectura en zigzag.
5.- Codificación RLC.
6.- Codificación entrópica de Huffman ( VLC ).
![Page 72: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/72.jpg)
72
JPEG
1.- Descomposición en bloques
La imagen original de forma Y,Cb,Cr, se divide en bloques elementales de 8 x 8 pixels.
Imagen en formato CCIR 601 de 720 x 576 pixels, hay6.480 bloques de luminancia.3.240 bloques para cada una de las crominancias.
Digitalización de 8 bitscada bloque forma una matriz de 64 númerosde 0 a 255 para la luminanciade – 128 a + 128 para las crominancias
![Page 73: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/73.jpg)
73
JPEG
2.- Transformación mediante DCT
Genera por cada bloque Y,Cb,Cr una matriz de 8 x 8 pixels, con los coeficientes de las componentes de frecuencias espaciales.
![Page 74: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/74.jpg)
74
JPEG
3.- Discriminación por umbral y cuantificación
Se tiene en cuenta las particularidades de la visión humana.
El ojo no distingue los detalles finos por debajo de cierto nivel de luminancia ( Y ).
Como consecuencia se ponen en 0 ( cero ) los coeficientes inferiores a un valor predeterminado.
Los coeficientes restantes se codifican con una precisión decreciente a medida que la frecuencia aumenta.
![Page 75: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/75.jpg)
75
JPEG
4.- Lectura en zigzag
Con la excepción del primer coeficiente ( CC - luminancia ), los 63 restantes ( coeficientes de CA, crominancia ) se leen en zigzag para transformar la matriz en una corriente de datos en serie, para ser utilizada en las otras etapas.
![Page 76: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/76.jpg)
76
JPEG
5.- Codificación RLC
Se codifica el número de ocurrencias de los coeficientes.
Se tiene máxima atención a los nulos y al próximo no nulo.
![Page 77: Elementos de Teoría de la Información Clase 29-Junio-2011](https://reader036.fdocuments.co/reader036/viewer/2022070415/56814f7c550346895dbd2ca9/html5/thumbnails/77.jpg)
77
JPEG
6.- Codificación entrópica de Huffman (VLC)
Esta última etapa consiste en codificar los coeficientes con una longitud tanto mas corta cuanto mas frecuentes sean estadísticamente.