Just another WordPress.com site

OTROS APUNTES (Resumen Parte I)

CODIFICACIÓN  Y TRANSMISIÓN DE LA INFORMACIÓN

Codificar una determinada información consiste en escribir esta en un determinado alfabeto, es decir mediante un número (finito) de símbolos concretos que recibirán el nombre de alfabeto. La primera pregunta que nos podemos plantear es ¿para qué?

Antes incluso de que el hombre alcanzase un grado de desarrollo intelectual “elevado” ha sentido la necesidad de transmitir información a otros hombres, de almacenarla para ser usada en el momento apropiado, de ocultarla a sus rivales o simplemente a terceras personas, …. Este fenómeno no es siquiera privativo del hombre sino que aparece en estadios mucho más primitivos de la evolución. Cualquiera de las manipulaciones anteriores requiere un “alfabeto”(es decir, conjunto de símbolos) que permita trasladar dicha información en una combinación de los mismos.

Cualquiera de las manipulaciones descritas se puede situar dentro de un marco general al que llamaremos Esquema general de comunicación:

En dicho esquema y como primera aproximación debemos mencionar que el papel de la Fuente es el un dispositivo que es capaz de generar cierta información, el canal es el medio a través del cual dicha información de va transmitir y el codificador al menos debe hacer que la información generada por la fuente sea susceptible de ser transmitida por el canal.

En sentido amplio el canal puede ser espacial o temporal (un hilo telefónico, óptico, almacenamiento en un disco, en un libro), puede estar afectado o no de ruido que altere la información a su paso por el canal, puede estar expuesto a que intrusos lean o alteren la información, etc. La información se codifica en el codificador para adaptarla al canal que usemos y para que sea útil a los fines que se persigan. La teoría de la codificación intenta dar respuesta a estas distintas necesidades; entre ellas citemos:

• Conseguir que ocupe el menor espacio posible (compresión).

• Conseguir que los ruidos del canal no afecten al contenido de la información (corrección de errores).

• Conseguir que la información no sea accesible a terceras personas no autorizadas (privacidad).

La teoría de la información se ocupa de modelizar matemáticamente el esquema anterior proporcionado un marco general adecuado para el tratamiento de la información. La criptologıa se ocupa de los problemas relativos a la privacidad y la teoría de códigos correctores de la recuperación de la información en canales afectados por ruido, es decir, de la transmisión de manera fiable a través de canales no confiables.

Modelo de comunicación: El modelo comunicacional desarrollado por Shannon y Weaver se basa en un sistema de comunicación general que puede ser representado por:

  • Fuente De Información: selecciona el mensaje deseado de un conjunto de mensajes posibles.
  • Transmisor: transforma o codifica esta información en una forma apropiada al canal.
  • Señal: mensaje codificado por el transmisor.
  • Canal: medio a través del cual las señales son transmitidas al punto de recepción.
  • Fuente De Ruido: conjunto de distorsiones o adiciones no deseadas por la fuente de información que afectan a la señal. Pueden consistir en distorsiones del sonido (radio, teléfono), distorsiones de la imagen (T.V.), errores de transmisión (telégrafo), etc.
  • Receptor: decodifica o vuelve a transformar la señal transmitida en el mensaje original o en una aproximación de este haciéndolo llegar a su destino.

Este sistema de comunicación es lo suficientemente amplio como para Incluir los diferentes contextos en que se da la comunicación (conversación, T.V., danza, etc.). Tomemos como ejemplo lo que ocurre en el caso de la radio. La fuente de información corresponde a la persona que habla por el micrófono. El mensaje son las palabras y sonidos que esta persona emite. El micrófono y el resto del equipo electrónico constituyen el transmisor que transforma este mensaje en ondas electromagnéticas, las cuales corresponden a la señal. El espacio que existe entre las antenas transmisoras y receptoras es el canal, mientras que lo que altera la señal original constituye la fuente de ruido. El aparato de radio de cada hogar es el receptor y el sonido que éste emite corresponde al mensaje recobrado. Las personas que escuchan este mensaje radial son los destinatarios.

 Principios de la medición de información: De acuerdo a estas consideraciones probabilísticas es posible establecer un primer principio de la medición de información. Este establece que mientras más probable sea un mensaje menos información proporcionará. Esto puede expresarse de la siguiente manera:   I(xi) > I(xk) si y sólo si p(xi) < p(xk)  donde I(xi) : cantidad de información proporcionada por xi p(xi) : probabilidad de xi

De acuerdo a este principio, es la probabilidad que tiene un mensaje de ser enviado y no su contenido, lo que determina su valor informativo. El contenido sólo es importante en la medida que afecta la probabilidad. La cantidad de información que proporciona un mensaje varía de un contexto a otro, porque la probabilidad de enviar un mensaje varía de un contexto a otro.

 Un segundo principio que guarda relación con las elecciones sucesivas establece que si son seleccionados los mensajes X e Y, la cantidad de información proporcionada por ambos mensajes será igual a la cantidad de información proporcionada por X más la cantidad de información proporcionada por Y, dado que X ya ha sido seleccionada. Esto puede ser expresado así:          I(xi e yj) = f p(xi) + f p(yj/xi)  

Donde    I(xi e yj) : cantidad de información proporcionada por los mensajes xi e yj

f : función             p(xi) : probabilidad de xi                    p(yj/xi) : probabilidad de yj dado que xi ha sido seleccionado.

Unidad de información

Una vez que hemos seleccionado el mensaje expresado en un lenguaje determinado es posible transcribirlo a un código de tipo binario. Este consta de sólo dos tipos de señales que indican Si o No, y que generalmente se codifican como 1 o 0. La cantidad de información proporcionada por cada elección entre dos alternativas posibles constituye la unidad básica de información, y se denomina dígito binario, o abreviadamente bit. La elección existente al tener un bit de información puede ser esquematizada de la siguiente manera:  b puede tener 2 posibilidades de 1/2 cada una. En la elección (b) tanto la línea superior como la inferior, es decir ambas posibilidades, pueden ser elegidas con la misma probabilidad de r/2. 

Entropía: La información que aporta un determinado valor (símbolo), , de una variable aleatoria discreta se define como:                         I(Xi)= log2(1/P(Xi)) = – log2 P(Xi)

 cuya unidad es el bit cuando se utiliza el logaritmo en base 2 (por ejemplo, cuando se emplea el logaritmo neperiano se habla de nats). A pesar del signo negativo en la última expresión, la información tiene siempre signo positivo (lo cual queda más claro en la primera expresión).

La entropía determina el límite máximo al que se puede comprimir un mensaje usando un enfoque símbolo a símbolo sin ninguna pérdida de información (demostrado analíticamente por Shannon), el límite de compresión (en bits) es igual a la entropía multiplicada por el largo del mensaje. También es una medida de la información promedio contenida en cada símbolo del mensaje. Su cálculo se realiza a partir de su distribución de probabilidad p(x) mediante la siguiente fórmula:           H(X) = E(I(X)) =∑ P(Xi)  log a(1/P(Xi)) = – ∑ P(Xi)  log a P(Xi) 

Algunas técnicas de compresión como LZW o deflación no usan probabilidades de los símbolos aislados, sino usan las probabilidades conjuntas de pequeñas secuencias de símbolos para codificar el mensaje, por lo que pueden lograr un nivel de compresión mayor.

  • Propiedades de la entropía

1. 0 < = H < = loga(m) Es decir, la entropía H esta acotada superiormente (cuando es máxima) y no supone perdida de información.

2. Dado un procesos con posibles resultados {A1,..,An} con probabilidades relativas p1, …,pn, la función  es máxima en el caso de que.

3. Dado un procesos con posibles resultados {A1,..,An} con probabilidades relativas p1, …,pn, la función  es nula en el caso de que pi = 0 para cualquier i.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s