Elementos da teoria da informação

Prévia do material em texto

Elementos da teoria da informação 
 
Fonte 
Uma fonte é tudo o que emite mensagens. Por exemplo, uma 
fonte pode ser um computador e publicar seus arquivos; uma 
fonte pode ser um dispositivo para transmitir dados e mensagens 
de dados enviados, etc. Uma fonte é ela própria um conjunto 
finito de mensagens: todas as mensagens possíveis que essa 
fonte pode emitir. Na compressão de dados, o arquivo a 
comprimir será tomado como fonte e os caracteres que o 
compõem como mensagens. 
 
Tipos de fonte 
Devido à natureza generativa de suas mensagens, uma fonte 
pode ser aleatória ou determinística. Devido à relação entre as 
mensagens transmitidas, uma fonte pode ser estruturada ou não 
estruturada. 
Existem vários tipos de fonte. Para a teoria da informação, fontes 
aleatórias e estruturadas são de interesse. Uma fonte é aleatória 
quando não é possível prever qual será a próxima mensagem a 
ser emitida por ela. Uma fonte é estruturada quando possui um 
certo nível de redundância; 
 
Mensagem 
Uma mensagem é um conjunto de zeros e uns. Um arquivo, um 
pacote de dados viajando por uma rede e qualquer coisa que 
tenha uma representação binária podem ser considerados uma 
mensagem. O conceito de mensagem também se aplica a 
alfabetos com mais de dois símbolos, mas como estamos lidando 
com informações digitais, quase sempre nos referiremos a 
mensagens binárias. 
 
Código 
Um código é um conjunto de uns e zeros que são usados para 
representar uma determinada mensagem de acordo com regras 
ou convenções pré-estabelecidas. Por exemplo, podemos 
representar a mensagem 0010 com o código 1101 usado para 
codificar a função (NOT).