Artigo Shannon - Traduzido - Atividade 2

Prévia do material em texto

História
Claude Shannon: seu trabalho e seu legado 1
Michelle Effros (Instituto de Tecnologia da Califórnia, EUA) e H. Vincent Poor (Universidade de Princeton, EUA)
O ano de 2016 marcou o centenário do nascimento de Claude 
Elwood Shannon, aquele gênio singular cuja mente fértil deu origem 
ao campo da teoria da informação. Além de fornecer uma fonte de 
problemas matemáticos elegantes e intrigantes, este campo também 
teve um profundo impacto em outros campos da ciência e da 
engenharia, notadamente comunicações e computação, entre muitos 
outros. Embora a vida desse homem notável tenha sido recontada 
em outro lugar, neste artigo procuramos fornecer uma visão geral de 
suas principais contribuições científicas e seu legado no mundo de 
hoje. Esta é uma tarefa invejável e nada invejável. É invejável, claro, 
porque é uma história maravilhosa; não é invejável porque exigiria 
muito para dar a este assunto o devido. Mesmo assim,
Para abordar esta tarefa, dividimos o trabalho de Shannon em 10 
áreas temáticas:
- Capacidade do canal
- Codificação de canal
- Canais multiusuário
- Codificação de rede
- Código fonte
- Teste de detecção e hipótese
- Aprendizagem e Big Data
- Complexidade e combinatória
- Sigilo
- Formulários
Descreveremos cada um brevemente, tanto em termos da própria 
contribuição de Shannon quanto em termos de como os conceitos iniciados 
por Shannon influenciaram o trabalho nas décadas seguintes. Por 
necessidade, faremos uma abordagem minimalista nesta discussão. 
Pedimos desculpas pelos muitos tópicos e aspectos desses problemas que 
devemos necessariamente omitir.
a comunicação é possível mesmo em face de ruído e a demonstração de que 
um canal tem uma taxa máxima inerente na qual pode fornecer informações de 
forma confiável são, sem dúvida, as contribuições mais importantes de Shannon 
para o campo. Esses conceitos foram apresentados pela primeira vez em seu 
artigo fundamental de 1948. Ele desenvolveu ainda mais essas ideias ao longo 
da década de 1950 e até mesmo na década de 1960, examinando a capacidade 
de canais específicos, observando os efeitos do feedback e outras 
características das redes de comunicação existentes e também, porque a 
capacidade em sua visão é uma quantidade assintótica, procurando maneiras 
em que essa assíntota é alcançada.
Desde o trabalho original de Shannon, a noção de capacidade 
evoluiu em várias direções. Por exemplo, a noção tradicional de 
capacidade foi generalizada para remover muitas das suposições 
simplificadoras originais de Shannon. Além disso, a noção de 
capacidade foi expandida para capturar outras noções de comunicação. 
Por exemplo, a capacidade de identificação foi introduzida para medir o
Capacidade do canal
Pela própria caracterização de Shannon: “O problema fundamental da 
comunicação é o de reproduzir em um ponto exatamente ou 
aproximadamente uma mensagem selecionada em outro ponto.” O canal 
é o meio - fio, cabo, ar, água, etc. - por meio do qual essa comunicação 
ocorre. Freqüentemente, o canal transmite informações de uma forma 
ruidosa ou imperfeita. A noção de que verdadeiramente confiável
1 Este artigo foi adaptado de uma palestra apresentada na Conferência Bell Labs 
Shannon sobre o Futuro da Era da Informação, Murray Hill, NJ, 28–29 de abril 
de 2016, comemorando a ocasião do centenário de Shannon.
Boletim Informativo EMS março de 2017 29
História
capacidade, quando alguém está interessado apenas em saber quando uma 
mensagem está presente, não necessariamente o que está nela, a 
capacidade de computação foi introduzida para medir quantos cálculos são 
possíveis em certas circunstâncias, e assim por diante. A capacidade também 
foi aplicada a muitos tipos de canais que surgiram desde os dias de Shannon. 
Os exemplos incluem canais quânticos, que incluem tanto noções quânticas 
quanto clássicas de transmissão e ruído, canais de desvanecimento, que 
modelam a atenuação de sinal em transmissões sem fio e, o mais famoso, 
canais de múltiplas antenas, que formam a base das comunicações de banda 
larga sem fio modernas. Ainda mais recentemente, o conceito assintótico de 
capacidade de Shannon, que depende da capacidade de usar um canal um 
número ilimitado de vezes, foi examinado em uma configuração de 
comprimento de bloco finito, onde apenas um número limitado de canais de 
uso é considerado; a restrição de comprimento de bloco finito é relevante para 
aplicativos modernos com restrições de atraso, como comunicações 
multimídia.
A capacidade do canal tem sido um conceito duradouro. Até hoje, 
quase sete décadas depois, ainda usamos a noção de capacidade para 
pensar como os canais de comunicação se comportam. Temos todas 
as expectativas de que continuará a ser um conceito importante no 
futuro.
transmissão de dados. Isso foi seguido rapidamente por outra revolução, a 
codificação espaço-tempo. Essas ideias conduziram muito do que aconteceu na 
prática desde aquela época, incluindo o renascimento dos códigos de 
verificação de paridade de baixa densidade que atingem quase a capacidade e 
a introdução de sistemas de múltiplas entradas e saídas múltiplas (MIMO). 
Esses avanços possibilitaram sistemas modernos de comunicação de dados de 
alta capacidade. E, é claro, houve muitos outros desenvolvimentos importantes, 
incluindo códigos fonte e Raptor, códigos polares, etc. Nos últimos tempos, 
também vimos um ressurgimento de algumas das ideias anteriores relacionadas 
a áreas como armazenamento em nuvem e outras aplicativos de 
armazenamento. Portanto, a codificação de canal fornece mais um exemplo de 
uma ideia muito inicial de Shannon que desempenhou um papel crítico na 
condução do que está acontecendo na tecnologia hoje.
Canais multiusuário
Shannon introduziu as noções de codificação e capacidade de canal em 
um ambiente de comunicação muito simples, no qual um único 
transmissor envia informações para um único receptor. As técnicas que 
ele usou para analisar canais neste cenário são aplicáveis muito além 
deste modelo de comunicação simples “ponto a ponto”. Os modelos de 
canal multiusuário generalizam modelos de canal ponto a ponto 
incorporando vários transmissores, vários receptores, fluxo 
multidirecional de informações ou alguma combinação desses recursos.
A generalização de canais ponto a ponto para canais de multiusuário 
aparece no próprio trabalho de Shannon já na década de 1950. Em seu 
artigo de 1956, Shannon generalizou seu modelo de rede do cenário ponto 
a ponto para canais que incorporam feedback; o objetivo naquele trabalho 
era entender quando o feedback do receptor para o transmissor aumenta 
a taxa na qual o transmissor pode enviar para o receptor. Esse trabalho 
empregou duas noções de capacidade: a capacidade alcançável com uma 
noção assintótica de confiabilidade e a capacidade alcançável com 
confiabilidade perfeita. No primeiro caso, a entrega de informações é 
considerada confiável se a probabilidade de erro puder ser arbitrariamente 
pequena. No último, a entrega de informações é considerada confiável 
apenas se a probabilidade de erro puder ser igual a zero para um número 
suficientemente grande de usos de canal.
Em 1960, Shannon generalizou ainda mais a rede considerando os 
canais bidirecionais. Os canais bidirecionais diferem dos canais ponto a 
ponto com feedback em que o canal ponto a ponto com feedback tem 
apenas uma única mensagem viajando do transmissor para o receptor, 
enquanto o canal bidirecional tem mensagens viajando de cada nó para o 
outro. O artigo de 1960 também menciona um canal no qual um par de 
transmissores envia informações por meio de um meio compartilhado para 
um único receptor; esse canal seria hoje denominado “canal de acesso 
múltiplo”. O artigo de 1960 menciona trabalhos futuros que aparecerão neste 
tópico; embora nenhum artigo desse tipo seja encontrado na literatura, está 
claro que Shannon estava pensando em generalizações alémdos modelos 
de dois comunicadores.
A partir do final da década de 1960, os canais multiusuário se tornaram uma área 
importante para a pesquisa da teoria da informação. Pesquisa
Codificação de canal
Em seu artigo de 1948, Shannon mostrou que, para qualquer taxa de 
comunicação menor que a capacidade, pode-se comunicar com 
probabilidades de erro arbitrariamente pequenas. No paradigma de 
Shannon, a confiabilidade é alcançada por meio da codificação do 
canal: os transmissores protegem os sinais contra erros, introduzindo 
redundância em cada mensagem antes da transmissão e os 
receptores aplicam seu conhecimento do tipo de redundância 
empregado para melhorar sua probabilidade de determinar 
corretamente a mensagem pretendida a partir da saída do canal . A 
ideia de adicionar redundância a um sinal não era nova, mas, antes 
de Shannon, muitos engenheiros de comunicação pensavam que 
atingir um erro arbitrariamente pequeno exigia cada vez mais 
redundância, obrigando necessariamente a taxa de transmissão a 
zero.
A noção de codificação de canal de Shannon iniciou uma enorme 
quantidade de pesquisas e gerou subcampos inteiros no campo da teoria da 
informação. Em particular, uma quantidade significativa de trabalho 
fundamental continuou na década de 1950 até a década de 1980, quando 
alguns dos códigos básicos e algoritmos de decodificação que ainda usamos 
hoje foram desenvolvidos. Exemplos notáveis incluem códigos algébricos, 
como a família Reed-Solomon de códigos de canal que formam a base dos 
códigos usados em mídias de armazenamento modernas e o algoritmo de 
decodificação sequencial de Viterbi, que encontrou uma surpreendente 
variedade de aplicações, incluindo seu uso em essencialmente todos telefone 
móvel em uso hoje. Os desenvolvimentos de tempos mais recentes não foram 
menos impressionantes. Na década de 1990, os códigos turbo foram 
descobertos, que, juntamente com as idéias de decodificação iterativa 
correspondentes, revolucionaram o campo da
30 Boletim Informativo EMS março de 2017
História
no feedback investigou as melhores compensações entre a taxa e a 
probabilidade de erro alcançáveis por meio do feedback. A pesquisa em 
canais bidirecionais resultou em melhores limites superior e inferior nas 
regiões de taxas alcançáveis. Uma ampla gama de novos modelos de canal 
foi desenvolvida, incluindo vários canais de acesso (em que vários 
transmissores enviam informações para um único receptor), canais de 
transmissão (em que um único transmissor envia informações possivelmente 
distintas para vários receptores), canais de retransmissão (em que um único 
transmissor envia informações para um único receptor com a ajuda de um 
relé que pode transmitir e receber informações, mas não tem mensagens 
próprias para transmitir) e canais de interferência (nos quais as transmissões 
de vários transmissores interferem nos vários receptores com os quais estão 
tentando se comunicar).
As generalizações do modelo de canal de Shannon não se limitam a 
aumentar o número de transmissores ou receptores nas redes. Outras 
generalizações incluem canais compostos, que capturam canais com 
estatísticas desconhecidas ou variáveis, canais de escuta, que modelam 
canais com bisbilhoteiros, e canais arbitrariamente variáveis, que 
capturam canais sob interferência. A codificação conjunta de canal de 
origem também tem sido um tópico importante na literatura de 
comunicação multiusuário. Embora a otimização da separação entre a 
codificação de origem e de canal seja válida para o cenário ponto a 
ponto estudado por Shannon, ela não se aplica em geral e dá muito 
trabalho compreendeu quando essa separação é ideal e como obter um 
desempenho ideal quando não é.
Enquanto o interesse em canais multiusuário aumenta e diminui com o 
tempo devido à dificuldade dos problemas, o tamanho maciço e a enorme 
importância das redes de comunicação modernas tornam a teoria da 
informação multiusuário uma área importante para pesquisas contínuas.
mostrou que se alguém pudesse resolver todas as redes de codificação de índice, 
isso forneceria um meio de resolver todas as redes de codificação de rede também. 
Ou seja, qualquer instância de codificação de rede pode ser representada por uma 
instância de codificação de índice cuja solução forneceria uma solução para o 
problema de codificação de rede original.
Além de trabalhar na capacidade de codificação da rede, também tem 
havido bastante trabalho no design do código da rede, bem como no 
relacionamento entre as redes de links capacitados e as redes 
correspondentes de canais ruidosos que eles pretendem modelar. Os 
resultados neste domínio demonstram que a capacidade de uma rede de 
canais com ruído é exatamente igual à capacidade da rede de codificação 
da rede obtida pela substituição de cada canal por um link sem ruído e 
capacitado com a mesma capacidade. Assim, a capacidade do canal de 
Shannon caracteriza totalmente o comportamento de canais ruidosos e 
sem memória, pelo menos na medida em que afetam a capacidade das 
redes nas quais são empregados.
Outras questões consideradas no domínio da codificação de rede incluem 
correção de erros de rede, codificação de rede segura, codificação de rede na 
presença de bisbilhoteiros, técnicas de codificação de rede para 
armazenamento distribuído e codificação de rede para aplicativos sem fio com 
recepção de pacotes não confiável.
Codificação fonte
A codificação de origem, também chamada de compactação de dados, refere-se à 
representação eficiente de informações. O trabalho de Shannon introduz dois tipos 
de codificação de fonte para a literatura: codificação de fonte sem perdas, em que 
os dados podem ser reconstruídos a partir de sua descrição perfeitamente ou com 
uma probabilidade de erro próxima de zero, e codificação de fonte com perdas, em 
que maior eficiência na representação de dados é obtido através da permissão de 
algum nível de imprecisão ou "distorção" na reprodução resultante. Enquanto o 
artigo de Shannon de 1948 discute notoriamente a codificação de origem e a 
codificação de canal e é frequentemente descrito como o ponto de origem para 
ambas as ideias, Shannon primeiro apresentou o problema de codificação de 
origem com perdas em uma comunicação anterior.
O artigo de Shannon de 1948 estabelece muitos precedentes altamente 
influentes para o campo da codificação de fonte sem perdas. Ele apresenta a 
abordagem agora clássica para derivar limites superiores nas taxas necessárias 
para descrever de forma confiável uma fonte e fornece um forte inverso para 
provar que nenhuma taxa melhor pode ser alcançada. Também inclui as idéias de 
códigos de comprimento fixo e variável, isto é, códigos que fornecem o mesmo 
comprimento de descrição para todos os símbolos e códigos que fornecem 
diferentes comprimentos de descrição para símbolos diferentes. Os códigos 
aritméticos, que permanecem onipresentes até hoje, têm suas raízes neste artigo. 
As noções de entropia, taxa de entropia, sequências típicas e muitas outras 
também vêm do artigo de 1948.
O artigo de 1948 também examina a codificação de fontes com perdas, 
descrevendo a compensação ideal entre taxa e distorção na descrição de 
fontes com perdas e explicando intuitivamente sua derivação. Em um artigo 
de 1959, Shannon revisita o trade-off entre taxa e distorção na codificação de 
fonte com perdas, dando mais detalhes da prova, cunhando o termo "função 
de distorção de taxa" para descrever esse limite e
Codificação de rede
Os exemplos dados acima de canais multiusuário são normalmente 
usados para modelar ambientes de comunicação sem fio. Mas as 
redes sem fio não são as únicas redes de comunicação multiusuário. 
Afinal, o próprio trabalho de Shannon foi originalmente inspirado por 
redes de comunicação como o telefone fixo e as redes telegráficas 
de sua época, cada uma conectando um grande número de usuários 
por meio de enormesredes de fios. O campo moderno de 
codificação de rede estuda essas redes de canais ponto a ponto. 
Normalmente, os canais ponto a ponto nesses modelos são 
considerados links sem ruído e capacitados. O campo da codificação 
de rede começou com questões sobre a capacidade das redes de 
codificação de rede. Em alguns cenários, notavelmente no caso da 
codificação de rede multicast, a capacidade é conhecida e algoritmos 
eficientes estão disponíveis para atingir esses limites na prática.
Dada a dificuldade de resolver o problema geral de codificação de 
rede, vários casos especiais foram considerados. Uma delas é a família 
de redes de codificação de índice. Ao contrário das redes gerais de 
codificação de rede, as redes de codificação de índice são redes nas 
quais apenas um nó da rede tem oportunidade de codificar. Tem sido
Boletim Informativo EMS março de 2017 31
História
apresentando mais exemplos de soluções da função de distorção de taxa 
para diferentes fontes.
Desde então, tem havido muito trabalho na codificação de origem sem 
perdas e com perdas. Grande parte do trabalho das décadas de 1950 a 1970 
examinou provas detalhadas e extensões das idéias originais. As extensões 
incluem generalizações de modelo para permitir fontes com memória, fontes não 
-ergódicas e assim por diante. Avanços também foram feitos no design de código 
prático para codificação de origem sem perdas e com perdas. Huffman 
desenvolveu seu famoso algoritmo de codificação de fonte, que ainda está em 
uso. Os códigos de Tunstall examinaram a codificação de blocos de comprimento 
variável de símbolos de origem para descrições de comprimento fixo. Os códigos 
aritméticos foram desenvolvidos para velocidade e desempenho. Algoritmos para 
projetar quantizadores vetoriais de taxa fixa e variável também foram introduzidos.
Nos anos que se seguiram, muito trabalho foi feito na codificação 
de fonte universal e na codificação de fonte com vários terminais. Os 
códigos-fonte universais são algoritmos de compressão de dados 
que atingem os limites assintóticos prometidos por Shannon sem 
exigir conhecimento a priori da distribuição da qual as amostras de 
origem serão retiradas. Os resultados na codificação de fonte 
universal incluem designs de código para codificação de fonte 
universal sem perdas e com perdas e análises de medidas de 
desempenho de código, como a taxa em que a taxa alcançável de 
um código (e, no caso de codificação com perdas, distorção) se 
aproxima do limite ideal. Como os códigos de canal multiusuário, os 
códigos fonte multi-terminal são algoritmos de compressão de dados 
para redes com múltiplos transmissores de informação, múltiplos 
receptores de informação ou ambos.
Além dos avanços na teoria de códigos-fonte ideais e seu 
desempenho, tem havido muita pesquisa e desenvolvimento voltados 
para a construção e padronização de códigos-fonte sem e com perdas 
para uma variedade de aplicações de comunicação. Esses algoritmos 
são partes críticas de muitos dos aplicativos ricos em dados que estão se 
tornando cada vez mais onipresentes em nosso mundo.
anos subsequentes e até os dias atuais. Por exemplo, a decodificação de canal 
é, em essência, um teste de hipótese com um grande número de hipóteses, e 
alguns resultados famosos dessa área foram desenvolvidos no contexto da 
detecção de sequência, incluindo o algoritmo de Viterbi, mencionado acima, e o 
detector de sequência de máxima verossimilhança de Forney. Relacionado a 
esses desenvolvimentos está a detecção multiusuário, que também é motivada 
pela detecção de dados em comunicações de acesso múltiplo e o problema 
intimamente relacionado à detecção de dados em sistemas MIMO. A detecção 
distribuída, que é um problema motivado pela rede de sensores sem fio, 
também é um sucessor destes Ideias. E, voltando ao teorema de amostragem, 
uma das principais tendências hoje no processamento de sinal é o 
sensoriamento comprimido, que explora a dispersão do sinal para ir muito além 
da amostragem NyquistShannon para capturar a essência de um sinal com 
muito menos amostras. Portanto, novamente, embora possamos não pensar 
em Shannon como um progenitor desse campo, essas conexões mostram que 
seu trabalho teve uma grande influência, seja diretamente ou como motivador.
Aprendizado de máquina
Outro tópico que está muito em evidência hoje é o aprendizado de máquina e 
sua função em aplicativos de big data. Shannon foi um dos primeiros atores na 
aplicação de ideias de aprendizado de máquina - em 1950, ele escreveu um dos 
primeiros programas de computador para jogar xadrez e, em 1952, desenvolveu 
“Teseu”, o famoso mouse para resolver labirintos. Claro, já percorremos um 
longo caminho no aprendizado de máquina desde aquelas primeiras 
contribuições, impulsionadas por computadores cada vez mais poderosos. Por 
exemplo, muitos jogos foram conquistados: damas na década de 1950, xadrez 
com Deep Blue na década de 1990, Jeopardy com Watson em 2011 e AlphaGo 
em 2016. E, é claro, houve muitos desenvolvimentos fundamentais na 
aprendizagem e tarefas relacionadas , como redes neurais e árvores de 
decisão, e também modelos gráficos, que desempenharam um papel importante 
na decodificação do canal. Esses desenvolvimentos estão por trás dos 
desenvolvimentos contemporâneos, como o aprendizado profundo e os carros 
com direção automática. Então, novamente, Shannon foi um pioneiro em um 
campo que acabou se tornando uma parte muito importante da tecnologia e da 
ciência modernas.
Teste de detecção e hipótese Complexidade e combinatória
Outro campo em que a influência de Shannon foi sentida foi o da detecção 
de sinais e teste de hipóteses. Embora não se possa pensar normalmente 
em Shannon neste contexto, ele trabalhou diretamente na detecção de 
sinal em alguns de seus primeiros trabalhos em 1944, no qual explorou o 
problema da melhor detecção de pulsos, derivando a probabilidade 
máxima ótima a posteriori (MAP ) procedimento para detecção de sinal; 
seu trabalho foi uma das primeiras exposições do chamado princípio do 
“filtro combinado”. Além disso, ao revelar as vantagens da transmissão 
digital nas comunicações, ele mostrou a importância desses campos para 
a teoria da comunicação em geral. E, além disso, ele expôs a ideia de que 
existe uma taxa de amostragem ótima para a digitalização de sinais por 
meio do famoso teorema de amostragem de NyquistShannon.
Essas ideias têm motivado bastante trabalho em
Grande parte do trabalho de Shannon relacionou-se e influenciou os campos da 
complexidade e da combinatória. A tese de mestrado de Shannon, talvez seu 
trabalho mais famoso próximo ao artigo de 1948, traçou uma relação entre 
circuitos de comutação e álgebra booleana. Seu artigo de 1948 também 
introduziu muitas ferramentas que continuam a ser úteis para aplicações 
combinatórias. O artigo de Shannon de 1956 sobre capacidade de erro zero 
revisita o problema da capacidade - mudando a abordagem de uma perspectiva 
probabilística com garantias assintóticas de confiabilidade para uma perspectiva 
combinatória em que a confiabilidade requer a reprodução precisa garantida de 
todas as mensagens possíveis que podem ser enviadas pelo transmissor.
Com o tempo, a teoria da informação foi e continua a ser usada para 
uma variedade de aplicações na literatura de complexidade e combinatória. 
Os resultados incluem generalizações de ferramentas originalmente 
desenvolvidas por Shan-
32 Boletim Informativo EMS março de 2017
História
não no quadro probabilístico para suas alternativas combinatórias. Um 
exemplo é o conjunto típico de Shannon, que captura um pequeno conjunto de 
sequências de probabilidade individual aproximadamente igual que, juntas, 
capturam uma fração da probabilidade total próxima de 1. Esse conjunto 
generaliza para alternativas mais combinatórias, como a usada no método dos 
tipos. A desigualdade de Fano, as caracterizações do espaço de entropiae 
uma variedade de outras ferramentas da teoria da informação também 
desempenham um papel na literatura combinatória e complexidade.
O campo da complexidade da comunicação também se baseia em 
ferramentas da teoria da informação. As desigualdades de concentração são 
outro exemplo de áreas que se situam na fronteira entre a combinatória e a teoria 
da informação, trazendo ferramentas de ambas as comunidades para resolver 
problemas importantes. Também é possível encontrar muitos exemplos na 
literatura envolvendo a delimitação de vários argumentos de contagem usando 
ferramentas da teoria da informação.
é um modelo que tem conduzido pesquisas consideráveis desde então, 
particularmente no recente desenvolvimento de segurança da camada física sem 
fio, que faz uso da física de rádio para fornecer um grau de segurança na 
transmissão sem fio. A noção da década de 1990 de aleatoriedade comum como 
uma fonte de destilação de chaves secretas para uso em sistemas de criptografia 
também tem suas raízes na teoria da informação e é outra base para a segurança 
da camada física sem fio.
Então, novamente, vemos outro campo muito importante do desenvolvimento de 
tecnologia contemporânea influenciado pelo trabalho de Shannon.
Formulários
Enquanto Shannon originalmente desenvolveu a teoria da informação como 
um meio de estudar os problemas de comunicação e armazenamento de 
informações, as ideias de seu trabalho foram rapidamente adotadas por 
outros campos. Em 1956, Shannon escreveu sobre esse fenômeno em um 
artigo intitulado “The Bandwagon”, onde alertou sobre “um elemento de 
perigo” na adoção generalizada de ferramentas e terminologia da teoria da 
informação. Nesse artigo, ele observou sua crença pessoal de que "a teoria 
da informação será útil nesses outros campos", mas também argumentou que 
"o estabelecimento de tais aplicações não é uma questão trivial de traduzir 
palavras para um novo domínio, mas sim o processo lento e tedioso de 
hipótese e verificação experimental ”.
Hoje, a teoria da informação é usada em uma ampla variedade de campos. 
Biologia e finanças são dois exemplos importantes de campos onde as pessoas 
estão começando a aplicar ferramentas teóricas da informação: em um caso para 
estudar como os sistemas biológicos transmitem e armazenam informações e no 
outro para modelar o comportamento de longo prazo dos mercados e estratégias 
para maximizar o desempenho em tais mercados. Também existem aplicativos em 
campos como lingüística, ciência da computação, matemática, probabilidade, 
inferência estatística e assim por diante.
Cíber segurança
A segurança cibernética é outro aspecto extremamente importante da tecnologia 
moderna que tem suas raízes, pelo menos em termos de seus fundamentos, no 
trabalho de Shannon. Em particular, ele estabeleceu uma base teórica da 
informação para este campo em seu artigo de 1949 (por sua vez, baseado em 
trabalho classificado anteriormente), no qual ele abordou a questão de quando um 
sistema de cifras está perfeitamente seguro em um sentido teórico da informação. 
Nesse contexto, ele mostrou o resultado fundamental de que os sistemas de 
criptografia só podem ser seguros se a chave - ou seja, a chave secreta que é 
compartilhada pelo remetente e pelo receptor e usada para criar uma mensagem 
criptografada - tiver pelo menos a mesma entropia que a mensagem de origem a ser 
transmitida. Ou, em outras palavras, ele mostrou que apenas blocos únicos são 
perfeitamente seguros em um contexto teórico da informação.
O trabalho de Shannon foi supostamente motivado pelo sistema 
SIGSALY, que foi usado entre Churchill e Roosevelt para se comunicar por 
telefone por rádio na Segunda Guerra Mundial e que fazia uso de blocos 
descartáveis fornecidos por meio do transporte físico de gravações de chaves 
da Virgínia para Londres. os sistemas de segurança de hoje, é claro, não usam 
almofadas de uso único. Na verdade, quase nenhum o faz. Em vez disso, eles 
usam bits menores de aleatoriedade, expandem isso em uma chave e usam 
dificuldade computacional para fornecer segurança. No entanto, o pensamento 
fundamental vem de Shannon. Os criptosistemas de chave pública, é claro, 
não foram inventados por Shannon, mas são basicamente parte do legado de 
olhar para a segurança cibernética, ou comunicações secretas, de um ponto 
de vista fundamental.
Outro grande avanço nas caracterizações teóricas da informação 
de segurança foi a introdução de Wyner do canal wire-tap em 1975, 
que foge de um segredo compartilhado e usa a diferença nos canais 
físicos, do transmissor a um receptor legítimo e a um bisbilhoteiro, 
para fornecer confidencialidade de dados. Essa configuração introduz 
a noção de capacidade de sigilo, que é definida como a taxa máxima 
na qual uma mensagem pode ser transmitida de forma confiável para o 
receptor legítimo, enquanto é mantida em segredo perfeito do 
bisbilhoteiro. O trabalho de Wyner foi estendido por Csiszár e Körner 
ao canal de transmissão com mensagens confidenciais, que
Considerações finais
Embora mal se possa deslizar rapidamente pela superfície do trabalho e do 
legado de Shannon em um artigo como este, deve ficar claro que seu gênio 
beneficiou a ciência e a engenharia modernas e, portanto, a sociedade de 
inúmeras maneiras. Esperamos que esta breve visão geral inspire o 
interesse contínuo em Shannon e seu trabalho e a interação contínua além 
das fronteiras dos muitos campos distintos que compartilham ferramentas, 
filosofias e interesses com o campo da teoria da informação.
Bibliografia selecionada
Shannon, CE (1938). Uma análise simbólica do relé e do circuito de comutação
cuits. Transações da AIEE 57 (12): 713–723.
Shannon, CE (1944). A melhor detecção de pulsos. Bell Laboratories
memorando datado de 22 de junho de 1944. (Em Claude Elwood Shannon: artigos 
coletados, NJA Sloane e AD Wyner, Eds. Piscataway, NJ: IEEE Press, 1993, pp. 
148-150.)
Shannon, CE (1948). Uma teoria matemática de comunicação. Sino
SystemTechnical Journal 27 (3): 379–423.
Shannon, CE (1949). Teoria da comunicação dos sistemas de sigilo. Sino
SystemTechnical Journal 28 (4): 656–715.
Shannon, CE (1949). Comunicações na presença de ruído. Pró-
cedências do IRE 37 (1): 10–21.
Boletim Informativo EMS março de 2017 33
Obituário
“Claude Shannon Demonstrates Machine Learning”, AT & TArchives.
(Online em http://techchannel.att.com/play-video.cfm/2010/3/16/ 
In-their-Own-Words-Claude-Shannon-Demonstrates-MachineLearning.)
Shannon, CE (1956). O movimento. Transações IRE em Informações
Teoria de ção 2 (1): 3.
Shannon, CE (1959). Teoremas de codificação para uma fonte discreta com um
critério de fidelidade. Conv. IRE Gravando. 7: 142–163. Berlekamp, E. (1974). Artigos-chave no 
desenvolvimento da Teoria da Codificação
ry. IEEE Press, NewYork. Slepian, D. (1974). Artigos-chave no desenvolvimento 
da informação
ory. IEEE Press, NewYork.
Sloane, NJA, Wyner, AD, Eds. (1993). Claude Elwood Shannon: Col-
Artigos selecionados. IEEE Press, Piscataway, NJ. Verdú, S., McLaughlin, S., Eds. (2000). Teoria 
da Informação: 50 anos de
Descoberta. IEEE Press, Piscataway, NJ. MacKay, DJC (2003). Teoria da Informação, 
Inferência e Aprendizagem Al-
goritmos. Cambridge University Press, Cambridge, Reino Unido. Cover, TM, Thomas, JA 
(2006). Elementos da Teoria da Informação -
Segunda edição. JohnWiley & Sons, Nova York. Richardson, T., Urbanke, R. (2008). Modern 
CodingTheory. Cambridge
University Press, Cambridge, Reino Unido. El Gamal, A., Kim, Y.-H. (2011). Teoria da 
Informação de Rede. Cam-
Bridge University Press, Cambridge, Reino Unido. Elder, YC (2015). Teoria de amostragem: além 
dos sistemas com limite de banda.
Cambridge University Press, Cambridge, Reino Unido.
Pobre, HV, Schaefer, R. (2017) .Segurança da camada física sem fio. Continuar-
da Academia Nacional de Ciências dos EUA 114 (1): 19–26.
Michelle Effros [ effros@caltech.edu ] é a professoraGeorge van Osdol de Engenharia Elétrica do California 
Institute of Technology. Sua pesquisa se concentra 
principalmente na teoria da informação, com um 
interesse particular em ferramentas teóricas da 
informação para a análise e projeto de redes muito 
grandes.
Atualmente, ela atua como ex-presidente sênior da Sociedade de Teoria da 
Informação IEEE.
H. Vincent Poor [ poor@princeton.edu ] é o Professor 
de Engenharia Elétrica da Michael Henry Strater 
University na Princeton University. Seus interesses de 
pesquisa incluem teoria da informação e 
processamento de sinais e suas aplicações em vários 
campos. Ele atuou como presidente do IEEE Informa-
da Sociedade de Teoria da Informação e como Editor-Chefe do IEEE 
Transactions on Information Theory.
Visions for Mathematical Learning: The 
Inspirational Legacy of Seymour Papert 
(1928–2016)
Celia Hoyles e Richard Noss (UCL Knowledge Lab, University College, Londres, Reino Unido)
Seymour Papert, que morreu em 31 de julho, era um matemático com dois 
PhDs em matemática pura, da University of Witwatersrand, na África do 
Sul, e da University of Cambridge, no Reino Unido. Ele foi o fundador da 
inteligência artificial com Marvin Minsky no MIT, um psicólogo que 
trabalhava ao lado de Jean Piaget, um ativista político contra o apartheid 
e, a nível pessoal, um cozinheiro maravilhoso e amigo leal. Desde sua 
morte, a web foi inundada com reminiscências e relatos detalhados de 
suas contribuições intelectuais, não apenas para os assuntos 
fundamentais nos quais ele foi o líder indiscutível, mas também para o 
campo da educação, para um estudioso que acreditou e mostrou que o 
computador , ou pelo menos o uso cuidadosamente elaborado do 
computador, poderia introduzir jovens e adultos às alegrias e ao poder da 
matemática e do pensamento matemático.
Neste breve artigo, selecionamos quatro trabalhos que impactaram 
diretamente o campo da educação matemática e a comunidade. 
Significativamente, essas estão entre suas palestras e artigos menos 
conhecidos e esperamos que, ao transmiti-los, a realização da visão de 
Papert de um novo tipo de matemática aprendível possa estar um passo 
mais perto.
1980: Keynote no ICME Berkeley, EUA
Seymour deu uma das quatro plenárias no ICME 1980. Infelizmente, pelo que 
podemos dizer, não houve nenhuma transcrição produzida das observações de 
Seymour. No entanto, somos gratos a Jeremy Kilpatrick (que compareceu à 
palestra) por nos indicar um livro de 1980 editado por Lynn Steen e DonAlbers, 
que inclui uma sinopse de 4 páginas da palestra de Seymour. 1
Aparentemente, Seymour foi inspirador. Pelo resumo, sabemos 
que ele começou:
“Estamos no início do que é a década da educação matemática. Não 
apenas em como as crianças aprendem, mas no que elas aprendem: 
veremos mudanças dramáticas no que as crianças aprendem; veremos 
assuntos que antes pareciam inacessíveis ou difíceis, mesmo em nível de 
faculdade, aprendidos por crianças pequenas; veremos mudanças nos 
locais onde a aprendizagem ocorre e no próprio processo de aprendizagem. 
”
1 https://books.google.cz/books?id=zcq9BwAAQBAJ&pg=P
A12 & lpg = PA12 & dq =% 22.
34 Boletim Informativo EMS março de 2017