02-Representacao de Midias

Prévia do material em texto

1 
Universidade Federal da Paraíba 
Centro de Informática 
Departamento de Informática 
Sistemas Multimídia 
Representação Digital de 
Informações Multimídia 
}  Tiago Maritan 
}  tiago@ci.ufpb.br 
 
 
 
 
Representação Digital de 
Informações Multimídia 
2 
Motivação 
}  Sinais da natureza são, em geral, sinais analógicos. 
}  Variação contínua 
}  Som: Variação contínua de pressão no ar 
}  Imagens: Variação contínua de intensidade de luz no espaço 
 
Onda sonora Sinal deTV Analógica 
3 
Motivação 
}  Computadores, no entanto, foram projetados para 
manipular sinais digitais 
}  Variação discreta 
}  Intervalos de sinalização 
 
 
}  Portanto, para manipular imagens, áudio e vídeo em 
computadores, é necessário DIGITALIZÁ-LOS. 
4 
Digitalização do Sinal (PCM) 
}  Geralmente baseado na realizado em 2 etapas: 
1.  Amostragem (PAM): Coleta (amostra) valores de 
amplitude em intervalos de tempo regulares 
2.  Quantização (PAM): Aproxima o valor de cada amostra a 
um inteiro de n bits. 
100 110 011 010 101 010 100 001 101 111 101 
0 
1 
2 
3 
4 
5 
6 
7 
4.1 4.5 
2.5 
5.0 
2.2 3.0 1.1 
5.0 5.0 
5 
Sinal original 
Digitalização do sinal – (PCM) 
6 
Sinal original 
Pulsos PAM 
7.0 6.0 
4.1 4.5 
2.5 
5.0 
2.2 3.0 1.1 
5.0 5.0 
Digitalização do sinal – (PCM) 
7 
Pulsos PCM 
100 110 011 010 101 010 100 001 101 111 101 
0 
1 
2 
3 
4 
5 
6 
7 
Sinal original 
Pulsos PAM 
7.0 6.0 
4.1 4.5 
2.5 
5.0 
2.2 3.0 1.1 
5.0 5.0 
Digitalização do sinal – (PCM) 
8 
Saída PCM 100 110 011 010 101 010 100 001 101 111 101 
Pulsos PCM 
100 110 011 010 101 010 100 001 101 111 101 
0 
1 
2 
3 
4 
5 
6 
7 
Sinal original 
Pulsos PAM 
7.0 6.0 
4.1 4.5 
2.5 
5.0 
2.2 3.0 1.1 
5.0 5.0 
Digitalização do sinal – (PCM) 
9 
PCM - Digitalização de Sinais 
Codificando cada 
nível com 3 bits: 
 
101 111 110 011 010 100 111 100 ... 
10 
PCM - Digitalização de Sinais 
Codificando cada 
nível com 3 bits: 
 
101 111 110 011 010 100 111 100 ... 
Na recepção... 
11 
Digitalização (Amostragem) 
}  Teorema de Nyquist 
}  Taxa Amostragem ≥ 2*Maior Freq. do Espectro; 
}  “Para digitalizações sem perda, a taxa de amostragem deve ser maior 
que o dobro da maior frequência do espectro do sinal” 
}  Ex1: Maior frequência auditiva humana: 22KHz 
}  Taxa de amostragem de um CD: 44KHz 
}  Ex2: Sinal de 17.5KHz (amarelo) amostrado a 20KHz (verde) 
12 
Vantagens da Digitalização 
}  Representação Universal 
}  Tudo é bit!!!! 
}  Audio, imagens e vídeos em formato digital são codificados assim 
como os outros dados 
}  Facilita a integração com outras mídias; 
}  Ex: TV Digital (integra A/V, Legendas, Dados e Aplicações) 
}  Segurança 
}  Representação digital da informação facilita a criptografia. 
}  Armazenamento 
}  Mesmo dispositivo pode ser usado para armazenar todas as mídias. 
13 
14 
Vantagens da Digitalização 
}  Tolerância a ruídos e interferências 
}  Sinais digitais tem maior tolerância a ruídos e interferências; 
}  Ruídos abaixo de um certo limiar permitem perfeita 
reconstrução do sinal. 
}  Ex: TV Analógica vs TV Digital 
Receptor Transmissor 
Transmissão 
T 
Intervalos de sinalização 
T 
Instantes de amostragem 
T 
Sinal recuperado 
15 
Vantagens da Digitalização 
}  Transmissão 
}  Sistema de comunicação de dados pode ser “potencialmente” 
utilizado para a transmissão de todas as mídias multimídia. 
}  Com ressalvas para as dependências temporais das mídias contínuas 
16 
Desvantagens da Digitalização 
}  Distorção 
}  Sinal digitalizado não é idêntico ao sinal analógico original 
}  É apenas uma aproximação 
}  Amostragem e Quantização geram distorções 
}  Aumento no número de bits de quantização reduz a distorção; 
}  Aumenta a precisão da digitalização, 
}  Mas também aumenta a demanda de armazenamento/transmissão; 
}  Contudo, ser humano não percebe algumas distorções 
}  Necessário escolher um balanço apropriado entre a precisão da 
digitalização e a distorção percebida pelo usuário 
17 
( 
18 
}  Fourier 
}  Qualquer sinal pode ser entendido como uma soma 
(possivelmente infinita) de ondas senoidais de diferentes 
frequências e amplitudes. 
+ + .... + 
Análise de Sinais 
19 
20 
a 
21 
Freq. 1 
Freq. 2 
Freq. 3 
Freq. 
10000 
Ampl. 1 
… 
Ampl. 0.5 
… 
Ampl. 0.1 
… 
… 
… 
… 
… 
22 
Freq. 1 
Freq. 2 
Freq. 3 
Freq. 
10000 
Ampl. 1 
… 
Ampl. 0.5 
… 
Ampl. 0.1 
… 
… 
… 
… 
… 
23 
24 
Freq. 1 
Freq. 2 
Freq. 3 
Freq. 
10000 
Ampl. 1 
… 
Ampl. 0.5 
… 
Ampl. 0.1 
… 
… 
… 
… 
… 
25 
26 
Freq. 1 
Freq. 2 
Freq. 3 
Freq. 
10000 
Ampl. 1 
… 
Ampl. 0.5 
… 
Ampl. 0.1 
… 
… 
… 
… 
… 
27 
28 
Freq. 1 
Freq. 2 
Freq. 3 
Freq. 
10000 
Ampl. 1 
… 
Ampl. 0.5 
… 
Ampl. 0.1 
… 
… 
… 
… 
… 
29 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
H
a
r
m
ô
n
i
c
o
s 
30 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
H
a
r
m
ô
n
i
c
o
s 
31 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
H
a
r
m
ô
n
i
c
o
s 
32 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
H
a
r
m
ô
n
i
c
o
s 
33 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
0 2 4 6 8 10 12 14 16 18 20 
0 
0.3 
0.6 
H
a
r
m
ô
n
i
c
o
s 
34 
Espectro do Sinal 
}  Gráfico que mostra a “contribuição” de cada componente de 
freqüência na construção do sinal resultante. 
}  Contribuição está intimamente relacionada à amplitude do componente. 
}  Ex: Espectro de um sinal de voz 
dB 
40 
4000 
Hz 
35 
) 
36 
 
 
 
 
Mídia Áudio 
37 
Áudio 
}  Som: Fenômeno físico produzido pela vibração da matéria que 
provoca variações na pressão do ar. 
}  Ex: Corda de um violino, Voz humana 
}  Essas variações de pressão propagam-se no ar na forma de 
uma onda mecânica. 
Essa onda provoca vibrações no tímpano do ouvido que as 
converte em impulsos elétricos e os envia para o cérebro 
38 
Áudio 
}  Ouvido humano identifica satisfatoriamente ondas sonoras nas 
frequências de 20 Hz a 20kHz (faixa audível). 
}  Alguns indivíduos conseguem ouvir bem até 22KHz 
}  Faixa de frequências sonoras: 
}  Infrasônica: 0 a 20 Hz 
}  Sônica: 20Hz a 20 KHz 
}  Supersônica: 20KHz até 1GHz 
}  Hipersônica: 1GHz até 10THz 
39 
Áudio Digital 
}  Digitalização de sons é normalmente feita usando PCM 
}  Amostragem: 44.1 KHz, 22.05 KHz e 8 KHz. 
}  Quantização: 256 ou 65536 níveis de quantização (8 ou 16 bits/
amostra). 
20Hz 20KHz 
Resposta em frequência 
do ouvido humano 
4KHz 
Espectro de frequência do 
sinal de voz 
40 
Outros codificadores de Onda 
}  PCM não é a única representação possível 
}  Existem outras representações 
}  DPCM (Differential PCM) 
}  ADPCM (Adaptive DPCM)41 
Outros codificadores de Onda 
}  DPCM (Differential PCM) 
}  Codificação Preditiva 
}  Codifica cada amostra como a diferença entre o seu valor e o 
valor de sua antecessora. 
}  Inspiração: Amostras consecutivas são correlacionadas 
Codificador DPCM 
Decodificador DPCM 
42 
}  Economia típica de 1 bit por amostra 
}  Ex: Sinal PCM de 64Kbps (8 b/a * 8K a/s) => 
 Sinal DPCM de 56Kbps (7 b/a * 8K a/s) 
Sinal PCM Sinal DPCM 
Outros codificadores de Onda 
b/a – bits por amostra; a/s – amostras por segundo 
43 
Outros codificadores de Onda 
}  ADPCM (Adaptive DPCM) 
}  Similar ao DPCM (Codificação Preditiva). 
}  Utiliza um tamanho de passo de quantização adaptativo 
(quantum) baseado nos valores de amostras anteriores. 
}  Níveis de quantização variam dependendo se o sinal varia muito ou pouco. 
}  Ex: : Sinal PCM de 64Kbps => Sinal ADPCM de 32Kbps 
44 
}  Técnicas de codificação vistas até agora não envolvem 
perda de informação (compressão sem perdas). 
}  Taxas de transmissão típicas: 
}  PCM qualidade telefonia: 64Kbps (8 b/a * 8K a/s) 
}  DPCM qualidade telefonia: 56 Kbps 
}  ADPCM qualidade telefonia: 32 Kbps 
}  PCM qualidade CD: 1.4Mbps (2 canais * 16 b/a * 44K a/s) 
 
Áudio Digital 
45 
 
 
 
 
Mídia Imagem 
46 
Imagem Digital 
}  É uma matriz de valores numéricos, onde cada um deles 
representa um valor de intensidade de luz quantizado. 
}  Os pontos (valores) de uma imagem são denominados pixels 
47 
}  Parâmetros principais: 
1.  Resolução espacial 
}  No de pixels de cada linha x No de pixels de cada coluna 
}  Ex: 1920 x 1080, 640 x 480, etc. 
2.  Codificação da cor 
}  No de bits usado para quantizar cada pixel 
}  Ex: 1 bit, 8 bits, 16 bits, 24 bits, etc. 
 
Imagem Digital 
48 
Imagem Digital 
}  Imagem 256 x 256 codificada com 1, 6 e 8 bits por pixel 
2 níveis 64 níveis 256 níveis 
49 
Imagens Monocromática e Coloridas 
}  Imagens monocromáticas (P&B): 
}  Cada pixel é composto apenas por um 
valor relacionado ao brilho (nível de 
cinza quantizado) da imagem naquele 
ponto. 
}  Imagens coloridas: 
}  Valor do pixel também está relacionado a 
outros componentes relacionados a 
percepção de cores do olho humano. 
50 
( 
51 
Faixa Visível do Espectro 
52 
}  Sistema visual é capaz de perceber radiações eletromagnéticas 
com comprimentos de onda na faixa de 380 - 720 nm. 
Faixa Visível do Espectro 
53 
}  As radiações fora dessa faixa não são percebidos pelo olho. 
}  Ex: UV, IR, Micro-ondas, TV e rádio, etc. 
Faixa visível 
}  A córnea do olho funciona como uma lente que focaliza os 
raios luminosos para dentro da retina. 
}  Estes raios estimulam milhares de elementos fotossensíveis 
(bastonetes e cones) situados na superfície da retina 
}  Esses elementos convertem energia luminosa em impulso elétrico 
Olho Humano 
54 
Olho Humano 
}  Bastonetes: tem a capacidade de reconhecer a luminosidade 
(variações de brilho). 
}  75 a 150 milhões de bastonetes no olho humano; 
}  São mais sensíveis que os cones; 
}  Cones: tem a capacidade de reconhecer cores 
}  6 a 7 milhões de cones no olho humano; 
}  3 tipos de cones no olho: sensível a R, G e B. 
}  Todas as cores podem ser geradas a partir da combinação de - 
R, G e B (cores primárias da luz). 
55 
Olho Humano 
56 
}  Sensibilidade relativa dos 3 tipos de cones da retina 
) 
57 
Sistemas de Cores 
58 
}  Os computadores usam este princípio do sistema visual 
humano (SVH) para gerar as cores que observamos nas telas 
}  Imagens coloridas, portanto, podem ser geradas a partir da 
combinação aditiva de componentes R, G e B. 
}  A forma mais simples de se fazer isso é representar cada pixel 
colorido usando o Sistema RGB. 
}  Atribui n bits para representar cada componente de cor RGB 
}  Ex: RGB 8-8-8: Atribui 8 bits para cada componente 
}  8 R + 8 G + 8 B = 24 bits por pixel; 
}  Permite representar 16 milhões de cores; 
59 
}  a 
VERMELHO 
VERDE 
AZUL 
MÁSCARA 
METÁLICA 
PONTOS DE 
FÓSFORO DA TELA 
Pixel Colorido 
60 
Pixels coloridos 
}  Monitores CRT coloridos têm 3 tipos de fósforos fluorescentes 
}  Emitem luzes R, G e B quando tocadas por 3 feixes de elétrons 
}  Mistura das luzes emitidas produzem pontos de cor 
}  Quando o feixe de elétrons se choca com o tubo de imagens, os pontos 
vermelho, azul e verde são acesos em alguma proporção 
}  O olho então enxerga uma combinação das cores RGB e interpola a cor 
composta da imagem. 
61 
Outros Sistemas de Cores 
62 
}  Sistema YUV (PAL) 
}  Y = 0.299 R + 0.587G + 0.114B 
}  U = B – Y 
}  V = R – Y 
}  Sistema YCrCb (JPEG, MPEG) 
}  Cr = ((R-Y) / 1.6) + 0.5 
}  Cb = ((B-Y) / 2) + 0.5 
 
}  Sistema YIQ (NTSC) 
}  I = 0.74 (R-Y) – 0.27 (B-Y) 
}  Q = 0.48 (R-Y) + 0.41 (B-Y) 
Y representa as variações de 
luminosidade (luminância) 
Os outros componentes 
representam informações de 
cor (crominância) 
YUV 
Y U V 
63 
Outros sistemas de cores 
64 
}  Por que usar YUV, YCrCb ou YIQ em vez de RGB???? 
Outros sistemas de cores 
65 
}  Por que usar YUV, YCrCb ou YIQ em vez de RGB???? 
}  Para manter compatibilidade com as TVs antigas que eram Preto-e-
Branco (só processavam o Y) 
}  TVs antigos P&B decodificariam só o Y (luminância) 
}  TVs coloridos decodificariam também os componentes de 
crominância (U+V, Cr+Cb ou I+Q) 
 
 
 
 
Mídia Vídeo 
66 
Vídeo Digital 
∆t ∆t ∆t 
}  Vídeo Digital é uma seqüência de imagens estáticas 
(quadros) amostradas no tempo 
}  Com uma taxa de amostragem maior que 50 ou 60* q/s 
temos a sensação de uma imagem contínua 
Na realidade taxa, essa sensibilidade depende do display e das condições de visualização. 
Ex: Cinema (escuro), tolerável 48 q/s; TV de 50 a 60 q/s. 
Vídeo Digital 
}  Percebemos uma seqüência de imagens paradas como um 
vídeo devido a persistência da visão humana. 
}  Visão humana retém por um certo tempo a impressão de uma 
imagem que já passou; 
}  Olho humano age, portanto, como um integrador, fazendo 
com que o cérebro tenha a sensação de uma imagem 
contínua. 
•  Ex: Filmadoras => câmeras fotográficas que tiram fotos 
sucessivas de uma cena com uma taxa de amostragem; 
68 
}  Além dos parâmetros de uma imagem digital (Resolução 
Espacial e Codificação de cor), um vídeo tem 2 
importantes parâmetros: 
1.  Taxa de quadros (frame rate) 
}  No de quadros (imagens) por segundo; 
}  Ex: 30 fps (NTSC), 25 fps (PAL); 
2.  Forma de Escaneamento 
}  Entrelaçado (i) ou Progressivo (p) 
}  Ex: 1080i, 720p; 
 
Vídeo Digital 
69 
Vídeo Entrelaçado 
70 
}  Relacionado a forma que as TVs CRTs funcionavam 
}  Retraço vertical a cada 1/50 s (PAL) e 1/60 s (NTSC) 
}  Precisavam desenhar 50 (PAL) ou 60 (NTSC) fps 
}  Mas sinal só carregava 25 ou 30 fps. 
}  Como resolver??? 
Vídeo Entrelaçado 
71 
}  Relacionado a forma que as TVs CRTs funcionavam 
}  Retraço vertical a cada 1/50 s (PAL) e 1/60 s (NTSC) 
}  Desenham 50 (PAL) ou 60 (NTSC) fps 
}  Mas sinal só carregava 25 ou 30 fps. 
}  Como resolver??? 
}  Desenhar 1 quadro com as linhas ímpares da imagem e após 
o retraço 1 quadro com as linhas pares 
Vídeo Entrelaçado 
72 
}  Linhas ímpares 
 (campo superior) 
}  Linhas pares 
(campo inferior) 
Vídeo Progressivo 
73 
}  Desenha todas as linhas da imagem de uma vez só. 
74 
}  a 
75 
}  a 
76 
 
 
Requisitos de 
Comunicação das Mídias 
Requisitos de Comunicação 
77}  Antes de estudar os padrões e sistemas de transmissão MM, 
vamos analisar os requisitos de comunicação das diferentes 
mídias (Áudio, Vídeo, Texto, Imagem); 
}  Requisitos de comunicação: 
1.  Taxa de transferência (throughput) 
2.  Tolerância a atrasos; 
3.  Tolerância a jitters; 
4.  Tolerância a erros de transmissão; 
Mídia Texto 
78 
}  Requisitos de Comunicação 
}  Taxa de transferência depende da aplicação 
}  Ex: Correio eletrônico (bps), Transferência de arquivos (Mbps) 
}  Normalmente, retardo máximo e variação do retardo não são 
críticos 
}  Sem tolerância a erros 
Mídia Imagem 
79 
}  Requisitos de Comunicação 
}  Taxa de transferência depende da aplicação (Kbps, Mbps) 
}  Normalmente, retardo máximo e variação do retardo não são 
críticos 
}  Tolerância à erros depende da aplicação 
}  Imagens estáticas sem compressão toleram 
}  Imagens médicas ou cartográficas não toleram 
Mídia Áudio 
80 
}  Requisitos de Comunicação 
}  Taxa de transferência depende da aplicação 
}  Voz (PCM) – 64Kbps 
}  Qualidade de CD estéreo – 1.411 Mbps 
}  Variação estatística do retardo deve ser compensada 
}  Retardo de transferência máximo é crítico 
}  Principalmente em conversações 
}  Retardo < 150 ms não é percebido pelo ouvido humano 
}  Retardo entre 150 e 400ms é aceitável 
}  Retardo > 400ms => conversa ininteligível 
}  Tolerância a erros relativamente alta 
}  Perdas de 1 a 20% são toleráveis dependendo da codificação 
Mídia Vídeo 
81 
}  Requisitos de Comunicação 
}  Taxa de transferência depende da aplicação (geralmente alto) 
}  Variação estatística do retardo deve ser compensada 
}  Retardo de transferência máximo é crítico 
}  Comunicação interativa de tempo real 
}  Tolerância a erros relativamente alta 
}  Erros podem se propagar quando compressão é utilizada 
82 
}  a 
83 
Universidade Federal da Paraíba 
Centro de Informática 
Departamento de Informática 
Sistemas Multimídia 
Representação Digital de 
Informações Multimídia 
}  Tiago Maritan 
}  tiago@ci.ufpb.br