slides_probabilidades

Prévia do material em texto

Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Guilherme de Alencar Barreto
guilherme@deti.ufc.br
Grupo de Aprendizado de Ma´quinas – GRAMA
Programa de Po´s-Graduac¸a˜o em Engenharia de Teleinforma´tica
Universidade Federal do Ceara´ – UFC
http://www.deti.ufc.br/∼guilherme
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Conteu´do
1 Objetivo Geral
2 Probabilidade (Definic¸a˜o Axioma´tica)
3 Probabilidade (Definic¸o˜es Alternativas)
4 Probabilidade Conjunta
5 Probabilidade Condicional e Regra de Bayes
6 Aplicac¸o˜es em Eng. Teleinforma´tica
7 Simulac¸o˜es Computacionais
8 Aplicac¸o˜es em Teleinforma´tica
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Objetivo Geral
“Definir conceitos relacionados ao tratamento e a` quantificac¸a˜o da
incerteza associada a` ocorreˆncia de eventos e fenoˆmenos f´ısicos
pro´prios da Engenharia de Teleinforma´tica.”
Refereˆncias:
1 R. G. Brown & P. Y. C. Hwang (1992). Introduction to Random
Signals and Applied Kalman Filtering, John Wiley & Sons.
2 A. Papoulis & S. U. Pillai (2001). Probability, Random Variables,
and Stochastic Processes, McGraw-Hill.
3 W. W. Hines et al. (2006). Probabilidade e Estat´ıstica na
Engenharia, Editora LTC, 4a. edic¸a˜o.
4 H. Hsu (1997). Probability, Random Variables, and Random
Processes, Colec¸a˜o Schaum.
5 G. A. Barreto - Notas de Aula dispon´ıveis em
http://www.deti.ufc.br/∼guilherme.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Parte I
Noc¸o˜es de Probabilidade
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
“ALEA JACTA EST”
Traduc¸a˜o: Os dados esta˜o lanc¸ados!
General romano Ju´lio Ce´sar ao tomar a decisa˜o de cruzar com suas
legio˜es o rio Rubica˜o, que delimitava a divisa entre a Ga´lia ao sul
do Alpes e o territo´rio da Ita´lia.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Etimologia
“A palavra probabilidade deriva do latim probare (provar ou
testar). Informalmente, prova´vel e´ uma das muitas palavras
utilizadas para eventos incertos ou conhecidos, sendo tambe´m
substitu´ıda por algumas palavras como ‘sorte’, ‘risco’, ‘azar’,
‘incerteza’, ‘duvidoso’, dentre outros.”
Wikipedia
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Etimologia
Diciona´rio Houaiss
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Motivac¸a˜o
Por que e´ importante estudar Probabilidades em ETI?
Construir modelos probabil´ısticos para sistemas ou fenoˆmenos
f´ısicos que encontraremos no dia a dia da ETI.
Um modelo e´ uma representac¸a˜o simplificada do fenoˆmeno ou
sistema de interesse.
Um modelo pode ser f´ısico, por exemplo, uma maquete de um
edif´ıcio.
Em ETI estamos interessados em modelos matema´ticos, i.e.
em equac¸o˜es que descrevem as propriedades gerais do sistema.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Motivac¸a˜o
Sobre Modelos Probabil´ısticos
Modelos probabil´ısticos sa˜o modelos matema´ticos que
descrevem o comportamento de fenoˆmenos aleato´rios.
Um modelo adequado permite estudar o comportamento de
um sistema sob diferentes condic¸o˜es.
Pode-se fazer previso˜es sobre o comportamento do sistema,
sem precisar executar testes com o sistema real propriamente
dito.
Os modelos matema´ticos que constru´ımos sa˜o colocados para
rodar em um computador digital (simulac¸a˜o computacional)
ou implementados em hardware (circuitos eletroˆnicos).
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Motivac¸a˜o
Determin´ıstico versus Probabil´ıstico
Pierre-Simon Laplace Werner Heisenberg
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Motivac¸a˜o
Determin´ıstico versus Probabil´ıstico
Um fenoˆmeno aleato´rio surge, em geral, como resultado de:
⋆ Ignoraˆncia Parcial - Neste caso, possu´ımos apenas
conhecimento parcial sobre o mecanismo subjacente gerador
do fenoˆmeno observado.
⋆ Complexidade Elevada - Em tese, seria poss´ıvel prever
antecipadamente o resultado do lanc¸amento de um dado
na˜o-viciado se descrevermos as leis da F´ısica Newtoniana
que regem o fenoˆmeno.
⋆ Natureza Intr´ınseca - Pode ser que as leis matema´ticas que
governam o comportamento do fenoˆmeno podem ser
fundamentalmente aleato´rias (e.g. Mecaˆnica Quaˆntica).
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Breve histo´rico
A teoria da probabilidade teve origem em um terreno
eminentemente pra´tico: jogos de azar.
Girolamo Cardano (1501 - 1576) foi o primeiro a escrever
sobre a probabilidade. Jogador erudito, considerado um geˆnio
intelectual de seu tempo, pore´m era um trapaceiro dos piores.
Em 1654, o nobre franceˆs e jogador Chevalier de Me´re´
suspeitava que a probabilida de obter pelo menos um ”6” em
quatro jogadas de um dado era maior que a probabilidade de
pelo menos um duplo seis em 24 lanc¸amentos de dois dados.
de Me´re´ na˜o possuia as habilidades matema´ticas necessa´rias
para confirmar esse fato, propondo o problema a Blaise Pascal.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Breve histo´rico (cont.)
Pascal escreveu a Pierre de Fermat e juntos resolveram a
questa˜o, confirmando as suspeitas de de Me´re´.
A soluc¸a˜o foi publicada em 1657, no primeiro livro
inteiramente dedicado a` teoria da probabilidade, de Christian
Huygens: Sobre o Racioc´ınio em Jogos de Azar.
Estruturada como disciplina a partir de Jakob Bernoulli
(1654-1705)por sua introduc¸a˜o do teorema conhecido como
Lei do Grandes Nu´meros.
Estrutura definitiva com os trabalhos de Pierre-Simon
Laplace, com a publicac¸a˜o das obras:
Ensaio Filoso´fico Sobre as Probabilidades (1814)
Teoria Anal´ıtica da Probabilidade (1818)
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Conceitos ba´sicos
Experimento Aleato´rio
E´ um experimento cujo resultado na˜o pode ser predito com
certeza antes do experimento ser realizado, muito embora os
poss´ıveis resultados possam eventualmente ser enumerados.
Exemplos t´ıpicos de experimentos aleato´rios
Jogar uma moeda ou um dado.
Retirar uma carta de um baralho.
Realizar uma medic¸a˜o de uma varia´vel (Por queˆ?).
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Conceitos ba´sicos
Observac¸o˜es Importantes
Assume-se que o experimento pode ser repetido infinitas vezes
sob as mesmas condic¸o˜es.
Isto e´ importante porque a teoria de probabilidades esta´
interessada no comportamento de longo prazo dos resultados
de um experimento que e´ repetido diversas vezes.
A` medida que o nu´mero de repetic¸o˜es aumenta, emergem
certos padro˜es na frequ¨eˆncia de ocorreˆncia dos resultados.
Uma definic¸a˜o completa de um experimento aleato´rio requer
um definic¸a˜o cuidadosa sobre o que chamamos de resultados
do experimento.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Conceitos ba´sicos
Espac¸o Amostral e Eventos
O espac¸o amostral, S, associado com um experimento e´ a
colec¸a˜o de todos os resultados poss´ıveis do experimento.
Um evento e´ o conjunto de pontos amostrais com uma dada
caracter´ıstica particular.
Eventos sa˜o simbolizados por letras maiu´sculas em Ita´lico, por
exemplo: A,B,C, ... ou A1, A2, ....
Cada ponto amostral e´ chamado evento simples ou um
elemento do espac¸o amostral.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Eventos probabil´ısticos
Eventos mutuamente exclusivos
E´ natural pensar que os elementos de espac¸o amostral devem
ser mutualmente exclusivos ou disjuntos.
Ou seja, para um dado experimento, a ocorreˆncia de um
evento exclui a ocorreˆncia de um outro.
Exemplo: Tirar a sorte no cara ou coroa
A = {cara}B = {coroa}
〉
A · B = ∅ (eventos mutuamente exclusivos)
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Definic¸a˜o de Probabilidade
Probabilidade: Definic¸a˜o Axioma´tica
Uma definic¸a˜o formal de probabilidade e´ baseada em treˆs axiomas.
Axioma 1 - A probabilidade de um evento A na˜o pode ser
negativa: P (A) ≥ 0 .
Axioma 2 - O evento S, que inclui todos os resultados
poss´ıveis, deve ter probabilidade unita´ria: P (S) = 1
Axioma 3 - Para eventos mutalmente exclusivos, a
probabilidade da unia˜o destes eventos e´ a soma das
probabilidades dos eventos individuais:
P (A1∪A2∪· · ·An) = P (A1)+P (A2)+ · · ·+P (An)
em que o s´ımbolo “∪” denota a unia˜o de eventos.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Definic¸a˜o de Probabilidade
Probabilidade: Definic¸a˜o Axioma´tica (cont.)
Com base nos treˆs axiomas, pode-se fazer a seguinte definic¸a˜o:
Probabilidades sa˜o quantidades nume´ricas que
quantificam a chance de ocorreˆncia de eventos, e que sa˜o
na˜o-negativas (axioma 1), aditivas sobre eventos
mutuamente exclusivos (axioma 3) e cujo valor ma´ximo e´
igual a 1 sobre todos os resultados mutuamente
exclusivos poss´ıveis (axioma 2).
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Definic¸o˜es alternativas de probabilidade
Definic¸a˜o Cla´ssica (a priori)
A probabilidade de um certo evento A ocorrer, e´ definida
como:
P (A) =
Poss´ıveis resultados favorecendo o evento A
Nu´mero total de resultados poss´ıveis
(1)
Em palavras: “Probabilidade de um evento e´ uma medida
nu´merica da chance de ocorreˆncia de um evento de interesse”.
Exemplo 1: Qual a probabilidade de se tirar o nu´mero 5 ao
jogar um dado?
Exemplo 2: Qual a probabilidade de se tirar uma quadra no
pquer? E um straight flush?
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Definic¸o˜es alternativas de probabilidade
Definic¸a˜o Cla´ssica (cont.-1)
Em outras palavras:
“A probabilidade de um evento e´ o nu´mero de vezes
em que o resultado desejado pode ocorrer, dividido
pelo total de resultados poss´ıveis.”.
IMPORTANTE - Na definic¸a˜o cla´ssica de probabilidade
assumimos implicitamente que os resultados poss´ıveis teˆm
todos a mesma chance de ocorrer.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Definic¸o˜es alternativas de probabilidade
Definic¸a˜o Frequ¨entista (a posteriori)
Suponha que algue´m realize o experimento de jogar uma
moeda quatro vezes, obtendo 3 caras e 1 coroa.
Sendo a frequ¨eˆncia de um evento A definida como o nu´mero
de observac¸o˜es ou ocorreˆncias de cada evento, pode-se definir
a frequ¨eˆncia relativa, f(A), deste evento como:
f(A) =
Nu´mero de ocorreˆncias do eventoA
Nu´mero total de repetic¸o˜es do experimento
Assim,
f(caras) =
3
4
= 0, 75 e f(coroas) =
1
4
= 0, 25
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Definic¸o˜es alternativas de probabilidade
Definic¸a˜o Frequ¨entista (cont.-1)
Questa˜o: A probabilidade teo´rica de se tirar cara ou coroa
na˜o e´ 1/2 para cada um dos eventos?
Na verdade, define-se probabilidade no sentido frequ¨entista
como o valor limite de f(a), para um nu´mero infinito de
repetic¸o˜es do experimento.
Na pra´tica, “infinito” e´ substitu´ıdo por “grande”!!
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Propriedades de probabilidade
Propriedades da probabilidade
1 P (∅) = 0
P (A) = P (A + ∅) = P (A) + P (∅) ⇒ P (∅) = 0
2 P (A) = 1− P (A)
P (S) = P (A + A) = 1 ⇒ P (A) + P (A) = 1 ⇒ P (A) = 1− P (A)
3 P (A + B) = P (A) + P (B)− P (AB)
A + B = A + AB + AB = A + AB
mas A e AB sa˜o mutuamente exclusivos
4 Se A ⊆ B ⇒ P (A) ≤ P (B)
B = A + AB, A · (AB) = ∅
P (B) = P (A) + P (AB)︸ ︷︷ ︸
≥0
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Definic¸a˜o de Probabilidade Conjunta
Probabilidade Conjunta
E´ a probabilidade de se obter 2 ou mais eventos espec´ıficos:
P (A ∩ B) = P (A e B) = P (AB) (2)
Exemplo Hipote´tico
Considere o experimento de rolar um par de dados (um verde
e outro vermelho) 100 vezes e determinar as probabilidades
conjuntas P (Ai, Bj).
Os resultados sa˜o mostrados na Tabela a seguir, em que o
nu´mero de ocorreˆncias de cada evento esta´ entre pareˆnteses.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Definic¸a˜o de Probabilidade Conjunta
A tabela de probabilidades conjuntas e´ mostrada abaixo.
B1 B2 B3 B4 B5 B6 P (Ai)
A1 0,03 (3) 0,02 (2) 0,01 (1) 0,01 (1) 0,02 (2) 0,01 (1) 0,10
A2 0,01 (1) 0,01 (1) 0,02 (2) 0,03 (3) 0,03 (3) 0,02 (2) 0,12
A3 0,02 (2) 0,01 (1) 0,02 (2) 0,01 (1) 0,04 (4) 0,03 (3) 0,13
A4 0,01 (1) 0,01 (1) 0,03 (3) 0,02 (2) 0,05 (5) 0,06 (6) 0,18
A5 0,01 (1) 0,02 (2) 0,03 (3) 0,04 (4) 0,06 (6) 0,07 (7) 0,23
A6 0,02 (2) 0,02 (2) 0,02 (2) 0,04 (4) 0,07 (7) 0,07 (7) 0,24
P (Bj) 0,10 0,09 0,13 0,15 0,27 0,26 1,00
Problema Proposto: Calcular a probabilidade de ocorrer o nu´mero 1 no dado
verde (evento A1) e o nu´mero 3 no dado vermelho (evento B3), ou seja,
determinar P (A1, B3).
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Definic¸a˜o de Probabilidade Marginal
Probabilidade Marginal
E´ a probabilidade de ocorreˆncia do evento Ai, P (Ai),
independentemente dos resultados dos eventos Bj ,
j = 1, ..., N .
P (Ai) =
N∑
j=1
P (Ai, Bj)
De modo similar, a probabilidade marginal de Bj , P (Bj), e´
dada por:
P (Bj) =
N∑
i=1
P (Ai, Bj)
Problema Proposto: Calcular P (A3) na tabela anterior.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Definic¸a˜o de Eventos Independentes
Eventos Independentes
Dois eventos sa˜o ditos independentes se a ocorreˆncia de um
deles na˜o afeta a ocorreˆncia do outro.
Formalmente, os eventos A e B sa˜o ditos independentes se
P (A ∩ B) = P (A)P (B)
Neste caso, tem-se que as probabilidades condicionais
reduzem-se a`s probabilidades marginais:
P (Ai|Bj) = P (Ai) e P (Bj |Ai) = P (Bj)
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Probabilidade condicional
Probabilidades condicionais
A probabilidade de ocorreˆncia de A dado que ocorreu B e´
dada por:
P (A|B) ,
P (AB)
P (B)
, P (B) > 0
Por sua vez, a probabilidade de ocorreˆncia de B dado que
ocorreu A e´ dada por:
P (B|A) ,
P (AB)
P (A)
, P (A) > 0
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Probabilidade de Bayes
Probabilidades de Bayes
Se isolarmos os numeradores das expresso˜es de P (A|B) e
P (B|A), temos que:
P (A|B)P (B) = P (AB) = P (B|A)P (A)
Assim, podemos escrever:
P (A|B) ,
P (B|A)P (A)
P (B)
, P (B) > 0
Esta expressa˜o e´ conhecida como “Probabilidade de Bayes.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 1: Comportamento de um Usua´rio de Celular
E´ Poss´ıvel caracterizar (modelar) o comportamento de um usua´rio
de telefone celular atrave´s da probabilidade condicional?
Definic¸a˜o: Comportamento de um Usua´rio de Celular
Por comportamento entende-se o perfil de utilizac¸a˜o do telefone
celular por um dado usua´rio ao longo de um per´ıodo de tempo
(e.g. 1 dia).
Refereˆncia:
J. Hollme´n and V. Tresp (1999). ”Call-based fraud detection in mobile
communications networks using a hierarchical regime-switching model“,
In:Advances in Neural Information Processing Systems, M. Kearns and S.
Solla and D. Cone (Eds.).
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da ProbabilidadeCondicional
Aplicac¸a˜o 1: Caracterizac¸a˜o do Problema
Seja Xn ∈ {0, 1} o evento indicando se uma determinada chamada
esta´ em curso no instante n, para um dado usua´rio.
Xn = 0 (na˜o ha´ chamada em curso no instante n)
Xn = 1 (chamada em curso no instante n)
De particular interesse sa˜o as probabilidades de transic¸a˜o de uma
condic¸a˜o da chamada para outra. Existem 4 situac¸o˜es poss´ıveis:
Xn−1 = 0 → Xn = 1 (In´ıcio de uma chamada)
Xn−1 = 1 → Xn = 0 (Te´rmino de uma chamada)
Xn−1 = 1 → Xn = 1 (Chamada em andamento)
Xn−1 = 0 → Xn = 0 (Na˜o-ocorreˆncia de chamada)
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 1: Caracterizac¸a˜o do Problema (cont.-1)
Assim, deseja-se para um dado conjunto de medidas de Xn,
n = 1, . . . , 1440, determinar as seguintes probabilidades
condicionais:
p01 = Pr(Xn = 1|Xn−1 = 0) (Prob. iniciar chamada)
p10 = Pr(Xn = 0|Xn−1 = 1) (Prob. terminar chamada)
p11 = Pr(Xn = 1|Xn−1 = 1) (Prob. continuar chamada)
p00 = Pr(Xn = 0|Xn−1 = 0) (Prob. continuar sem chamada)
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 1: Caracterizac¸a˜o do Problema (cont.-2)
Um usua´rio hipote´tico poderia ter o comportamento representado
na forma de um sinal bina´rio, conforme mostra figura abaixo.
0 5 10 15 20 25 30
0
0.2
0.4
0.6
0.8
1
Passos (n)
Es
ta
do
s
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 1: Caracterizac¸a˜o do Problema (cont.-3)
O sinal bina´rio usado nesta aplicac¸a˜o foi gerado a partir do co´digo
Matlab/Octave mostrado abaixo.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 1: Caracterizac¸a˜o do Problema (cont.-4)
Em que a func¸a˜o aleat(·) e´ definida pelo co´digo abaixo.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 1: Caracterizac¸a˜o do Problema (cont.-5)
Para estimar as probabilidades condicionais (p00, p01, p10 e p11)
temos que calcular a seguinte grandeza:
pˆij =
cij
Ni
cij e´ a quantidade de transic¸o˜es do estado i para o estado j
que ocorrem no sinal observado.
Ni e´ a quantidade de transic¸o˜es que saem do estado i.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 1: Caracterizac¸a˜o do Problema (cont.-6)
Os valores estimados das probabilidades condicionais (p00, p01, p10
e p11) a partir do sinal observado foram os seguintes:
pˆ01 = 0,0987
pˆ10 = 0,5826
pˆ11 = 0,4174
pˆ00 = 0,9013
de onde conclu´ımos que os valores estimados sa˜o bem pro´ximos dos
valores teo´ricos (ver co´digo Matlab mostrado em slides anteriores).
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 2: Canal Bina´rio Sime´trico
O mesmo co´digo Matlab mostrado para a Aplicac¸a˜o 1 pode ser
usado para simular um modelo de canal de comunicac¸a˜o conhecido
como canal bina´rio sime´trico.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 2: Canal Bina´rio Sime´trico (cont.-1)
O canal bina´rio sime´trico so´ pode transmitir um dentre 2
s´ımbolos (geralmente 0 e 1).
Um canal na˜o-bina´rio pode transmitir mais de 2 s´ımbolos,
possivelmente ate´ infinitos s´ımbolos.
A transmissa˜o na˜o e´ perfeita, e ocasionalmente o receptor
recebe o bit errado.
A probabilidade de erro de bit e´ p.
Este canal e´ frequ¨entemente usado em Telecomunicac¸o˜es por
ser um dos modelos de canal ruidoso mais simples de
analisar.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 2: Canal Bina´rio Sime´trico (cont.-2)
Seja X ∈ {0, 1} um evento probabil´ıstico referente a`
transmissa˜o de um bit por um canal ruidoso do tipo bina´rio
sime´trico.
Seja Y ∈ {0, 1} o evento correspondente a` recepc¸a˜o do bit
transmitido.
Esquematicamente temos que:
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 2: Canal Bina´rio Sime´trico (cont.-3)
O canal bina´rio sime´trico e´ caracterizado por probabilidades
condicionais:
Pr(Y = 0|X = 0) = 1− p
Pr(Y = 0|X = 1) = p
Pr(Y = 1|X = 0) = p
Pr(Y = 1|X = 1) = 1− p
em que 0 ≤ p ≤ 1/2.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 2: Canal Bina´rio Sime´trico (cont.-4)
A capacidade de um canal esta´ associado com o limite
superior da quantidade de informac¸a˜o que pode ser
confiavelmente transmitida por ele.
A capacidade do canal bina´rio sime´trico e´ dada por:
1−Hb(p)
em que Hb(p) e´ a func¸a˜o entropia bina´ria.
Entropia e´ uma medida da incerteza associada com a
observac¸a˜o da varia´vel.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 2: Canal Bina´rio Sime´trico (cont.-5)
A func¸a˜o entropia bina´ria e´ definida como a entropia de
uma prova de Bernoulli com probabilidade de sucesso p.
Uma prova de Bernoulli e´ um experimento aleato´rio cujo
resultado X assume apenas dois valores: 0 ou 1.
Se P (X = 1) = p, enta˜o P (X = 0) = q = 1− p.
A entropia de X e´, portanto, dada por:
Hb(X) = −p log(p)− (1− p) log(1− p)
em que adota-se, comumente, logaritmo de base 2. Neste
caso, a entropia e´ medida em bits.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 2: Canal Bina´rio Sime´trico (cont.-6)
A entropia pode ser interpretada como o grau de informac¸a˜o
que a observac¸a˜o da varia´vel fornece.
⋆ Quanto mais imprevis´ıvel for X , maior sua entropia.
⋆ Quanto menos imprevis´ıvel for X , menor sua entropia.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Aplicac¸a˜o da Probabilidade Condicional
Aplicac¸a˜o 2: Canal Bina´rio Sime´trico (cont.-6)
Seja X uma varia´vel aleato´ria discreta com poss´ıveis valores
{x1, x2, ..., xn}.
A entropia H(X) e´ definida para como:
H(X) = −
n∑
i=1
p(xi) logb p(xi)
em que b e´ a base do logaritmo usado.
⋆ Se b = 2, a unidade da entropia e´ bits.
⋆ Se b = e (nu´mero de Euler), a unidade e´ nats.
⋆ Se b = 10, a unidade e´ dits.
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Regra da probabilidade total
Teorema da probabilidade total
Sejam A1, A2, A3, . . . , An eventos mutuamente exclusivos
P (Ai) > 0, i = 1, 2, . . . , n
B ⊂ {A1 + A2 + · · ·+ An}
�A �A �A �A
�A �A
...
B
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Regra da probabilidade total - cont.
Teorema da probabilidade total - cont.
P (B) = P (BA1) + P (BA2) + · · · + P (BAn) pois
B = BA1 + BA2 + · · · + BAn︸ ︷︷ ︸
mutuamente exclusivos
P (B) = P (B|A1)P (A1) + · · ·+ P (B|An)P (An)
Probabilidade total
P (B) =
n∑
i=1
P (B|Ai)P (Ai) (3)
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Regra de Bayes
Regra de Bayes
Inverso do conceito da probabilidade total
P (Aj |B) =
P (B|Aj) · P (Aj)
n∑
i=1
P (B|Ai) · P (Ai)
(4)
Tambe´m chamada de probabilidade a posteriori
c© G. A. Barreto Noc¸o˜es deProbabilidade e Aplicac¸o˜es em ETI
Probabilidade
Independeˆncia probabil´ıstica
Eventos independentes
Dois eventos A e B sa˜o independentes se
P (A ·B) = P (A) · P (B)
Generalizando (para treˆs eventos): A,B e C
P (AB) = P (A)P (B)
P (AC) = P (A)P (C)
P (BC) = P (B)P (C)

P (ABC) = P (A)P (B)P (C)
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Independeˆncia probabil´ıstica - cont.
Propriedades de eventos independentes
1 P (A|B) = P (A)
2 P (AB) = P (A) · P (B)
3 P (AB) = P (A) · P (B) e P (AB) = P (A) · P (B)
Ou seja Se A e B sa˜o independentes, A e B sa˜o independentes e
A e B tambe´m o sa˜o
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Eventos conjuntos
Eventos conjuntos
Dado S (espac¸o amostral), podemos atribuir diferentes atributos
aos eventos pertencentes a diferentes classes de Borel
S = {x1, x2, . . . , xn}{
A1, A2, · · · , An ∈ F1
B1, B2, · · · , Bn ∈ F2
Exemplo:
S = {Joa˜o, Jose´, Maria }
(idade,altura)
Rescrevendo:
S = {(10, 1.50), (30, 1.80), (32, 1.65)}
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
Probabilidade
Probabilidade marginal
Probabilidade marginal
A1 + A2 + · · ·+ An = S1
B1 + B2 + · · · + Bn = S2
P (Ai) =
n∑
j=1
P (Ai, Bj)
P (Bj) =
n∑
i=1
P (Ai, Bj)


n∑
i=1
n∑
j=1
P (Ai, Bj) = 1
(5)
c© G. A. Barreto Noc¸o˜es de Probabilidade e Aplicac¸o˜es em ETI
	Noções de Probabilidade