Normal multivariada 2013

Prévia do material em texto

Normal Multivariada
Função densidade conjunta e contorno de 
probabilidade
Prof. José Francisco Moreira Pessanha
professorjfmp@hotmail.com
Estatística Multivariada
Distribuição normal univariada
( )
2
2
1
2
1 



 −
⋅−
⋅=
σ
µ
σpi
x
exf
( )2,~ σµNX
X tem distribuição 
Normal com média µ e 
variância σ2
A função densidade f(x) é
simétrica em torno da média 
µ da distribuição e possui a 
forma de um sino
x
f(x)
µ x
f(x)
µ
A função densidade da normal é totalmente 
caracterizada por dois parâmetros:
a média: E(x) = µµµµ
a variância: Var(x) = σσσσ2
Seja x uma variável aleatória normalmente 
distribuída com média µ e desvio-padrão σσσσ
( )
2
2
1
22
1 



 −
−
=
σ
µ
piσ
x
exf
Distribuição normal univariada
x ~ N(µ,σ2)
( ) ( ) ( )
( )( ) ( )µσµ
σpi
−−−
−
⋅
=
xx
exf
12
2
1
2/12212
1
Função densidade de probabilidade
Quadrado da distância entre x e a média µ em 
unidades de desvios padrão 
Número de desvios padrão entre x e a média
( )( ) ( )µ−σµ−=





σ
µ− −
xx
x 12
2
Substituindo em f(x) tem-se:
( ) ( ) 212212 22 σpipiσ ⋅=
Distribuição conjunta de p normais independentes
( ) piexf i
iix
i
i ,1 
2
1
2
2
1
2
=∀
piσ
=






σ
µ−
−
Densidade 
conjunta
variáveis aleatórias independentes( ) ,piNx iii 1 ,~ 2 =∀σµ
Densidades
marginais
( ) ∏
=






σ
µ−
−
piσ
=
p
i
x
i
p
i
ii
exxf
1
2
1
21
2
2
1
,...,
( )
( )
∑
σσσpi
=
=






σ
µ−
−
p
i i
iix
p
pp exxf 1
2
2
1
22
2
2
12
1
2
1
,...,
K
Distribuição conjunta de p normais independentes
( )
( )
∑
σσσpi
=
=






σ
µ−
−
p
i i
iix
p
pp exxf 1
2
2
1
22
2
2
12
1
2
1
,...,
K
Σ=














σ
σ
σ
=σσσ
2
2
2
2
1
22
2
2
1
00
00
00
det
p
p
K
MOM
K
K
( )














µ−
µ−
µ−


















σ
σ
σ
µ−µ−µ−=





σ
µ−∑
=
pp
p
pp
p
i i
ii
x
x
x
xxx
x
M
L
MOM
L
K
22
11
2
2
2
2
1
2211
1
2
100
010
001
( ) ( ) ( )µ−Σµ−=














µ−
µ−
µ−














σ
σ
σ
µ−µ−µ−=





σ
µ− −
−
=
∑ XX
x
x
x
xxx
x T
ppp
pp
p
i i
ii 122
11
1
2
2
2
2
1
2211
1
2
00
00
00
M
L
MOM
L
K
Distribuição conjunta de p normais independentes
( ) ( )
( )
( ) ( )µµ
pi
−Σ−− −
Σ
==
XX
pp
T
eXfxxf
1
2
1
2
1
2
1
2
1
,,K










=
px
x
X M
1
( )










==
p
XE
µ
µ
µ M
1














σ
σ
σ
=Σ
2
2
2
2
1
00
00
00
pL
MOM
L
Matriz de covariâncias 
diagonal, pois as p variáveis 
aleatórias são independentes
Densidade conjunta
Distribuição normal multivariada
Função densidade de probabilidade de X ~ Np(µ ,Σ)
( ) ( ) ( )
( ) ( ) ( )µµ
pi
−Σ−− −
Σ
==
XX
pp
T
exxfXf
1
2
1
2/121 2
1
,...,








































=
ppp
p
p
p
p
N
x
x
X
σσ
σσ
µ
µ
L
MOM
L
MM
1
11111
,~
Normal p variada 
(p variáveis aleatórias)
( )Σ,~ µpNX
Distância de 
Mahalanobis
A distribuição normal multivariada é uma generalização da 
normal univariada
Vetor de médias
Matriz de covariâncias
A função densidade da 
normal multivariada é
caracterizada pelo vetor 
de médias e pela matriz 
de covariância
Distância de Mahalanobis
( ) ( ) ( )µxΣµx T −− −1
1xp
pxp
px1
Exemplo: Normal bivariada (p=2)
x1 = peso kg
x2 = altura cm






=
2
1
x
x
X






=
175
70µ






=Σ
169
925
( ) 





−
−






−−
−
175
70
169
925
17570
2
1
1
21
x
x
xx
( )( )








⋅
−−
−




 −
+




 −
⋅
−
1625
170702
16
175
25
70
1625
91
1 21
12
2
2
2
1
2
xxxx ρ
( ) ( ) ( )µxΣµx T −− −1
Quadrado da distância 
generalizada entre X e a 
média µ
Encontra-se no 
expoente da função 
densidade da normal
Prasanta Chandra Mahalanobis
1893 - 1972
Normal bivariada


























=
2212
1211
2
1
2
2
1
,~
σσ
σσ
µ
µ
N
x
x
XNormal bivariada ( p = 2 )






µ
µ
=µ
2x
1x






σσ
σσ
=Σ
2212
1211
Parâmetros da distribuição normal bivariada
Vetor de médias Matriz de covariâncias
( ) ( )
( ) ( ) ( )µµ
pi
−Σ−− −
Σ
=
xx
p
T
eXf
1
2
1
2/12/2
1
Obtenha a densidade conjunta
22111212
2211
12
12 σσρ=σ⇒
σσ
σ
=ρ








σσσρ
σσρσ
=





σσ
σσ
=Σ
22221112
22111211
2212
1211
( )212221122112122211
22221112
22111211 1 ρσσσσρσσ
σσσρ
σσρσ
−⋅=⋅−==Σ
Matriz de covariâncias em função das variâncias e do coeficiente 
de correlação linear
ρ12 = coeficiente de correlação entre x1 e x2
Normal bivariada
Determinante da matriz de covariâncias = variância generalizada
( ) ( )
( ) ( ) ( )µµ
pi
−Σ−− −
Σ
=
XX
p
T
eXf
1
2
1
2/12/2
1
( ) 





σσσρ−
σσρ−σ
Σ
=Σ−
11221112
221112221
det
1
( ) 





σσσρ−
σσρ−σ
ρ−σσ
=Σ−
11221112
22111222
2
122211
1
1
1
( )












σσσ
ρ
−
σσ
ρ
−
σ
ρ−
=Σ−
222211
12
2211
12
11
2
12
1
1
1
1
1
Normal bivariada
Inversa da matriz de covariâncias








=Σ
22221112
22111211
σσσρ
σσρσ
( ) ( )2122211 1det ρσσ −⋅=Σ
( ) ( ) ( ) ( ) 






−
−
⋅














−
⋅−−
−
=−−
22
11
222211
12
2211
12
11
2
12
2211 1
1
1
11
µ
µ
σσσ
ρ
σσ
ρ
σ
ρµµ x
x
xx
T
µXΣµX
( ) ( ) ( ) ( )( )








−−
−








−
+








−
−
=−Σ− −
2211
2211
12
2
22
22
2
11
11
2
12
1 2
1
1
σσ
µµρ
σ
µ
σ
µ
ρ
µµ xxxxxx T
Normal bivariada
( ) ( )
( ) ( ) ( )µµ
pi
−Σ−− −
Σ
=
XX
p
T
eXf
1
2
1
2/12/2
1
Forma quadrática
( ) ( )µµ −Σ− − XX T 1
O expoente da densidade normal multivariada é o quadrado da 
distância generalizada ou distância de Mahalanobis:
X
x1
x2
µ1
µ2 µ
Distância entre X e µ ( ) ( )
( )
( ) ( )µµ
µ
µµµ
µµ
−−
=





−
−
−−
=−+−
XX
x
x
xx
xx
T
22
11
2211
2
22
2
11
Quadrado da distância euclidiana
Quadrado da distância de Mahalanobis
Normal bivariada
( )( )
( ) ( ) ( )µµ
pi
−Σ−− −
Σ
=
xx
p
T
eXf
1
2
1
2/12/2
1
Compare a expressão acima com o 
quadrado da distância euclidiana
( ) =






−
−
⋅














−
⋅−−
22
11
222211
12
2211
12
11
2
12
2211 1
1
1
1
µ
µ
σσσ
ρ
σσ
ρ
σ
ρµµ x
x
xx
( )( )








σσ
µ−µ−ρ−








σ
µ−
+








σ
µ−
ρ− 2211
2211
12
2
22
22
2
11
11
2
12
2
1
1 xxxx
( ) ( )=−Σ− − µµ XX T 1
Normal bivariada
Cálculo da distância de Mahalanobis
Distância de Mahalanobis⇒ Soma de parcelas adimensionais
( ) ( )
( )( )








−−
−








−
+








−
−
⋅−
−
=
2211
2211
12
2
22
22
2
11
11
2
12
2
1
1
2
1
2
122211
21
12
1
,
σσ
µµρ
σ
µ
σ
µ
ρ
ρσσpi
xxxx
exxf
f(x1,x2)
x1
x2
µ1 µ2
Função 
densidade 
centrada no 
vetor média 






=
2
1
µ
µµ
Normal bivariada
Função densidade de probabilidade da normal bivariada (p = 2)
( ) ( )
2
2
1
2
122211 12
1 C
eXf −
−
=
ρσσpi
µ1 µ2
Valor da função 
densidade nos pontos 
que formam a elipse
Normal bivariada
( ) ( )
( )( )








−−
−








−
+








−
−
⋅−
−
=
2211
2211
12
2
22
22
2
11
11
2
12
2
1
1
2
1
2
122211
21
12
1
,
σσ
µµρ
σ
µ
σ
µ
ρ
ρσσpi
xxxx
exxf
O lugar geométrico dos vetores 
X que satisfazem a igualdade 
acima é uma elipse centrada 
no vetor média e com eixos nas 
direções dos autovetores de Σ.
Função densidade
Fazendo o expoente da densidade normal multivariada igual a uma constante 
C2 tem-se a equação de uma elipse centrada na média:
( )( ) 2
2211
2211
12
2
22
22
2
11
11
2
12
2
1
1
Cxxxx =








−−
−








−
+








−
− σσ
µµρ
σ
µ
σ
µ
ρ
Normal bivariada
Eixos da elipse são 
parelelos aos eixos das 
variáveis
Eixos da elipse são 
inclinados em relação 
aos eixos das variáveis
Eixos da elipse são 
inclinados em relação 
aos eixos das variáveis
Propriedades da distribuição normal multivariada
Seja X um vetor aleatório com distribuição Np(µ,Σ)
Propriedade 1) Combinações lineares das componentes de X tem 
distribuição normal
( ) Xa
x
x
aaxaxay T
p
ppp =










=++= MKK
1
111 ( )aaaNy TT Σ ,~ µ
AX
x
x
aa
aa
y
y
Y
pqpq
p
q
=




















=










= M
L
MOM
K
M
1
1
1111 ( )Tq AANY ΣA ,~ µ
q combinações lineares de p variáveis aleatórias normalmente distribuidas
combinação linear de p variáveis aleatórias normalmente distribuidas
Propriedades da distribuição normal multivariada
Seja X um vetor aleatório com distribuição Np(µ,Σ)
Propriedade 2) Subconjuntos das componentes de X têm 
distribuição normal multivariada
( )
( ) 







=




















=
+ 2
1
1
1
X
X
x
x
x
x
X
p
q
q
M
M
( ) ( )( )
( ) ( )( )2222
1111
,~
,~
Σ
Σ
−
µ
µ
qp
q
NX
NX
( )
( ) 







=




















=
+ 2
1
1
1
µ
µ
µ
µ
µ
µ
µ
p
q
q
M
M






ΣΣ
ΣΣ
=




















=Σ
+
+++++
+
+
2221
1211
1,1
,11,1,11,1
,1,1
11,1111
ppqppqp
pqqqqqq
pqqqqqq
pqq
σσσσ
σσσσ
σσσσ
σσσσ
LL
MOMMOM
LL
LL
MOMMOM
LL
Propriedades da distribuição normal multivariada
Seja X um vetor aleatório com distribuição Np(µ,Σ)
Propriedade 3) Covariâncias nulas entre variáveis normalmente 
distribuidas indicam que são variáveis independentes






=Σ
22
11
0
0
σ
σ
x1 e x2 são independentes
Forma quadrática
( ) ( ) ( ) 21 CµXΣµX T =−− −
( ) ( )
( ) ( ) ( )µµ
pi
−Σ−− −
Σ
=
XX
p
T
eXf
1
2
1
2/12/2
1
No caso geral, fazendo o expoente da função densidade igual a uma constante 
C2 tem-se a equação de um elipsóide centrado na média e com eixos nas 
direções dos autovetores da matriz de covariâncias Σ:
Elipsóide de vetor aleatório com 
distribuição normal trivariadaµµµµ
Forma quadrática
As direções dos eixos do elipsóide 
são definidas pelas direções dos autovetores da matriz de 
covariâncias Σ.
Os comprimentos dos semi-eixos do elipsóide são proporcionais 
aos autovalores da matriz de covariâncias Σ.
( ) ( ) 21 CXX T =−Σ− − µµ
p
peee
λλλ K
K
21
21
⇒Σ
autovetores
autovalores
ji 
 
≠∀=
=∀=
0
,11
j
T
i
i
T
i
ee
piee ( ) ptraço λλλ +++=Σ K21
Intervalo de probabilidade da normal univariada
( ) %9522 =+≤≤− σµσµ xP
95%
Seja x uma variável aleatória com distribuição normal com média 
µ e variância σ2, então
2,0σ2,0σ 2 desvios padrão em relação a média
Contorno de probabilidade
Seja X um vetor aleatório com distribuição normal 
multivariada, X ~ Np(µ,Σ).
( ) ( ) 21 ~ pT XX χµµ −Σ− −
Caso normal bivariada (p=2)
Neste caso, 
x1 = peso kg
x2 = altura cm






=
2
1
x
x
X






=
175
70µ






=Σ
169
925
( ) 





−
−






−−
−
175
70
169
925
17570
2
1
1
21
x
x
xx
( )( ) 2
2
21
12
2
2
2
1
2 ~1625
170702
16
175
25
70
1625
91
1 χρ








⋅
−−
−




 −
+




 −
⋅
−
xxxx
( ) ( ) ( )µxΣµx T −− −1
Função densidade 
da distribuição 
qui-quadrado
p=1
p=2
p=3
p=4
p=5
Contorno de probabilidade
define um elipsóide
No caso bivariado (p=2) a forma quadrática define uma elipse
( ) ( ) 21 CXX T =−Σ− − µµSabemos que
Que elipse contém 95% da probabilidade ?
Resposta:
( ) 99,5%522 =χ
95%
95%
( )( ) ( )%5
1625
170702
16
175
25
70
1625
91
1 2
2
21
12
2
2
2
1
2 χρ ≤








⋅
−−
−




 −
+




 −
⋅
−
xxxx
( )( ) ( ) %95%5
1625
170702
16
175
25
70
1625
91
1 2
2
21
12
2
2
2
1
2 =












≤








⋅
−−
−




 −
+




 −
⋅
−
χρ xxxxP
7070
175175
x1 x1
x2 x2
Contorno de probabilidade
Caso normal bivariada (p=2)
x1 = peso kg
x2 = altura cm






=
2
1
x
x
X






=
175
70µ






=Σ
169
925
( ) 





−
−






−−
−
175
70
169
925
17570
2
1
1
21
x
x
xx
( )( ) 2
2
21
12
2
2
2
1
2 ~1625
170702
16
175
25
70
1625
91
1 χρ








⋅
−−
−




 −
+




 −
⋅
−
xxxx
( ) ( ) ( )µxΣµx T −− −1
( ) 99,5%522=χ ( )( ) 99,5
1625
170702
16
175
25
70
1625
91
1 21
12
2
2
2
1
2 ≤








⋅
−−
−




 −
+




 −
⋅
−
xxxx ρ
Equação do contorno de probabilidade
Contorno de probabilidade
( ) ( ) ( )[ ] ααχµµ −=≤−Σ− − 121 pT XXP
( ) ( ) ( )%21 αχµµ pT XX ≤−Σ− −
No caso geral, temos o contorno com probabilidade 1-α de uma 
distribuição multivariada
Elipsóide centrado na média e com 
eixos nas direções dos autovetores
da matriz de covariância
O comprimento de cada semi-eixo do 
elipsóide é proporcional ao 
respectivo autovalor
Equação do contorno de 
probabilidade 1-α
Probabilidade do vetor aleatório 
pertencer ao contorno
Exemplo 1: Contorno de probabilidade
Considere a normal bivariada com médias µ1=0 e µ2=2, variâncias 
σ11=2 e σ22=1 e covariância σ12= . Desenhe o contorno de 
probabilidade de 50%.
22






=Σ
122
222






=
2
0µ
1) Calcule os autovalores de Σ
( )
( )( ) 05,1302/1120
122
222
0det
2
=+−⇒=−−−⇒=
−
−
=−Σ
λλλλ
λ
λ
λI
634,0
366,2
2
1
=
=
λ
λ
( ) 39,1%5022 =χ
%50
2
=
=
α
p
Exemplo 1: Contorno de probabilidade






=











⇒=Σ
21
11
21
11
111 366,2122
222
e
e
e
e
ee λ
2) Calcule os autovetores de Σ
Autovetor associado com λ1
Autovetor associado com λ2






=











⇒=Σ
22
12
22
12
222 634,0122
222
e
e
e
e
ee λ
460,0
888,0
366,122
22366,0
21
11
2111
2111
=
=
⇒



=
=
e
e
ee
ee
888,0
460,0
366,022
22366,1
22
12
2212
2212
=
−=
⇒



−=
−=
e
e
ee
ee
Exemplo 1: Contorno de probabilidade
3) Desenhe o contorno de probabilidade
( ) 122 5,0 λ⋅χ
( ) 222 5,0 λ⋅χ
( ) 39,1%5022 =χ
634,0
366,2
2
1
=
=
λ
λ
x1
x2






=
2
0µ






=
460,0
888,0
1e





−
=
888,0
460,0
2e
Exemplo 1: Contorno de probabilidade
Calculando os autovalores e autovetores de Σ com o R:
1) Entrando com a matriz de covariância no R por coluna:
sigma=matrix(c(2,sqrt(2)/2,sqrt(2)/2,1),nrow=2)
2) Calculando os autovalores e autovetores:
m=eigen(sigma);lambda=m$values;e=m$vectors
> lambda
[1] 2.3660254 0.6339746
> e
[,1] [,2]
[1,] -0.8880738 0.4597008
[2,] -0.4597008 -0.8880738
Cada coluna é um autovetor
λ1 λ2
e1 e2
Exemplo 1: Contorno de probabilidade
Desenhando o contorno com o R
1) Entrando com a matriz de covariância no R por coluna:
sigma=matrix(c(2,sqrt(2)/2,sqrt(2)/2,1),nrow=2)
2) Desenhando o contorno de 50%
plot(ellipse(sigma,centre=c(0,2),level=0.5,npoints=1000),type='l‘,a
sp=1)
ellipse = pacote obtido em http://pbil.univ-lyon1.fr/library/ellipse/
centre = vetor com as coordenadas do centro da elipse
level = nível de probabilidade
npoints = número de pontos
type = tipo do ponto
Exemplo 1: Contorno de probabilidade
Desenhando o contorno com o R
x1
x2
Exemplo 2: Contorno de probabilidade
A tabela abaixo mostra a idade (anos) e o preço de venda (US$ 
1000) para n = 10 carros usados,
0,300,700,451,051,000,300,701,001,902,30preço x2
111098777553idade x1
10987654321carro
a) Desenhe o contorno de probabilidade de 50% e conte quantas 
observações estão no interior do contorno.
b) Os dados são provenientes de uma distribuição normal 
bivariada?
Exemplo 2: Contorno de probabilidade
A tabela abaixo mostra a idade (anos) e o preço de venda (US$ 
1000) para n = 10 carros usados,
a) Desenhe o contorno de probabilidade de 50% e conte quantas 
observações estão no interior do contorno.
2 4 6 8 10 12
0
.
0
0
.
5
1
.
0
1
.
5
2
.
0
2
.
5
3
.
0
x1
x
2
#monta matriz de dados
x1<-c(3,5,5,7,7,7,8,9,10,11)
x2<-c(2.30,1.90,1.00,0.70,0.30,1.00,1.05,0.45,0.70,0.30)
X<-cbind(x1,x2)
# calcula vetor media
mu=apply(X,2,mean)
# calcula matriz de covariâncias
sigma=var(X)
# desenha o contorno de 50%
plot(ellipse(sigma,centre=mu,level=0.5,npoints=1000),type='l',xlim=c(
1,12),ylim=c(0,3))
points(X)
Apenas 4 pontos no 
interior do contorno 
de 50%
Exemplo 2: Contorno de probabilidade
A tabela abaixo mostra a idade (anos) e o preço de venda (US$ 
1000) para n = 10 carros usados,
Não precisa desenhar o contorno para saber quantas 
observações estão no seu interior, pois estes pontos devem 
satisfazer a seguinte desigualdade:
a) Desenhe o contorno de probabilidade de 50% e conte quantas 
observações estão no interior do contorno.
( ) ( ) ( )αχµµ 21 pT XX ≤−Σ− −
Neste caso p=2 e α=50%, logo o qui-quadrado tabelado é
1,39.
Exemplo 2: Contorno de probabilidade
A tabela abaixo mostra a idade (anos) e o preço de venda (US$ 
1000) para n = 10 carros usados,
a) Desenhe o contorno de probabilidade de 50% e conte quantas 
observações estão no interior do contorno.
Programa R
sinv=solve(sigma)
for (i in 1:10){
aux=X[i,]-mu
d[i]=t(aux)%*%sinv%*%aux
}
round(d,2)
4.06 2.11 2.11 0.64 3.27 0.01 0.52 0.65 2.06 2.59
Em 4 observações d<1.39, logo há 4 observações no 
interior do contorno de 50%
Exemplo 2: Contorno de probabilidade
A tabela abaixo mostra a idade (anos) e o preço de venda (US$ 
1000) para n = 10 carros usados,
b) Os dados são provenientes de uma distribuição normal 
bivariada?
Dado o pequeno número de observações da amostra (n=10) é
difícil rejeitar a hipótese de normalidade bivaridada
Bibliografia
Johnson, R.A. & Wichern, D.W. Applied
Multivariate Statistical Analysis. 5 ed., 
Prentice-Hall.