Inferência Estatística

Prévia do material em texto

Infereˆncia Estat´ıstica
Prof. Wesley Bertoli da Silva
Probabilidade e Estat´ıstica
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 1 / 15
Introduc¸a˜o
Definic¸a˜o 1: Seja X uma varia´vel aleato´ria com func¸a˜o de probabilidade
(ou de densidade) f (x |θ), em que θ denota o vetor de paraˆmetros desco-
nhecidos. Chamamos de infereˆncia estat´ıstica o problema que consiste em
especificar um ou mais valores para as componentes de θ, baseando-se em
um conjunto de observac¸o˜es de X.
Definic¸a˜o 2: Uma sequeˆncia X1, . . . ,Xn de n varia´veis aleato´rias indepen-
dentes e identicamente distribu´ıdas (i.i.d.) com func¸a˜o de probabilidade
(ou de densidade) f (x |θ) e´ dita ser uma amostra aleato´ria de tamanho n
da distribuic¸a˜o de X. Nesse caso, temos:
f (x1, . . . , xn|θ) ind= f (x1|θ) · · · f (xn|θ) =
n∏
i=1
f (xi |θ).
A func¸a˜o de probabilidade (ou de densidade) conjunta acima recebe o
nome de func¸a˜o de verossimilhanc¸a de θ que futuramente sera´ abordada
com maiores detalhes.
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 2 / 15
Estat´ısticas
Agora, vamos introduzir os conceitos de estat´ıstica e estimador.
Definic¸a˜o 3: Qualquer func¸a˜o da amostra que na˜o depende de paraˆmetros
desconhecidos e´ denominada estat´ıstica.
Exemplos: Seja X1, . . . ,Xn uma amostra de tamanho n de uma varia´vel
aleato´ria X.
i) X(1) = min{X1, . . . ,Xn};
ii) X = 1n
n∑
i=1
Xi .
Definic¸a˜o 4: Seja θ um vetor de paraˆmetros associados a` uma f.p ou f.d.p
de uma varia´vel aleato´ria X. O conjunto Θ e´ aquele no qual as componentes
de θ tomam valores. Este conjunto e´ denominado espac¸o parame´trico.
Exemplo: Se X ∼ Normal(µ, σ2), enta˜o θ = (µ, σ2) e Θ = {(µ, σ2),
µ ∈ R e σ2 > 0}.
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 3 / 15
Estimadores
Seja θ ∈ Θ um paraˆmetro desconhecido de interesse.
Definic¸a˜o 5: Qualquer estat´ıstica que assuma valores em Θ e´ denominada
estimador de θ, cuja notac¸a˜o e´ θ̂.
A medida a seguir e´ u´til na avaliac¸a˜o do desempenho de um estimador.
Definic¸a˜o 6: O erro quadra´tico me´dio (EQM) de um estimador θ̂ de um
paraˆmetro θ e´ dado por:
EQM(θ̂) = E[(θ̂ − θ)2].
Definic¸a˜o 7: O v´ıcio de um estimador e´ definido por:
B(θ̂) = E(θ̂)− θ.
Da definic¸a˜o anterior, temos que um estimador na˜o viciado (na˜o viesado)
e´ aquele para o qual E(θ̂) = θ.
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 4 / 15
Erro Quadra´tico Me´dio
Um estimador θ̂ e´ dito assintoticamente na˜o viciado para θ se:
lim
n→∞ B(θ̂) = 0.
O erro quadra´tico me´dio e´ comumente empregado na comparac¸a˜o de
estimadores. Assim, dizemos que um estimador θ̂2 e´ melhor que θ̂1 se:
EQM(θ̂2) ≤ EQM(θ̂1),
para todo θ ∈ Θ.
Se EQM(θ̂2) < EQM(θ̂1) enta˜o o estimador θ̂1 e´ dito inadmiss´ıvel.
Exemplo: Seja X1,X2,X3 uma amostra de uma varia´vel aleato´ria X
com E(X) = θ e Var(X) = 1. Compare os estimadores:
θ̂1 = X e θ̂2 = 0, 50X1 + 0, 25(X2 + X3).
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 5 / 15
Eficieˆncia de Um Estimador
Definic¸a˜o 8: Defini-se como eficieˆncia de um estimador θ̂, na˜o viciado para
o paraˆmetro θ, o quociente definido por:
e(θ̂) =
ι(θ)
Var(θ̂)
,
sendo ι(θ) o limite inferior da variaˆncia dos estimadores na˜o viciados de θ,
dado por:
ι(θ) =
1
n
E
[(
∂ ln f (X|θ)
∂θ
)2]−1
,
desde que algumas condic¸o˜es de regulariadade sejam satisfeitas.
Obs. Dizemos que um estimador e´ eficiente quando e(θ̂) = 1.
Exemplo: Seja X1, . . . ,Xn uma amostra de tamanho n de uma varia´vel
aleato´ria X ∼ Poisson(λ). Determine a eficieˆncia de λ̂ = X.
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 6 / 15
Informac¸a˜o de Fisher
Definic¸a˜o 9: A quantidade
∂ ln f (X|θ)
∂θ
,
e´ denominada func¸a˜o escore.
Sob algumas condic¸o˜es de regularidade, temos que:
E
[
∂ ln f (X|θ)
∂θ
]
= 0.
Definic¸a˜o 10: A quantidade
E
[(
∂ ln f (X|θ)
∂θ
)2]
,
e´ denominada informac¸a˜o de Fisher de θ, denotada por IF(θ).
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 7 / 15
Informac¸a˜o de Fisher
Um resultado importante estabelece que:
E
[(
∂ ln f (X|θ)
∂θ
)2]
= −E
[
∂2 ln f (X|θ)
∂θ2
]
.
Teorema 1: Quando as condic¸o˜es de regularidade esta˜o satisfeitas, tem-se
que a variaˆncia de qualquer estimador na˜o viciado θ̂ de um paraˆmetro θ
satisfaz a desigualdade:
Var(θ̂) ≥ 1
n
I−1F (θ).
• Este teorema e´ denominado teorema da desigualdade da informac¸a˜o;
• Ressalta-se que este na˜o e´ um me´todo para construc¸a˜o de estimadores;
• Este teorema fornece uma ferramenta a partir da qual e´ poss´ıvel verificar
se um estimador e´ ou na˜o eficiente.
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 8 / 15
Estat´ısticas Suficientes
Definic¸a˜o 11: Dizemos que uma estat´ıstica T(X) = T(X1, . . . ,Xn) e´ sufici-
ente para θ quando a distribuic¸a˜o condicional de X1, . . . ,Xn dado T(X) = t
for independente de θ.
Exemplo: Seja X1, . . . ,Xn uma amostra de tamanho n de uma varia´vel
aleato´ria X ∼ Poisson(λ). Podemos afirmar que a estat´ıstica T(X) =
n∑
i=1
Xi
e´ suficiente para o paraˆmetro λ?
De acordo com a definic¸a˜o anterior, T(X) sera´ estat´ıstica suficiente para
λ se P(X1 = x1, . . . ,Xn = xn|T = t) for independente de λ. Ale´m disso:
P(X1 = x1, . . . ,Xn = xn|T = t) =

0, se
n∑
i=1
xi 6= t,
P(X1=x1,...,Xn=xn)
P(T=t) , se
n∑
i=1
xi = t.
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 9 / 15
Estat´ısticas Suficientes
Teorema 1: Seja X1, . . . ,Xn uma amostra de tamanho n de uma varia´vel
aleato´ria X com func¸a˜o de probabilidade ou de densidade f (x |θ). Temos,
enta˜o, que a estat´ıstica k-dimensional T = (T1, . . . ,Tk), Ti = Ti (X) e´
conjuntamente suficiente para θ se:
n∏
i=1
f (xi |θ) = h(x1, . . . , xn)gθ[T1(x), . . . ,Tk(x)],
de forma que h(x1, . . . , xn) na˜o depende de θ e gθ[T1(x), . . . ,Tk(x)] de-
pende de θ e de x = (x1, . . . , xn) somente por meio de T1(x), . . . ,Tk(x).
• Dizemos que dim T = k, que muitas vezes equivale a` dim Θ.
Exemplo: Seja X1, . . . ,Xn uma amostra de tamanho n de uma varia´vel
aleato´ria X ∼ Normal(µ, σ2), µ e σ2 desconhecidos. Obtenha uma es-
tat´ıstica conjuntamente suficiente para θ = (µ, σ2).
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 10 / 15
Func¸a˜o de Verossimilhanc¸a
O conceito de func¸a˜o de verossimilhanc¸a, enunciado a seguir, e´ central
na teoria da verossimilhanc¸a.
Definic¸a˜o 12: Seja X1, . . . ,Xn uma amostra de tamanho n de uma varia´vel
aleato´ria X com func¸a˜o de probabilidade ou de densidade f (x |θ), com
θ ∈ Θ. A func¸a˜o de verossimilhanc¸a de θ correspondente a` amostra
aleato´ria observada e´ dada por:
L(θ|x) =
n∏
i=1
f (xi |θ).
Definic¸a˜o 13: O estimador de ma´xima verossimilhanc¸a de θ e´ o vetor
θ̂ ∈ Θ que maximiza a func¸a˜o de verossimilhanc¸a L(θ|x).
• Verifica-se que o vetor θ que maximiza L(θ|x) tambe´m maximiza
ln L(θ|x) (func¸a˜o de log-verossimilhanc¸a).
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 11 / 15
Func¸a˜o de Verossimilhanc¸a
No caso uniparame´trico em que Θ e´ um intervalo da reta e ln L(θ|x)
e´ deriva´vel, o estimador de ma´xima verossimilhanc¸a pode ser encontrado
como a raiz da equac¸a˜o de verossimilhanc¸a:
∂ ln L(θ|x)
∂θ
= 0.
Para se concluir que a soluc¸a˜o da equac¸a˜o de verossimilhanc¸a e´ um
ponto de ma´ximo, deve-se verificar se:
∂2 ln L(θ|x)
∂θ2
∣∣∣∣
θ=θ̂
< 0.
• Se Θ for discreto, ou em situac¸o˜es de fronteira, o EMV na˜o pode ser
obtido por meio da equac¸a˜o de verossimilhanc¸a.
Exemplo: Seja X1, . . . ,Xn uma amostra de tamanho n de uma varia´velaleato´ria X ∼ Poisson(λ). Determine o EMV de λ.
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 12 / 15
Distribuic¸a˜o em Grandes Amostras
Teorema 2: Seja f (x |θ) uma func¸a˜o de probabilidade ou de densidade com
me´dia µ e variaˆncia σ2. Seja X a me´dia amostral de uma amostra aleato´ria
de tamanho n de f (x |θ). Dizemos que a distribuic¸a˜o da varia´vel
Z =
X− E(X)√
Var(X)
=
√
n
X− µ
σ
,
se aproxima da distribuic¸a˜o Normal padra˜o a medida que n→∞.
Analogamente, podemos dizer que:
X
a∼ Normal
(
µ,
σ2
n
)
.
Obs. Se uma varia´vel aleato´ria X tiver distribuic¸a˜o Normal com me´dia
µ e variaˆncia σ2, enta˜o o resultado apresentado no Teorema e´ exato.
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 13 / 15
Distribuic¸a˜o em Grandes Amostras
Seja X1, . . . ,Xn uma amostra de uma varia´vel aleato´ria com distribuic¸a˜o
de Bernoulli de paraˆmetro p. Sabemos que:
Y =
n∑
i=1
Xi ∼ Binomial(n, p).
O paraˆmetro p denota a proporc¸a˜o de sucessos em n ensaios de Bernoulli
e pode ser estimado por:
p̂ =
Y
n
=
1
n
n∑
i=1
Xi .
Pelo teorema do limite central, para n→∞, tem-se que:
p̂
a∼ Normal
(
p,
p(1− p)
n
)
.
DAMAT - UTFPR Infereˆncia Estat´ıstica Probabilidade e Estat´ıstica 14 / 15