Lista5 - Estatística Matemática

Prévia do material em texto

Lista 5 de Exerćıcios - Estat́ıstica Matemática I
Exerćıcio 1 - Sejam X1, · · · , Xn uma a.a. da variável aleatória Xi com função densidade dada por
f(xi|θ) = θxθ−1i
em que 0 < xi < 1 e θ > 0.
(a) Encontre o estimador de máxima verossimilhança de θ e de g(θ) = θ1+θ .
Resolução: A função de verossimilhança para θ é da forma
L(θ|x) =
n∏
i=1
f(xi|θ)
=
n∏
i=1
θxθ−1i
= θn
n∏
i=1
xθ−1i
Desta maneira,
∂ l(θ|X)
∂θ
=
n
θ̂
+
n∑
i=1
log xi = 0 ⇒ θ̂ = −
n∑n
i=1 log xi
Logo, θ̂ = − n∑n
i=1 log xi
.
Observe ainda que
∂2 l(θ|X)
∂θ2
= − n
θ2
< 0
Portanto, o EMV para o parâmetro θ é
θ̂ = − n∑n
i=1 log xi
Vamos agora encontrar o estimador de máxima verossimilhança de g(θ) =
θ
1 + θ
. Utilizando o prinćıpio
da invariância, temos que
ĝ(θ) = g(θ̂) =
θ̂
1 + θ̂
=
− n∑n
i=1 log xi
1− n∑n
i=1 log xi
= − n∑n
i=1 log xi
·
∑n
i=1 log xi∑n
i=1 log xi − n
= − n∑n
i=1 log xi − n
Portanto, ĝ(θ) = − n∑n
i=1 log xi −n
.
1
(b) Encontre a distribuição aproximada dos estimadores em (a) quando n é grande.
Resolução: Mostremos, primeiramente, a distribuição aproximada de θ. Para tanto, é necessário encon-
trar IF (θ). Desta maneira
IF (θ) = −E
[
∂2
∂θ2
log f(xi|θ)
]
= −E
[
∂2[log(θ) + (θ − 1) log xi]
∂θ2
]
= −E
[
∂
∂θ
(
1
θ
+ log xi
)]
= −E
[
− 1
θ2
]
=
1
θ2
⇒ IF (θ) =
1
θ2
Com isso,
√
n(θ̂ − θ) a∼ N
(
0,
1
IF (θ)
)
Em particular,
θ̂
a∼ N
(
θ,
1
IF (θ)
)
⇒ θ̂ a∼ N
(
θ,
θ2
n
)
De maneira análoga para g(θ), temos que
√
n(g(θ̂)− g(θ)) a∼ N
(
0,
(g′(θ))2
IF (θ)
)
Portanto,
g(θ̂)
a∼ N
(
g(θ),
(g′(θ))2
n · IF (θ)
)
⇒ g(θ̂) a∼ N
(
g(θ),
θ2
n(1− θ)4
)
Exerćıcio 2 - Sejam X1, · · · , Xn uma amostra aleatória de tamanho n tal que Xi ∼ N(µ, 1). Encontre
o estimador de máxima verossimilhança de g(µ) = P [Xi > 1] e sua distribuição quando n é grande.
Resolução: Sabemos que a função densidade de Xi ∼ N(µ, 1) é dada por
f(xi|µ) =
1√
2π
e−
1
2 (xi−µ)
2
Assim, a função de verossimilhança para θ = (µ, σ2) = (µ, 1) é da forma
L(θ|x) = L(µ, 1|x) =
n∏
i=1
f(xi|θ)
=
n∏
i=1
1√
2π
e−
1
2 (xi−µ)
2
= (2π)−
n
2 e−
1
2
∑n
i=1(xi−µ)
2
2
Com isso, a função log-verossimilhança é expressa por
l(θ|x) = l(µ, 1|x) = log L(µ, 1|x)
= −n
2
log(2π)− 1
2
n∑
i=1
(xi − µ)2
Desta maneira,
∂l(µ, 1|x)
∂θ
=
n∑
i=1
(xi − µ) ⇒
n∑
i=1
(xi − µ̂) = 0
⇒
n∑
i=1
xi − nµ̂ = 0
⇒ nµ̂ =
n∑
i=1
xi
⇒ µ̂ =
∑n
i=1 xi
n
⇒ µ̂ = X
Como ∂
2
∂θ2
[
l(θ|x)
]
= −n < 0, temos que o EMV de µ é µ̂ = X.
Nosso objetivo é encontrar o EMV de g(µ) = P [Xi > 0]. Note que
g(µ) = P [Xi > 0] = 1− P [Xi ≤ 0]
= 1− Φ
(xi − µ
θ
)
= 1− Φ(−µ)
Assim, pelo prinćıpio da invariância
ĝ(µ) = g(µ̂) = 1− Φ(−µ̂) = 1− Φ(X)
Portanto, ĝ(µ) = 1− Φ(X) é o EMV par ag(µ) = P [Xi > 0]. Vejamos qual sua distribuição aproximada
quando n é grande. Sabemos que
√
n(ĝ(µ)− g(µ)) a∼ N
(
0,
[
g′(µ)
]2
nIF (µ)
)
(1)
Note que
g(µ) = 1− Φ(−µ) ⇒ g′(µ) =
[
− Φ′(−µ)
]
⇒
[
g′(µ)
]2
=
[
Φ′(−µ)
]2
IF (µ) = −E
[( ∂
∂µ
logf(x|θ)
)2]
= −E
[
∂
∂µ
(
log
1√
2π
− (xi − µ)
)2]
⇒ −E[1] = 1
3
Assim, voltando em (1), temos que
√
n(ĝ(µ)− 1 + Φ(−µ)) a∼ N
(
0,
[
Φ′(−µ)
]2
−n
)
Exerćıcio 3 - Sejam X1, · · · , Xn uma amostra aleatória da variável aleatória Xi com função densidade
dada por
f(xi|θ) =
xi
θ2
e−
xi
θ
em que xi ≥ 0 e θ > 0.
(a) Encontre o estimador de máxima verossimilhança de θ e verifique se ele é eficiente.
Resolução: Sabemos que a função de verossimilhança para θ é dada por
L(θ|X) =
n∏
i=1
f(xi|θ)
=
n∏
i=1
xi
θ2
e−
xi
θ
=
(
1
θ2n
)
· e− 1θ ·
∑n
i=1 xi
n∏
i=1
xi
=
(
1
θ
)2n
· e− 1θ ·
∑n
i=1 xi
n∏
i=1
xi
Assim, a função de log-verossimilhança é expressa por
l(θ|X) = logL(θ|X) = log
[(
1
θ
)2n
· e− 1θ ·
∑n
i=1 xi
n∏
i=1
xi
]
= 2n log
(
1
θ
)
− 1
θ
n∑
i=1
xi +
n∑
i=1
log xi
Desta maneira,
∂ l(θ|X)
∂θ
= −2n θ
θ2
+
1
θ2
·
n∑
i=1
xi = 0 ⇒ −
2n
θ
+
1
θ2
·
n∑
i=1
xi = 0
⇒ 2n =
∑n
i=1 xi
θ
⇒ θ̂ =
∑n
i=1 xi
2n
⇒ θ̂ = 1
2
X
⇒ θ̂ = X
2
Portanto, o EMV para o parâmetro θ é dado por θ̂ = X2 .
Vamos verificar se θ̂ é uma estimador eficiente. Para tanto, devemos ter que V ar(θ̂) = LICR(θ̂), além
4
de que θ̂ seja não viesado. Assim
E(θ̂) = E
(
X
2
)
=
1
2
E(X) =
1
2
E(X) (2)
Vamos calcular E(X). Observe que
E(X) =
∫ ∞
0
x · f(xi|θ) dx
=
∫ ∞
0
x · x
θ2
· e− xθ dx
=
1
θ2
lim
b→∞
∫ b
0
x2 · e− xθ dx
Nesse sentido, calculemos
∫ b
0
x2 · e− xθ dx. Por meio da técnica da integral por partes, temos que
∫ b
0
x2 · e− xθ dx = −b2 · θ · e− bθ +
∫ b
0
θe−
x
θ · 2x dx
= −b2 · θ · e− bθ + 2θ
∫ b
0
x · e− xθ dx
Novamente por meio da técnica da integral por partes, temos que
−b2θe− bθ + 2θ
∫ b
0
xe−
x
θ dx = −b2θe− bθ + 2θ
[
− bθe− bθ + θ
∫ b
0
e−
x
θ dx
]
= −b2θ · e− bθ − 2bθ2e− bθ + 2θ2
∫ b
0
e−
x
θ
= −b2θe− bθ − 2bθ2e− bθ + 2θ2
[
− θe− bθ + θ
]
= −b2θe− bθ − 2bθ2e− bθ − 2θ3e− bθ + 2θ3
Assim, ∫ b
0
x2 · e− xθ dx = −b2 · θ · e− bθ − 2bθ2e− bθ − 2θ3e− bθ + 2θ3
Logo
1
θ2
lim
b→∞
∫ b
0
x2 · e− xθ dx = lim
b→∞
1
θ2
∫ b
0
x2 · e− xθ dx
= lim
b→∞
1
θ2
[−b2 · θ · e− bθ − 2bθ2e− bθ − 2θ3e− bθ + 2θ3]
= lim
b→∞
− b
2
θ · e bθ
− 2b
e
b
θ
− 2θ
e
b
θ
+ 2θ = 2θ
Voltando em (2), temos que
E(θ̂) =
1
2
E(X) =
1
2
· 2θ = θ ⇒ E(θ̂) = θ
Portanto, θ̂ é não viesado.
Vamos agora calcular o LICR(θ̂). Antes é necessário encontrar a IF (θ). Assim, calculando a função
5
escore,
∂
∂θ
log f(X|θ) = ∂
∂θ
log[xθ−2e−
x
θ ]
=
∂
∂θ
[
log x− 2 log θ − x
θ
]
⇒ ∂
∂θ
log f(X|θ) = −2
θ
+
x
θ2
Logo,
IF (θ) = E
[(
− 2
θ
+
x
θ2
)2]
= E
[
X2
θ4
− 4X
θ3
+
4
θ2
]
=
1
θ4
E(X2)− 4
θ3
E(X) +
4
θ2
=
1
θ4
E(X2)− 4
θ3
2θ +
4
θ2
=
1
θ4
E(X2)− 4
θ2
⇒ IF (θ) =
1
θ4
E(X2)− 4
θ2
Vamos calcular E(X2).
E(X2) =
∫ ∞
0
x2 · x
θ2
· e− xθ dx = 1
θ2
∫ ∞
0
x3 · e− xθ dx = 1
θ2
lim
b→∞
∫ b
0
x3 · e− xθ dx
Por meio da técnica da integral por partes, temos que
E(X2) =
1
θ2
lim
b→∞
∫ b
0
x3 · e− xθ dx = lim
b→∞
[
− b
3
θ · e bθ
+
3
θ
∫ b
0
x2 · e− xθ dx
]
Como já calculamos
∫ b
0
x2 · e− xθ dx anteriormente, temos que
E(X2) = lim
b→∞
[
− b
3
θ · e bθ
+
3
θ
[
−b2 · θ · e− bθ − 2bθ2e− bθ − 2θ3e− bθ + 2θ3
]]
=
E(X2) = lim
b→∞
(
− b
3
θ · e bθ
)
− lim
b→∞
(
3b2
e
b
θ
)
− lim
b→∞
(
6bθ
e
b
θ
)
− lim
b→∞
(
6θ2
e
b
θ
)
+ lim
b→∞
(6θ2) = 6θ2
Assim. retornando no cálculo da IF (θ), temos que
IF (θ) =
1
θ4
· E(X2)− 4
θ2
=
1
θ4
· 6θ2 − 4
θ2
=
2
θ2
⇒ IF (θ) =
2
θ
Dessa forma,
LICR(θ̂) =
1
n · IF (θ)
=
1
n · 2θ2
=
θ2
2n
Portanto, LICR(θ̂) = θ
2
2n .
6
Vamos agora calcular V ar(θ̂). Então
V ar(θ̂) = V ar
(
1
2
X
)
=
1
4
· V ar(X) = 1
4n
· V ar(X) = 1
4n
[E(X2 − E2(X))] =
=
1
4n
(6θ2 − (2θ)2) = 1
4n
· 2θ2 = θ
2
2n
⇒ V ar(θ̂) = θ̂
2
2n
Assim sendo,
e(θ̂) =
LICR(θ̂)
V ar(θ̂)
=
θ2
2n
θ2
2n
= 1 ⇒ e(θ̂) = 1
Portanto, θ̂ é eficiente.
(b) Encontre o estimador de máxima verossimilhança de V ar(X) e encontre sua distribuição aproximada
em grandes amostras.
Solução: Sabemos que V ar(X) = 2θ2. Logo, g(θ) = 2θ2, θ > 0.
Utilizando o prinćıpio da invariância, temos que, ĝ(θ) = g(θ̂). Assim
ĝ(θ) = 2θ̂2 = 2
(
1
2
X
)2
Portanto, ĝ(θ) =
1
2
X
2
é o EMV para g(θ) = V ar(X).
Encontremos agora a sua distribuição aproximada em grandes amostras. Sabemos que
√
n(θ̂ − θ) a∼ N
(
0,
1
IF (θ)
)
⇒
√
n(θ̂ − θ) a∼ N
(
0,
θ2
2
)
Bem como
√
n(g(θ̂)− g(θ)) a∼ N
(
0,
(g′(θ))2
IF (θ)
)
⇒
√
n(g(θ̂)− 2θ2) a∼ N
(
0,
16θ2
n · 2θ2
)
⇒
√
n(g(θ̂)− 2θ2) a∼ N
(
0,
8θ4
n
)
Portanto
√
n(g(θ̂)− 2θ2) a∼ N
(
0,
8θ4
n
)
Exerćıcio 4 - Sejam X1, · · · , Xn uma amostra aleatória da variável aleatória Xi com função densidade
dada por
f(xi|θ) = θ(θ + 1)xθ−1i (1− xi)
em que 0 ≤ xi ≤ 1 e θ > 0.
(a) Encontre o estimador de θ pelo método dos momentos.
Resolução: Observando que Xi parece ter uma distribuição Beta, com isso vamos determinar seus
7
parâmetros de forma que
Y ∼ Beta(a, b) ⇒ f(y|a, b) = 1
B(a, b)
xa−1i (1− xi)b−1
b− 1 = 1⇒ b = 2 e a− 1 = θ − 1⇒ a = θ
Sabendo que B(α, β) = Γ(α)Γ(β)Γ(α+β) , temos que
1
B(θ, 2)
=
Γ(θ + 2)
Γ(θ)Γ(2)
=
(θ + 1)!
(θ − 1)!
Com isso, Xi ∼ Beta(θ, 2). Disso, podemos afirmar que
E[Xi] =
a
a+ b
=
θ
θ + 2
e ainda,
m1 =
1
n
n∑
i=1
Xi = X̄
Pelo método dos momentos, temos que
µ′1 = E[X] =
θ̂
θ̂ + 2
= m1 = X̄ ⇒
θ̂
θ̂ + 2
= X̄
⇒ θ̂X̄ + 2X̄ = θ̂
⇒ θ̂X̄ − θ̂ = −2X̄
⇒ θ̂(X̄ − 1) = −2X̄
⇒ θ̂ = −2X̄
X̄ − 1
Portanto, o estimador de θ é θ̂ = −2X̄
X̄−1 .
(b) Encontre o estimador de máxima verossimilhança de θ.
Resolução: Sendo a função de verossimilhança dada por
L(θ|x) =
n∏
i=1
f(xi|θ) =
n∏
i=1
θ(θ + 1)xθ−1i (1− xi)
=
[
θ(θ + 1)
]n n∏
i=1
xθ−1i (1− xi)
= θn(θ + 1)n
n∏
i=1
xθ−1i (1− xi)
Com isso, a função de log-verossimilhança é dada por
l(θ|x) = log L(θ|x) = nlog θ(θ + 1) + (θ − 1)
n∑
i=1
logXi +
n∑
i=1
log(1− xi)
8
Dessa forma,
∂l(θ|x)
∂θ
=
n(2θ̂ + 1)
θ̂(θ̂ + 1)
+
n∑
i=1
logXi = 0
⇒
2nθ̂ + n+ θ̂(θ̂ + 1)
n∑
i=1
logXi
θ̂(θ̂ + 1)
= 0
⇒ 2nθ̂ + n+ θ̂2
n∑
i=1
logXi + θ̂
n∑
i=1
logXi = 0
⇒ θ̂2
n∑
i=1
logXi + θ̂
[
2n+
n∑
i=1
logXi
]
+ n = 0
Resolvendo por Bháskara
θ̂ =
−
(
2n+
n∑
i=1
logXi
)
±
√(
2n+
n∑
i=1
logXi
)2
− 4n
n∑
i=1
logXi
2
n∑
i=1
logXi
=
−2n−
n∑
i=1
logXi ±
√
4n2 + 4n
n∑
i=1
logXi +
n∑
i=1
log2 Xi − 4n
n∑
i=1
logXi
2
n∑
i=1
logXi
=
−2n−
n∑
i=1
logXi ±
√
4n2 +
n∑
i=1
log2 Xi
2
n∑
i=1
logXi
Como
∂2l(θ|x)
∂θ2
=
∂
∂θ
(
n(2θ + 1)
θ(θ + 1)
+
n∑
i=1
log Xi
)
= n
[
2θ(θ + 1)− (2θ + 1)2
θ2(θ + 1)2
]
= n
[
2θ2 + 2θ − 4θ2 − 4θ − 1
θ2(θ + 1)2
]
= n
[
−2θ2 − 2θ − 1
θ2(θ + 1)2
]
= −2n
[
θ2 + θ + 12
θ2(θ + 1)2
]
< 0
para todo θ ∈ Θ.
Exerćıcio 5 - Sejam X1, · · · , Xn uma amostra aleatória de tamanho n tal que Xi ∼ N(0, θ2). Encontre
o estimador de máxima verossimilhança de θ e sua distribuição em grandes amostras.
9
Resolução: A função de verossimilhança para θ é na forma
L(θ|x) =
n∏
i=1
f(xi|θ) =
n∏
i=1
1
θ
√
2π
exp
[−1
2θ2
x2i
]
= (2π)
−n
2 θ−nexp
[
− 1
2θ2
n∑
i=1
x2i
]
Com isso, a função log-verossimilhança é dada por
l(θ|x) = log L(θ|x) = −n
2
log 2π − nlog θ − 1
2θ2
n∑
i=1
x2i
Dessa forma,
∂l(θ|x)
∂θ
= −n
θ̂
+
n∑
i=1
x2i
θ̂3
= 0
⇒
−nθ2 +
n∑
i=1
x2i
θ̂3
= 0
⇒ −nθ2 +
n∑
i=1
x2i = 0
⇒ θ̂ =
√√√√ n∑
i=1
x2i
n
Como
∂2l(θ|x)
∂θ2
=
n
θ̂2
−
3
n∑
i=1
x2i
θ̂4
< 0
Logo, temos que o EMV para o parâmetro θ é dado por θ̂ =
√
n∑
i=1
x2i
n .
Para determinar a distribuição de grandes amostras, utilizamos
θ̂
a∼ N
(
g(θ),
g′(θ)2
nIF (θ)
)
(3)
Para isso, é necessário determinar IF (θ).
10
IF (θ) = −E
[
∂2logf(xi|θ)
∂θ2
]
= −E
[∂2(− 12 log 2n− log θ − 12θ2x2i)
∂θ2
]
= −E
[∂(− 1θ + x2iθ3 )
∂θ
]
= −EBig[ 1
θ2
− 3x
2
i
θ4
]
= − 1
θ2
+
3
θ4
E(x2i )
= − 1
θ2
+
3θ2
θ4
=
−θ2 + 3θ2
θ4
=
2θ2
θ4
=
2
θ2
Voltanto em (3) segue que θ̂
a∼ N
(
θ, θ
2
2n
)
.
Exerćıcio 6 - Sejam X1, ..., Xn uma amostra aleatória de tamanho n tal que Xi ∼ exp(λ). Encontre
o estimador de máxima verossimilhança de g(λ) = P [X > 1] e sua distribuição aproximada quando n é
grande.
Resolução: Sabendo que a função densidade é da forma
f(xi|λ) = λe−λxi , com xi > 0 e λ > 0
Sendo a função de verossimilhança
L(λ|x) =
n∏
i=1
f(xi|λ) = nlogλ− λ
n∑
i=1
xi
Com isso, a função log-verossimilhança é dada por
l(λ|x) = log L(λ|x) = nlogλ− λ
n∑
i=1
xi
Dessa forma,
∂l(λ|x)
∂λ
=
n
λ̂
−
n∑
i=1
xi = 0 ⇒ λ̂ =
n
n∑
i−1
xi
=
1
X
Como,
∂2l(λ|x)
∂λ2
=
−n
(λ̂)2
=
−n
1
X
2
= −n 1
n2
( n∑
i−1
Xi
)2
= − 1
n
( n∑
i=1
Xi
)2
< 0
11
Logo, temos que o parâmetro para λ é dado por λ̂ = 1
X
.
Para determinar o EMV de g(λ) = P [X > 1], é preciso que
g(λ) = P [X > 1] = 1− P [X ≤ 1] = 1− F (1) = 1− (1− e−λ) = e−λ
Portanto, pelo prinćıpio da invariância, o estimador de máxima verossimilhança procurado é
ĝ(λ) = g(λ̂) = eλ̂ = e−
1
X
A distribuição aproximada é dada por
g(λ̂)
a∼ N
(
g(λ),
g′(λ)2
nIF (λ)
)
(4)
Para isso, é necessário determinar IF (λ).
IF (λ) = −E
[
∂2logf(xi|λ)
∂λ2
]
= −E
[
∂2(logλ− λxi)
∂λ2
]
= −E
[
∂( 1
λ̂
− xi)
∂λ
]
= −E
[
− 1
λ̂2
]
=
1
λ̂2
Voltando em (4), segue que
g(λ̂)
a∼ N
(
λ,
e−2λ
n
λ2
)
⇒ g(λ̂) a∼ N
(
λ,
e−2λλ2
n
)
Portanto, dessa forma temos que g(λ̂) é assintoticamente eficiente.
12