Estimação de parâmetros

Prévia do material em texto

Disciplina: Probabilidade e Estatitística
Fidel Ernesto Castro Morales
Universidade Federal do Rio Grande do Norte
Escola de Ciência e Tecnologia
Estimação de parâmetros
Definição (População)
Uma população consiste na totalidade das observações em que
estamos interessados.
Exemplo 1
I
Seja X uma v.a. que determina o pH de um determinado
composto químico.
I
Seja X uma v.a. que determina a profundidade de um lago.
I
Seja X uma v.a. que determina a estatura de uma população
de pessoas.
I
Seja X uma v.a. que determina o peso de uma população de
pessoas.
Definição (Amostra)
Uma amostra é um subconjunto de observações selecionadas a
partir de uma população.
Definição (Amostra aleatória)
As variáveis aleatórias X
1
,X
2
, · · · ,X
n
são uma amostra aleatória de
tamanho n, se a) os X
i
�s forem variáveis aleatórias independentes e
(b) cada X
i
tiver a mesma distribuição de probabilidades.
Definição (Estatística)
Uma estatística é qualquer função das observações em uma
amostra aleatória.
Exemplo 2:
I
h(X
1
, · · · ,X
n
) = 1
n
∑
n
i=1 Xi .
I
?
I
?
Definição (Estimativa)
Uma estimativa pontual de algum parâmetro θ da população é um
único valor numérico Eˆ de uma estatística Θˆ.
Exemplo 3:
I
Considere a seguinte amostra de observações no módulo de
elasticidade (GPa) de espécimes da liga AZ91D de um
processo de fundição: 44.2, 43.9, 44.7, 44.2, 44.0, 43.8, 44.6,
43.1.
Assuma que as observações sejam o resultado de uma amostra
aleatória X
1
, · · · ,X
8
da distribuição da população de modulo
elastico sob tais circunstancias. Estime a variância da
população.
Propriedades de estimadores
Definição (Estimadores não tendenciosos)
O estimador Θˆ é um estimador não tendencioso para o parâmetro
θ, se
E (Θˆ) = θ. (1)
Se o estimador for tendencioso, então a diferença
E (Θˆ)− θ,
é chamada de tendência do estimador Θˆ.
Exemplo 4
Suponha que seja X uma v.a. com média µ e variância σ2. Faça
ser X
1
, · · · ,X
n
uma amostra aleatória de tamanho n de uma
população representada por X . Mostre que a média amostral X¯ e a
variância amostral S
2
são estimadores não tendenciosos de µ e σ2,
respectivamente.
Exemplo 5
I
Mostre que
∑
n
i=1(Xi − X¯ )2/n é um estimador tendencioso de
σ2.
I
Encontre que tão tendencioso é o estimador
I
Que acontece com a tendenciosidade à medida que o tamanho
da amostra aumenta?
Exemplo 6
Faça X
1
, · · · ,X
n
denotar uma amostra aleatória, proveninte de uma
população tendo média µ e variância σ2. Considere os seguintes
estimadores de µ:
θ
1
=
X
1
+ X
2
+ · · ·+ X
7
7
,
θ
2
=
2X
1
− X
6
+ X
4
2
,
Os dois estimadores são não tendenciosos?
Variância de um Estimador
Definição (Estimador não tendencioso de variância mínima)
Se consideramos todos os estimadores não tendenciosos de θ,
aquele com a menor variância será chamado de estimador não
tendencioso de variância mínima (ENTVM).
Teorema
Se X
1
, · · · ,X
n
for uma amostra aleatória de tamanho n,
proveniente de uma distribuição normal com média µ e variância
σ2, então a média amostral X¯ , será o ENTVM para µ.
Exemplo 7
Faça X
1
, · · · ,X
n
denotar uma amostra aleatória, proveninte de uma
população tendo média µ e variância σ2. Considere os seguintes
estimadores de µ:
θ
1
=
X
1
+ X
2
+ · · ·+ X
7
7
,
θ
2
=
2X
1
− X
6
+ X
4
2
,
Qual é o melhor estimador?
Erro-padrão
Definição (Erro-padrão)
O erro-padrão de um estimador Θˆ é o seu desvio-padrão, dado por
σΘˆ =
√
V (Θˆ). Se o erro-padrão envolver parâmetros
desconhecidos que possam ser estimados, então a substituição
daqueles valores em σθˆ produzirá um erro-padrão estimado,
denotado por σˆθˆ.
Exemplo: Ache o erro-padrão dos estimadores dos exemplos
anteriores.
Definição (Erro Quadrático Médio)
O erro quadratico médio de um estimador Θˆ do parâmetro θ é
definido como
EQM(Θˆ) = E (Θˆ− θ)2.
Exemplo 8
Faça X
1
, · · · ,X
n
denotar uma amostra aleatória, proveninte de uma
população tendo média µ e variância σ2. Considere os seguintes
estimadores de µ:
θ
1
=
X
1
+ X
2
+ · · ·+ X
7
7
,
θ
2
=
2X
1
− X
6
+ X
4
2
,
Ache o erro quadrático médio dos estimadores anteriores?
Definição (Consistência)
Um estimador θˆ é consistente, se, à medida que o tamanho da
amostra aumenta, seu valor esperado converge para o parametro de
interesse e sua variância converge para zero. Ou seja, θˆ é
consistente se as duas propriedades seguintes são satisfeitas:
lim
n→∞E (θˆ) = θ,
lim
n→∞Var(θˆ) = 0.
Exemplo 9
Suponha que seja X uma v.a. com média µ e variância σ2. Faça
ser X
1
, · · · ,X
n
uma amostra aleatória de tamanho n de uma
população representada por X . O estimador X¯ é consistente?
Definição (Eficiência)
Dados dois estimadores θˆ
1
e θˆ
2
, não tendenciosos para um
parâmetro θ, dizemos que θ
1
é mais eficiente do que θ
2
se
Var(θˆ
1
) < Var(θˆ
2
).
Exemplo 10
Faça X
1
, · · · ,X
n
ser uma amostra aleatória de tamanho n, com
média µ e variância σ2.
I
Mostre que X¯
2
é um estimador tendencioso para µ2.
I
Encontre o quão tendencioso é esse estimador.
I
O que acontece com a tendenciosidade à medida que o
tamanho da amostra aumenta?
Exemplo 11
Considere uma amostra aleatória X
1
, · · · ,X
n
da fdp
f (x ; θ) = 0.5(1+ θx) − 1 ≤ x ≤ 1,
em que −1 ≤ θ ≤ 1. Mostre que θˆ = 3X¯ é um estimador não
tendencioso de θ.
Método da máxima verossimilhaça
Definição
Suponha que X seja uma v.a. com distribuição de probabilidade
f (x ; θ) em que θ é um único parâmetro desconhecido. Faça
x
1
, . . . , x
n
serem valores observados na amostra aleatória de
tamanho n. Então a função de verossimilhança da amostra é
L(θ) = f (x
1
; θ) · . . . · f (x
n
; θ).
Note que a função de verossimilhança é agora uma função somente
do parâmetro desconhecido θ. O estimador de máxima
verossimilhança de θ é o valor de θ que máximiza a função de
verossimilhança L(θ).
Exemplo 12
Seja X uma v.a. de Bernoilli. A função de distribuição de
probabilidade é
f (x ; p) = px(1− p)1−x , para x = 0, 1.
Ache o estimador de máxima verossimilhança de p, para uma
amostra aleatória de tamanho n.
Exemplo 13
Seja X
1
, . . . ,X
n
uma amostra aleatória de tamanho n de uma
população normal com média µ e desvio padrão σ. Para uma
amostra observada x
1
, . . . , x
n
ache o estimador de máxima
verossimilhança para µ e σ2.
Exemplo 14
Seja X
1
, . . . ,X
n
uma amostra aleatória de tamanho n de uma
população exponencial com parâmetro λ. Para uma amostra
observada x
1
, . . . , x
n
ache o estimador de máxima verossimilhança
para λ.
Exemplo 15
Seja X
1
, . . . ,X
n
uma amostra aleatória de tamanho n de uma
população uniforme [0,a]. Para uma amostra observada x
1
, . . . , x
n
ache o estimador de máxima verossimilhança para a.
Propriedades do Estimador de máxima verossimilhança
Sob condições muito gerais e não restritivas, quando uma amostra
de tamanho n for grande e se θˆ for um estimador de máxima
verossimilhança do parâmetro θ, então
I θˆ é um estimador aproximadamente não tendencioso para θ,
I
o estimador θ tem variância mínima,
I θ tem distribuição normal aproximada.
A propriedade de invariância
Sejam θˆ
1
, . . . , θˆ
k
estimadores de máxima verossimilhança dos
parâmetros θ
1
, . . . , θ
k
. Então o estimador de máxima
verossimilhança de qualquerfunção h(θ
1
, . . . , θ
k
) desses parâmetros
é a mesma função h(θˆ
1
, . . . , θˆ
k
) dos estimadores θˆ
1
, . . . , θˆ
k
.
Exemplo 16
Seja X
1
, . . . ,X
n
uma amostra aleatória de tamanho n de uma
população normal com média µ e desvio padrão σ. Para uma
amostra observada x
1
, . . . , x
n
ache o estimador de máxima
verossimilhança para σ.
Distribuições amostrais
Definição
A Distribuição de probabilidade de uma estatistística é chamada de
uma distribuição amostral.
Resultado:
Se X
1
, . . . ,X
n
é uma amostra aleatória de X ∼ N(µ, σ2), então
X¯ ∼ N(µ, σ2/n).
Que acontece com X¯ quando X não tem distribuição normal e
n→∞?
Motivação. Sejam X
1
,X
2
, ... i.i.d. Bernoulli(p). Nosso interesse é
saber
S
n
− E (S
n
)√
Var(S
n
)
D−→?
quando, n→∞.
O Teorema Central do Limite
Corolário
Sejam X
1
,X
2
, . . . i.i.d. tais que E (X
n
) = µ e Var(X
n
) = σ2, onde
0 < σ2 <∞, então
X¯ − µ
σ/
√
n
D−→ N(0, 1), n→∞.