Aula 09b - Estimadores

Prévia do material em texto

ACH2053 – Introdução à Estat́ıstica
Aula 09b: Estimadores
Valdinei Freire
valdinei.freire@usp.br
http://www.each.usp.br/valdinei
Escola de Artes, Ciências e Humanidades - USP
2023
V. Freire (EACH-USP) ACH2053 2023 1 / 10
Exemplo
Considere uma caixa com 10 dados seguindo a seguinte distribuição:
5 dados com faces (111223), 3 dados com faces (112233), e 2 dados
com faces (122333). Considere o seguinte experimento:
1. um dado foi retirado aleatoriamente da caixa;
2. o dado foi jogado 6 vezes e os seguintes valores foram obtidos: 3,
2, 1, 2, 3, 2.
Responda:
1. Como são as faces do dado retirado?
2. Repita o exerćıcio considerando que na caixa exista apenas um
dado de cada um dos 3 tipos.
3. Repita o exerćıcio considerando que você não tem nenhuma
informação sobre os dados na caixa.
V. Freire (EACH-USP) ACH2053 2023 2 / 10
Estimadores Bayesianos
Considere que o parâmetro θ0 ∈ Ω é uma variável aleatória e é distribuida
de acordo com a p.d.f. (p.m.f.) f(θ) sobre o espaço de parâmetros
Ω ∈ Rd.
Considere que as n variáveis aleatórias X1, . . . , Xn observadas são
independentes e identicamente distribuidas de acordo com a p.d.f (p.m.f.)
condicional f(x|θ).
Então, seguindo o teorema de Bayes, temos que:
Pr(θ0 = θ|X1 = x1, . . . , Xn = xn) =
f(x1|θ) · · · f(xn|θ)f(θ)
Pr(X1 = x1, . . . , Xn = xn)
=
∏n
i=1 f(xi|θ)f(θ)∫
θ′
∏n
i=1 f(xi|θ′)f(θ′)dθ′
V. Freire (EACH-USP) ACH2053 2023 3 / 10
Estimadores Bayesianos
Considere a p.d.f. (p.m.f.) condicional dada por:
fn(θ|x1, . . . , xn) = Pr(θ0 = θ|X1 = x1, . . . , Xn = xn).
O estimador bayesiano:
θ̂ = arg max
θ∈Ω
fn(θ|x1, . . . , xn)
é chamado de estimador bayesiano Maximum a Posteriori (MAP).
O estimador bayesiano:
θ̂ =
∫
θ
θfn(θ|x1, . . . , xn)dθ = Eθ0|X1,...,Xn
(θ0)
é chamado de estimador bayesiano Expectation a Posteriori (EAP).
V. Freire (EACH-USP) ACH2053 2023 4 / 10
Estimador de Máxima Verossimilhança
Considere a p.d.f (p.m.f) conjunta fn(x|θ). Se essa função é interpretada
como uma função de θ com parâmetros x = (x1, . . . , xn), então ela é
chamada de função de Verossimilhança (likelihood) e é denotada por
L(θ;x).
Suponha que as n variáveis aleatórias X1, . . . , Xn formam uma amostra
aleatória de uma distribuição para qual a p.d.f. (p.m.f.) condicional é
f(X|θ). Então:
L(θ;x) = f(x1|θ) · · · f(xn|θ).
Para cada posśıvel vetor de observação x = (x1, . . . , xn), defina
θ̂ = arg maxθ∈Ω L(θ;x). A estimativa θ̂ é a estimativa de máxima
verossimilhança (M.L.E. - maximum likelihood estimator).
V. Freire (EACH-USP) ACH2053 2023 5 / 10
Estimador de Máxima Verossimilhança
Definition (Divergência de Kullback-Leibler)
Seja p(x) e q(x) duas p.d.f. sobre R. A divergência (distância) de
Kullback-Leibler, de q(x) com respeito a p(x) é definida como:
KL(p||q) =
∫ ∞
−∞
p(x) log
p(x)
q(x)
dx.
Teorema
Uma estimativa θ̂ baseada nas amostras x = (x1, . . . , xn) é um M.L.E. se
e somente se para todo θ ∈ Ω:
KL[f̂n(x)||f(x; θ̂)] ≤ KL[f̂n(x))||f(x; θ)],
onde f̂n(x) é a distribuição discreta com base na amostra.
V. Freire (EACH-USP) ACH2053 2023 6 / 10
Função Log-likelihood
Seja θ̂ o M.L.E. de θ, se g : R→ R é uma função estritamente crescente,
então θ̂ = arg maxθ∈Ω g[L(θ;x)].
Para encontrar o M.L.E. usualmente considera-se a transformação
`(θ;x) = logL(θ;x) e resolve-se a seguinte equação:
∇θ logL(θ) = 0.
O estimador M.L.E. não necessariamente é único e também pode não
existir dependendo da classe de distribuição.
Exerćıcio: encontre o estimador M.L.E. para uma amostrada obtida de
uma distribuição de Bernoulli.
V. Freire (EACH-USP) ACH2053 2023 7 / 10
Lei dos Números Grandes
Inequação de Markov
Suponha que X é uma variável aleatória tal que Pr(X ≥ 0) = 1. Então
para todo número real t > 0,
Pr(X ≥ t) ≤ E(X)
t
.
Inequação de Chebyshev
Suponha que X é uma variável aleatória tal que exista Var(X). Então
para todo número real t > 0,
Pr(|X − E(X)| ≥ t) ≤ Var(X)
t2
.
V. Freire (EACH-USP) ACH2053 2023 8 / 10
Lei dos Números Grandes
Teorema
Seja X1, . . . , Xn amostras aleatórias de uma distribuição com média µ e
desvio padrão σ. Seja Xn = 1
n
∑n
i=1Xi a média das amostras. Então:
E(Xn) = µ e Var(Xn) =
σ2
n
.
Teorema (Lei dos Números Grandes)
Suponha que X1, . . . , Xn forme uma amostra aleatória de uma
distribuição com média µ e variância finita. Seja Xn a média das amostras
e g(z) uma função cont́ınua em z = µ. Então:
Xn
p−→ µ e g(Xn)
p−→ g(µ).
V. Freire (EACH-USP) ACH2053 2023 9 / 10
Método dos Momentos
Seja Fθ um espaço de c.d.f., encontre funções U : R→ Rd e V : Ω→ Rd
inverśıvel, tal que E[U(X)] = V (θ). Então construa o estimador:
θ̂ = V −1
(
1
n
n∑
i=1
U(xi)
)
.
Teorema
O Método dos Momentos produz um estimador consistente.
Exerćıcio: considerando o Métodos dos Momentos encontre um esti-
mador para a distribuição uniforme cont́ınua entre a e b.
V. Freire (EACH-USP) ACH2053 2023 10 / 10