Convergência de Variáveis Aleatórias

Prévia do material em texto

Universidade de Sa˜o Paulo - Departamento de Economia
EAE 5811 - Econometria I
Prof. Dr. Ricardo Avelino
1o Semestre de 2007
Convergeˆncia de Varia´veis Aleato´rias
Modos de Convergeˆncia
Convergeˆncia em Distribuic¸a˜o: {Xn}∞n=1 converge em distribuic¸a˜o para X,
denotado por Xn
d→ X, se e somente se
lim
n→∞
Fn (x) = F (x) para todo ponto de continuidade de F (x)
Exemplo 1: Suponha que a func¸a˜o de distribuic¸a˜o de Xn seja definida por
Fn (x) =
½ n
2
¡
x− τ + n−1
¢
se τ − n−1 ≤ x ≤ τ + n−1
1 se τ + n−1 < x
Enta˜o,
lim
n→∞
Fn (x) =
½
1
2 se x = τ
1 se x > τ
Portanto, Xn
d→ X, para
F (x) =
½
0 se x < τ
1 se x ≥ τ
Note que lim
n→∞
Fn (x) e F (x) coincidem em todos os pontos em que F (x) e´
cont´ınua.
Convergeˆncia em Probabilidade: {Xn}∞n=1 converge em probabilidade para
X, denotado por Xn
P→ X ou plim (Xn) = X se e somente se para
∀ε > 0,
lim
n→∞
P (ω : |Xn (ω)−X (ω)| > ε) = 0
ou, alternativamente,
lim
n→∞
P (ω : |Xn (ω)−X (ω)| ≤ ε) = 1
Exemplo 2: Suponha que {Xn} seja uma sequ¨eˆncia com func¸o˜es densidade
de probabilidade fn (x) , definida por
fn (x) =
½
n−1 se x = 0
1− n−1 se x = 1
1
Enta˜o
lim
n→∞
P (|Xn − 1| = 0) = limn→∞
¡
1− n−1
¢
= 1
o que implica que lim
n→∞
P (|Xn − 1| < ε) = 1, ou seja, Xn P→ 1
Exemplo 3: Suponha que Y ∼ N (0, 1) e que Zn tenha uma sequ¨eˆncia de
func¸o˜es de densidade associadas fn, com E (Zn) = 0 e V (Zn) = n
−1. Defina a
sequ¨eˆncia aleato´ria
Yn = Y + Zn, e assuma que Y e Zn sejam independentes, de modo que
E (Yn) = 0 e V (Yn) = 1 + n
−1. Enta˜o, Yn
P→ Y, pois, para qualquer ε > 0,
lim
n→∞
P (|Yn − Y | < ε) = limn→∞P (|Zn| < ε) = 1− limn→∞P (|Zn| ≥ ε) = 1
uma vez que, pela desiguualdade de Chebyshev,
lim
n→∞
P (|Zn| ≥ ε) ≤ limn→∞
E
¡
Z2n
¢
ε2
=
1
ε2
lim
n→∞
n−1 = 0
Convergeˆncia Quase Certa: {Xn}∞n=1 converge quase certamente para X,
denotado por Xn
a.s.→ X, se e somente se
P
³
ω : lim
n→∞
Xn (ω) = X (ω)
´
= 1
ou, alternativamente, se e somente se, para todo ε > 0,
lim
n→∞
P
µ
sup
n≥N
|Xn −X| < ε
¶
= 1
Convergeˆncia na r-e´sima me´dia: Seja {Xn}∞n=1 e X integra´veis de ordem r,
0 < r <∞, i.e. E [|Xn|r] <∞ para todo n e E [|X|r] <∞. {Xn}∞n=1 converge
na r-e´sima me´dia (em Lr) para X, denotado por Xn
Lr→ X se e somente se
lim
n→∞
E [|Xn (ω)−X (ω)|r] = 0. Para r = 2, dizemos que Xn converge em me´dia
quadra´tica para X.
Exemplo 4: Suponha que Y ∼ N (0, 1) , E (Yn) = 0, ∀n, V (Yn) → 1 e que
Cov (Yn, Y )→ 1. Enta˜o
E (Yn − Y )2 = V (Yn) + V (Y )− 2Cov (Yn, Y ) + [E (Yn)−E (Y )]2 → 0
Portanto, Yn
L2→ Y e, consequ¨entemente, Yn
P→ Y e Yn
d→ Y.
Convergeˆncia em distribuic¸a˜o e´ o modo mais fraco de convergeˆncia, pois na˜o
garante que Xn e X esta˜o pro´ximos, mesmo para n grande. Enquanto
Xn
a.s.→ X ⇐⇒ Xn −X
a.s.→ 0
Xn
P→ X ⇐⇒ Xn −X
P→ 0
Xn
Lr→ X ⇐⇒ Xn −X
Lr→ 0
2
e´ apenas verdade que Xn −X
d→ 0 ⇒ Xn
d→ X. Entretanto, a rec´ıproca na˜o e´
verdadeira.
Exemplo 5: Suponha que Xn ∼ N (0, 1 + 1/n), X ∼ N (0, 1) e que Xn e X
sejam independentes. Obviamente, Xn
d→ X, mas Xn − X ∼ N (0, 2 + 1/n) .
Portanto, Xn −X
d→ N (0, 2) , na˜o para 0.
Algumas relac¸o˜es entre os modos de convergeˆncia
Proposic¸a˜o 1: Se Xn
Lr→ X para algum r > 0, enta˜o Xn
P→ X.
Prova: ComoE [|Xn (ω)−X (ω)|r]→ 0 quando n→∞, E [|Xn (ω)−X (ω)|r] <
∞ para n suficientemente grande. Para ∀ε > 0, pela desigualdade de Chebyshev
generalizada,
P (|Xn −X| ≥ ε) ≤ E [|Xn −X|r] /εr
Portanto,
0 ≤ lim
n→∞
P (|Xn −X| ≥ ε) ≤ 1
εr
lim
n→∞
E [|Xn −X|r] = 0
Exemplo 6: Seja
Xn =
½
α com probabilidade 1− 1/n
n com probabilidade 1/n
Enta˜o, Xn
P→ α, pois, para ∀ε > 0
lim
n→∞
P (|Xn − α| > ε) = limn→∞
1
n
= 0
No entanto, para r = 1,
lim
n→∞
E [|Xn − α|] = limn→∞ [|α− α| (1− 1/n) + |n− α| (1/n)]
= lim
n→∞
|1− α/n| = 1 6= 0
e, para r > 1,
lim
n→∞
E [|Xn − α|r] = limn→∞ [|α− α|
r
(1− 1/n) + |n− α|r (1/n)] =∞ 6= 0
Portanto, Xn na˜o converge na r-e´sima me´dia para qualquer r ≥ 1.
Exemplo 7: Suponha que P (Yn = 0) = 1 − n−2 e que P (Yn = n) = n−2.
Enta˜o
lim
n→∞
P (Yn = 0) = limn→∞
1− 1
n2
= 1
3
e, portanto, Yn
P→ 0, o que implica que Yn
d→ 0. Pore´m, Yn
L2→ 0. De fato,
E (Yn − 0)2 = 0
¡
1− n−2
¢
+ n2n−2 = 1
Proposic¸a˜o 2: Se Xn
a.s.→ X , enta˜o Xn
P→ X.
Prova: |Xn −X| > ε implica que sup
n≥N
|Xn −X| > ε. Portanto,
P (|Xn −X| > ε) ≤ P
µ
sup
n≥N
|Xn −X| > ε
¶
e, consequentemente,
0 ≤ lim
N→∞
P (|Xn −X| > ε) ≤ lim
N→∞
P
µ
sup
n≥N
|Xn −X| > ε
¶
= 0
Exemplo 8: Seja {Xn} uma sequ¨eˆncia de varia´veis aleato´rias independentes
tais que
fn (x) =
½
1− n−1 se x = 0
n−1 se x = 1
Enta˜o
lim
n→∞
P (|Xn − 0| = 0) = limn→∞
¡
1− n−1
¢
= 1
o que implica que lim
n→∞
P (|Xn − 0| < ε) = 1, ou seja, Xn P→ 0⇒ Xn d→ 0. Ale´m
disso, E (Xn) = n
−1 → 0 e
V (Xn) = n
−2 ¡1− n−1¢+ ¡1− n−1¢2 n−1
= n−2 − n−3 +
¡
n−2 − 2n−1 + 1
¢
n−1
= n−2 − n−3 + n−3 − 2n−2 + n−1 = n−1 − n−2 → 0
Portanto, Xn
L2→ 0. Mas
P (|Xi| < ε, n < i < s) =
sY
i=n
¡
1− i−1
¢
=
sY
i=n
i− 1
i
=
n− 1
n
n
n+ 1
...
s− 1
s
=
n− 1
s
→ 0 quando s→∞
Enta˜o
lim
n→∞
P (|Xi| < ε, i > n) = 0
4
Proposic¸a˜o 3: Se Xn
Lr→ X e r > s, enta˜o Xn
Ls→ X.
Prova: E [|Xn −X|s] = E
h
(|Xn −X|r)s/r
i
≤ {E [(|Xn −X|r)]}s/r pela
desigualdade de Jensen aplicada a` func¸a˜o coˆncava, pois s/r < 1. Portanto
0 ≤ lim
N→∞
E [|Xn −X|s] ≤ limN→∞ {E [(|Xn −X|
r
)]}s/r = 0
Exemplo 9: Seja {Xn} uma sequ¨eˆncia de varia´veis aleato´rias independentes
tais que
fn (x) =
½
1− n−2 se x = 0
n−2 se x = n
Enta˜o
P (|Xi| < ε, n < i < s) =
sY
i=n
¡
1− i−2
¢
=
sY
i=n
i2 − 1
i2
=
(n− 1) (n+ 1)
n2
n (n+ 2)
(n+ 1)2
...
(s− 1) (s+ 1)
s2
=
(n− 1) (s+ 1)
ns
→ n− 1
n
quando s→∞
Enta˜o
lim
n→∞
P (|Xi| < ε, i > n) = limn→∞
n− 1
n
= 1
isto e´, Xn
a.s.→ 0. No entanto, E (Xn) = n−1 → 0 e
V (Xn) =
¡
n− n−1
¢2
n−2 +
¡
−n−1
¢2 ¡
1− n−2
¢
=
¡
n2 − 2 + n−2
¢
n−2 + n−2 − n−4
= 1− 2n−2 + n−4 + n−2 − n−4 = 1− n−2 → 1
Portanto, Xn na˜o converge em me´dia quadra´tica para 0.
Proposic¸a˜o 4 (Equivaleˆncia Assinto´tica): Sejam {Xn} e {Yn} sequeˆncias de
varia´veis aleato´rias (ou vetores). Se Xn − Yn
P→ 0 e Yn
d→ Y, enta˜o Xn
d→ Y.
Prova: Seja Yn −Xn = Zn e x um ponto de continuidade de FY .
FXn (x) = P (Xn < x) = P (Yn < x+ Zn)
= P (Yn < x+ Zn, Zn < ε) + P (Yn < x+ Zn, Zn ≥ ε)
≤ P (Yn < x+ ε) + P (Zn ≥ ε)
para qualquer ε > 0. Segue-se que lim supFXn (x) ≤ FY (x+ ε) + 0 porque
P (Zn ≥ ε) → 0 e P (Yn < x+ ε) → FY (x+ ε) caso x + ε seja um ponto de
continuidade de FY . Por outro lado, seja Xn − Yn =Wn,
FXn (x) = P (Xn < x) = P (Yn < x−Wn)
≥ P (Yn < x− ε)− P (Wn ≥ ε)
5
porque
P (Yn < x− ε) = P (Yn < x−Wn +Wn − ε)
= P (Yn < x−Wn +Wn − ε,Wn < ε)
+P (Yn < x−Wn +Wn − ε,Wn ≥ ε)
≤ P (Yn < x−Wn,Wn < ε) + P (Wn ≥ ε)
≤ P (Yn < x−Wn) + P (Wn ≥ ε)
Segue-se que
lim inf FXn (x) ≥ lim inf P (Yn < x− ε) = FY (x− ε)
quando x− ε e´ um ponto de continuidade de FY , pois lim inf P (Wn ≥ ε) = 0.
Portanto,
FY (x− ε) ≤ lim inf FXn (x) ≤ lim supFXn (x) ≤ FY (x+ ε)
Resta mostrar que x + ε e x + ε sa˜o pontos de continuidade de FY para
ε arbitrariamente pro´ximo de zero. Isso resulta do fato de que a func¸a˜o de
distribuic¸a˜o so´ pode ser descont´ınua em um conjunto enumera´vel de pontos e
do fato de que todo intervalo em torno de x conte´m um nu´mero na˜o enumera´vel
de pontos.
Exemplo 10: Suponha que Xn ∼ N (0, (n− 1) /n) , de modo que Xn
d→
X ∼ N (0, 1) , e que Zn ∼ χ2n, com Xn e Zn independentes. Defina Yn =¡
1 + n−1
¢
Xn + n
−1Zn − 1. Note que Xn − Yn = 1 − n−1 (Xn + Zn). Pelo
Teorema de Mahn-Wald, plim (Xn − Yn) = 1 − plim (Xn/n) − plim (Zn/n) .
Como E (Xn/n) = 0 e V (Xn/n) = (n− 1) /n3, plim (Xn/n) = 0. Semel-
hantemente, como E (Zn/n) = 1 e V (Zn/n) = 2/n, plim (Zn/n) = 1. Enta˜o,
plim (Xn − Yn) = 0, o que, juntamente com Xn
d→ X, implica que Yn
d→ X.
Corola´rio: Xn
P→ X implica que Xn
d→ X.
Prova: Como Xn −X
P→ 0 e X d→ X, enta˜o Xn
d→ X.
Proposic¸a˜o 5 (Teorema de Helly-Bray): Fn → F (i.e., Xn
d→ X) implica queZ +∞
−∞
gdFn →
Z +∞
−∞
gdF para toda func¸a˜o cont´ınua limitada g.
Prova: Sejam a e b dois pontos de continuidade de F , a < bZ +∞
−∞
gdFn−Z +∞
−∞
gdF =
Z a
−∞
g (dFn − dF )+
Z b
a
g (dFn − dF )+
Z +∞
b
g (dFn − dF )
Seja c o limite de g tal que |g| < c.
6
¯¯¯¯Z a
−∞
gdFn −
Z a
−∞
gdF
¯¯¯¯
< c
Z a
−∞
dFn + c
Z a
−∞
dF = c [Fn (a) + F (a)] < ε/5
para um a apropriado e n ≥ n0. Similarmente,
Z +∞
b
g (dFn − dF ) < ε/5 para
b e n0 apropriados. g e´ uniformemente cont´ınua em [a, b] . Divida [a, b] em
m intervalos x0 = a < x1 < ... < xm−1 < b = xm, onde x1, ..., xm−1 sa˜o
todos pontos de continuidade de F tais que |g (x)− g (xi)| < ε/5 para todo
x ∈ (xi, xi+1) . Defina gm (x) = g (xi) para x ∈ (xi, xi+1) . Enta˜oZ b
a
gm (x) dFn (x) =
m−1X
i=0
g (xi) [Fn (xi+1)− Fn (xi)]
→
m−1X
i=0
g (xi) [F (xi+1)− F (xi)] =
Z b
a
gm (x) dF (x)
Portanto,
¯¯¯¯
¯
Z b
a
gm (x) dFn (x)−
Z b
a
gm (x) dF (x)
¯¯¯¯
¯ < ε/5 para n suficiente-
mente grande.
¯¯¯¯
¯
Z b
a
gdFn −
Z b
a
gdF
¯¯¯¯
¯ =
¯¯¯¯
¯
Z b
a
(g − gm) dFn +
Z b
a
gm (dFn − dF ) +
Z b
a
(gm − g) dF
¯¯¯¯
¯
<
Z b
a
ε/5dFn + ε/5 +
Z b
a
ε/5dF < 3ε/5
o que implica que¯¯¯¯Z +∞
−∞
gdFn −
Z +∞
−∞
gdF
¯¯¯¯
< ε/5 + 3ε/5 + ε/5 = ε
Proposic¸a˜o 6: Se Xn
d→ c e c e´ constante, enta˜o Xn
P→ c.
Prova: Para todo ε > 0,
P (|Xn − c| > ε) = E [1 {|Xn − c| > ε}] =
Z +∞
−∞
hdFn ≤
Z +∞
−∞
gdFn
para
h =
½
1 se |Xn − c| > ε
0 caso contra´rio
e uma func¸a˜o cont´ınua limitada g com as seguintes propriedades: 1 ≥ g (x) ≥ 0,
g (c) = 0 e g (x) = 1 toda vez que |Xn − c| > ε. Pelo teorema de Helly-Bray,
0 ≤ lim
n→∞
P (|Xn − c| > ε) ≤ limn→∞
Z +∞
−∞
gdFn =
Z +∞
−∞
gdF = g (c) = 0
7
pois F e´ degenerada em c.
Exemplo 11: Suponha que {Yn} seja uma sequ¨eˆncia de varia´veis aleato´rias
e que Yn
d→ c, isto e´, Fn (Y )→ F (Y ) = 1A (Y ) , para A = {Y : Y ≥ c} . Enta˜o,
quando n→∞,
lim
n→∞
P (|Yn − c| < ε) ≥ Fn (c+ τ)− Fn (c− τ)→ 1
para τ ∈ (0, ε) e ∀ε > 0, o que implica que Yn
P→ c.
Exemplo 12: Seja X uma varia´vel aleato´ria com distribuic¸a˜o de Bernoulli
assumindo os valores 0 e 1 com probabilidade igual a 1/2. Seja {Xn} uma
sequ¨eˆncia de varia´veis aleato´rias ideˆnticas, isto e´, Xn = X para todo n. Por
construc¸a˜o, Xn
d→ X. Defina Y = 1−X. ComoX e Y teˆm a mesma distribuic¸a˜o,
no´s sabemos que Xn
d→ Y. Mas |Xn − Y | = 1 sempre. Portanto, Xn na˜o pode
convergir para Y em nenhum outro modo de convergeˆncia.
Exemplo 13: Como no exemplo 5, suponha que Xn ∼ N (0, 1 + 1/n), X ∼
N (0, 1) e que Xn e X sejam independentes. Novamente, Xn
d→ X, mas
Xn − X ∼ N (0, 2 + 1/n) . Para n grande, Xn − X
d→ N (0, 2) e, portanto,
P
¡|Xn −X| > √2¢ ≈ 0.32. Consequ¨entemente,
lim
n→∞
P
³
|Xn −X| >
√
2
´
≈ 0.32 6= 0
Teoremas U´teis
Mahn-Wald: Seja g : Rk → Rm cont´ınua em todos os pontos de um conjunto
C tal que P (X ∈ C) = 1. Se Xn
P→ X,enta˜o g (Xn)
P→ g (X) .
Prova: Fixe um ε > 0 arbitra´rio. Para cada δ > 0, seja Bδ o conjunto dos
pontos x para os quais existe y tal que |x− y| < δ e |g (x)− g (y)| > ε. Se
X /∈ Bδ e |g (x)− g (y)| > ε, enta˜o |x− y| ≥ δ. Consequ¨entemente,
P (|g (x)− g (y)| > ε) ≤ P (X ∈ Bδ) + P (|x− y| ≥ δ)
O segundo termo do lado direito da equac¸a˜o acima converge para zero quando
n→∞ para todo δ > 0, por hipo´tese. Como Bδ ∩C → φ quando δ → 0, pois g
e´ cont´ınua, o primeiro termo do lado direito converge para zero quando δ → 0.
Slutsky: Sejam {Xn, Yn} uma sequ¨eˆncia de pares de varia´veis aleato´rias.
Enta˜o
a) Se Xn
d→ X e Yn
P→ 0, enta˜o XnYn
P→ 0
8
b) Se Xn
d→ X e Yn
P→ c, enta˜o Xn + Yn
d→ X + c, XnYn
d→ cX e Xn/Yn
d→
X/c se c 6= 0.
Prova:
a)
P (|XnYn| ≥ ε) = P (|XnYn| ≥ ε, |Yn| ≤ ε/k) + P (|XnYn| ≥ ε, |Yn| > ε/k)
≤ P (|Xn| ≥ k) + P (|Yn| > ε/k)
para k >0, pois |XnYn| ≥ ε e |Yn| ≤ ε/k implicam que ε ≤ |XnYn| = |Xn| |Yn| ≤
ε/k |Xn| , o que, por sua vez, implica que k ≤ |Xn| . Portanto,
lim sup
n→∞
P (|XnYn| ≥ ε) ≤ limn→∞Fn (−k) + limn→∞ (1− Fn (k))
+ lim
n→∞
P (|Yn| > ε/k)
= F (−k) + (1− F (k))
pois Xn
d→ X (escolha k de modo que F (x) seja cont´ınua em k e −k) e Yn
P→ 0.
No limite, quando k →∞,
0 ≤ lim sup
n→∞
P (|XnYn| ≥ ε) ≤ 0
b) Xn
d→ X ⇒ Xn + c
d→ X + c. Como (Xn + Yn)− (Xn + c) = Yn − c
P→ 0,
pela equivaleˆncia assinto´tica, Xn + Yn
d→ X + c.
Ale´m disso, Xn
d→ X ⇒ cXn
d→ cX. Pela parte (a), XnYn − cXn =
Xn (Yn − c)
P→ 0. Portanto, por equivaleˆncia assinto´tica, XnYn
d→ cX.
Finalmente, Xn
d→ X ⇒ Xn/c
d→ X/c, pois c 6= 0. Xn/Yn − Xn/c =
Xn (1/Yn − 1/c)
P→ 0 pelo Teorema de Mahn-Wald e pela parte (a). Portanto,
Xn/Yn
d→ X/c.
Exemplo 14: Suponha que Yn
P→ 4, que Xn
d→ X e que
F (X) =
½
θ−1 exp (−X/θ) se X > 0
0 caso contra´rio
Enta˜o XnYn
d→ 4X. Como φ (X) = (1− itθ)−1 , φ (4X) = E [exp (it4X)] =
(1− it4θ)−1 , ou seja, XnYn converge em distribuic¸a˜o para uma exponencial
com paraˆmetro 4θ.
Me´todo Delta: Suponha que αn (Xn − b)
d→ X e que αn → ∞. Seja g (.)
uma func¸a˜o continuamente diferencia´vel em b (possivelmente assumindo valores
em Rn). Enta˜o
αn (g (Xn)− g (b))
d→ ∂g (b)
∂b0
X
9
Prova:
Xn − b =
1
αn
αn (Xn − b)
d→ 0X = 0
pelo Teorema de Slutsky. Portanto, Xn
d→ b, o que implica que Xn
P→ b. Pelo
Teorema do Valor Me´dio,
g (Xn) = g (b) +
∂g (X∗n)
∂X∗0n
(Xn − b)
para algum X∗n na linha conectando Xn e b. Como Xn
d→ b implica que Xn
P→ b,
pelo Teorema de Mahn-Wald,
∂g(X∗n)
∂X∗0n
P→ ∂g(b)∂b0 . Enta˜o, aplicando-se novamente
o Teorema de Slutsky, segue-se que
αn (g (Xn)− g (b)) =
∂g (X∗n)
∂X∗0n
αn (Xn − b)
d→ ∂g (b)
∂b0
X
Exemplo 15: Suponha que
√
n
³
θˆ − θ
´
d→ N
¡
0, σ2
¢
e que queiramos estimar
g (θ) = exp (θ) atrave´s de g
³
θˆ
´
= exp
³
θˆ
´
. Nesse caso, g0 (θ) = exp (θ) e
√
n
³
g
³
θˆ
´
− g (θ)
´
d→ exp (θ)N
¡
0, σ2
¢
= N
¡
0, exp (2θ)σ2
¢
Exemplo 16: Suponha que θ =
·
θ1
θ2
¸
,
√
n
³
θˆ − θ
´
d→ N (0,Σ) e que no´s
estejamos interessados em estimar g (θ) =


√
θ1
θ1 + 3θ2
θ1θ2

 atrave´s de g
³
θˆ
´
. Nesse
caso,
∂g (θ)
∂θ0
=


1
2
√
θ1
0
1 3
θ2 θ1


e
√
n
³
g
³
θˆ
´
− g (θ)
´
d→ ∂g (θ)
∂θ0
N (0,Σ)
= N

0,


1
2
√
θ1
0
1 3
θ2 θ1


·
σ11 σ12
σ21 σ22
¸ · 1
2
√
θ1
1 θ2
0 3 θ1
¸

10