Convergência de Variáveis Aleatórias e Lei dos Grandes Números

Prévia do material em texto

Notas de Aula
Convergência de Variáveis Aleatórias
Jun - 2012
Sumário
1 Tipos de Convergência 2
1.1 Convergência em Probabilidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Convergência Quase Certa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Borel-Cantelli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Convergência em Distribuição . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Teoremas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.5 Exerćıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Lei dos Grandes Números (LGN) 4
2.1 Alguns resultados importantes: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.1.1 Para a lei fraca: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.1.2 Para a lei forte: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3 Teorema Central do Limite (versão iid) 6
3.1 Demonstração . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.1.1 Para média zero . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.1.2 Para média qualquer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.2 Resultados Adicionais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
4 Apêndice 8
4.1 Resumo - Desigualdades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
4.2 Exerćıcios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1
Caṕıtulo 1
Convergência de Variáveis Aleatórias
1.1 Convergência em Probabilidade
Uma sequência de va’s Yn converge em probabilidade para a va Y se, ∀� > 0,
lim
n→∞
P (|Yn − Y | > �) = 0, ou P (|Yn − Y | > �)
n→∞−−−−→ 0.
- Notação: Yn
P−→ Y .
obs: Y não precisa ser va!
- Exemplo: Seja a sequência de va’s Xn tais que:
P (Xn = 1) =
1
n e P (Xn = 0) = 1−
1
n , onde Xn ∼ Ber(
1
n ). Mostre que Xn
P−→ 0.
1.2 Convergência Quase Certa
Uma sequência de va’s Yn converge quase certamente (ou quase sempre) para a va Y se P (Yn
n→∞−−−−→ Y ) =
1, onde o evento {Yn
n→∞−−−−→ Y } é equivalente ao evento:
{ω ∈ Ω : lim
n→∞
Yn(ω) = Y (ω)}. Assim, Yn
n→∞−−−−→ Y ↔ lim
n→∞
Yn(ω) = Y (ω)
- Notação: Yn
q.c−−→ Y
obs: Y não precisa ser va!
1.2.1 Lema de Borel-Cantelli
Sejam (An)n≥1 eventos independentes quaisquer formando uma sequência:
1.
∞∑
n=1
P (An) <∞⇒ P (”An ocorrer infinitas vezes”) = 0
2.
∞∑
n=1
P (An) =∞⇒ P (”An ocorrer infinitas vezes”) = 1
An = ”O macacon digitou todas as obras de Shakespeare sem erro”; P (An) = p > 0. Supondo que o
desempenho de um macaco é independente do desempenho de outro macaco. Como
∞∑
n=1
P (An) =
∞∑
n=1
p =∞
⇒ infinitos macacos conseguirão! Pois P(An ocorrer infinitas vezes) = 1.
2
1.3 Convergência em Distribuição
Uma sequência de va’s (Yn)n≥1 com função de distribuição FYn converge em distribuição para Y , cuja função
de distribuição é FY , se: lim
n→∞
FYn = FY (em todos os pontos de continuidade de F.)
- Notação: Yn
D−→ Y
Pode-se mostrar que: Yn
q.c−−→ Y ⇒ Yn
P−→ Y ⇒ Yn
D−→ Y.
- obs:
• lim
n→∞
(P (|Yn − Y )| > �)) = 0 (convergência em probabilidade);
• P (|Yn − Y | > �,∀n > n0) = 0 (convergência ”quase certa”).
1.4 Teoremas
1. Xn
D−→ X ⇒ E[g(Xn)]
n→∞−−−−→ E[(g(X)] para g(.) cont́ınua e limitada;
2. lim
n→∞
ΨXn(t) = Ψ(t) e Ψ é cont́ınua em t = 0⇒
{
Ψ é função caracteŕıstica de uma va X;
Xn
D−→ X.
Além disso,
Xn
D−→ X ⇔ ΨXn(t)
n→∞−−−−→ ΨX(t) e ΨX é cont́ınua em t = 0.
1.5 Exerćıcios
- Exerćıcio 1: Seja X1, X2, ... uma sequência de va’s iid’s expo(1). Defina a sequência Yn =
Xn
ln(n) , n ≥ 2.
Mostre que Yn
P−→ 0 e Yn
q.c−−→ 0
- Exerćıcio 2: X1, ..., Xn, ... é sequência de va’s independentes tais que P(Xn = 1) =
1
n e P (Xn = 0) =
1− 1n . Vimos que Xn
P−→ 0. Mas Xn
q.c−−→ 0 ?
- Exerćıcio 3: X1, ..., Xn, ... sequência de va’s iid’s da U(0,1). Seja Yn = n
−xn . Mostre que
Yn
P−→ 0, n > 1.
- Exerćıcio 4: Se Xn ∼ Bin(n,pn), onde n.pn
n→∞−−−−→ λ, então Xn
D−→ Poisson(λ)
- Exerćıcio 5: (Xn)n≥1 sequência de va’s independentes U(0,1). Para qual distribuição converge a
sequência Yn = n(1−X(n))?
3
Caṕıtulo 2
Lei dos Grandes Números (LGN)
Seja E um experimento com um espaço amostral Ω e uma va associada. Realizando o experimento n ve-
zes (independentemente) teremos uma sequência (Xn)n≥1 (amostra aleatória). A LGN diz que: ”A média
aritmética de X1, ..., Xn se aproxima de E(X) quando n cresce.”
- Pergunta: Uma sequência X1, ..., Xn de va’s sempre satisfaz a LGN?
Seja X1, X2,... uma sequência de va’s com E(Xi) < ∞ e defina S1, S2, ... a sequência de somas parciais,
isto é, Sn =
n∑
i=1
Xi. Assim:
1. (Xn)n≥1 satisfaz a lei fraca dos grandes números (LFrGN) se,
Sn−E(Sn)
n
P−→ 0
2. (Xn)n≥1 satisfaz a lei forte dos grandes números (LFoGN) se,
Sn−E(Sn)
n
q.c−−→ 0
obs: Se as va’s (Xn)n≥1, ... são idênticas (id), temos:
Sn−E(Sn)
n =
Sn
n -
nE(X)
n = X̄n - E(X) e, portanto:
X̄n
P−→ E(X) (LFrGN) ; X̄n
q.c−−→ E(X) (LFoGN)
2.1 Alguns resultados importantes:
2.1.1 Para a lei fraca:
1. Tchebychev: Seja uma sequência de va’s (Xn)n≥1, ... independentes 2 a 2 com variâncias finitas e
uniformemente limitadas (∗). Então, (Xn)n≥1 satisfaz a LFrGN.
obs: (∗)∃ k, (k ∈ R) | Var(Xi) ≤ k, ∀i
- Demonstração: Queremos mostrar que
(∗∗) lim
n→∞
P (|Sn−E(Sn)n − 0| > �) = 0, ∀� > 0
P (|Snn − E(
Sn
n )| > �) ≤
V ar(Snn )
�2 =
V ar(Sn)
n2�2 =
n∑
i=1
V ar(Xi)
n2�2 ≤
nk
n2�2 =
k
n�2
4
Como kn�2
n→∞−−−−→ 0, temos que (∗∗) vale. Logo, satisfaz a LFrGN.
2. Khintchin: Seja uma sequência de va’s iid’s com E(Xi) <∞. Então (Xn)n≥1 satisfaz a LFrGN.
- Exemplo: Sejam X1, ..., Xn, ... va’s iid’s Poisson(λ). Qual o limite em probabilidade das sequências
abaixo?
• Yn = X
2
1+X
2
2+...+X
2
n
n , n ≥ 1
• Yn = X1+X2+...+Xnn , n ≥ 1
2.1.2 Para a lei forte:
1. 1a lei de Kolmogorov: Seja uma sequência de va’s independentes e integráveis (∃ E(Xi)) e E((|Xi|) <
∞) tais que:
∞∑
n=1
V ar(Xn)
n2 <∞
Então a sequência (Xn)n≥1 satisfaz a LFoGN.
2. 2a lei de Kolmogorov: Seja uma sequência de va’s iid’s com E(Xi) <∞. Então a sequência (Xn)n≥1
satisfaz a LFoGN.
- Exemplo: Seja o experimento ”lançar uma moeda honesta e observar a face resultante”. Defina a
va X =
{
1, se for cara
0, c.c
Suponha que o experimento é repetido indefinidamente e defina X̄n =
n∑
i=1
Xi
n .
Para onde converge X̄n? Qual o tipo de convergência?
5
Caṕıtulo 3
Teorema Central do Limite (versão
iid)
Seja uma sequência de va’s iid’s X1, X2, ... com E(X) = µ e V ar(x) = σ
2. Defina Sn =
n∑
i=1
Xi, então:
Sn−E(Sn)√
V ar(Sn)
D−→ N(0, 1)
Note: (Sn−E(Sn))/n√
V ar(Sn)/n
= X̄n−µ
σ/
√
n
D−→ N(0,1)
- Idéia: A distribuição da média amostral converge para a normal!
E se os Xi’s não foram iid’s? Existe uma versão do TCL que garante a convergência de
Sn−E(Sn)√
V ar(Sn)
para a
N(0,1) a partir de duas condições a serem satisfeitas: Liapunov e Lindberg (basta usar uma delas e a outra
também será satisfeita).
(Ber + Pois + Exp + Gama + ... (indep’s)
D−→ normal)
3.1 Demonstração via Função Caracteŕıstica
E[Sn] = nE[Xi] = nµ
V ar[Sn] = nV ar[Xi] = nσ
2
3.1.1 1◦ caso: µ = 0
É preciso mostrar que Ψ Sn
σ
√
n
(t) → e−t
2
2 .
Usando propriedades, a expressão de Taylor de Ψ em torno de t = 0 é:
Ψ Sn
σ
√
n
(t) = ΨSn(
1
σ
√
n
t) =
n∏
i=1
ΨXi(
t
σ
√
n
) = [ΨXi(
t
σ
√
n
)]n
Ψ(t) = Ψ(0) + Ψ(1)(0) t1! + Ψ
(2)(0) t
2
2! + ... = 1 + iE[X]t + i
2E[X2] t
2
2 + ... = 1 + 0 -
σ2t2
2 + ...
Ψ Sn
σ
√
n
(t) = [1−
σ2t2
σ2n
2 + ...]
n = [1− t
2
2n + ...]
n = lim
n→∞
Ψ Sn
σ
√
n
(t) = lim
n→∞
[1− t
2
2
1
n + ...]
n = e
−t2
2
6
3.1.2 2o caso: µ qualquerSn−E[Sn]√
V ar[Sn]
=
n∑
i=1
(Xi−µ)
√
V ar[Sn]
=
n∑
n=1
Yi
√
nσ2
, onde Yi = Xi − µ ⇒

E[Yi] = 0;
V ar[Yi] = σ
2;
E[
n∑
i=1
Yi] = 0;
V ar[
n∑
i=1
Yi] = nσ
2.
Logo, pelo anterior:
Sn−E[Sn]√
V ar[Sn]
D−→ N(0,1)
Note que a distribuição das va’s Xi não é dada!
3.2 Alguns resultados importantes adicionais
Seja uma sequência de va’s X1, X2, ... e g:R → R uma função cont́ınua. Então:
• Xn
D−→ X ⇒ g(Xn)
D−→ g(X)
• Xn
P−→ X ⇒ g(Xn)
P−→ g(X)
• Xn
q.c−−→ X ⇒ g(Xn)
q.c−−→ g(X)
- Exemplos:
1. E(Xi) = µ; X1, X2, ... é sequência de va’s i.i.d’s não-negativas que satisfaz a lei forte dos grandes
números.
lim
n→∞
(
n∏
i=1
Xi)
1
n → ?
2. X1, X2, ... é sequência de va’s iid’s com E(Xi) = 1 e V ar(Xi) = 1. Encontre o limite abaixo:
Yn =
n∑
i=1
Xi√
n
n∑
i=1
X2i
P−→ ?
3. G(t, λ)
t→∞−−−→ normal. Por quê?
4. X ∼ P (600). Calcule P (X = 650) utilizando alguma aproximação.
5. Pense: Por que podemos aproximar uma distribuições como a Gama e a Poisson por distribuições
Normais?
7
Caṕıtulo 4
Apêndice
4.1 Resumo - Desigualdades
• P (X ≥ k) ≤ E(x)k (básica ou Markov, X é va não negativa)
• P (X ≥ k) ≤ σ
2
σ2+k2 (Tchebychev unilateral, X é va com média zero e variância σ
2)
• P (|X − E(X)| ≥ k) ≤ V ar(X)k2 (Tchebychev, X é va qualquer)
• P (|X| ≥ k) ≤ E(|X|
t)
kt , ∀t > 0 (Markov, X é va qualquer)
4.2 Exerćıcios
1. E(X) = 16, Var(X) = 9; Encontre uma cota inferior para a P (10 ≤ X ≤ 22)
2. f(x) =
{
2x, 0 ≤ x ≤ 1
0, c.c
, onde Xi = ”tempo de vida de um componente”.
Sn =
n∑
i=1
Xi, r = lim
n→∞
n
Sn
= lim
n→∞
1
X̄
A sequência (Xi)n≥1 satisfaz a LGN? Xi’s são iid’s.
3. Xi ∼ Exp(5) ⊥ Yi ∼ Exp( 10,3 ). Se Wi = Xi + Yi, então P (
20∑
i=1
Wi ≤ 8) ≈ ?
8