Buscar

Unidade V - Testes de Hipótese

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes
Você viu 3, do total de 36 páginas

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes
Você viu 6, do total de 36 páginas

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes
Você viu 9, do total de 36 páginas

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Prévia do material em texto

Bioestatística 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Responsável pelo Conteúdo: 
Prof Ms Alexandre Silva 
 
Material teórico 
Testes de Hipótese 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Testes de Hipótese 
Vamos iniciar a unidade V da disciplina de 
Bioestatística chamada “Testes de Hipótese”. 
Em toda tomada de decisão é necessário algum tipo de 
previsão sobre a ocorrência de erros. Portanto quem escolhe 
(ou seja, quem decide) necessita saber exatamente qual a 
chance de tomar uma decisão incorreta relacionada a este 
tema. Os testes de hipótese são métodos estatísticos que, a 
partir da determinação do rigor do pesquisador, vai apresentar 
matematicamente regras de decisão objetivas para a tomada 
de decisão sobre os resultados de uma pesquisa com base em 
uma probabilidade pré-estabelecida de ocorrer erros nesta 
escolha. 
O conteúdo desta unidade está em Docs. Da disciplina, 
não se esqueçam de realizar as atividades propostas e que a 
entrega dos exercícios é obrigatória. 
Estudem o texto proposto e complemente seus estudos 
com a bibliografia sugerida. 
 
Atenção 
Para um bom aproveitamento do curso, leia o material teórico atentamente antes de realizar 
as atividades. É importante também respeitar os prazos estabelecidos no cronograma. 
 
 
 
 
 
 
Os testes de hipótese são métodos estatísticos que, a partir da determinação do rigor 
do pesquisador, apresenta matematicamente regras de decisão objetivas para a tomada de 
decisão sobre os resultados de uma pesquisa com base em uma probabilidade pré-
estabelecida. 
Em toda tomada de decisão é necessário algum tipo de previsão sobre a ocorrência 
de erros. Portanto quem escolhe (ou seja, quem decide) necessita saber exatamente qual a 
chance de tomar uma decisão incorreta relacionada a este tema. 
 
 
 
 
Contextualização 
 
 
 
 
 
 
Introdução 
 
 Na pesquisa biomédica, necessitamos tomar conclusões com base em amostragens, já 
que por vezes é impossível analisar populações inteiras para que possamos saber o real efeito 
daquilo que desejamos estudar. Vários tipos de experimentos são feitos onde desejamos tentar 
entender o que aconteceria de fato na população estudada. 
 Como já foi explicado, um estudo estatístico normalmente está baseado em 
amostragens. Isto pela dificuldade operacional ou financeira de ter acesso a toda uma 
população. Como exemplo, vamos analisar a seguinte situação: 
 Uma empresa farmacêutica resolve testar a toxicidade de um determinado fármaco. 
Cães serão utilizados como animais de laboratório para os testes antes do lançamento. Como 
fazer para obter uma resposta confiável sobre a toxicidade, para que o responsável técnico 
tenha confiança em lançar esta droga no mercado? 
Algumas sugestões: 
a) Testar a droga em todos os cães do planeta 
b) Testar a droga em um grupo de cães (amostra) 
 
 A primeira sugestão parece absurda, tanto pela impossibilidade de operá-la quanto 
pelo altíssimo custo. Portanto opta-se pela segunda sugestão, o que gera uma quantidade 
enorme de outras questões: 
• Todos os cães vão reagir da mesma forma? 
a) SIM: testo em ou dois animais  fim do experimento 
 
b) NÃO: 
 Quantos animais devem ser testados? 
 Os dois sexos respondem da mesma maneira? 
 As diversas raças respondem da mesma maneira? 
 As condições ambientais influenciam? 
 
Material Teórico 
 
 
Resolvida tais questões e desenhado um grupo experimental representativo, surgem 
outras questões sobre os possíveis resultados: 
a) O fármaco não é tóxico para os cães. 
b) O fármaco é tóxico para TODOS os cães. 
c) O fármaco é tóxico para alguns cães. 
 
Neste momento o pesquisador fica em outra situação complicada. Os itens a e b são 
conclusivos e encerram o experimento, mas e o item c? 
• Posso colocar a venda o fármaco se ele for tóxico para alguns indivíduos? 
a) Não: Encerra-se o experimento 
 
b) SIM: mais dúvidas 
 Qual a proporção de indivíduos intoxicados, que ainda se pode 
considerar seguro para a venda ? 
 
Para responder todas as questões, são necessários conhecimentos de: 
• Técnicas de amostragem 
• Medidas de tendência central 
• Medidas de dispersão 
• Probabilidade 
• Distribuição Normal 
• Distribuição Binomial 
 
O teste de hipótese é uma regra de decisão, onde se levam em conta uma série de 
interferências, com uma chance calculada de errar, veja o esquema abaixo: 
 
 
 
 
 
Vamos definir alguns termos: 
Inferência estatística: É qualquer procedimento que se utiliza para se generalizar 
afirmações sobre determinada população, baseadas em dados retirados de uma amostra. 
Parâmetro: É a medida usada para se descrever uma característica de uma população. 
Estimação: É o processo através do qual estima-se o valor de um parâmetro de uma 
população com base no valor obtido em uma amostra. 
Hipótese: É uma forma de especulação relativa a um fenômeno estudado (qualquer que 
seja). É qualquer afirmação sobre a distribuição de probabilidade de uma variável aleatória 
(afirmação sobre um parâmetro) 
Hipótese estatística: É uma especulação feita em relação à uma proposição, porém relativa 
à uma população definida. 
 
 
 
Formulando as Hipóteses e o Estudo dos Erros 
 
Vamos ver como devemos propor as hipóteses de um experimento, com a finalidade 
de testá-las. Vamos partir de um exemplo prático. 
Situação hipotética: Comparar a eficácia de uma Nova droga (Dn) com uma droga 
padrão (Da). 
Devemos antes de iniciar este experimento fixar os seguintes parâmetros: 
• Qual é a Hipótese nula (H0). Diz que a hipótese formulada pelo pesquisador é invalida 
• Qual é a Hipótese alternativa (H1). É qualquer resultado que não se encaixe na 
hipótese nula 
• Qual a Probabilidade de ocorrência de um erro durante a tomada de decisão (α). 
 
 
Fixando então as Hipóteses 
 
 
 
H0: Dn = Da 
H1: Dn > Da (Teste Monocaudal) 
 
 Na situação colocada acima, a droga nova é mais eficaz que a droga antiga, chamamos 
este tipo de teste de monocaudal. 
 Se a pergunta do pesquisador é que a droga nova é diferente que a antiga, ou seja, 
pode ser mais ou menos eficaz, representaremos como está abaixo, este tipo de teste é 
chamado de bicaudal.: 
 
H0: Dn = Da 
H1: Dn ≠ Da (Teste Bicaudal) 
 
 Se a eficácia da droga antiga for de 50% (0,50), temos para um teste monocaudal as 
seguintes hipótese: 
 
 
 
H0: Dn = 0,50 
H1: Dn > 0,50 
 
 A eficácia (E) pode ser medida pelo número de curas. Vamos supor que a nova droga 
será utilizada em 10 pacientes (n=10) e que a eficácia conhecida da droga antiga (DA) é 
p=0,5. A probabilidade de ocorrer curas entre 0 e 10 para uma variável como a apresentada 
anteriormente, está apresentada na tabela 1. 
 
Tabela 1: Distribuição das probabilidades de uma variável X com n=10 e p=50% 
X número de curas Probabilidade de X 
0 0,001 
1 0,010 
2 0,044 
3 0,117 
4 0,205 
5 0,246 
6 0,205 
7 0,117 
8 0,044 
9 0,010 
10 0,001 
 
 Precisamos agora de um critério para testar H0 e ao final, decidir ou não por rejeitá-lo. 
Temos então duas possibilidades: Rejeita-se H0 ou se aceita H0 . 
 A tomada desta decisão pode gerar possíveis erros, já que estaremos decidindo com 
base em uma amostra e não em uma população. Observem no quadro abaixo as possíveis 
decisões que podemos tomar neste caso e a consequência desta decisão: 
 
 
VERDADE 
Decisão H0 H1 
H0 Não cometeu Erro Erro tipo II 
H1 Erro tipo I Não cometeu Erro 
 
Quadro 1: Os erros em testes de hipóteses. 
 
Quando aceitamos H0 e esta é a hipótese verdadeira não cometemos nenhum tipo de erro, da 
mesma forma quando rejeitamos H0 e está é a decisão verdadeira. Porém, quando rejeitamos 
H0 e a hipótese verdadeira é H0, cometemos um erro que é classificado como o Tipo I e 
quando aceitamos H0 e a decisão correta seria rejeitá-lo, cometemos um erro classificado 
como do tipo II. A probabilidade de cometer estes erros são as explicitadas abaixo:α = Probabilidade (erro tipo I ) = Probabilidade (Rejeitar H0 e H0 é verdade) 
β = Probabilidade (erro tipo II ) = Probabilidade (Aceitar H0 e H0 é falsa) 
 
 A probabilidade de cometer o erro do tipo I (α) é determinada pelo pesquisador no 
início do experimento e este é o critério de rejeição de H0. O valor de α é estipulado de 
maneira arbitrária pelo pesquisador e devemos saber de antemão que, quanto maior o valor 
atribuído, maior a chance de tomarmos uma decisão incorreta e se optarmos por um valor 
excessivamente pequeno, correram o risco de nunca rejeitarmos o H0, mesmo que isto 
signifique uma decisão correta. De modo geral podemos trabalhar com o seguinte critério: 
α=5% (0,05) para a maioria das situações 
α=1% (0,01) para situações onde o erro do tipo I leva a conseqüências muito graves, como 
aceitar que uma droga não possui efeitos colaterais, sendo que na verdade ela é letal. 
 A partir da definição de α podemos estabelecer uma região de aceitação e rejeição de 
H0. No exemplo anterior, para α=5% (0,05) vamos definir como região de rejeição de H0 a 
região onde a probabilidade de acontecer o evento seja inferior a 5%. Observe a seguinte 
tabela: 
 
 
 
Tabela 2: Distribuição das probabilidades de evento com n=10 e P (probabilidade)=0,50 com a 
delimitação das áreas de aceitação e rejeição de H0 para um alfa de 5%. 
X número de curas Probabilidade de X 
0 0,001 
1 0,010 
2 0,044 
3 0,117 
4 0,205 
5 0,246 
6 0,205 
7 0,117 
8 0,044 
9 0,010 
10 0,001 
 
 Repare que rejeitamos H0 para o conjunto de valores cuja a probabilidade de ocorrer 
seja menor que 0,05 (5%). Na tabela acima a soma de 0,010 e 0,001 é 0,011 ou 1,1%, se 
acrescentarmos a probabilidade de 8 casos (0,044) teremos 0,055 ou 5,5% que excede a 
nossa regra de decisão de aceitar somente os valores com probabilidade abaixo de 5%. 
 A nossa questão exemplo era: “A droga nova é mais eficaz que a droga antiga?”. Para 
um nível de significância de 5%, se testarmos esta droga em 10 indivíduos, vamos dizer 
que esta afirmação é verdadeira se ela for eficaz para 9 ou 10 indivíduos. Veja que chamamos 
de nível de significância o valor de α que fixamos a priori. 
Região de Aceitação de H0 
Região de Rejeição de H0 
 
 
São passos necessários para a realização de um teste de hipóteses: 
1 - Formular as hipóteses; 
2 - Fixar α; 
3 - Determinar a região de aceitação/rejeição de H0; 
4 - Realizar o estudo, observar os resultados, calcular a estatística do teste; 
5 - Confrontar o valor observado da estatística do teste com a região de rejeição/aceitação 
do teste; 
6 - Tomar a decisão; 
7 - Apresentar a conclusão. 
 
 
Alguns Testes de Hipótese Utilizados Rotineiramente na Pesquisa Biomédica 
 
Testes Paramétricos 
 
 Vamos mostrar a seguir alguns testes paramétricos, ou seja, aqueles que exigem que 
determinados parâmetros estejam presentes para que o seu resultado tenha valor. O aluno 
deve se preocupar mais com a indicação do teste e a interpretação dos resultados que 
propriamente a maneira de proceder com os cálculos. 
 
 
Teste de T 
 
 O teste de T é utilizado quando desejamos comparar as médias de duas amostras que 
podem ser o mesmo conjunto de indivíduos onde os valores foram tomados antes e depois do 
tratamento ou entre dois grupos sendo um tratado e outro grupo controle. 
 Para aplicarmos o teste de T como um teste de hipótese em nossa pesquisa as 
condições a seguir devem estar satisfeitas: 
• A variável deve ser quantitativa; 
• Variável deve ter distribuição normal; 
• A amostra deve ter uma distribuição próxima a normal; 
 
 
Vamos estudar o 1º. Caso onde temos observações independentes. São 
observações independentes quando estamos diante de dois grupos formados Por indivíduos 
distintos. Para utilizar este teste devemos seguir os seguintes passos: 
• Estabelecer o nível de significância (α); 
• Formular as hipóteses; 
• Calcular a média do grupo 1 e do grupo 2; 
• Calcular a variância de cada grupo; 
• Calcular a variância ponderada entre os dois grupos; 
• Calcular o valor de t utilizando a fórmula; 
• Comparar o t calculado com um valor da tabela de T utilizando como parâmetros o 
valor de alfa e o número de graus de liberdade. 
 
A regra de decisão é: 
 
Se tcalculado > ttabela, a diferença entre as médias é 
considerada significativa para um nível de significância (α) 
previamente estabelecido. 
 
Cálculos: 
n: número de elementos de cada grupo 
s2: variância 
 
Variância ponderada (s2) 
 
Calculo de t 
 
 
 
 
Valor na Tabela de T: 
• Valores de α 
• Graus de liberdade dado pela seguinte fórmula: GL = (n1+n2-2). 
1 2 3 4 5 6 7 8 9 10 12 15 20 25 30 40 50 100 1000 Normal
0,1% 636,58 31,60 12,92 8,61 6,87 5,96 5,41 5,04 4,78 4,59 4,32 4,07 3,85 3,73 3,65 3,55 3,50 3,39 3,30 3,29
0,2% 318,29 22,33 10,21 7,17 5,89 5,21 4,79 4,50 4,30 4,14 3,93 3,73 3,55 3,45 3,39 3,31 3,26 3,17 3,10 3,09
0,4% 159,14 15,76 8,05 5,95 5,03 4,52 4,21 3,99 3,83 3,72 3,55 3,39 3,25 3,17 3,12 3,05 3,02 2,95 2,88 2,88
0,5% 127,32 14,09 7,45 5,60 4,77 4,32 4,03 3,83 3,69 3,58 3,43 3,29 3,15 3,08 3,03 2,97 2,94 2,87 2,81 2,81
1,0% 63,66 9,92 5,84 4,60 4,03 3,71 3,50 3,36 3,25 3,17 3,05 2,95 2,85 2,79 2,75 2,70 2,68 2,63 2,58 2,58
1,5% 42,43 8,07 5,05 4,09 3,63 3,37 3,20 3,09 3,00 2,93 2,84 2,75 2,66 2,61 2,58 2,54 2,52 2,48 2,44 2,43
2,0% 31,82 6,96 4,54 3,75 3,36 3,14 3,00 2,90 2,82 2,76 2,68 2,60 2,53 2,49 2,46 2,42 2,40 2,36 2,33 2,33
2,5% 25,45 6,21 4,18 3,50 3,16 2,97 2,84 2,75 2,69 2,63 2,56 2,49 2,42 2,38 2,36 2,33 2,31 2,28 2,24 2,24
3,0% 21,21 5,64 3,90 3,30 3,00 2,83 2,71 2,63 2,57 2,53 2,46 2,40 2,34 2,30 2,28 2,25 2,23 2,20 2,17 2,17
3,5% 18,17 5,20 3,67 3,14 2,87 2,71 2,61 2,53 2,48 2,44 2,38 2,32 2,26 2,23 2,21 2,18 2,17 2,14 2,11 2,11
4,0% 15,89 4,85 3,48 3,00 2,76 2,61 2,52 2,45 2,40 2,36 2,30 2,25 2,20 2,17 2,15 2,12 2,11 2,08 2,06 2,05
4,5% 14,12 4,55 3,32 2,88 2,66 2,52 2,44 2,37 2,33 2,29 2,24 2,19 2,14 2,11 2,09 2,07 2,06 2,03 2,01 2,00
5,0% 12,71 4,30 3,18 2,78 2,57 2,45 2,36 2,31 2,26 2,23 2,18 2,13 2,09 2,06 2,04 2,02 2,01 1,98 1,96 1,96
5,5% 11,55 4,09 3,06 2,68 2,49 2,38 2,30 2,24 2,20 2,17 2,13 2,08 2,04 2,01 2,00 1,98 1,96 1,94 1,92 1,92
6,0% 10,58 3,90 2,95 2,60 2,42 2,31 2,24 2,19 2,15 2,12 2,08 2,03 1,99 1,97 1,95 1,94 1,92 1,90 1,88 1,88
6,5% 9,76 3,73 2,85 2,53 2,36 2,25 2,19 2,14 2,10 2,07 2,03 1,99 1,95 1,93 1,92 1,90 1,89 1,87 1,85 1,85
7,0% 9,06 3,58 2,76 2,46 2,30 2,20 2,14 2,09 2,06 2,03 1,99 1,95 1,91 1,89 1,88 1,86 1,85 1,83 1,81 1,81
7,5% 8,45 3,44 2,68 2,39 2,24 2,15 2,09 2,05 2,01 1,99 1,95 1,91 1,88 1,86 1,84 1,83 1,82 1,80 1,78 1,78
8,0% 7,92 3,32 2,61 2,33 2,19 2,10 2,05 2,00 1,97 1,95 1,91 1,88 1,84 1,82 1,81 1,80 1,79 1,77 1,75 1,75
8,5% 7,45 3,21 2,54 2,28 2,14 2,06 2,00 1,96 1,93 1,91 1,88 1,84 1,81 1,79 1,78 1,77 1,76 1,74 1,72 1,72
9,0% 7,03 3,10 2,47 2,23 2,10 2,02 1,97 1,93 1,90 1,88 1,84 1,81 1,78 1,76 1,75 1,74 1,73 1,71 1,70 1,70
9,5% 6,65 3,01 2,41 2,18 2,06 1,98 1,93 1,89 1,87 1,84 1,81 1,78 1,75 1,74 1,72 1,71 1,70 1,69 1,67 1,67
10,0% 6,31 2,92 2,35 2,13 2,02 1,94 1,89 1,86 1,83 1,81 1,78 1,75 1,72 1,71 1,70 1,68 1,68 1,66 1,65 1,65
11% 5,73 2,76 2,25 2,05 1,94 1,87 1,83 1,80 1,77 1,75 1,73 1,70 1,67 1,66 1,65 1,63 1,63 1,61 1,60 1,60
12% 5,24 2,62 2,16 1,97 1,87 1,81 1,77 1,74 1,72 1,70 1,67 1,65 1,62 1,61 1,60 1,59 1,58 1,57 1,56 1,55
13% 4,83 2,50 2,07 1,90 1,81 1,75 1,72 1,69 1,67 1,65 1,63 1,60 1,58 1,57 1,56 1,55 1,54 1,53 1,52 1,51
14% 4,47 2,38 2,00 1,84 1,75 1,70 1,66 1,64 1,62 1,60 1,58 1,56 1,54 1,52 1,52 1,51 1,50 1,49 1,48 1,48
15% 4,17 2,28 1,92 1,78 1,70 1,65 1,62 1,59 1,57 1,56 1,54 1,52 1,50 1,49 1,48 1,47 1,46 1,45 1,44 1,44
16% 3,89 2,19 1,86 1,72 1,65 1,60 1,57 1,55 1,53 1,52 1,50 1,48 1,46 1,45 1,44 1,43 1,43 1,42 1,41 1,41
17% 3,66 2,10 1,80 1,67 1,60 1,56 1,53 1,51 1,49 1,48 1,46 1,44 1,42 1,41 1,41 1,40 1,39 1,38 1,37 1,37
18% 3,44 2,03 1,74 1,62 1,56 1,52 1,49 1,47 1,45 1,44 1,42 1,41 1,39 1,38 1,37 1,36 1,36 1,35 1,34 1,34
19% 3,25 1,95 1,69 1,58 1,52 1,48 1,451,43 1,42 1,41 1,39 1,37 1,36 1,35 1,34 1,33 1,33 1,32 1,31 1,31
20% 3,08 1,89 1,64 1,53 1,48 1,44 1,41 1,40 1,38 1,37 1,36 1,34 1,33 1,32 1,31 1,30 1,30 1,29 1,28 1,28
21% 2,92 1,82 1,59 1,49 1,44 1,40 1,38 1,36 1,35 1,34 1,32 1,31 1,30 1,29 1,28 1,27 1,27 1,26 1,25 1,25
22% 2,78 1,76 1,55 1,45 1,40 1,37 1,35 1,33 1,32 1,31 1,29 1,28 1,27 1,26 1,25 1,25 1,24 1,23 1,23 1,23
23% 2,65 1,71 1,50 1,41 1,37 1,34 1,31 1,30 1,29 1,28 1,26 1,25 1,24 1,23 1,23 1,22 1,22 1,21 1,20 1,20
24% 2,53 1,65 1,46 1,38 1,33 1,30 1,28 1,27 1,26 1,25 1,24 1,22 1,21 1,20 1,20 1,19 1,19 1,18 1,18 1,18
25% 2,41 1,60 1,42 1,34 1,30 1,27 1,25 1,24 1,23 1,22 1,21 1,20 1,18 1,18 1,17 1,17 1,16 1,16 1,15 1,15
25% 2,41 1,60 1,42 1,34 1,30 1,27 1,25 1,24 1,23 1,22 1,21 1,20 1,18 1,18 1,17 1,17 1,16 1,16 1,15 1,15
27% 2,21 1,51 1,35 1,28 1,24 1,22 1,20 1,19 1,18 1,17 1,16 1,15 1,13 1,13 1,12 1,12 1,12 1,11 1,10 1,10
28% 2,13 1,47 1,31 1,25 1,21 1,19 1,17 1,16 1,15 1,14 1,13 1,12 1,11 1,10 1,10 1,10 1,09 1,09 1,08 1,08
29% 2,04 1,43 1,28 1,22 1,18 1,16 1,14 1,13 1,12 1,12 1,11 1,10 1,09 1,08 1,08 1,07 1,07 1,06 1,06 1,06
30% 1,96 1,39 1,25 1,19 1,16 1,13 1,12 1,11 1,10 1,09 1,08 1,07 1,06 1,06 1,05 1,05 1,05 1,04 1,04 1,04
35% 1,63 1,21 1,10 1,06 1,03 1,01 1,00 0,99 0,99 0,98 0,97 0,96 0,96 0,95 0,95 0,95 0,94 0,94 0,94 0,93
40% 1,38 1,06 0,98 0,94 0,92 0,91 0,90 0,89 0,88 0,88 0,87 0,87 0,86 0,86 0,85 0,85 0,85 0,85 0,84 0,84
45% 1,17 0,93 0,87 0,84 0,82 0,81 0,80 0,79 0,79 0,79 0,78 0,78 0,77 0,77 0,77 0,76 0,76 0,76 0,76 0,76
50% 1,00 0,82 0,76 0,74 0,73 0,72 0,71 0,71 0,70 0,70 0,70 0,69 0,69 0,68 0,68 0,68 0,68 0,68 0,67 0,67
55% 0,85 0,71 0,67 0,65 0,64 0,63 0,63 0,62 0,62 0,62 0,62 0,61 0,61 0,61 0,60 0,60 0,60 0,60 0,60 0,60
60% 0,73 0,62 0,58 0,57 0,56 0,55 0,55 0,55 0,54 0,54 0,54 0,54 0,53 0,53 0,53 0,53 0,53 0,53 0,52 0,52
65% 0,61 0,53 0,50 0,49 0,48 0,48 0,47 0,47 0,47 0,47 0,47 0,46 0,46 0,46 0,46 0,46 0,46 0,46 0,45 0,45
70% 0,51 0,44 0,42 0,41 0,41 0,40 0,40 0,40 0,40 0,40 0,39 0,39 0,39 0,39 0,39 0,39 0,39 0,39 0,39 0,39
75% 0,41 0,37 0,35 0,34 0,34 0,33 0,33 0,33 0,33 0,33 0,33 0,32 0,32 0,32 0,32 0,32 0,32 0,32 0,32 0,32
80% 0,32 0,29 0,28 0,27 0,27 0,26 0,26 0,26 0,26 0,26 0,26 0,26 0,26 0,26 0,26 0,26 0,25 0,25 0,25 0,25
85% 0,24 0,21 0,21 0,20 0,20 0,20 0,20 0,20 0,19 0,19 0,19 0,19 0,19 0,19 0,19 0,19 0,19 0,19 0,19 0,19
90% 0,16 0,14 0,14 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13
95% 0,08 0,07 0,07 0,07 0,07 0,07 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06
100% 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00
Distribuição de Student - Valores de t no corpo da Tabela
Graus de Liberdade
Pr
ob
ab
ili
da
de
 B
ic
au
da
l 
 
Figura 1: Tabela para o teste de T 
 
 
 Vamos estudar o 2º. Caso onde temos observações pareadas. São observações 
pareadas quando estamos diante de um grupo onde foram feitas duas observações. Para 
utilizar este teste devemos seguir os seguintes passos: 
 Deve-se encontrar a diferença de x (d) 
 Encontrar a média das diferenças d 
 Encontrar a variância das diferenças 
 Encontrar o valor de t 
 A regra de decisão é: 
 
Se tcalculado > ttabela, a diferença entre as médias é 
considerada significativa para um nível de significância (α) 
previamente estabelecido. 
 
Cálculos: 
X2: valores do grupo 2 
X1: valores do grupo 1 
S2: Variância 
d barra: Média da diferença entre os valores de X1 e X2. 
 
Cálculo das diferenças e média das diferenças 
 
Variância das diferenças 
 
 
 
 
Valor de t para teste pareado 
 
 
O valor da tabela de T deve ser procurado para n-1 graus de liberdade. 
 
Vamos ver dois exemplos: 
 
Exemplo 1 
 Duas dietas estão sendo comparadas e os resultados em perda de peso em Kg estão na 
tabela abaixo. Decida se é possível dizer se a dieta 2 é mais eficiente que a 1 para um nível de 
significância de 5%. 
Dieta 1 Dieta 2 
12 15 
8 19 
15 15 
13 12 
10 13 
12 16 
14 15 
11 
12 
13 
 
Temos então: 
 Dois grupos independentes 
α=5% 
 
 
As hipóteses são: 
 
H0: D2 = D1 
H1: D2 > D1 (perda de peso da dieta 2 maior que da dieta 1) 
 
n1=10 
n2=7 
 
A Média da dieta 1 é de 12Kg e da dieta 2 é 15Kg 
A Variância para a dieta 1 é de 4Kg2 e da dieta 2 é de 5 Kg2. 
Calculando a Variância ponderada temos: S2=5 Kg2. 
Calculando o valor de t temos: 2,72 
Graus de liberdade= n1+n2-2= 10+7-2=15 
Procurando na tabela α=5% e GL= 15, encontramos o valor de: 2,13 
A nossa regra de decisão diz: Se o valor calculado de t (2,72) for maior que o valor 
encontrado na tabela de t (2,13) então a diferença observada entre as médias dos grupos 1 e 
2 (12 e 15Kg) é estatisticamente significativa para um nível de significância de 5%. 
Então para este nível de significância, a dieta 2 fez os indivíduos perderem mais peso 
que a dieta 1. 
 
 
 
 
 
 
 
 
 
 
 
 
 
Exemplo 2 
 Uma dieta está sendo analisada em um grupo de indivíduos. Os resultados do peso em 
Kg antes e após a dieta estão na tabela abaixo. Decida se é possível dizer se a dieta 2 é mais 
eficiente que a 1 para um nível de significância de 5%. 
Antes da dieta Depois da dieta 
77 80 
62 58 
61 61 
80 76 
90 79 
73 69 
86 90 
59 51 
88 81 
 
Temos então: 
Amostras pareadas 
α=5% 
As hipóteses são: 
 
H0: Ddepois = Dantes 
H1: Ddepois < Dantes (peso depois menor que peso antes) 
n=9 (observe que temos um único grupo) 
 
 
 
 
 
Calculamos a diferença de peso para cada indivíduo e a média obtida: 
antes depois diferença 
77 80 3 
62 58 -4 
61 61 0 
80 76 -4 
90 79 -11 
73 69 -4 
86 90 4 
59 51 -8 
88 81 -7 
 
 A Média da diferença é de -3,44Kg, os indivíduos perderam em média este peso após 
a dieta, para efeito dos cálculos vamos utilizar este valor sem o sinal: 3,44 Kg. 
A Variância da diferença é de 25,03 Kg2. 
Calculando o valor de t temos: 2,06 
Graus de liberdade= n-1= 9-1 = 8 
Procurando na tabela α=5% e GL= 8, encontramos o valor de: 2,31 
 
 A nossa regra de decisão diz: Se o valor calculado de t (2,0,6) for maior que o valor 
encontrado na tabela de t (2,31) então a diferença antes e depois (3,44Kg) é estatisticamente 
significativa para um nível de significância de 5%. Porém, como o valor de t é menor que o 
da tabela, concluímos que para um nível de significância de 5%, a diferença observada não é 
estatisticamente significativa ou seja, não podemos afirmar que esta dieta realmente faria 
indivíduos perderem peso. 
 
 
Teste do Qui-Quadrado (χ2) 
 
Testes Não Paramétricos 
 
 Vamos mostrar a seguir alguns testes não paramétricos, ou seja, aqueles onde 
determinados parâmetros, como a normalidade, não estejam presentes para que o seu 
resultado tenha valor. O aluno deve se preocupar mais com a indicação do teste e a 
interpretação dos resultados que propriamente a maneira de proceder com os cálculos. 
 O teste de χ2 é utilizado quando desejamos comparar o resultado de amostras com 
variáveis qualitativas com um padrão pré-estabelecido, o que denominamos de resultado 
esperado.. 
• A variável deve ser qualitativa; 
• Resultados apresentados em uma tabela de contingência com as proporções 
observadas ou 
• Em uma Lista de variáveis e proporção observada; 
 
 No 1º. Caso temos o chamado teste χ2 para aderência. São observações de 
variáveis qualitativas que devem ser comparadas com um padrão esperados. 
O 2º. Caso... 
 Para utilizar este teste devemos seguir os seguintes passos: 
 A partir de uma observação, calcular a freqüência observada. 
 A partir dos totais calcular a freqüência esperada 
 Calcular o valor do χ2 
 Comparar o valor obtido com a tabele de distribuição de χ2 
 A regra de decisão é: 
 
Se χ2calculado > χ2tabela , a diferença entre o observado e o 
esperado é considerada significativa para um nível de 
significância (α) previamente estabelecido. 
 
 
 
 
Cálculos: 
χ2 = Σ(O-E) 
 E 
 O: proporçãodos valores observados 
 E: proporção dos valores esperados 
 Graus de liberdade: r-1 
 
Exemplo 1 
A teoria de Mendel diz que a segregação dos genes em ervilhas ocorre na seguinte proporção: 
 
 
 
Um pesquisador repetiu o experimento e os resultados observados: 
 
 
 
 
 
 
 
 
As hipóteses ficam: 
 
H0 O=E (Os dados observados são iguais aos dados esperados) 
H1 O≠E (Os dados observados são diferentes aos esperados) 
 
 Para um total de 556 sementes, seguindo a segregação mendeliana, os resultados 
esperados seriam: 
 
: 
 
: 
 
Sementes Frequência 
Amarelo Lisa 315 
Amarelo Rugosa 101 
Verde Lisa 108 
Verde Rugosa 32 
Total 556 
 
 
Sementes Frequência Proporção 
Amarelo Lisa 312,75 9/16 
Amarelo Rugosa 104,25 3/16 
Verde Lisa 104,25 3/16 
Verde Rugosa 34,75 1/16 
Total 556 
 
 Reparem que houve uma diferença entre os resultados observados e os esperados: 
Observado Esperado Diferença 
315 - 312 = 2,25 
101 - 104,25 = -3,75 
108 - 104,25 = 3,75 
32 - 34,75 = -2,75 
 
 
Para verificar se o Observado está concordando com o 
Esperado deve ser feito um teste de Aderência, para 
fazer esta verificação. 
 
Os passos a serem seguidos são: 
 Estabelecer o nível de significância (α) 
 Calcular o valor de qui-quadrado 
 Procurar o valor na tabela de acordo com o α e os graus de liberdade 
 Se χ2 for > que o da tabela rejeita-se a hipótese de que Observado é = ao Esperado. 
Aplicando a fórmula: 
χ2 = Σ(O-E) 
 E 
 
 
Graus de liberdade = r-1 ∴ Graus de liberdade= 4-1 = 3 
Vamos utilizar a tabela abaixo para calcular o valor do χ2 
 
 
 
 
 
 
 
 
 χ2 =0,47 
 
Na tabela o valor de χ2 = para 3 graus de liberdade e para α=5% é de 7,82 (esta é a 
regra de decisão), então se o valor calculado (no exemplo 0,47) for maior que o valor da 
tabela (7,82) rejeitamos H0, caso contrário aceitamos H0, neste caso 0,47 é < 7,82 então 
aceitamos H0 que determina que não existe diferença estatisticamente significativa entre os 
valores observados e esperados o que sugere que no experimento apresentado houve uma 
segregação mendeliana dos genes. 
 
 
O E (O-E)2 
E 
315 312,75 0,016187 
101 104,25 0,101319 
108 104,25 0,134892 
32 34,75 0,217626 
Σ 0,470024 
 
 
1 2 3 4 5 6 7 8 9 10
0,05% 12,12 15,20 17,73 20,00 22,11 24,10 26,02 27,87 29,67 31,42 
0,25% 9,14 11,98 14,32 16,42 18,39 20,25 22,04 23,77 25,46 27,11 
0,5% 7,88 10,60 12,84 14,86 16,75 18,55 20,28 21,95 23,59 25,19 
1,0% 6,63 9,21 11,34 13,28 15,09 16,81 18,48 20,09 21,67 23,21 
1,5% 5,92 8,40 10,47 12,34 14,10 15,78 17,40 18,97 20,51 22,02 
2,0% 5,41 7,82 9,84 11,67 13,39 15,03 16,62 18,17 19,68 21,16 
2,5% 5,02 7,38 9,35 11,14 12,83 14,45 16,01 17,53 19,02 20,48 
3,0% 4,71 7,01 8,95 10,71 12,37 13,97 15,51 17,01 18,48 19,92 
3,5% 4,45 6,70 8,61 10,35 11,98 13,56 15,08 16,56 18,02 19,44 
4,0% 4,22 6,44 8,31 10,03 11,64 13,20 14,70 16,17 17,61 19,02 
4,5% 4,02 6,20 8,05 9,74 11,34 12,88 14,37 15,82 17,25 18,65 
5,0% 3,84 5,99 7,81 9,49 11,07 12,59 14,07 15,51 16,92 18,31 
5,5% 3,68 5,80 7,60 9,26 10,82 12,33 13,79 15,22 16,62 18,00 
6,0% 3,54 5,63 7,41 9,04 10,60 12,09 13,54 14,96 16,35 17,71 
6,5% 3,40 5,47 7,23 8,85 10,39 11,87 13,31 14,71 16,09 17,45 
7,0% 3,28 5,32 7,06 8,67 10,19 11,66 13,09 14,48 15,85 17,20 
7,5% 3,17 5,18 6,90 8,50 10,01 11,47 12,88 14,27 15,63 16,97 
8,0% 3,06 5,05 6,76 8,34 9,84 11,28 12,69 14,07 15,42 16,75 
8,5% 2,97 4,93 6,62 8,19 9,67 11,11 12,51 13,88 15,22 16,55 
9,0% 2,87 4,82 6,49 8,04 9,52 10,95 12,34 13,70 15,03 16,35 
9,5% 2,79 4,71 6,37 7,91 9,38 10,79 12,17 13,53 14,85 16,17 
10,0% 2,71 4,61 6,25 7,78 9,24 10,64 12,02 13,36 14,68 15,99 
11% 2,55 4,41 6,03 7,54 8,98 10,37 11,72 13,05 14,36 15,65 
12% 2,42 4,24 5,83 7,32 8,74 10,11 11,45 12,77 14,07 15,34 
13% 2,29 4,08 5,65 7,11 8,52 9,88 11,20 12,51 13,79 15,06 
14% 2,18 3,93 5,48 6,92 8,31 9,65 10,97 12,26 13,53 14,79 
15% 2,07 3,79 5,32 6,74 8,12 9,45 10,75 12,03 13,29 14,53 
16% 1,97 3,67 5,17 6,58 7,93 9,25 10,54 11,81 13,06 14,29 
17% 1,88 3,54 5,02 6,42 7,76 9,06 10,34 11,60 12,84 14,07 
18% 1,80 3,43 4,89 6,27 7,60 8,89 10,15 11,40 12,63 13,85 
19% 1,72 3,32 4,76 6,13 7,44 8,72 9,97 11,21 12,43 13,64 
20% 1,64 3,22 4,64 5,99 7,29 8,56 9,80 11,03 12,24 13,44 
22% 1,50 3,03 4,41 5,73 7,01 8,26 9,48 10,69 11,88 13,07 
24% 1,38 2,85 4,21 5,50 6,75 7,97 9,18 10,37 11,55 12,72 
26% 1,27 2,69 4,01 5,28 6,51 7,71 8,90 10,07 11,23 12,39 
28% 1,17 2,55 3,83 5,07 6,28 7,46 8,63 9,79 10,94 12,08 
30% 1,07 2,41 3,66 4,88 6,06 7,23 8,38 9,52 10,66 11,78 
35% 0,87 2,10 3,28 4,44 5,57 6,69 7,81 8,91 10,01 11,10 
40% 0,71 1,83 2,95 4,04 5,13 6,21 7,28 8,35 9,41 10,47 
45% 0,57 1,60 2,64 3,69 4,73 5,77 6,80 7,83 8,86 9,89 
50% 0,45 1,39 2,37 3,36 4,35 5,35 6,35 7,34 8,34 9,34 
60% 0,27 1,02 1,87 2,75 3,66 4,57 5,49 6,42 7,36 8,30 
70% 0,15 0,71 1,42 2,19 3,00 3,83 4,67 5,53 6,39 7,27 
80% 0,06 0,45 1,01 1,65 2,34 3,07 3,82 4,59 5,38 6,18 
90% 0,02 0,21 0,58 1,06 1,61 2,20 2,83 3,49 4,17 4,87 
100% 0,00 0,00 0,00 0,00 0,00 0,01 0,05 0,05 0,05 0,19 
Distribuição do Qui-Quadrado 
Valores de X2 no corpo da Tabela
Graus de Liberdade
Pr
ob
ab
ili
da
de
 U
ni
ca
ud
al
 
 
Figura 2 - Tabela da Distribuição de χ2 
 
 
 
Exemplo 2 
 
 Um pesquisar, através de uma análise retrospectiva de dados de uma cidade, decide 
analisar se a proporção de natimortos difere quanto ao sexo? 
 As hipóteses desta pesquisa são as seguintes: 
 
H0: A proporção de natimortos não varia (O=E) 
H1: existe diferença (O≠E) 
Foi determinado um α=5% 
 
Fazendo o levantamento dos dados observou-se o seguinte resultado: 
Sexo Vivo Morto 
Masculino 1513 37 
Feminino 1451 27 
 
 Para este tipo de tabela os Graus de liberdade serão sempre o seguinte: r-1 x s-1 = 2-1 
x 2-1 = 1 
 Se não houvesse diferença entre os sexos, o esperado é que a distribuição entre vivos 
e mortos seja igualmente distribuídas entre os sexos. Para calcular a tabela de resultados 
esperados vamos distribuir os valores de cada sexo igualmente entre a condição vivo ou 
morto da seguinte maneira: 
Sexo Vivo Morto Total 
Masculino a b 1550 
Feminino c d 1478 
Total 2964 64 3028 
 
 
 
 
 
 
 
= 
 
 
= 
 
 
= 
 
 
= 
 
 
a=1550*2964/3028 = 1517,24 
b=1550*64/3028= 32,76 
c=1478*2964/3028=1446,76 
d=1478*64/3028=31,24 
 
A tabela dos valores esperados fica desta maneira: 
Sexo Vivo Morto Total 
Masculino 1517,24 32,76 1550 
Feminino 1446,76 31,24 1478 
Total 2964 64 3028 
 
 
Calculando o χ2: 
χ2 = Σ(O-E) 
 E 
 
 
 
 
 
 
Montando uma tabela auxiliar para os cálculos temos: 
O E (O-E)2/E 
1513 1517,24 0,011848883 + 
37 32,76 0,548766789 + 
1451 1446,76 0,012426111 + 
27 31,24 0,57546735 = 
χ2 = 1,148509133 
 
 Na tabela o valor para χ2 com α=5% e 1 grau de liberdade é: 3,84, a nossa regra de 
decisão diz que se o valor calculado for menor que o valor da tabela então aceita o H0. 
Como o valor obtido = 1,15 
Portanto não rejeita H0: O=E 
Resposta da questão: 
“Não existe diferença estatisticamente significativa entre os natimortos em relação ao sexo 
para um nível de significância de 5%” 
 
 
São restrições ao uso do teste do χ2: 
 
Aplicar em amostras > 20O que devemos fazer então com amostras menores que 20? Devemos utilizar o teste 
exato de Fisher. Aqui neste texto não vamos explicar o cálculo, porém diversos softwares de 
estatística possibilitam este cálculo. 
 
 
Outros Testes de Hipótese 
 
 Vamos ver rapidamente outros testes de hipótese não vamos nos ater aos cálculos e 
sim na indicação. 
 
 
 
 
Análise de variância 
 Chamamos de Análises de variância (ANOVA), quando comparamos variáveis 
quantitativas de dois ou mais tratamentos, ou seja, vários grupos experimentais. Exemplo: Um 
pesquisador deseja saber se o uso de determinado aditivo altera a função renal. Montou então 
experimento com 4 grupos de ratos onde o grupo A não recebeu o aditivo, o grupo B recebeu 
10mg por dia, o grupo C 15mg por dia e o grupo D 20 mg por dia. A pergunta é: Existe 
diferença na função renal destes grupos? Como todo teste, devemos fixar o nível de 
significância (α) e formular as hipóteses. 
 Existe uma questão importante a se decidir: a amostra se aproxima a uma distribuição 
normal? 
• SIM: Utilizamos uma ANOVA com base na distribuição de F 
• NÃO: Utilizamos uma ANOVA não paramétrico chamada teste de Kruskal-Wallis 
 
Teste para média 
 Já estudamos o teste de t quando testamos a média de duas amostras com 
aproximação normal. Se tivermos a mesma situação, porém, os grupos não possuem 
aproximação normal devemos utilizar o teste não paramétrico de teste Mann Whitney. 
Podemos também, a partir de uma amostra, comparar a média com um parâmetro 
populacional, exemplo: Sabemos que a população tem valor médio de colesterol igual a 180, 
um pesquisador testa uma droga para redução de colesterol, em um grupo testado observou-
se média de 160. O teste adequado para esta situação é o teste de Z. 
 
Teste de proporção 
 Similar ao teste de Z, quando temos parâmetros populacionais para variáveis 
qualitativas e desejamos comparar com amostras em estudo, podemos utilizar o teste para 
uma proporção populacional. Um exemplo de situação é a seguinte: Sabemos que dos 
pacientes com uma determinada doença, 10% vai ao óbito. Um pesquisador deseja testar 
uma droga que promete diminuir a mortalidade. Em 100 pacientes testados 5 vieram a óbito. 
O teste de uma proporção determina se esta diferença é significativa, fizemos este teste no 
início do estudo onde usamos como exemplo a eficácia de uma nova droga. Para este tipo de 
teste utiliza-se uma tabela de distribuição binomial que mostra as probabilidades para vários 
valores de n e de probabilidade. 
 
 
 
 
 
 
Softwares de estatística 
 
 Existem vários softwares livres e pagos que fazem os testes de hipótese. Para utilizá-los 
é necessário um forte embasamento teórico para que o resultado seja fidedigno. 
Segue algumas sugestões: 
• InStat GraphPad 
• PAST 
• EPINFO 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
No link abaixo há um artigo sobre “Leitura crítica dos dados estatísticos em trabalhos 
científicos”. Clique no link para complementar seus conhecimentos sobre a unidade: 
 
 
Clique Aqui: Material Complementar. Artigo! 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Material Complementar 
http://arquivos.cruzeirodosulvirtual.com.br/materiais/disc_2011/2sem_2011/bioesta/un_V/mat_complementar.pdf
http://arquivos.cruzeirodosulvirtual.com.br/materiais/disc_2011/2sem_2011/bioesta/un_V/mat_complementar.pdf�
 
 
 
 
 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
_________________________________________________________________________________ 
 
Anotações

Continue navegando