Validação de testes

Prévia do material em texto

Validação de 
testes
Profa. Thais
 Avaliação da qualidade de testes 
diagnósticos 
 Para a epidemiologia, “testes 
diagnósticos” não se referem apenas a 
exames laboratoriais
 Interrogatório clínico;
 Exame físico;
 Métodos propedêuticos
• Avaliação semiológica
• Conjunto de técnicas utilizadas para a elaboração de uma base a partir da qual o médico se 
orienta para chegar a um diagnóstico, sem o uso de procedimentos diagnósticos específicos
 A validação tem como objetivo:
 Saber quanto um teste é capaz de 
identificar corretamente os doentes
 Quanto o teste exclui os não doentes
Todo teste precisa de
VALIDADE
REPRODUTIBILIDADE
Reprodutibilidade
 Ou repetibilidade
 Habilidade em produzir resultados
consistentes quando realizados
independentemente sob as mesmas
condições
Mesmo diagnóstico  reprodutibilidade alcançada
Igualmente corretos ou errados
Reprodutibilidade
 Resultados reproduzíveis podem estar
errados
 Ex.: Variabilidade intra-observador
 Ex.: Calibração de equipamentos
errada resulta em resultados
consistentemente errados
Validade
 Ou acurácia
 Informa quanto, em termos quantitativos 
ou qualitativos, um teste é útil para 
diagnosticar um evento
Qual técnica é mais confiável para diagnosticar uma alteração
cardiovascular?
Valores não se 
repetem
Média dos valores
próxima ao valor 
verdadeiro
Teste válido, 
porém pouco útil
Valores se repetem
Valores distantes do 
valor verdadeiro
(errados)
Teste inválido
 Melhores resultados de reprodutibilidade
são alcançados em laboratórios
 Pesquisas clínicas e epidemiológicas
possuem nível mais baixo de 
reprodutibilidade pela subjetividade
inerente
Reprodutibilidade
Reprodutibilidade
 Tabulação dos resultados:
 Variável dicotômicas (positivo/negativo)
 Categóricas (normal/anormal/nível limítrofe)
 Medidas contínuas (miligramas/mililitros)
 Títulos de anticorpos (1:100/1:200…)
 Aplicação do índice Kappa
Avaliação da reprodutibilidade
Índice Kappa (k)
 Indica se um teste é confiável quando por 
várias vezes repetido obtém-se o mesmo 
resultado
 Intensidade da concordância entre dois ou 
mais testes de diagnóstico
 A medida Kappa é baseada no número de 
respostas concordantes interobservadores
Avaliação da reprodutibilidade
Índice Kappa (k)
K = Po - Pe
1 – Pe
 Po = Proporção de concordâncias observadas 
 Pe = Proporção de concordâncias esperadas 
 Varia de -1 (completo desacordo) a 1 (concordância
total)
Índice Kappa (k)
Kappa = 0
significa
concordância
nula
 Resultados concordantes: 106 (18 + 88)
 Resultados discordantes: 14 (2+ 12)
 Taxa geral de concordância: 106/120 = 88,3%
Exemplo
K= Po – Pe/1-Pe
K = (a+d/N) – [(a+b)(a+c)]+[(c+d)(b+d)]/N2
1 - [(a+b)(a+c)]+[(c+d)(b+d)]/N2
K=(106/120) – (30x20)+(90x100)/1202
1 – (600+9000)/14400
K = 0,8833 – 0,6666
1 – 0,6666
K= 0,6499 ou 65%
Exemplo
Frequência observada
Frequência esperada
16
8
6
17 5 8 30
Po = 14 + 3 + 5 / 30
Po = 22/30
Frequência esperada
9,066 16
1,333 8
1,6 6
17 5 8 30
16/30 x 17/30  16x17/30 = 9,066
8/30 x 5/30  8x5/30 = 1,333
6/30x8/30  6*8/30 = 1,6
9,066 + 1,333 + 1,6 = 11,999
Pe = 11,99/30
Frequência esperada
9,066 16
1,333 8
1,6 6
17 5 8 30
16/30 x 17/30  16x17/30 = 9,066
8/30 x 5/30  8x5/30 = 1,333
6/30x8/30  6*8/30 = 1,6
9,066 + 1,333 + 1,6 = 11,999  12
Pe = 12/30
K=(Po-Pe)/(1-Pe)
K=(22/30 – 12/30) / (1-12/30)
K= 0,333/0,6
K=0,555
Frequência observada
K=(Po-Pe)/(1-Pe)
K=(22/30 – 12/30) / (1-12/30)
K= 0,333/1-0,4
K=0,555
Avaliação da reprodutibilidade
Índice Kappa (k)
 Quanto menos variáveis, maior a concordância
 ↓ prevalência do evento → associada à ↓
reprodutibilidade, que altera o k pois este índice
depende da concordância ao acaso
 As avaliações precisam ser independentes, ou
seja, os resultados de um exame/examinador
devem ser ignorados para evitar a influência e 
prejudicar a avaliação
Validade
 Determina-se pela comparação com um 
teste padrão ouro
 Se um teste é julgado válido, serve como
outra forma de diagnóstico de referência
 O teste ideal fornece a resposta correta, 
ou seja, indivíduos doentes são positivos e 
não doentes, negativos
Para que serve a validação?
 Definir as características de um teste 
diagnóstico (p.ex.: bom ou ruim)
 Auxiliar nos estudos epidemiológicos: 
 Auxiliar na decisão do melhor diagnóstico 
e terapêutica baseado em evidências;
 Auxilia na leitura crítica de artigos 
científicos;
Validade
 Para validar um teste utiliza-se:
 SENSIBILIDADE
 ESPECIFICIDADE
Como validar um teste?
 Primeiramente: construir uma Tabela 2 X 2
 Expressa os resultados de um estudo de 
validação
 Mostra a relação entre o resultado de um 
teste diagnóstico/rastreamento e a 
ocorrência da doença
Tabela 2x2
Doentes (A + C) Não doentes (B + D)
Testes positivos
(A + B)
A
(verdadeiro
positivo)
B
(falso positivo)
Testes negativos
(C + D)
C
(falso negativo)
D
(verdadeiro negativo)
Validação
 A partir da tabela pronta, emprega-se os
conceitos de:
 Sensibilidade
 Especificidade
Sensibilidade
 Taxa de verdadeiros positivos
 Indica a capacidade de um teste 
detectar corretamente os doentes
 Cálculo: A/(A + C)
Doentes (A + C) Não doentes (B + D)
Testes positivos
(A + B)
A
(verdadeiro positivo)
B
(falso positivo)
Testes negativos
(C + D)
C
(falso negativo)
D
(verdadeiro negativo)
Especificidade
 Taxa de verdadeiros negativos
 Indica a capacidade de um teste excluir 
corretamente as pessoas sem a 
doença/condição, ou seja, de 
diagnosticar corretamente os indivíduos 
sadios
 Cálculo: D/(B + D)
Doentes (A + C) Não doentes (B + D)
Testes positivos
(A + B)
A
(verdadeiro positivo)
B
(falso positivo)
Testes negativos
(C + D)
C
(falso negativo)
D
(verdadeiro negativo)
Definição do ponto de corte
para amostras positivas
 A definição do ponto de corte deve levar
em consideração:
 Importância relativa da sensibilidade e 
especificidade, ponderando implicações
de erros nestes dois parâmetros
 Ex.: Em casos de procedimentos de risco os
falso-positivos devem ser evitados, assim o 
teste deve ser mais específico
Definição do ponto de corte
para amostras positivas
 Ex.: Em bancos de sangue os resultados
devem ser livres de risco para prevenir
disseminação de infecções, portanto
resultados falso-negativos devem ser
evitados, assim o objetivo é alcançar um 
teste com 100% de sensibilidade
 Neste caso, os falso-positivos não possuem a 
mesma relevância que os falso-negativos
Definição do ponto de corte
para amostras positivas
 Utilizar testes em paralelo para aumentar
a sensibilidade
Amostra 1 2 3 4
Teste 1 - + - +
Teste 2 - + + -
Resultado - + + +
Exercício de sensibilidade e 
especificidade
[2] Um teste com sensibilidade de 99,9% e 
especificidade de 99% é utilizado para 
rastreamento de uma população cuja 
prevalência da doença é 1%. A proporção de 
positivos entre os que têm a doença é de, 
aproximadamente:
 a. 10%
b. 50%
 c. 90%
 d. 99%
 e. 99,9%
Acurácia
 Também chamada de classificação 
correta
 Avalia a proporçãode todos os testes 
corretos (verdadeiros positivos e 
verdadeiros negativos), sobre todos os 
resultados obtidos
 Cálculo: (A + D)/(A + B + C + D)
Doentes (A + C) Não doentes (B + D)
Testespositivos
(A + B)
A
(verdadeiro positivo)
B
(falso positivo)
Testes negativos
(C + D)
C
(falso negativo)
D
(verdadeiro negativo)
Classificação incorreta
 Avalia a proporção de todos os testes 
incorretos (falsos positivos e negativos), 
sobre todos os resultados obtidos
 Cálculo: (B + C)/(A + B + C + D)
Doentes (A + C) Não doentes (B + D)
Testes positivos
(A + B)
A
(verdadeiro positivo)
B
(falso positivo)
Testes negativos
(C + D)
C
(falso negativo)
D
(verdadeiro negativo)
Valor preditivo
 Após o resultado positivo (ou negativo)
de um teste, é possível saber qual a
probabilidade do indivíduo ser realmente
doente (ou sadio) pelo valor preditivo
 É determinado pela sensibilidade,
especificidade e prevalência
Valor preditivo positivo (VPP)
 Indica qual a probabilidade de uma 
pessoa com teste positivo realmente 
tenha a condição
 Cálculo: = A / ( A + B)
Doentes (A + C) Não doentes (B + D)
Testes positivos
(A + B)
A
(verdadeiro positivo)
B
(falso positivo)
Testes negativos
(C + D)
C
(falso negativo)
D
(verdadeiro negativo)
Valor preditivo negativo (VPN)
 Indica qual a probabilidade de uma 
pessoa com teste negativo realmente 
não tenha a condição
 Cálculo: D/(C + D)
Doentes (A + C) Não doentes (B + D)
Testes positivos
(A + B)
A
(verdadeiro positivo)
B
(falso positivo)
Testes negativos
(C + D)
C
(falso negativo)
D
(verdadeiro negativo)
Valor preditivo
O valor preditivo depende da prevalência
↑ PREVALÊNCIA ↑↑ VPP ↓ VPN
Em doenças raras, VPP baixo
pois a maior parte dos 
resultados positivos são de 
sadios
Em doenças raras, VPN alto 
pois a maior parte dos 
resultados é negativo e são
de pacientes sadios
Teste ideal
Doente
Sadio
Teste negativo
Teste positivo
Falso negativos
Falso positivos
VPP = 100%
VPN = 100%
Testes em série ou paralelo reduz falso-positivos
e falso-negativos
Auxilia a definir o resultado positivo
Para ↓ falso-positivo: fazer dois testes para 
confirmar o resultado
Ex.: teste de tuberculose
Considera positivos somente os
verdadeiramente infectados
Valor preditivo
Para ↓ falso-negativo: o resultado positivo em
apenas um teste já é considerado
Para ser considerado negativo, dois testes 
precisam ser negativos
Exercício de VPP e VPN
[3] A prevalência de uma doença é 
40%.Um teste tem sensibilidade de 75% e 
especificidade de 67%. VPP e VPN são:
a) 60%; 80%
b) 99%; 65%
c) 75%; 67%
d) 17%; 80%
Doentes Não doentes TOTAL
Positivos Sensibilidade
(75%x40 = 30)
Negativo
s
Especificidade
(67%x60=40,2)
TOTAL Prevalência
(40%x100 = 
40)
100 (nº
hipotético)
Exercício de VPP e VPN
[3] A prevalência de uma doença é 
40%.Um teste tem sensibilidade de 75% e 
especificidade de 67%. VPP e VPN são:
a) 60%; 80%
b) 99%; 65%
c) 75%; 67%
d) 17%; 80%
Doentes Não doentes TOTAL
Positivos A Sensibilidade
(75%x40 = 30)
B
60 – 40 = 20
30+20=50
Negativos C
40 – 30 = 10
D
Especificidade
(67%x60=40,2)
10+40=50
Prevalência
(40%x100 = 
40)
100 – 40 = 60 100 (nº
hipotético)
VPP=A/(A+B)  30/50=60%
VPN=D/(C+D)  40/50=80%TOTAL
Viéses
 Viés é um erro sistemático que ocorre em
uma análise
Erro aleatório
 Existem erros que ocorrem ao acaso
 Ocorre porque a população é pequena
 O erro aleatório é avaliado pelo cálculo
do intervalo de confiança (espectro de 
variação) para sensibilidade e 
especificidade
Erro sistemático
 São os viéses de amostragem, de medida
do teste e de relato dos resultados
 É um erro que continua mesmo
aumentando o número de 
indivíduos/amostras testados
Viés de amostragem
 Viés de seleção
 Ocorre quando a amostra não é representativa
da população
 Ocorre quando recruta ou exclui amostras
 Sensibilidade superestimada quando:
 Inclui muitos indivíduos com forma grave da 
doença que possuem resultados anormais
Viés de amostragem
 Especificidade superestimada quando:
 Seleciona indivíduos sem a doença como
voluntários
 Diminui os casos de indivíduos sem a doença
porém positivos
 Assim, terão mais resultados verdadeiramente
negativos
Viés de amostragem
 Evitar o viés:
 Selecionar amostras de população
semelhante a qual o teste será utilizado
Viés de amostragem
 Erro devido a diferenças 
nas características dos 
selecionados e dos não 
selecionados
 Erro é consequência de 
não se conseguir 
assegurar que todos de 
uma população de 
referência tenham uma 
probabilidade conhecida 
de serem selecionados 
para a amostra
Viés de mensuração
 Evitar vícios de interpretação
 O investigador não deve conhecer os
indivíduos doentes nem as amostras
Viés de publicação
 Viés de informação
 Dados obtidos de forma inadequada
 Classificação errada das amostras em
grupos
 Costuma-se publicar apenas testes que 
tiveram sucesso
 Número suficiente de indivíduos para que 
os resultados tenham credibilidade
Razão de Verossimilhança para 
teste positivo (likelihood ratio)
 Indica qual é a probabilidade de 
encontrarmos um teste positivo em uma 
pessoa com a doença, comparado a 
uma pessoa sem a doença
 Cálculo: sensibilidade/(1 – especificidade) 
Sensibilidade: A/A+C
1 - Especificidade: D/ B+D
A__
_____A+C______
1 - D___ 
B+D
Princípios para avaliar um 
teste
 Princípio da aleatorização e 
mascaramento
 Indivíduos escolhidos de forma aleatória
 Comparação da aplicação dos dois testes 
nos mesmos indivíduos e amostras
 Prática clínica vigente
 Aplicar o teste nas condições normais da 
clínica
 Um teste não pode distinguir somente
casos extremos, e deixar passar portadores
inaparentes
Roteiro para avaliar a validade de um teste
1 – Necessidade do teste
Vantagens, benefícios, custos
2 – Critério de amostragem
De onde virá a população de referência e população de estudo
3 – Descrever o teste e o padrão de referência
Produtos utilizados, etapas de processamento e interpretação dos dados
4 – Descrever os procedimentos para a aplicação do teste e do padrão
de referência
Aplicação mascarada e codificação das amostras
5 – Calcular tamanho da amostra
Número mínimo para obter 95% IC para sensibilidade e especificidade
6 – Esclarecer questões éticas
Riscos e confidencialidade
7 – Analisar os dados 
Sensibilidade, especificidade, VPP, VPN, IC95%
Planejar sempre! Bons estudos!
 http://aps.bvs.br/apps/calculadoras/?page=
1
 https://posstrictosensu.iptsp.ufg.br/up/59/o/M
odulo2-Avaliacaodetestesdiagnosticos.pdf
 http://pt.slideshare.net/SandraLagoMoraes/v
alidao-de-testes-diagnsticos-aula-9
 http://pt.slideshare.net/labimuno/criterios-de-
validacao
 http://www.misodor.com/VALIDTESTDIA.html
 http://www.lee.dante.br/pesquisa/kappa/