viabilidade e fiabilidade

Prévia do material em texto

Ancha Matias
Alcídio Mario Luciano
Álvaro Floriano Namuine
Amino Amido Madeira Sucumela
 
 A validade e fiabilidade na avaliacao
 Licenciatura em Psicologia Social e das Organizações
 Disciplina: Psicometria
 
 
 Universidade Púngué
 Extensão de Tete
 2022
	
Ancha Matias
Alcídio Mario Luciano
Álvaro Floriano Namuine
Amino Amido Madeira Sucumela
 
 A validade e fiabilidade na avaliacao
 Licenciatura em Psicologia Social e das Organizações
 Disciplina: Psicometria
 
	Trabalho de Psicometria curso de Licenciatura em Psicologia Social e das Organizações, 1º Grupo 2º ano, a ser entregue no departamento ciências
 Docente: Me. Leonel Bene 
 Universidade Púngué
 Extensão de Tete
 2022
Índice
1.	Introdução	4
2.	Validade e Fiabilidade	5
1.2. Fiabilidade	5
2. Validade de conteúdo	7
2.1. Abordagens para realizar a validade de conteúdo	8
Construção e adaptação cultural de instrumentos de medida	8
2.2.	Avaliação por um comitê de especialistas	9
2.3.	Medidas quantitativas para avaliar validade de conteúdo	9
2.4.	Índice de validade de conteúdo	10
3.	Validade de critério	10
3.1. Relação entre validade de critério	11
4.	Conclusão	13
5.	Referencias Bibliográficas	14
1. Introdução
Este presente trabalho teve por objectivo realizar um estudo sobre validade e fiabilidade na avaliação, fase importante nos processos de construção e adaptação de instrumentos de medida. Verificou-se que existem controvérsias na literatura sobre a terminologia e o conceito da validade de conteúdo. Foram descritos os procedimentos recomendados para realizar a validade de conteúdo durante os processos de construção e de adaptação de instrumentos, particularmente o que pode envolver procedimentos qualitativos e quantitativos. Os diferentes métodos para quantificar o grau de concordância entre os especialistas foram analisados, principalmente o Índice de Validade de Conteúdo. Este estudo descreveu aspectos do processo de realização da validade de conteúdo, um dos procedimentos a serem considerados por pesquisadores e profissionais da área de saúde preocupados em utilizarem medidas e instrumentos confiáveis e apropriados para determinada população.
A validade de conteúdo e a validade de critério, atributos exigidos dos bons testes de escolaridade, não são suficientes para validar um instrumento, pois não se preocupam com a compreensão dos construtos que os testes medem. Consequentemente, impõe-se uma nova abordagem para análise dos instrumentos de medida.
1. Validade e Fiabilidade 
Fiabilidade significa precisão do método de medição e pode ser averiguada através da análise da consistência ou estabilidade desse método. Um método (teste ou instrumento de medida) fiável não deve produzir resultados significativamente diferentes se for repetido sobre o mesmo indivíduo.
 Um teste ou instrumento de medida dizem-se válidos se conseguirem traduzir de forma correcta a grandeza que pretendem medir. Por exemplo o número de anos e meses de vida de uma pessoa constitui uma medida válida da sua idade, o mesmo já não acontece se usarmos a sua estatura para medir a idade. Enquanto a fiabilidade diz respeito `a consistência ou estabilidade de uma medida, a validade diz respeito á sua veracidade.
 Uma medida pode ser muito fiável (precisa) mas pode estar errada e portanto ser inválida. Portanto fiabilidade não implica validade mas é um requisito para avaliar a validade. Ou seja, uma medida para ser válida deve antes de mais ser fiável. Consequentemente devemos primeiro avaliar a fiabilidade dos instrumentos (ou métodos) de medida e só depois avaliar a validade dos mesmos.
 1.2. Fiabilidade 
 Existem diversos factores que influenciam a fiabilidade de um método. Por exemplo, a pessoa sobre a qual se está a efectuar as medições pode ter reacções diferentes de dia para dia. Por outro lado o método pode apenas medir uma parte do fenómeno de interesse e não servir para caracterizar de forma global esse fenómeno. Existem várias formas de averiguar a fiabilidade de um método (teste ou mediação):
· Pode-se repetir exactamente o mesmo teste ou mediação sobre os mesmos indivíduos e comparar os resultados. Este processo é designado por test-retest.
· Podem-se aplicar dois testes ou medições supostamente equivalentes e comparar os resultados.
· Podem-se subdividir os testes ou medições em duas partes equivalentes (nem sempre isto é possível) e examinar a consistência dos resultados nessas duas partes. Este processo é designado por split-half reliability.
 Existem basicamente dois processos para quantificar a fiabilidade de um teste ou medição: 
1. O primeiro consiste em avaliar a variabilidade das medidas após sua repetição No entanto, é raro podermos aplicar o mesmo teste ou medição aos mesmos indivíduos repeti sobre os mesmos indivíduos. A medida de variabilidade mais utilizada é o desvio padrão. Das vezes para podermos obter uma estimativa do desvio padrão. Assim, desenvolveram-se métodos para obter estas estimativas sem ter que se repetir os testes ou medições sobre os mesmos indivíduos; 
2. O segundo e o mais comum consistem no cálculo de coeficientes de fiabilidade a partir de medições repetidas ou de comparações split-half. Tipicamente, com base em dois conjuntos de medidas (ou porque o mesmo teste foi aplicado duas vezes sobre o mesmo indivíduo ou porque o teste foi dividido em duas partes) calcula-se um coeficiente de correlação adequado ao tipo de medidas em causa.
 Uma medida pode então dizer-se fiável se o desvio padrão for reduzido ou se o coeficiente de fiabilidade (correlação) for elevado. Uma forma de fiabilidade que muitas vezes é avaliada é a chamada fiabilidade interobservador (inter observer reliability ou inter-judge reliability). Neste caso pretende-se averiguar se diferentes observadores (avaliadores) ao utilizarem os mesmos métodos de medição (testes ou medições) obtêm resultados consistentes. Trata-se de um caso particular de fiabilidade descrita acima.
 As medidas de associação (correlação) mais utilizadas para medir a fiabilidade de um teste ou medição encontram-se descritas no capítulo da Associação entre variáveis.
 1.2.1.Validade 
A validade de um teste (ou instrumento de medida) não é simples de averiguar na maioria das situações. Duma forma geral podemos dizer que quanto mais directa for a forma de medir o fenómeno em causa mais válido será o método utilizado. Por exemplo, se observarmos o que uma pessoa come durante uma refeição temos uma medida mais válida do seu consumo de calorias do que se lhe perguntarmos a posteriori o que comeu. Para termos medidas válidas é portanto conveniente considerar diferentes métodos de medição e procurar avaliar a sua validade comparativa. Infelizmente, porque é difícil avaliar a validade dos métodos, muitas vezes assume-se a validade até que alguém afirme em contrário.
 Schweigert (1994) distingue três tipos de validade: validade de critério (criterion validity), conceptual (construct validity) e facial (face validity). Note-se no entanto que esta classificação não é única ´ e existem outras formas de categorizar os tipos de validade de um método (ver por exemplo Ventri & Schiavetti (1986).
1. A validade de critério é o grau com que um método de medição se correlacionacom outros métodos já estabelecidos para o mesmo fenómeno. Existem dois tipos de validade de critério: preditiva (predictive validity) e concorrente (concurrent validity). 
1.1. Validade preditiva é o grau com que o resultado de um teste (ou medida) prevê o comportamento futuro do indivíduo. Por exemplo o resultado de um teste a inteligência (IQ) pode predizer o sucesso escolar de uma criança. Se guardarmos os 2 resultados dos testes de inteligência e os correlacionarmos com os resultados escolares obtidos posteriormente podemos ter uma ideia do grau de concordância das duas medidas. Em geral para avaliar a validade preditiva de um método é necessário conduzir um estudo paralelo onde se guardam algumas das medidas do fenómeno a predizer e posteriormente se correlacionam com outras medidas obtidas directamente após a ocorrência do mesmo. Isto requer disponibilidade temporal (há que esperar pela ocorrência do fenómeno) e disponibilidade de unidades experimentais destinadas exclusivamente a este fim. 
1. Validade concorrente é o grau com que um novo método se correlaciona com outro já existente e tido como valido. 
2. A validade conceptual relaciona-se com o método de medição de um conceito (ou fenómeno). Se um método se destina a medir um certo conceito, então ele deve correlacionar-se fortemente com outros métodos existentes para o mesmo conceito. No entanto, se o investigador concluir que o método também se correlaciona com métodos de medição de outros conceitos que não se consideram relacionados com o conceito em causa, então é necessário ter cuidado com o que de facto se está a medir. 
3. Validade facial diz respeito ao grau com um método aparenta medir aquilo que de facto pretende medir. Por exemplo, um exame sobre literatura portuguesa terá uma forte validade facial se for baseado em excertos de literatura portuguesa. Este tipo de validade parece ser o que tem menos importância na investigação científica. Isto acontece porque um método pode ter elevada validade facial e no entanto não possuir nenhum outro tipo de validade ou fiabilidade. Por outro lado, um método pode não ter validade facial e no entanto ser bastante valido e fiável. No que respeita a inquérito, é usual os inquiridos exigirem algum tipo de validade facial sob o risco de não responderem ao inquérito por acharem que não tem nada a ver com a questão em causa
Também encontramos o conceito de validade associado a estudos obrigacionais (em vez de testes ou instrumentos de medida específicos) e nesse caso há que classificar a validade em dois tipos: interna e externa. A validade interna depende da capacidade do estudo realmente responder `as questões propostas inicialmente.
 Ela mede até que ponto os resultados do estudo são o produto das variáveis que foram seleccionadas, observadas e medidas e não o fruto de outras variáveis que não foram tratadas. A validade externa mede até que ponto os resultados obtidos pelo estudo podem ser generalizados para outras situações com outros indivíduo.
2. Validade de conteúdo
Validade do conteúdo (também conhecido como validade lógica) refere-se à extensão em que uma medida representa todas as facetas de um determinado construto. Por exemplo, uma escala de depressão pode não ter validade de conteúdo se apenas avaliar a dimensão afectiva da depressão, mas não levar em consideração a dimensão comportamental. 
Existe um elemento de subjectividade em relação à determinação da validade do conteúdo, o que requer um certo grau de concordância sobre o que um traço de personalidade particular, como a extroversão, representa. Uma discordância sobre um traço de personalidade impedirá o ganho de uma validade de alto conteúdo. 
Para Pilatti, Pedroso e Gutierrez, a validade de conteúdo é o julgamento da proporção em que os itens de um instrumento medem uma construção teórica representada por todas as facetas importantes do conceito medido. Menezes cita que esse termo se refere ao julgamento se o instrumento realmente abrange os diferentes aspectos do seu objecto, e não contém elementos que podem ser atribuídos a outros objectos. 
Para Heynes, a validade de conteúdo de um instrumento avaliativo envolve a validação e, em alguns momentos, a refinação de um constructo, e ela se refere a um traço e não a um estado. Várias são as perspectivas que os autores utilizam para definir a validade de conteúdo. E, de um modo geral, os autores concordam que a validade de conteúdo expressa o grau de relevância dos itens de um teste na representação de todo o universo ou dimensão de conteúdo teórico de um determinado fenómeno investigado. 
A validade de conteúdo é uma avaliação qualitativa usada tanto nos processos de construção de novos instrumentos de medida, quanto nos processos de adaptação cultural de instrumentos de medida preexistentes. Consiste no julgamento subjectivo por um comité de especialistas, que avaliam a proporção na qual os itens de uma medida determinam o mesmo conteúdo e se estes são relevantes e representativos de um determinado constructo.
 2.1. Abordagens para realizar a validade de conteúdo
 Construção e adaptação cultural de instrumentos de medida
 Nessa fase, abordam-se inicialmente os procedimentos recomendados para realizar a validade de conteúdo durante os processos de construção e de adaptação de instrumentos de medida. Para alguns autores, a validade de conteúdo compreende somente a avaliação por um comitê de especialistas. No entanto, pesquisadores têm descrito que a validade de conteúdo é um processo de julgamento sendo composto por duas partes distintas. 
A primeira envolveria o desenvolvimento do instrumento e, posterior a avaliação desse por meio da análise por especialistas. Assim, pode-se considerar que a validade de conteúdo de instrumentos seria também garantida pelo procedimento de elaboração dos mesmos. 
Para avaliar a validade de conteúdo recomenda-se também utilizar procedimentos quantitativos e qualitativos. Para construir a variedade de itens, o pesquisador deve inicialmente definir o constructo de interesse e suas dimensões por meio de pesquisa bibliográfica e consulta a estudiosos da área e a representantes da população de interesse. 
Autores têm defendido que esse estágio de desenvolvimento de instrumentos deve englobar três fases: identificação dos domínios, a formação dos itens e a construção do instrumento. A fase de elaboração de questionários e escalas tem sido objecto de publicações específicas indicando diferentes metodologias. 
Autores sugerem e descrevem etapas e métodos padronizados e sistemáticos que deveriam ser usados durante esse processo com o objectivo de melhorar a qualidade dos instrumentos de medidas. Essas etapas diferem dependendo do que o instrumento quer avaliar. 
Segundo Lynn, para medidas cognitivas deve-se seguir os seguintes passos: identificação da totalidade dos domínios; construção dos itens e por fim, organização desses itens. Ainda pensando no processo de delineamento dos itens, não se pode deixar de mencionar a questão da adaptação cultural de instrumentos de medidas
2.2. Avaliação por um comitê de especialistas 
Alguns autores defendem que o segundo estágio do procedimento da validade de conteúdo consiste na avaliação do instrumento por especialistas. Procura-se abordar esse procedimento no processo de construção de questionários e escalas e durante a realização de uma adaptação cultural. Durante o desenvolvimento de instrumento, um dos pontos discutidos nessa avaliação é o número e a qualificação desses juízes. A literatura apresenta controvérsias sobre esse ponto. 
Lynn recomenda um mínimo de cinco e um máximo de dez pessoas participando desse processo. Outros autores sugerem de seis a vinte sujeitos, sendo composto por um mínimo de três indivíduos em cada grupo de profissionais seleccionado para participar. Nessa decisão, devese levar em conta as características do instrumento, a formação, a qualificação e a disponibilidade dos profissionais necessário.
Em relação à selecção, deve-se levar em consideração a experiência ea qualificação dos membros desse comitê. Recomenda-se, descrever os critérios utilizados nessa selecção. Entre esses critérios, a literatura destaca: ter experiência clínica; publicar e pesquisar sobre o tema; ser perito na estrutura conceitual envolvida e ter conhecimento metodológico sobre a construção de questionários e escalas.
2.3. Medidas quantitativas para avaliar validade de conteúdo
Publicações têm apresentado métodos diferentes para quantificar o grau de concordância entre os especialistas durante o processo de avaliação da validade de conteúdo de um instrumento. Dentre esses, destaca-se: Percentagem de concordância Método empregado para calcular a percentagem de concordância entre os juízes. É a medida mais simples de concordância interbservadores.
As vantagens desse procedimento é proporcionar informações úteis que são facilmente calculadas. No entanto, apresenta limitações que restringem sua utilização. Autores têm usado esse método na fase inicial para auxiliar na determinação dos itens. Ao usar esse método, deve-se considerar como uma taxa aceitável de concordância de 90% entre os membros do comitê.
2.4. Índice de validade de conteúdo
Compreende um método muito utilizado na área de saúde40,41,45. Mede a proporção ou percentagem de juízes que estão em concordância sobre determinados aspectos do instrumento e de seus itens. Permite inicialmente analisar cada item individualmente e depois o instrumento como um todo. Este método emprega uma escala tipo Likert com pontuação de 1 a 4.
Polit e Beck recomendam que os pesquisadores devem descrever como realizaram o cálculo. Esses autores apresentam três formas que podem ser usadas. Uma é definida como a média das proporções dos itens considerados relevantes pelos juízes. A outra é a média dos valores dos itens calculados separadamente, isto é soma-se todos os índices de validade de conteúdo calculados separadamente e divide-se pelo número de itens considerados na avaliação. Finalmente, a última forma seria dividir o “número total de itens considerados como relevantes pelos juízes pelo número total de itens.
3. Validade de critério
A validade de critério é considerada a mais importante das validades estatisticamente determinadas, pois ela se refere à extensão na qual um instrumento demonstra uma associação com um critério ou uma medida externa independente (paralela ou externa), considerada como um padrão-ouro na área de interesse. Portanto, sua ênfase está na predição do teste avaliada por critérios externos com validades confirmadas empiricamente na avaliação do mesmo constructo que se quer medir.
A finalidade da validade de critério está em verificar se o instrumento é capaz de identificar os que são efectivamente melhores para uma determinada actividade. 
Vianna (1989) exemplifica esse tipo de validade, mencionando o caso específico da selecção de candidatos para a Universidade. A expectativa é a de que os de melhor desempenho no instrumento de selecção sejam igualmente os melhores na Universidade, se não houver a interveniência de factores que alterem a natureza dessa associação. 
A validade de critério é também chamada de preditiva ou concorrente e refere-se ao grau de correlação entre os escores de um teste e outras medidas do desempenho (critério) obtidas independentemente ou simultaneamente ao teste. Quando o instrumento e o critério são aplicados simultaneamente, fala-se de validade concorrente; quando o critério é avaliado no futuro, fala-se de validade preditiva.
3.1. Relação entre validade de critério
A validade de conteúdo e a validade de critério, atributos exigidos dos bons testes de escolaridade, não são suficientes para validar um instrumento, pois não se preocupam com a compreensão dos construtos que os testes medem. Consequentemente, impõe-se uma nova abordagem para análise dos instrumentos de medida.
Segundo Fayers e Machin, a validação de critério avalia se a medida investigada possui relação empírica com critérios externos, comprovadamente validados, que avaliam o mesmo constructo. Collares, Grec e Machado acrescenta que as evidências de validade de critério são obtidas por meio da comparação entre o instrumento investigado e um outro instrumento (critério externo) que possui o mesmo fim, mas que já possui evidências comprovadas de sua validade. 
Segundo Lamprea e Goméz Restrepo, a selecção do critério externo ou padrão-ouro pode ser tanto um instrumento de medida consagrado ou até mesmo uma variável clínica, a exemplo de resultados de exames anatomopatológicos (biópsias). 
Silva e Ribeiro Filho citam que o critério pode ser qualquer desempenho adequado e escalonado que seja válido, relevante e não contaminado, tais como desempenho em uma prova, sucesso de uma terapia, escore de um teste etc. De qualquer modo, o pesquisador precisa se atentar para a selecção de um critério externo adequado, sobretudo quando se tem o intuito de validar um novo instrumento de medida. 
Além de apresentar boa correlação com o instrumento estudado, são necessários outros atributos favoráveis ao critério externo, tais como boa aceitabilidade e aplicabilidade para uso clínico, menor custo, menor risco para o paciente, não envolver a realização de procedimentos invasivos e ter maior simplicidade de avaliação. 
A verificação estatística da validade de critério ocorre mediante comprovação da associação existente entre a medida investigada e o seu critério externo. Há duas variantes desse tipo de validade, a validade concorrente e a validade preditiva, as quais diferem entre si apenas por um critério temporal de avaliação da predição. 
Desse modo, quando a medida de investigação e o critério são aplicados simultaneamente, e objectiva obter respostas imediatas e a tomada de decisões, fala-se em validade concorrente; ou quando o critério é avaliado no futuro e visa obter predições em relação a algum factor, fala-se em validade preditiva.
Em relação à validade de critério preditiva, Urbina ressalta a utilidade desse tipo de validade para tomada de decisões baseada nas estimativas dos níveis de desempenho ou resultados comportamentais futuros. Segundo essa autora, os procedimentos de validação preditiva requerem que sejam colectados dados sobre a variável preditora e que aguardem até que os dados de critério se tornem disponíveis para que os dois conjuntos de dados possam ser correlacionados. 
Silva e Ribeiro Filho referem que os escores são usados para predizer comportamentos ou desempenho em um critério predeterminado. Os escores podem ser obtidos em um momento, e as medidas do critério obtidas um tempo depois e, usualmente, após alguma estratégia interveniente ter sido implementada (exemplo, treinamento, medicação.). 
Dessa forma, as medidas da relação entre os escores do teste e o do critério, obtidos um tempo depois, fornecem um indicativo prognóstico e de validade preditiva do instrumento.
A validade de critério é considerada a mais importante das validades determinadas estatisticamente. Ela avalia o grau com que o instrumento de investigação discrimina indivíduos com diferentes características de acordo com um critério padrão. 
No entanto, Pasquali questiona toda essa importância desse tipo de validade. Segundo o autor, essa validade só faz sentido se existirem testes comprovadamente válidos que possam servir de critério contra o qual se quer validar um novo teste e que este novo teste tenha vantagens sobre o antigo. 
Assim, o questionamento do autor está no fato de, por que validar um novo teste utilizando-se de uma medida como padrão-ouro, supostamente considerada como sendo inferior. Diante disso, esse autor considera que, para a validação psicométrica de instrumentos, a avaliação da validade de constructo seja superior à validade de critério. Por outro lado, Cook e Beckman consideram que todos os outros tipos de validades são variações da validade de constructo e representam diferentes categorias reunidas que evidenciam a validade de constructo.
4. Conclusão
Este estudo descreve aspectos do processo de realização da validade e fiabilidadena avaliação, uma fase importante do desenvolvimento e adaptação de questionários e escalas. Ressalta-se que esse é somente o início de um processo que deve englobar também outras medidas para avaliar outros tipos de validade e a confiabilidade. Compreender esses procedimentos é essencial para pesquisadores e profissionais da área de saúde preocupados em utilizar cada vez mais medidas e instrumentos confiáveis e apropriados para determinada população. Constata-se que as validades convergentes, discriminante, de conteúdo e de construto foram os critérios de validades mais empregados nos trabalhos pesquisados, o que indica o maior emprego das validações de construto (abrangendo convergente e descriminante) e de conteúdo. Outra distinção entre pesquisas qualitativas e quantitativas identificada foi que os estudos quantitativos apresentaram maior preocupação com os procedimentos de validação dos instrumentos utilizados do que as pesquisa qualitativas ou mistas. Nesse sentido, ressaltase a importância de as pesquisas destacarem a concepção e critérios de validade adotados. A partir do apresentado, conclui-se que, na área de estratégia, são realizadas pesquisas preocupadas com a validação, mas que esse número é restrito diante do número de artigos.
5. Referencias Bibliográficas
Fayers PM, Machin D. Quality of life. Assessment, analysis, and interpretation. The assessment, analysis, and interpretation of patient-reported outcomes. 2nd ed. Chichester: John Wiley & Sons; 2007.
Lynn MR. Determination and quantification of content validity. Nursing Research. 1986;35(6):381-5. 
Lamprea JA, Gómez-Restrepo C. Validez en la evaluación de escalas. Rev Colombiana Psiquiatr. 2007;36(2):340-8
Marks, R. (1994) Designing a Research Project: the art of doing Science, unpublished (Prof. Ana Mendes). 
Pasquali L. Psicometria. Rev da Esc de Enfermagem da USP. 2009a;43(especial):992-9.
Pasquali, L. Psicometria: Teoria dos testes na psicologia e na educação. 3ª ed. Petrópolis: Vozes; 2009 
Pilatti LA, Pedroso B, Gutierrez GL. Propriedades psicométricas de instrumentos de avaliação: um debate necessário. R.B.E.C.T. 2010;3(1):81-91.
Polit, DF, Beck CT. Essentials of nursing research: appraising evidence for nursing practice. 7th ed. Philadelphia: Wolters Kluwer; 2010.
Silva JA, Ribeiro-Filho NP. Avaliação e mensuração da dor. Pesquisa, teoria e prática. Ribeirão Preto: FUNPEC; 2006. 
Schweigert, W. (1994) Research methods and statistics for psychology, Brooks/Cole Publishing Company. 
Schavelson, R. (1988) Statistical Reasoning for the Behavioral Sciences, Allyn and Bacon.
Urbina S. Fundamentos de testagem psicológica. Porto Alegre: Artmed; 2007
VIANNA, H.M. Introdução à avaliação educacional. São Paulo: IBRASA, 1989.
Ventri, I. & Schiavetti, N. (1986) Evaluating Research in Speech Pathology and Audiology, Macmillan.