Texto 4 ANDERSON e MORGAN   Desenvolvimento de testes e questionários para avaliação de desempenho (1)
31 pág.

Texto 4 ANDERSON e MORGAN Desenvolvimento de testes e questionários para avaliação de desempenho (1)

Disciplina:Produção de Questionário22 materiais
Pré-visualização7 páginas
P A R T E

II CONSTRUÇÃO DE QUESTIONÁRIOS

C A P Í T U L O

8 DESENHO DE QUESTIONÁRIOS

Um questionário é um conjunto de itens de-senhados para obter informações sobre uma pessoa. O tipo de informação pode variar
amplamente e incluir dados sobre características pessoais; qualificações
e práticas de trabalho; condições de trabalho e recursos; ou fatores so-
cioeconômicos e contextuais de uma pessoa, bem como suas atitudes,
crenças ou opiniões a respeito de certas questões.

Uma avaliação nacional busca obter uma estimativa confiável do apro-
veitamento dos alunos (medido num teste especialmente concebido para
isso) e informações (obtidas com um questionário) sobre variáveis-chave
associadas a diferenças no aproveitamento. Os testes coletam informação
sobre o desempenho dos alunos, e os questionários – quando usados junto
com os testes – coletam dados sobre variáveis que poderiam estar associa-
das a diferenças nos níveis de desempenho dos alunos ou ajudar a explicá-
-las. Por exemplo, os dados do questionário podem sugerir que escolas
que não têm bibliotecas estão associadas ao baixo desempenho dos alunos
ou que escolas em que os professores participam regularmente de progra-
mas de desenvolvimento profissional estão associadas ao alto desempenho
dos alunos. Esses dados sugerem formas úteis de redirecionar os recursos
educacionais para aprimorar o aprendizado dos alunos.

110 | SÉRIE PESQUISAS DO BANCO MUNDIAL SOBRE AVALIAÇÕES DE DESEMPENHO EDUCACIONAL

Um bom questionário coleta dados sobre variáveis para as quais os
formuladores de políticas desejam ter informações acuradas, variáveis
sobre as quais têm a possibilidade de atuar e que pretendem influenciar,
bem como variáveis que, segundo as evidências de pesquisas, podem
afetar o aproveitamento dos alunos.

Um erro comum que se comete durante o desenho de questioná-
rios é coletar um excesso de informações. Em geral, os formuladores
de políticas estão interessados apenas em informações sobre algumas
variáveis-chave. Além disso, mesmo quando possam existir boas ra-
zões científicas para se coletarem certos tipos de dados, considerações
sobre as consequências políticas e sociais de se coletar o dado pode-
riam indicar que uma avaliação nacional não é o mecanismo mais
adequado para fazê-lo.

Com frequência, as informações podem ser coletadas de outras fon-
tes, sem necessidade de usar questionários, em países que mantêm regis-
tros acurados e confiáveis de características das escolas, dos professores e
dos alunos. Vale a pena descobrir se os registros governamentais são uma
fonte útil de informação, porque o acesso a esses registros pode ser mais
barato e mais fácil que a aplicação de questionários.

O desenho do questionário deve descrever claramente os tipos de
dados que serão coletados, como serão analisados e apresentados e como
as constatações poderiam contribuir para melhorar a educação. Os prin-
cipais passos no desenho de um questionário são os seguintes:

Decidir qual o objetivo de um questionário e como os dados serão ��
usados.
Desenvolver uma tabela de especificações que especifique os respon-��
dentes, as áreas principais, os tipos de itens, os protocolos de codifi-
cação ou pontuação e o protocolo de aplicação (a ser completado por
um entrevistador ou autoaplicado).
Escrever os itens, usando grupos (ou painéis) de indivíduos expe-��
rientes para rever e refinar os itens, e diagramar o formulário de
modo que os respondentes possam usá-lo sem dificuldade, e que as
pessoas que farão a entrada dos dados possam processar os dados
com eficiência.

DESENVOLVIMENTO DE TESTES E QUESTIONÁRIOS PARA AVALIAÇÃO DO APROVEITAMENTO ESCOLAR | 111

Especificar um plano de análise de dados para processar a informa-��
ção coletada e criar variáveis e indicadores para a análise estatística
subsequente.
Fazer o pré-teste dos questionários para estabelecer a adequação de ��
itens e de categorias de respostas.
Analisar os dados do pré-teste do questionário, refinar os questioná-��
rios e produzir os questionários finais para aplicação.

A Tabela 8.1 oferece detalhes sobre os passos para o desenvolvimento
de um questionário e sobre as pessoas envolvidas.

Os questionários e as instruções para sua aplicação devem ser pre-
parados e pré-testados simultaneamente aos testes. Assim, as tabelas
de especificações dos questionários devem ser desenvolvidas ao mesmo
tempo em que as tabelas de especificações do teste e os questionários
devem ser escritos e submetidos a um painel, e os itens do teste estão
sendo escritos e submetidos a um painel.

CONTEÚDO DO QUESTIONÁRIO

Um questionário deve colher informações sobre variáveis-chave que po-
deriam ajudar a explicar diferenças no desempenho de alunos num teste
de aproveitamento. No entanto, há um número infindável de variáveis
interligadas que podem afetar o desempenho dos alunos. Um questioná-
rio pode focalizar apenas algumas delas.

Os formuladores de políticas em geral querem informações sobre
variáveis associadas a importantes questões da educação em seu país,
como idioma de instrução, disparidades na distribuição de recursos edu-
cacionais ou atitudes relativas à educação de meninas. Possivelmente,
os formuladores de políticas não saberão quais variáveis investigar. Eles
podem fornecer uma longa lista de variáveis obtidas de sua experiência
pessoal e de observações ou que considerem que “teriam” de estar num
questionário. Essa lista precisa ser reduzida a alguns tópicos bem foca-
lizados que tenham possibilidade de ser úteis para modelar o conteúdo
do questionário.

TA
B

E
LA

 8
.1

C
o

m
p

o
ne

nt
es

 d
o

 D
es

en
vo

lv
im

en
to

 d
e

Q
ue

st
io

ná
ri

o

C
o

m
p

o
ne

nt
e

D
es

cr
iç

ão
P

es
so

as
 e

nv
o

lv
id

as

1.
 O

b
je

tiv
o

Es
cl

ar
ec

er
 o

 o
b

je
tiv

o
e

o
us

o
p

ot
en

ci
al

 d
os

 d
ad

os
 d

o
q

ue
st

io
ná

rio
.

Fo
rm

ul
ad

or
es

 d
e

p
ol

íti
ca

s,
 p

rin
ci

p
ai

s
in

te
re

ss
ad

os
 e

 g
er

en
te

d

e
d

es
en

vo
lv

im
en

to
 d

e
te

st
es

.

2.
 T

ab
el

a
d

e
es

p
ec

ifi
ca

çõ
es

D
es

en
ha

r
a

ta
b

el
a

d
e

es
p

ec
ifi

ca
çõ

es
 d

o
q

ue
st

io
ná

rio
 p

ar
a

es
p

ec
ifi

ca
r

re
sp

on
d

en
te

s,
 á

re
as

 p
rin

ci
p

ai
s,

 t
ip

os
 d

e
ite

ns
,

co
d

ifi
ca

çã
o

e
p

ro
to

co
lo

 d
e

ap
lic

aç
ão

.

G
er

en
te

 d
e

d
es

en
vo

lv
im

en
to

 d
e

te
st

es
, e

sp
ec

ia
lis

ta
s

na
s

d
is

ci
p

lin
as

, a
na

lis
ta

 d
e

d
ad

os
, e

la
b

or
ad

or
es

 d
e

ite
ns

ex

p
er

ie
nt

es
, p

ro
fe

ss
or

es
 e

xp
er

ie
nt

es
, f

or
m

ul
ad

or
es

 d
e

p
ol

íti
ca

s
e

p
rin

ci
p

ai
s

in
te

re
ss

ad
os

.

3.
 It

en
s

A
no

ta
r

os
 it

en
s

d
o

q
ue

st
io

ná
rio

.
G

er
en

te
 d

e
d

es
en

vo
lv

im
en

to
 d

e
te

st
e

e
el

ab
or

ad
or

es
 d

e
ite

ns
.

A
um

en
ta

r a
 c

la
re

za
 e

 a
 u

til
id

ad
e

em
 p

ai
né

is
 d

e
qu

es
tio

ná
rio

.
G

er
en

te
 d

e
de

se
nv

ol
vi

m
en

to
 d

e
te

st
es

 e
 e

la
bo

ra
do

re
s

de
 it

en
s.

Re
vi

sa
r

os
 q

ue
st

io
ná

rio
s.

G
er

en
te

 d
e

d
es

en
vo

lv