Estudos de validade entre instrumentos que avaliam habilidades linguísticas

Prévia do material em texto

305305305305305
ESTU
D
O
S D
E VA
LID
A
D
E
Estudos de Psicologia I Campinas I 27(3) I 305-314 I julho - setembro 2010
Estudos de validade entre instrumentos
que avaliam habilidades linguísticas
Studies of validity between instruments to
evaluate reading and writing abilities
Neide de Brito CUNHA1
Acácia Aparecida Angeli dos SANTOS2
Resumo
Medidas de construtos psicológicos tornam-se mais eficazes à medida que acumulam mais evidências de validade. Nessa
perspectiva, este estudo teve por objetivo buscar evidências de validade convergente entre a Escala de Avaliação de Dificulda-
des na Aprendizagem da Escrita, a Escala de Reconhecimento de Palavras e o Teste de Cloze. Foram averiguadas as habilidades
linguísticas e investigada a variável série para buscar derivar evidências de validade de critério. Participaram 266 crianças, entre
8 e 13 anos de idade, de ambos os sexos, de terceiras e quartas séries do ensino fundamental de escolas públicas, particulares e
do Sesi, do interior de São Paulo. Os resultados permitiram encontrar evidência de validade de critério pela série somente no
Reconhecimento de Palavras. A análise da correlação entre as médias do Reconhecimento de Palavras e o Cloze, pelas categorias
do Escala de Avaliação de Dificuldades na Aprendizagem da Escrita, também indicou índices altamente significativos, permitin-
do encontrar evidência de validade convergente entre os instrumentos.
Unitermos: Compreensão da leitura. Escrita. Distúrbios de aprendizagem. Psicometria. Teste de Cloze.
Abstract
The aim of this study was to search for evidence of convergent validity between Evaluation Scale of Difficulties in Learning to Write, the Word
Recognition Scale and the Cloze Test. Linguistic abilities were assessed using these specific instruments and other variables were also investigated,
from the school grade to the recognition of evidence of criterion validity. In addition, the quality of children´s mistakes with regard to the Cloze
test was analyzed according to the Evaluation Scale of Difficulties in Learning to Write, which classified the children into groups with and
without learning difficulties. The sample was composed of 266 elementary school children in public, private and Social Service for Industry
schools in São Paulo. The results only permitted us to find evidence of criterion validity with Word Recognition at the grade level. The analysis
of correlation between the means of Word Recognition and the Cloze test, using the Evaluation Scale of Difficulties in Learning to Write
categories, also indicated significant differences, suggesting convergent validity amongst the instruments.
Uniterms: Reading comprehension. Handwriting. Learning disabilities. Psychometrics. Cloze Testing.
11111 Universidade São Francisco, Curso de Psicologia. Itatiba, SP, Brasil.
22222 Universidade São Francisco, Programa de Pós-Graduação em Psicologia. R. Alexandre Rodrigues Barbosa, 45, 13251-040, Itatiba, SP, Brasil. Correspondência
para/Correspondence to: A.A.A. SANTOS. E-mail: <acacia.santos@saofrancisco.edu.br>.
▼ ▼ ▼ ▼ ▼
Um teste é um procedimento sistemático para
comparar o comportamento de duas ou mais pessoas.
A invenção dos testes psicológicos ocorreu no meio do
século XIX, quando a ênfase dos psicólogos era dada ao
estudo exaustivo dos fenômenos mentais em poucos
participantes. Posteriormente, houve um avanço dos
306306306306306
N
.B. C
U
N
H
A
 & A
.A
.A
. SA
N
TO
S
Estudos de Psicologia I Campinas I 27(3) I 305-314 I julho - setembro 2010
conceitos estatísticos, que começaram a sustentar que
os erros de mensuração poderiam ser cancelados com
o efeito massivo de grandes amostras. A tecnologia
também avançou na aplicação dos testes com o advento
do computador. A psicometria passou a ser um ramo
da ciência estatística e a administração, a contagem e a
interpretação dos testes foram objetivamente incre-
mentadas e automatizadas (Cronbach, 1960; Goldstein
& Hersen, 2000).
De acordo com Ramsay e Reynolds (2000), o
desenvolvimento de um teste científico demanda
perseverança e rigor, visto que ele tem que emergir da
literatura científica da área de interesse e estar apoiado
em sólida fundamentação teórica. Além disso, ele tem
que ser submetido a um processo exaustivo de desen-
volvimento e validação para assegurar que pode alcan-
çar o objetivo a que se destina. Os usuários dos testes
devem compará-los com outras medidas existentes para
determinar seu mérito relativo.
Os psicólogos e outros profissionais recolhem
amostras de conduta porque a partir delas podem fazer
inferências fundadas sobre a conduta e funcionamento
cognitivo das pessoas avaliadas. A primeira condição
para que um teste sirva de base para realizar inferências
de interesse é que a amostra de conduta recolhida seja
precisa, ou seja, que os erros cometidos na medição
sejam aceitáveis, já que nenhuma medição está total-
mente isenta de erro (Muñiz, 2004).
A testagem psicológica vive um momento de
mudanças rápidas no mundo todo. Existem orientações
novas, um constante fluxo de testes novos, formas revi-
sadas de testes antigos e dados adicionais que podem
aperfeiçoar ou alterar a interpretação dos escores de
testes existentes. Uma cobertura mais extensa de
instrumentos de testagem e problemas em áreas espe-
ciais pode ser encontrada em livros que tratam do uso
dos testes em campos como aconselhamento, prática
clínica, seleção de pessoal e educação. Para acompanhar
os desenvolvimentos atuais, as pessoas que trabalham
com testes precisam estar familiarizadas com fontes
mais diretas de informações sobre eles, sendo uma das
mais importantes delas o Mental Measurements Yearbook
(Anastasi & Urbina, 2000; Spies & Plake, 2005).
A psicometria teve grandes avanços em todos
os ramos, inclusive na determinação do conceito de
validade, desde que foram publicados os estândares da
American Educational Research Association (AERA)
(1985), American Psychological Association (APA) e
National Council on Measurement in Education (NCME)
Porém, as três vias clássicas para a coleta de dados, a
validade de conteúdo, de critério e de construto ainda
são férteis (Muñiz, 2004).
Sisto, Codenotti, Costa e Nascimento (1979)
verificaram nos catálogos de testes disponíveis a quase
inexistência de testes brasileiros. Embora seja recente a
preocupação em utilizar instrumentos de avaliação
cujas propriedades psicométricas tenham sido estabe-
lecidas para populações específicas, os autores já
constataram que essa carência era suprida com a uti-
lização de instrumentos estrangeiros. Foi levantado por
eles o problema de que muitos dos testes aqui utilizados
tinham sido apenas adaptados, sem que houvesse uma
análise da conservação ou não das propriedades
psicométricas obtidas na construção do instrumento
em seu país de origem.
Estudos realizados posteriormente continuam
a apontar a precariedade dos instrumentos psicológicos
utilizados no Brasil (Noronha, 2002; Noronha, Freitas &
Ottati, 2001; Noronha, Freitas, Baldo, Barbini & Almeida,
2004; Noronha, Oliveira & Beraldo, 2003; Vendramini &
Noronha, 2002). Essas constatações associadas à maior
consciência social dos profissionais da psicologia mobi-
lizaram alguns segmentos da comunidade científica e
profissional, levando à criação do Instituto Brasileiro de
Avaliação Psicológica (IBAP) e de um programa de
pós-graduação Stricto Sensu com área de concentração
em avaliação psicológica, recomendado pela Coor-
denação de Aperfeiçoamento de Pessoal de Nível
Superior (CAPES), em 2001.
O Conselho Federal de Psicologia (CFP), refletindo
toda a mobilização em torno da questão, estabeleceu
através da Resolução nº 002/2003, a regulamentação
do uso, elaboração e comercialização de testes psico-
lógicos no Brasil. Para o caso específico de instrumentos
de avaliação psicológica que utilizam questões de múlti-
pla escolha ou similares, como inventários e escalas, a
resolução indica como requisitos mínimos e obriga-
tórios: 1) fundamentação teórica com ênfase na defi-
nição do construto; 2) apresentaçãode evidências
empíricas de validade e precisão das interpretações
propostas para os escores do teste; 3) apresentação de
dados empíricos sobre as propriedades psicométricas
307307307307307
ESTU
D
O
S D
E VA
LID
A
D
E
Estudos de Psicologia I Campinas I 27(3) I 305-314 I julho - setembro 2010
dos itens do instrumento; 4) apresentação do sistema
de correção e interpretação dos escores; 5) apresentação
clara dos procedimentos de aplicação e correção, bem
como as condições nas quais o teste deve ser aplicado;
e 6) compilação das informações acima e de outras que
forem importantes num manual (Conselho Federal de
Psicologia, 2001, 2003).
A validade pode ser verificada sob diferentes
perspectivas, enfocando-se o construto, o conteúdo
e/ou o critério. Recorre-se às evidências de validade de
critério quando se procura avaliar o grau com que o
instrumento discrimina, de acordo com um critério pa-
drão, pessoas que diferem em determinadas caracte-
rísticas. Quando o instrumento e o critério são aplicados
simultaneamente, fala-se de validade concorrente;
quando o critério é avaliado no futuro, fala-se de validade
preditiva. Os resultados obtidos serão expressos em
graus de concordância - identidade entre o teste e a
outra forma -, denominada de relação entre eles. Ela é
concebida como o grau de eficácia para predizer um
determinado desempenho do sujeito, que deve ser
medido por meio de técnicas independentes do próprio
teste (Anastasi & Urbina, 2000; Pasquali, 1998).
Baseado na filosofia de que uma das medidas
mais eficazes para melhorar a utilização dos testes é
proporcionar uma boa informação e formação aos
usuários, em 1995, o Colégio Oficial de Psicólogos da
Espanha criou uma comissão de testes com o intuito
de analisar os problemas envolvidos no seu uso. Em
linhas gerais, o procedimento de avaliação proposto
consiste em revisar os testes de forma sistemática por
parte dos pesquisadores, utilizando um questionário
inspirado nos modelos holandês e inglês atualmente
em funcionamento. Um dos itens desse questionário
diz respeito ao tamanho das amostras na validação do
construto, que são consideradas: pequena (N<200);
moderada (200≤N<500); grande (N≥500). Especificado o
tamanho da amostra, o item subsequente define a
mediana das correlações do teste com outros testes
similares de acordo com os seguintes critérios: inade-
quada (r<0,25); inadequada mas com algumas carências
(0,25≤r<0,40); adequada (0,40≤r<0,50); boa (0,50≤r<0,60)
e excelente (r≥0,60) (Prieto & Muñiz, 2000).
Alguns pressupostos teóricos foram levados em
consideração quanto ao uso dos instrumentos explo-
rados neste trabalho. Em primeiro lugar, estão as contri-
buições da psicologia cognitiva e seus modelos expli-
cativos sobre a aquisição e o desenvolvimento da leitura
e escrita, tomando por base a teoria do processamento
humano da informação. Esses modelos pressupõem a
existência de objetos reais que podem ser medidos e
modelados. Quando aplicada ao letramento, essa
perspectiva sugere que os processos de leitura e escrita
sejam subdivididos em subprocessos, cada um deles
com uma função diferente (Irwin & Doyle, 1992). Em
segundo lugar, está a tendência dos estudiosos a uma
visão integradora da leitura e da escrita, entendidas como
processos inter-relacionados, que não podem mais ser
abordados separadamente (Kopke Filho, 2001; Pugh &
Pawan, 1991; Santos, 1997). Considerou-se tam-bém que
a leitura é uma atividade que constitui, ao mesmo
tempo, forma de instrução e instrumento para o manejo
de outras fases do currículo. Assim, a eficiência na leitura
se relaciona de forma estreita com o êxito escolar
(Alliende & Condemarín, 1987; Condemarín & Milicic,
1994).
Há que se ponderar, também, que a linguagem
oral, a leitura e a escrita são consideradas instrumentais
para a vida social e acadêmica e são o centro da maior
parte das pesquisas em dificuldades de aprendizagem.
A identificação dessas diferentes dificuldades tem
ocorrido tardiamente, após vários fracassos, o que pode
provocar desvios no comportamento da criança. No
entanto, há como adquirir informações e desbloqueá-
-las, modificando todo o potencial dinâmico de apren-
dizagem, quando são recebidas intervenções psicope-
dagógicas adequadas. Para tanto é necessário que tais
dificuldades sejam identificadas o mais precocemente
possível, permitindo sua eventual superação (Jardim,
2001; Sisto, 2001; 2002).
Desse modo, instrumentos têm sido desen-
volvidos para diagnosticar as dificuldades de aprendi-
zagem referentes à linguagem. Duas das escalas aqui
utilizadas - a de Avaliação de Dificuldades na Aprendi-
zagem da Escrita (ADAPE) e a de Reconhecimento de
Palavras - foram elaboradas por Sisto, respectivamente
em 2001 e 2004. Ambas identificam a fase de alfabe-
tização em que os alunos se encontram e conseguem
detectar eventuais dificuldades de aprendizagem. O teste
de Cloze (Santos, 2005) foi escolhido para avaliar a
compreensão em leitura, podendo-se, por meio dele,
acessar as inter-relações estabelecidas entre o leitor e o
308308308308308
N
.B. C
U
N
H
A
 & A
.A
.A
. SA
N
TO
S
Estudos de Psicologia I Campinas I 27(3) I 305-314 I julho - setembro 2010
texto escrito. Com esse instrumento também é possível
identificar eventuais dificuldades de leitura (Kintsch &
van Dijk, 1978; Condemarín & Milicic, 1994; Kintsch, 1994;
Santos, Primi, Taxa & Vendramini, 2002).
Tomando por base as questões psicométricas
mencionadas, o foco principal do presente trabalho será
explorar evidências de validade convergente entre três
instrumentos desenvolvidos para diagnosticar as difi-
culdades de aprendizagem de escrita e leitura em crian-
ças. Para tanto, será considerada a análise da validação
de construto de Campbell (1960), que salientou que, a
fim de demonstrar a validade do construto, é necessário
mostrar que um teste apresenta correlação alta com
outras variáveis com as quais ele deve teoricamente
correlacionar-se.
A literatura consultada não evidenciou a exis-
tência de estudos de validade convergente entre esses
instrumentos, que supostamente avaliam construtos
similares e envolvem as habilidades de leitura e de
escrita. Para esse objetivo, serão consideradas as afirma-
ções de Anastasi e Urbina (2000): a interpretação dos
resultados obtidos pelos instrumentos, para que seja
válida, depende de verificação para se avaliar se estão
medindo aquilo que se propõem a medir. Outros tipos
de validade também serão buscados. Primeiramente,
serão averiguadas as habilidades linguísticas tal como
mensuradas pelos três instrumentos, por série, para
derivar evidências de validade de critério. Em seguida,
será verificada a diferença entre as médias dos testes de
Reconhecimento de Palavras e de Cloze pelas categorias
do ADAPE também para derivar validade de critério.
Finalmente serão correlacionados os escores dos instru-
mentos para buscar evidências de validade convergente.
Método
Participantes
Participaram deste estudo 266 crianças do
ensino fundamental, entre 8 e 13 anos de idade (M=9,42;
DP=0,808), de ambos os sexos: 140 (52,6%) do sexo
masculino e 126 (47,4%) do feminino. Do total da amos-
tra, 118 (44,4%) frequentavam a 3ª série e 148 (55,6%) a 4ª,
sendo 66 (24,8%) de escolas particulares, 189 (71,1%) de
públicas, quatro do SESI (1,5%) e sete não informaram
(2,6%). Todas as escolas eram do interior do Estado de
São Paulo.
Instrumentos
Questões de identificação: os sujeitos informaram,
na mesma folha do Reconhecimento de Palavras, os
seguintes dados: nome, idade, sexo, série e instituição
de ensino à qual pertenciam.
Avaliação de Dificuldades na Aprendizagem da
Escrita: é composta por 114 palavras; 60 delas apre-
sentam algum tipo de dificuldade, classificada como
encontro consonantal, dígrafo, sílaba composta e sílaba
complexa. Esse conjunto de palavras engloba as difi-
culdades mais comuns na escrita entre crianças de
primeiras e segundas séries, identificadas por um levan-
tamento das palavras comuns utilizadas no material
didático dessas séries, segundo o autor Sisto(2001). Vale
ressaltar que esse instrumento apresenta evidências de
validade de critério e índices de precisão satisfatórios.
Os critérios de correção seguiram a escala de
pontuação dos erros estabelecida pelo autor. Como não
há critérios para a 4ª série, neste trabalho foram empre-
gados os mesmos da 3ª série, a saber: até 10 erros - sem
indícios de Dificuldade de Aprendizagem (DA); de 11 a
19 erros - DA leve; de 20 a 49 erros - DA média; 50 erros
ou mais - DA acentuada.
Reconhecimento de palavras: contém 55 palavras
organizadas em ordem alfabética. Para cada uma delas
foram criadas outras duas com erros gramaticais. É um
teste de múltipla escolha, com itens que têm três alter-
nativas de resposta, das quais somente uma é correta.
No estudo realizado por Sisto (2004), a análise da va-
riância entre as médias dos participantes indicou uma
diferença estatisticamente significativa entre as séries
(p<0,001), verificada pelo teste de Tukey, que separou os
escores nos grupos correspondentes às séries frequen-
tadas, atribuindo a validade de critério ao instrumento.
Teste de Cloze: foi utilizado um texto estruturado
na forma do Cloze tradicional com os quintos vocábulos
omitidos, substituindo-os por um traço proporcional
ao tamanho da palavra omitida, que deveria ser recu-
perada pelo leitor para restituir o sentido completo à
seleção, tal como preconizado por Taylor (1953). Esse
texto foi especialmente montado para ser utilizado com
crianças da faixa etária do ensino fundamental. Elaborado
por Santos (2005), também apresenta evidências de
validade.
309309309309309
ESTU
D
O
S D
E VA
LID
A
D
E
Estudos de Psicologia I Campinas I 27(3) I 305-314 I julho - setembro 2010
Critérios de correção
Foram utilizados os critérios estabelecidos pelos
autores dos instrumentos. Para o ADAPE foi atribuído
um ponto para cada palavra grafada erradamente pela
criança, pelas ausências de palavras, acentuação errada
e uso indevido de maiúsculas e minúsculas. A pontuação
de cada criança corresponde à soma dos erros come-
tidos, sendo o escore máximo de 114 pontos.
No Reconhecimento de Palavras, a cada acerto
foi atribuído um ponto, sendo possível atingir o escore
máximo de 55 pontos. Também no Teste de Cloze foi
atribuído um ponto para cada acerto, sendo consi-
deradas corretas as palavras que coincidirem com as
usadas pelo autor do texto. Essa forma de correção é
denominada literal ou verbatim e é recomendada por
evitar o subjetivismo na avaliação. Assim, o número de
acertos máximos é 15, correspondentes ao número de
omissões.
Procedimentos
Esta pesquisa foi analisada e aprovada pelo
Comitê de Ética e Pesquisa da Universidade São Fran-
cisco (protocolo 209/02). A coleta de dados ocorreu em
instituições cujas diretoras autorizaram sua realização
e com aqueles alunos cujos pais assinaram o Termo de
Consentimento Esclarecido, que permite a participação
na pesquisa.
Os instrumentos foram aplicados nos alunos,
pela professora, em situação de sala de aula. Para evitar
o efeito de fadiga, cada instrumento foi aplicado em
diferentes momentos de um dia normal de atividades
escolares, entre outras atividades previstas no plane-
jamento da aula, na seguinte sequência: ADAPE, Re-
conhecimento de Palavras e Teste de Cloze. Também foi
fornecido um roteiro às professoras com instruções para
aplicação de cada instrumento.
Resultados
Buscou-se explorar eventuais diferenças nos
escores dos instrumentos em razão da série frequentada.
As estatísticas descritivas e o resultado do teste t de
Student para a comparação entre as séries estão apre-
sentados na Tabela 1.
Verificou-se, na comparação entre as séries, que
os escores dos três instrumentos foram melhores para
a 4ª série (n=148) em relação aos da 3ª série (n=118). As
diferenças entre as médias por série revelaram um índice
estatisticamente significativo somente para o Reconhe-
cimento de Palavras (t=-2,050; p=0,041), conferindo-lhe
a validade de critério. No teste de Cloze a diferença foi
marginalmente significativa (t=-1,924; p=0,055).
Para averiguar se havia diferença significativa
entre as médias do Reconhecimento de Palavras e Cloze
pelas categorias do ADAPE, procedeu-se à análise de
variância, que indicou, respectivamente, as seguintes
diferenças estatisticamente significativas: [F (3,262) =
105,942; p<0,001] e [F (3,262) = 49, 734; p<0,001].
Para verificar quais categorias justificavam as
diferenças encontradas, utilizou-se o teste post-hoc de
Tukey, das categorias do ADAPE em relação aos escores
do Cloze. Os quatro agrupamentos resultantes aparecem
na Tabela 2.
O teste de Tukey separou os escores do Reconhe-
cimento de Palavras nas quatro categorias do ADAPE,
constatando a diferença estatisticamente significativa
entre os escores dos instrumentos. Pode-se inferir, a partir
Tabela 1. Estatísticas descritivas e teste t de Student para comparação entre as séries. Bragança Paulista (SP), 2005.
ADAPE 3
4
Reconhecimento de palavras 3
4
CLOZE 3
4
118
148
118
148
118
148
31,34
29,39
38,48
41,09
09,41
10,30
23,62
22,06
10,85
09,83
03,86
03,70
-0,695
-2,050
-1,924
0,487
0,041
0,055
Escolaridade n Média Desvio-padrão t p
ADAPE: escala de avaliação de dificuldades na aprendizagem da escrita.
310310310310310
N
.B. C
U
N
H
A
 & A
.A
.A
. SA
N
TO
S
Estudos de Psicologia I Campinas I 27(3) I 305-314 I julho - setembro 2010
desses resultados, que o Reconhecimento de Palavras é
sensível para captar diferenças tal como separadas pelas
categorias do ADAPE, concedendo-lhe também essa
validade de critério.
Realizou-se também o teste de post-hoc Tukey
para identificar quais categorias do ADAPE se dife-
renciaram estatisticamente em relação aos escores do
teste de Cloze. Os agrupamentos dos resultados do teste
de Cloze são mostrados na Tabela 3.
Foram formados três grupos de categorias do
ADAPE de acordo com os escores do Cloze. O teste de
Tukey agrupou as categorias “DA leve” e “Sem indícios
de DA”, cujas médias foram muito parecidas, respecti-
vamente 12,02 e 12,69. Esses resultados concedem ao
teste de Cloze validade de critério por diferenciar de
maneira similar três das quatro categorias do ADAPE.
Em conformidade com o objetivo principal deste
estudo, buscou-se a validade convergente entre os
instrumentos. Para tanto, foram realizadas provas de
correlação de Pearson com os escores alcançados no
ADAPE, no Cloze, e no Reconhecimento de Palavras
(Tabela 4).
Entre os acertos do Cloze e do Reconhecimento
de Palavras obteve-se um índice de correlação positivo
e significativo (p<0,001). Entre os erros do ADAPE e os
acertos do Reconhecimento de Palavras, o índice de
correlação foi negativo e significativo (p<0,001), assim
como entre os erros do ADAPE e os acertos do Cloze
(p<0,001). Dessa maneira, ficou mais uma vez eviden-
ciada a correlação entre os escores médios dos três
instrumentos analisados.
Discussão
Com a preocupação de utilizar instrumentos de
avaliação cujas propriedades psicométricas sejam
estabelecidas para populações específicas, foram
exploradas, neste estudo, evidências de validade conver-
gente entre três instrumentos desenvolvidos para
diagnosticar as dificuldades de aprendizagem de escrita
e leitura em crianças. Para esse objetivo, foi considerado
que a interpretação dos resultados obtidos pelos
instrumentos, para que seja válida, depende de verifi-
cação para avaliar se os instrumentos estão medindo
aquilo que se propõem a medir.
Desse modo, primeiramente, foram averiguadas,
por série, as habilidades linguísticas tal como mensu-
radas pelos três instrumentos para derivar evidências
de validade de critério. Em segundo lugar, foi verificada
a diferença entre as médias dos testes de Reconhe-
cimento de Palavras e de Cloze pelas categorias do
ADAPE também para derivar validade de critério. Final-
mente foram correlacionados os escores dos instru-
mentos para buscar a validade convergente.
Na comparação entre as séries, os escores dos
três instrumentos foram melhores para a 4ª série (n=148)do que para a 3ª série (n=118). Esse resultado era espe-
rado, pois a automatização de processos permite que
Tabela 4. Índices de correlações (r) e níveis de significâncias (p)
entre os escores dos instrumentos. Bragança Paulista
(SP), 2005.
Cloze
ADAPE
Reconhecimento de palavras
r
p
r
p
<0,651
<0,001
-0,760
<0,001
ADAPE: escala de avaliação de dificuldades na aprendizagem da escrita.
-
-
-0,605
<0,001
Cloze
Tabela 3. Distribuição das categorias do ADAPE em relação aos
escores do teste de Cloze. Bragança Paulista (SP), 2005.
DA acentuada
DA média
DA leve
Sem indícios de DA
Média no Cloze
42
128
61
35
5,48
ADAPE: escala de avaliação de dificuldades na aprendizagem da escrita;
DA: dificuldade de aprendizagem.
ADAPE por categorias n
1 2 3
9,60
12,02
12,69
Tabela 2. Distribuição das categorias do ADAPE em relação aos
escores do Reconhecimento de Palavras. Bragança
Paulista (SP), 2005.
DA acentuada
DA média
DA leve
Sem indícios de DA
Média no reconhecimento de palavras
42
128
61
35
26,38
ADAPE: escala de avaliação de dificuldades na aprendizagem da escrita;
DA: dificuldade de aprendizagem.
ADAPE por categorias
n 1 2 3 4
37,94
47,21
50,80
311311311311311
ESTU
D
O
S D
E VA
LID
A
D
E
Estudos de Psicologia I Campinas I 27(3) I 305-314 I julho - setembro 2010
quanto mais os subprocessos vão se tornando auto-
máticos, mais os leitores e escritores vão se tornando
hábeis para atender à demanda de atividades cognitivas
(Irwin & Doyle, 1992). Verificou-se com esses resultados
que há evidências de validade de critério concorrente
em relação à sensibilidade dos instrumentos para captar
a evolução do desenvolvimento das crianças na pro-
gressão das séries (Anastasi & Urbina, 2000; Pasquali,
1998). No entanto, as diferenças entre as médias reve-
laram um índice estatisticamente significativo somente
para o Reconhecimento de Palavras.
Na análise da variância entre as médias do Re-
conhecimento de Palavras e Cloze, pelas categorias do
ADAPE, foram encontradas diferenças estatisticamente
significativas para ambos os instrumentos, indicando
que eles avaliam construtos similares. Para identificar
quais categorias se diferenciaram estatisticamente, foi
realizado o teste de Tukey tanto para o Reconhecimento
de Palavras como para o Cloze.
O teste de Tukey separou os escores do Reconhe-
cimento de Palavras nas quatro categorias do ADAPE,
confirmando a diferença estatisticamente significativa
entre os escores dos instrumentos. Pode-se inferir, assim,
que com o Reconhecimento de Palavras se obtém a
mesma classificação quanto às habilidades de com-
preensão de leitura que o ADAPE nas habilidades de
escrita das crianças.
Esse resultado confere ao Reconhecimento de
Palavras a mesma validade de critério do ADAPE, visto
que ele consegue obter as diferenças na compreensão
de leitura nos mesmos níveis de alfabetização. Ficou
demonstrado, dessa maneira, que o Reconhecimento
de Palavras discriminou características que diferem as
crianças de acordo com um critério padrão, que foi
aplicado simultaneamente com o instrumento, atri-
buindo-se assim a validade de critério concorrente
(Anastasi & Urbina, 2000; Pasquali, 1998).
De acordo com os escores do Cloze, o teste de
Tukey formou três grupos de categorias do ADAPE,
porque as categorias “DA leve” e “Sem indícios de DA” se
agruparam. É importante destacar que o que pode ter
influenciado esse agrupamento foi o fato de o número
de alunos dessas categorias ser bastante desigual,
respectivamente 61 e 35. Mas, mesmo assim, os instru-
mentos conseguiram medir as habilidades em faixas
muito próximas. Infere-se daí que também se pode
atribuir a validade de critério ao Cloze pelos níveis de
alfabetização do ADAPE, pois ficou demonstrado que
houve discriminação de características que diferem as
crianças de acordo com um critério padrão. Como o
critério foi aplicado junto com o instrumento, atribui-
-se a validade de critério concorrente (Anastasi & Urbina,
2000; Pasquali, 1998).
Esses últimos resultados, que classificaram as
crianças em faixas muito próximas nos três instrumen-
tos, confirmam a relação entre as habilidades de leitura
e escrita, pois, atualmente, há uma visão integradora da
leitura e da escrita como processos inter-relacionados
que não podem mais ser abordados separadamente e
são vistos como resultantes da ação do pensamento
integrado, simultaneamente dinâmico e complexo.
Assim sendo, os escores obtidos por meio dos instru-
mentos utilizados demonstraram que o desempenho
em leitura pode estar relacionado à facilidade para o
reconhecimento de palavras, à melhor utilização da
informação gráfica - com uso dos conhecimentos fono-
lógico, ortográfico e do vocabulário visual, adquiridos
com a prática de leitura - e à utilização eficiente das
informações contextuais (Irwin & Doyle, 1992; Kopke
Filho, 2001; Pugh & Pawan, 1991; Santos, 1997).
Foram então realizadas provas de correlação de
Pearson com os resultados obtidos nos três instru-
mentos. Obteve-se um índice de correlação positivo e
significativo (r=0,651) entre os acertos do Cloze e do
Reconhecimento de Palavras. Esse índice é classificado
como excelente (r≥0,60) de acordo com o critério “Me-
diana das correlações do teste com outros testes
similares”, do Cuestionario para evaluación de los tests de
Prieto e Muñiz (2000).
De maneira similar, os erros do ADAPE e os acer-
tos do Reconhecimento de Palavras tiveram um índice
de correlação significativo (r=-0,760), porém negativo,
também considerado excelente (r≥0,60) pelos critérios
expostos anteriormente. Pode-se inferir, então, que os
problemas na escrita independeram do tipo de estímulo
utilizado: o auditivo no caso do ADAPE e o auditivo e
visual no caso do Reconhecimento de Palavras. Deduz-
-se, então, que esses construtos são similares e depen-
dem de processos cognitivos imbricados entre si.
312312312312312
N
.B. C
U
N
H
A
 & A
.A
.A
. SA
N
TO
S
Estudos de Psicologia I Campinas I 27(3) I 305-314 I julho - setembro 2010
Entre os erros no ADAPE e os acertos no Cloze
houve um índice negativo e significativo (r=-0,605), que
é considerado excelente de acordo com os parâmetros
de Prieto e Muñiz (2000). Mais uma vez ficou demons-
trado que quanto mais as crianças erraram na escrita,
menos compreensão tiveram na leitura.
Em resumo, foi demonstrado pelo levantamento
bibliográfico que o desenvolvimento dos testes ADAPE,
Reconhecimento de Palavras e Cloze emergiu da litera-
tura científica, ficando definido o construto e avaliada
sua correta representação nos testes. Além disso, os
instrumentos foram submetidos a processos de desen-
volvimento e validação para assegurar que realizam o
objetivo a que se destinam. Assim, ficaram esclarecidas
as naturezas dos traços sob consideração e as condições
que afetam seu desenvolvimento e suas manifestações,
conforme preconizaram os autores levantados na
revisão bibliográfica. Unindo os resultados alcançados
a esses preceitos psicométricos, conclui-se que os três
instrumentos avaliam construtos semelhantes e apre-
sentam correlação alta com as variáveis com as quais
eles devem se correlacionar. Dessa maneira, infere-se
que esses instrumentos medem o que se propõem a
medir e que há evidências de validade convergente entre
eles (Anastasi & Urbina, 2000; Campbell, 1960; Conselho
Federal de Psicologia, 2001, 2003; Cronbach & Meehl,
1955; Muñiz, 2004; Pasquali, 2003; Ramsay & Reynolds,
2000).
Faz-se necessário, contudo, dar continuidade à
construção e à busca de evidências de validade dos
instrumentos psicológicos no Brasil a fim de solucionar
sua precariedade e seu suprimento com a utilização de
instrumentos estrangeiros (Noronha, 2002; Noronha et
al., 2001; Noronha et al., 2003; Noronha et al., 2004; Sisto,
Codenotti, Costa & Nascimento, 1979; Vendramini &
Noronha, 2002).
Conclusão
Para entender as razões que levam uma criança
a executar uma tarefa cognitiva de forma pior que a
criançanormal é necessário saber como seria a reso-
lução correta da tarefa e utilizar esse conhecimento para
analisar onde residem os problemas para a criança com
dificuldade de aprendizagem. Na escola, as dificuldades
que interessam são aquelas que impedem o êxito aca-
dêmico e, nesse sentido, os instrumentos de medida
das habilidades de escrita e de leitura desempenham
um papel importante no diagnóstico, pois a identi-
ficação das dificuldades possibilita analisar melhor a
intervenção a ser proposta. Há que se levar em conta,
principalmente, que as crianças com dificuldades de
aprendizagem podem modificar seu potencial de apren-
dizagem ao adquirirem informações que as desblo-
queiem.
Como foi sinalizado, o Brasil carece de instru-
mentos para medir os níveis de alfabetização, de forma
a expressar a qualidade do ensino no país. As políticas
públicas preocupam-se com as estatísticas; no caso da
educação, com os números de ingressantes e egressos.
Em relação a esse assunto, há uma vigorosa discussão
sobre os efeitos da progressão continuada para o favo-
recimento dessas estatísticas.
Conforme apresentado neste trabalho, a psico-
logia cognitiva vem permitindo avanços significativos
tanto no conhecimento da aquisição da linguagem,
como no das dificuldades de aprendizagem. Porém,
constata-se que os Parâmetros Curriculares Nacionais
não levam em conta, ignoram, ou minimizam a litera-
tura científica.
As implicações dessa atitude se refletem nos
indicadores do Sistema de Avaliação do Ensino Básico
(SAEB), programa de avaliação implementado pelo
governo brasileiro. Ainda que esse programa seja
pautado por uma dimensão humana com uma longa
tradição de pesquisa na psicologia, a das habilidades
cognitivas, seus métodos de mensuração têm sido
muito criticados, de acordo com os argumentos já
expostos.
Considerando a importância dos aspectos apre-
sentados em relação às dificuldades de aprendizagem
e a necessidade de avaliação precoce das crianças em
fase escolar, de forma a prevenir, e não apenas remediar
o surgimento de dificuldades de aprendizagem asso-
ciadas ao processo de escolarização, compreende-se
que os testes são ferramentas úteis e necessárias. No
entanto, no Brasil, eles caíram no descrédito por parte
dos usuários por um longo tempo. Essa situação foi
gerada pela inexistência de testes nacionais, o que levou
313313313313313
ESTU
D
O
S D
E VA
LID
A
D
E
Estudos de Psicologia I Campinas I 27(3) I 305-314 I julho - setembro 2010
ao uso dos estrangeiros, adaptados ou não, mas mesmo
assim sem supervisão de um órgão oficial, o que é,
atualmente, inconcebível, visto que, para serem consi-
derados válidos, os testes passam por rigoroso trata-
mento científico, como visto neste trabalho. Cabe
retomar que, mesmo que os testes contribuam de forma
valiosa, oferecendo informações detalhadas a respeito
do desempenho da criança, o seu uso merece cautela,
pois eles não podem ser usados como única medida:
deve-se considerar a existência de vieses culturais e o
contexto em que os instrumentos são aplicados.
Vale destacar, entretanto, que embora esses
instrumentos sejam propostas inovadoras e promissoras
de avaliação, é preciso pesquisar mais evidências de
validade para propiciar a ampliação do conhecimento
sobre suas características psicométricas. Espera-se ainda
a realização de outras pesquisas que superem as limi-
tações deste estudo, principalmente no que se refere ao
tamanho da amostra, e que possam contribuir para a
ampliação dos conhecimentos na área e para aprimorar
os procedimentos técnicos empregados na avaliação
psicológica e os próprios instrumentos.
Referências
Alliende, F., & Condemarín, M. (1987). Leitura: teoria, avaliação
e desenvolvimento. Porto Alegre: Artes Médicas.
American Educational Research Association. (1985).
Standards for educational and psychological testing.
Washington, DC: American Psychological Association.
Anastasi, A., & Urbina, S. (2000). Testagem psicológica. Porto
Alegre: Artes Médicas.
Campbell, D. T. (1960). Recommendations for APA test
standards regarding construct, trait, and discriminant
validity. American Psychologist, 15 (4), 546-553.
Condemarín, M., & Milicic, N. (1994). Test de Cloze:
procedimiento par el desarrollo y la evaluación de la
comprensión lectora. Santiago de Chile: Andrés Bello.
Conselho Federal de Psicologia. (2001). Resolução nº 025/2001.
Recuperado em agosto 21, 2006, disponível em http://
www.pol.org.br
Conselho Federal de Psicologia. (2003). Resolução nº 002/2003.
Recuperado em agosto 21, 2006, disponível em http://
www.pol.org.br
Cronbach, L. J. (1960). Essentials of psychological testing (2nd
ed.). New York: Harper & Brothers.
Cronbach, L. J., & Meehl, P.E. (1955). Construct validity in
psychological tests. Psychological Bulletin, 52 (2), 281-302.
Goldstein, G., & Hersen, M. (2000). Historical perspectives.
In G. Goldstein & M. Hersen (Orgs.), Handbook of
psychological assessment (pp.3-17). Kidlington, Oxford:
Pergamon.
Irwin, J. W., & Doyle, M. A. (1992). Reading/writing connections:
learning from research. Newark: IRA.
Jardim, W. R. S. (2001). Dificuldades de aprendizagem no
ensino fundamental: manual de identificação e intervenção.
São Paulo: Edições Loyola.
Kintsch, W., & van Dijk, T. A. (1978). Toward a model of text
comprehension and production. Psychological Review, 85
(5), 363-394.
Kintsch, W. (1994). Text comprehension, memory and
learning. American Psychologist, 49 (4), 294-303.
Kopke Filho, H. (2001). Estratégias em compreensão da leitura:
conhecimento e uso por professores de língua portuguesa.
Tese de doutorado não-publicado, Universidade de
São Paulo.
Muñiz, J. (2004). La validación de los testes. Metodología de
las Ciencias del Comportamiento, 5 (2), 121-141.
Noronha, A. P. P. (2002). Problemas mais graves e mais
frequentes no uso dos testes psicológicos. Psicologia
Reflexão e Crítica, 15 (1), 135-142.
Noronha, A. P. P., Freitas, F. A., & Ottati, F. (2001). Informações
contidas nos manuais de testes de inteligência. Psicologia
em Estudo, 6 (2), 101-106.
Noronha, A. P. P., Freitas, J. V., Baldo, C. R., Barbini, P. F., &
Almeida, M. C. (2004). Conhecimento de estudantes a
respeito de conceitos de avaliação psicológica. Psicologia
em Estudo, 9 (2), 263-269.
Noronha, A. P. P., Oliveira, K. L., & Beraldo, F. N. M. (2003).
Instrumentos psicológicos mais conhecidos e utilizados
por estudantes e profissionais de Psicologia. Psicologia
Escolar e Educacional, 7 (1), 47-56.
Pasquali, L. (1998). Princípios de elaboração de escalas
psicológicas. Revista de Psiquiatria Clínica, 25 (5), 206-213.
Pasquali, L. (2003). Psicometria: teoria dos testes na psicologia
e na educação. Petrópolis: Vozes.
Prieto, G., & Muñiz, J. (2000). Un modelo para evaluar la
calidad de los tests utilizados en España. Papeles del
Psicólogo, 77 (1), 65-75.
Pugh, S. L., & Pawan, F. (1991). Reading, Writing and
Academic Literacy. In R. F. Flippo & D. C. Caverly (Eds.),
College reading and study strategy programs. Newark,
Delaware: IRA.
Ramsay, M. C., & Reynolds, C. R. (2000). Development of a
scientific test: a practical guide. In G. Goldstein & M.
Hersen (Orgs.), Handbook of psychological assessment
(pp.21-42). Kidlington, Oxford: Pergamon.
Santos, A. A. A. (1997). Programas de remediação: uma
alternativa para o desenvolvimento da compreensão
em leitores adultos. Pro-posições, 5 (1), p.115.
Santos, A. A. A. (2005). Evidências de validade de critério
para o teste de Cloze. Manuscrito não-publicado, Pro-
314314314314314
N
.B. C
U
N
H
A
 & A
.A
.A
. SA
N
TO
S
Estudos de Psicologia I Campinas I 27(3) I 305-314 I julho - setembro 2010
grama de Pós-Graduação Stricto-Sensu em Psicologia,
Universidade São Francisco, Itatiba.
Santos, A. A. A., Primi, R., Taxa, F., & Vendramini, C. M. M.
(2002). O teste de Cloze na avaliação da compreensão
em leitura. Psicologia: Reflexão e Crítica, 15 (3), 549-560.
Sisto, F. F. (2001). Dificuldade de aprendizagem em escrita:
um instrumentode avaliação (ADAPE). In F. F. Sisto, E.
Boruchovitch & L. D. T. Fini (Orgs.), Dificuldades de apren-
dizagem no contexto psicopedagógico (pp.190-213).
Petrópolis: Vozes.
Sisto, F. F. (2002). Avaliação de dificuldade de apren-
dizagem: uma questão em aberto. In F. F. Sisto, E. A.
Dobránszky & A. Monteiro (Orgs.), Cotidiano escolar:
questões de leitura, matemática e aprendizagem
(pp.121-141). Petrópolis: Vozes.
Sisto, F. F. (2004). Evidências de validade de critério para a
escala de reconhecimento de palavras. Manuscrito
não-publicado, Programa de Pós-graduação Stricto-Sensu
em Psicologia, Universidade São Francisco, Itatiba.
Sisto, F. F., Codenotti, N., Costa, C. A. J., & Nascimento, T. C.
N. (1979). Testes psicológicos no Brasil: o que medem
realmente. Educação e Sociedade, 2 (2), 152-165.
Spies, R. A., & Plake, B. S. (2005). The Sixteenth mental
measurements yearbook. Nebraska: Hardbound.
Taylor, W. L. (1953). Cloze procedure: a new tool for
measuring readability. Journalism Quarterly, 30 (3),
415-433.
Vendramini, C. M. M., & Noronha, A. P. P. (2002). Estudo
comparativo entre testes de inteligência e de perso-
nalidade. Psico, 33 (2), 413-426.
Recebido em: 14/4/2008
Versão final reapresentada em: 26/2/2010
Aprovado em: 4/3/2010
<<
 /ASCII85EncodePages false
 /AllowTransparency false
 /AutoPositionEPSFiles false
 /AutoRotatePages /None
 /Binding /Left
 /CalGrayProfile (Gray Gamma 1.8)
 /CalRGBProfile (None)
 /CalCMYKProfile (U.S. Sheetfed Uncoated v2)
 /sRGBProfile (sRGB IEC61966-2.1)
 /CannotEmbedFontPolicy /Error
 /CompatibilityLevel 1.3
 /CompressObjects /Off
 /CompressPages true
 /ConvertImagesToIndexed true
 /PassThroughJPEGImages true
 /CreateJDFFile false
 /CreateJobTicket false
 /DefaultRenderingIntent /Default
 /DetectBlends false
 /ColorConversionStrategy /LeaveColorUnchanged
 /DoThumbnails false
 /EmbedAllFonts true
 /EmbedJobOptions true
 /DSCReportingLevel 0
 /SyntheticBoldness 1.00
 /EmitDSCWarnings false
 /EndPage -1
 /ImageMemory 1048576
 /LockDistillerParams true
 /MaxSubsetPct 100
 /Optimize false
 /OPM 0
 /ParseDSCComments true
 /ParseDSCCommentsForDocInfo true
 /PreserveCopyPage true
 /PreserveEPSInfo false
 /PreserveHalftoneInfo false
 /PreserveOPIComments false
 /PreserveOverprintSettings true
 /StartPage 1
 /SubsetFonts false
 /TransferFunctionInfo /Remove
 /UCRandBGInfo /Remove
 /UsePrologue false
 /ColorSettingsFile (Color Management Off)
 /AlwaysEmbed [ true
 /Arial-Black
 /Arial-BoldItalicMT
 /Arial-BoldMT
 /Arial-ItalicMT
 /ArialMT
 /Berkeley-Book
 /Berkeley-BookItalic
 /Frutiger-Black
 /Frutiger-BlackCn
 /Frutiger-BlackItalic
 /Frutiger-Bold
 /Frutiger-BoldCn
 /Frutiger-BoldItalic
 /Frutiger-Cn
 /Frutiger-ExtraBlackCn
 /Frutiger-Italic
 /Frutiger-Light
 /Frutiger-LightCn
 /Frutiger-LightItalic
 /Frutiger-Roman
 /Frutiger-UltraBlack
 /Helvetica
 /Helvetica-Bold
 /Helvetica-BoldOblique
 /Helvetica-Oblique
 /Times-Bold
 /Times-BoldItalic
 /Times-Italic
 /TimesNewRoman
 /TimesNewRomanBold
 /TimesNewRomanBoldItalic
 /TimesNewRomanItalic
 /TimesNewRomanPS-BoldItalicMT
 /TimesNewRomanPS-BoldMT
 /TimesNewRomanPS-ItalicMT
 /TimesNewRomanPSMT
 /Times-Roman
 ]
 /NeverEmbed [ true
 ]
 /AntiAliasColorImages false
 /DownsampleColorImages true
 /ColorImageDownsampleType /Bicubic
 /ColorImageResolution 300
 /ColorImageDepth -1
 /ColorImageDownsampleThreshold 1.00000
 /EncodeColorImages true
 /ColorImageFilter /DCTEncode
 /AutoFilterColorImages false
 /ColorImageAutoFilterStrategy /JPEG
 /ColorACSImageDict <<
 /QFactor 0.15
 /HSamples [1 1 1 1] /VSamples [1 1 1 1]
 >>
 /ColorImageDict <<
 /QFactor 0.40
 /HSamples [1 1 1 1] /VSamples [1 1 1 1]
 >>
 /JPEG2000ColorACSImageDict <<
 /TileWidth 256
 /TileHeight 256
 /Quality 30
 >>
 /JPEG2000ColorImageDict <<
 /TileWidth 256
 /TileHeight 256
 /Quality 30
 >>
 /AntiAliasGrayImages false
 /DownsampleGrayImages true
 /GrayImageDownsampleType /Bicubic
 /GrayImageResolution 300
 /GrayImageDepth -1
 /GrayImageDownsampleThreshold 1.00000
 /EncodeGrayImages true
 /GrayImageFilter /DCTEncode
 /AutoFilterGrayImages false
 /GrayImageAutoFilterStrategy /JPEG
 /GrayACSImageDict <<
 /QFactor 0.15
 /HSamples [1 1 1 1] /VSamples [1 1 1 1]
 >>
 /GrayImageDict <<
 /QFactor 0.40
 /HSamples [1 1 1 1] /VSamples [1 1 1 1]
 >>
 /JPEG2000GrayACSImageDict <<
 /TileWidth 256
 /TileHeight 256
 /Quality 30
 >>
 /JPEG2000GrayImageDict <<
 /TileWidth 256
 /TileHeight 256
 /Quality 30
 >>
 /AntiAliasMonoImages false
 /DownsampleMonoImages true
 /MonoImageDownsampleType /Bicubic
 /MonoImageResolution 1200
 /MonoImageDepth -1
 /MonoImageDownsampleThreshold 1.50000
 /EncodeMonoImages true
 /MonoImageFilter /CCITTFaxEncode
 /MonoImageDict <<
 /K -1
 >>
 /AllowPSXObjects false
 /PDFX1aCheck true
 /PDFX3Check false
 /PDFXCompliantPDFOnly false
 /PDFXNoTrimBoxError true
 /PDFXTrimBoxToMediaBoxOffset [
 0.00000
 0.00000
 0.00000
 0.00000
 ]
 /PDFXSetBleedBoxToMediaBox true
 /PDFXBleedBoxToTrimBoxOffset [
 0.00000
 0.00000
 0.00000
 0.00000
 ]
 /PDFXOutputIntentProfile (Qualquer texto)
 /PDFXOutputCondition ()
 /PDFXRegistryName ()
 /PDFXTrapped /False
 /Description <<
 /DEU <FEFF00560065007200770065006e00640065006e0020005300690065002000640069006500730065002000450069006e007300740065006c006c0075006e00670065006e002c00200075006d002000650069006e0065006e00200042006500720069006300680074002000fc00620065007200200064006900650020005000440046002f0058002d00310061002d004b006f006d007000610074006900620069006c0069007400e4007400200065007200680061006c00740065006e00200075006e00640020005000440046002d0044006f006b0075006d0065006e007400650020006e00750072002000640061006e006e0020007a0075002000650072007300740065006c006c0065006e002c002000770065006e006e0020007300690065002000fc0062006500720020006400690065007300650020004b006f006d007000610074006900620069006c0069007400e400740020007600650072006600fc00670065006e002e0020005000440046002f00580020006900730074002000650069006e0065002000490053004f002d004e006f0072006d0020007a0075006d002000410075007300740061007500730063006800200076006f006e0020006400690067006900740061006c0065006e00200044007200750063006b0076006f0072006c006100670065006e002e0020005700650069007400650072006500200049006e0066006f0072006d006100740069006f006e0065006e0020007a0075006d002000450072007300740065006c006c0065006e00200076006f006e0020005000440046002f0058002d00310061002d006b006f006d00700061007400690062006c0065006e0020005000440046002d0044006f006b0075006d0065006e00740065006e002000660069006e00640065006e002000530069006500200069006d0020004100630072006f006200610074002d00480061006e00640062007500630068002e00200044006900650020005000440046002d0044006f006b0075006d0065006e007400650020006b00f6006e006e0065006e0020006d006900740020004100630072006f0062006100740020006f0064006500720020006d00690074002000640065006d002000520065006100640065007200200034002e003000200075006e00640020006800f600680065007200200067006500f600660066006e00650074002000770065007200640065006e002e>
 /FRA <FEFF004f007000740069006f006e00730020007000650072006d0065007400740061006e007400200064002700e900760061006c0075006500720020006c006100200063006f006e0066006f0072006d0069007400e9002000e00020006c00610020006e006f0072006d00650020005000440046002f0058002d0031006100200065007400200064006500200063006f006e0064006900740069006f006e006e006500720020006c0061002000700072006f00640075006300740069006f006e00200064006500200064006f00630075006d0065006e007400730020005000440046002000e000200063006500740074006500200063006f006e0066006f0072006d0069007400e9002e0020005000440046002f0058002000650073007400200075006e00650020006e006f0072006d0065002000490053004f00200064002700e9006300680061006e0067006500200064006500200063006f006e00740065006e00750020006700720061007000680069007100750065002e00200050006f0075007200200065006e0020007300610076006f0069007200200070006c0075007300200073007500720020006c006100200063007200e9006100740069006f006e00200064006500200064006f00630075006d0065006e00740073002000500044004600200063006f006e0066006f0072006d00650073002000e00020005000440046002f0058002d00310061002c00200063006f006e00730075006c00740065007a0020006c00650020004700750069006400650020006400650020006c0027007500740069006c0069007300610074006500750072002000640027004100630072006f006200610074002e00200049006c002000650073007400200070006f0073007300690062006c0065002000640027006f00750076007200690072002000630065007300200064006f00630075006d0065006e007400730020005000440046002000640061006e00730020004100630072006f0062006100740020006500740020005200650061006400650072002c002000760065007200730069006f006e00200034002e00300020006f007500200075006c007400e9007200690065007500720065002e>/JPN <FEFF005000440046002f0058002d0031006100206e9662e0306e30ec30dd30fc30c87528304a30883073658766f84f5c62107528306b4f7f75283057307e30593002005000440046002f00580020306f30b030e930d530a330c330af002030b330f330c630f330c4590963db306b304a3051308b002000490053004f00206a196e96306730593002005000440046002f0058002d0031006100206e9662e0306e658766f84f5c6210306b306430443066306f0020004100630072006f006200610074002030e630fc30b630ac30a430c9309253c2716730573066304f30603055304430024f5c62103057305f00200050004400460020306f0020004100630072006f0062006100740020304a30883073002000520065006100640065007200200034002e003000204ee5964d30678868793a3067304d307e30593002>
 /DAN <FEFF004200720075006700200064006900730073006500200069006e0064007300740069006c006c0069006e006700650072002000740069006c00200061007400200072006100700070006f007200740065007200650020006f006d0020006f0076006500720068006f006c00640065006c007300650020006100660020005000440046002f0058002d003100610020006f00670020006b0075006e002000700072006f0064007500630065007200650020005000440046002d0064006f006b0075006d0065006e007400650072002c002000680076006900730020006400650020006f0076006500720068006f006c0064006500720020007300740061006e00640061007200640065006e002e0020005000440046002f005800200065007200200065006e002000490053004f002d007300740061006e0064006100720064002000740069006c00200075006400760065006b0073006c0069006e0067002000610066002000670072006100660069006b0069006e00640068006f006c0064002e00200059006400650072006c006900670065007200650020006f0070006c00790073006e0069006e0067006500720020006f006d0020006f007000720065007400740065006c007300650020006100660020005000440046002d0064006f006b0075006d0065006e007400650072002c00200064006500720020006f0076006500720068006f006c0064006500720020005000440046002f0058002d00310061002c002000660069006e00640065007200200064007500200069002000620072007500670065007200760065006a006c00650064006e0069006e00670065006e002000740069006c0020004100630072006f006200610074002e0020005000440046002d0064006f006b0075006d0065006e007400650072006e00650020006b0061006e002000e50062006e006500730020006d006500640020004100630072006f0062006100740020006f0067002000520065006100640065007200200034002e00300020006f00670020006e0079006500720065002e>
 /NLD <FEFF004700650062007200750069006b002000640065007a006500200069006e007300740065006c006c0069006e00670065006e0020006f006d00200064006500200063006f006d007000610074006900620069006c006900740065006900740020006d006500740020005000440046002f0058002d0031006100200074006500200063006f006e00740072006f006c006500720065006e00200065006e00200061006c006c00650065006e0020005000440046002d0064006f00630075006d0065006e00740065006e002000740065002000700072006f006400750063006500720065006e002000640069006500200063006f006d007000610074006900620065006c0020007a0069006a006e002e0020005000440046002f0058002000690073002000650065006e002000490053004f002d007300740061006e0064006100610072006400200076006f006f00720020006800650074002000750069007400770069007300730065006c0065006e002000760061006e002000670072006100660069007300630068006500200069006e0068006f00750064002e002000520061006100640070006c0065006500670020006400650020006700650062007200750069006b00650072007300680061006e0064006c0065006900640069006e0067002000760061006e0020004100630072006f00620061007400200076006f006f00720020006d00650065007200200069006e0066006f0072006d00610074006900650020006f00760065007200200068006500740020006d0061006b0065006e002000760061006e0020005000440046002d0064006f00630075006d0065006e00740065006e002000640069006500200063006f006d007000610074006900620065006c0020007a0069006a006e0020006d006500740020005000440046002f0058002d00310061002e0020004400650020005000440046002d0064006f00630075006d0065006e00740065006e0020006b0075006e006e0065006e00200077006f007200640065006e002000670065006f00700065006e00640020006d006500740020004100630072006f00620061007400200065006e002000520065006100640065007200200034002e003000200065006e00200068006f006700650072002e>
 /ESP <FEFF0055007300650020006500730074006100730020006f007000630069006f006e00650073002000700061007200610020007200650061006c0069007a0061007200200075006e00200069006e0066006f0072006d006500200073006f0062007200650020006c006100200063006f006d007000610074006900620069006c006900640061006400200063006f006e0020005000440046002f0058002d0031006100200079002000670065006e006500720061007200200064006f00630075006d0065006e0074006f007300200050004400460020007300f3006c006f00200073006900200073006f006e00200063006f006d00700061007400690062006c00650073002e0020005000440046002f005800200065007300200075006e002000650073007400e1006e006400610072002000490053004f0020007000610072006100200065006c00200069006e00740065007200630061006d00620069006f00200064006500200063006f006e00740065006e00690064006f00200067007200e1006600690063006f002e002000500061007200610020006f006200740065006e006500720020006d00e1007300200069006e0066006f0072006d00610063006900f3006e00200061006300650072006300610020006400650020006300f3006d006f00200063007200650061007200200064006f00630075006d0065006e0074006f0073002000500044004600200063006f006d00700061007400690062006c0065007300200063006f006e0020005000440046002f0058002d00310061002c00200063006f006e00730075006c007400650020006c006100200047007500ed0061002000640065006c0020007500730075006100720069006f0020006400650020004100630072006f006200610074002e0020004c006f007300200064006f00630075006d0065006e0074006f00730020005000440046002000730065002000700075006500640065006e00200061006200720069007200200063006f006e0020004100630072006f00620061007400200079002000520065006100640065007200200034002e003000200079002000760065007200730069006f006e0065007300200070006f00730074006500720069006f007200650073002e>
 /SUO <FEFF004e00e4006900640065006e002000610073006500740075007300740065006e0020006100760075006c006c006100200076006f006900740020006d00e400e4007200690074007400e400e40020005000440046002f0058002d00310061002d00790068007400650065006e0073006f0070006900760075007500640065006e0020006a00610020006c0075006f00640061002000730065006e0020006d0075006b006100690073006900610020005000440046002d0061007300690061006b00690072006a006f006a0061002e0020005000440046002f00580020006f006e002000490053004f002d007300740061006e006400610072006400690073006f006900740075002000670072006100610066006900730065006e002000730069007300e4006c006c00f6006e0020006500730069007400790073006d0075006f0074006f002e0020004c0069007300e40074006900650074006f006a00610020005000440046002f0058002d00310061002d00790068007400650065006e0073006f00700069007600690065006e0020005000440046002d0061007300690061006b00690072006a006f006a0065006e0020006c0075006f006e006e00690073007400610020006f006e002000410064006f006200650020004100630072006f0062006100740020002d006b00e400790074007400f6006f0070007000610061007300730061002e0020005000440046002d0061007300690061006b00690072006a0061007400200076006f0069006400610061006e0020006100760061007400610020004100630072006f006200610074002d0020006a0061002000520065006100640065007200200034002e00300020002d006f0068006a0065006c006d0061006c006c0061002000740061006900200075007500640065006d006d0061006c006c0061002000760065007200730069006f006c006c0061002e>
 /ITA <FEFF00550073006100720065002000710075006500730074006500200069006d0070006f007300740061007a0069006f006e00690020007000650072002000760065007200690066006900630061007200650020006c006100200063006f006e0066006f0072006d0069007400e0002000610020005000440046002f0058002d0031006100200065002000630072006500610072006500200064006f00630075006d0065006e00740069002000500044004600200073006f006c006f00200069006e0020006300610073006f00200064006900200063006f006e0066006f0072006d0069007400e0002e0020005000440046002f0058002000e800200075006e006f0020007300740061006e0064006100720064002000490053004f00200070006500720020006c006f0020007300630061006d00620069006f00200064006900200063006f006e00740065006e00750074006f0020006700720061006600690063006f002e002000500065007200200075006c0074006500720069006f0072006900200069006e0066006f0072006d0061007a0069006f006e0069002000730075006c006c006100200063007200650061007a0069006f006e006500200064006900200064006f00630075006d0065006e00740069002000500044004600200063006f006e0066006f0072006d0069002000610020005000440046002f0058002d00310061002c00200063006f006e00730075006c00740061007200650020006c0061002000470075006900640061002000640065006c006c0027007500740065006e007400650020006400690020004100630072006f006200610074002e0020004900200064006f00630075006d0065006e00740069002000500044004600200070006f00730073006f006e006f0020006500730073006500720065002000610070006500720074006900200063006f006e0020004100630072006f00620061007400200065002000520065006100640065007200200034002e003000200065002000760065007200730069006f006e006900200073007500630063006500730073006900760065002e>/NOR <FEFF004200720075006b00200064006900730073006500200069006e006e007300740069006c006c0069006e00670065006e0065002000740069006c002000e500200072006100700070006f007200740065007200650020006f006d0020005000440046002f0058002d00310061002d006b006f006d007000610074006900620069006c00690074006500740020006f00670020006c0061006700650020005000440046002d0064006f006b0075006d0065006e00740065007200200062006100720065002000680076006900730020006b006f006d007000610074006900620065006c002e0020005000440046002f005800200065007200200065006e002000490053004f002d007300740061006e006400610072006400200066006f00720020006700720061006600690073006b00200069006e006e0068006f006c006400730075007400760065006b0073006c0069006e0067002e00200048007600690073002000640075002000760069006c0020006800610020006d0065007200200069006e0066006f0072006d00610073006a006f006e0020006f006d002000680076006f007200640061006e0020006400750020006f007000700072006500740074006500720020005000440046002f0058002d00310061002d006b006f006d00700061007400690062006c00650020005000440046002d0064006f006b0075006d0065006e007400650072002c0020006b0061006e002000640075002000730065002000690020006200720075006b00650072006800e5006e00640062006f006b0065006e00200066006f00720020004100630072006f006200610074002e0020005000440046002d0064006f006b0075006d0065006e0074006500720020006b0061006e002000e50070006e006500730020006d006500640020004100630072006f0062006100740020006f0067002000520065006100640065007200200034002e00300020006f0067002000730065006e006500720065002e>
 /SVE <FEFF0041006e007600e4006e006400200065006e00640061007300740020006400650020006800e4007200200069006e0073007400e4006c006c006e0069006e006700610072006e00610020006e00e40072002000640075002000760069006c006c00200072006100700070006f007200740065007200610020006f006d0020005000440046002f0058002d00310061002d007300740061006e00640061007200640020006f0063006800200073006b0061007000610020005000440046002d0064006f006b0075006d0065006e007400200073006f006d0020006600f6006c006a00650072002000640065006e006e00610020007300740061006e0064006100720064002e0020005000440046002f0058002000e4007200200065006e002000490053004f002d007300740061006e00640061007200640020006600f6007200200075007400620079007400650020006100760020006700720061006600690073006b007400200069006e006e0065006800e5006c006c002e0020004d0065007200200069006e0066006f0072006d006100740069006f006e0020006f006d002000680075007200200064007500200073006b00610070006100720020005000440046002d0064006f006b0075006d0065006e007400200073006f006d0020006600f6006c006a006500720020005000440046002f0058002d0031006100200068006900740074006100720020006400750020006900200061006e007600e4006e00640061007200680061006e00640062006f006b0065006e0020006600f600720020004100630072006f006200610074002e0020005000440046002d0064006f006b0075006d0065006e00740065006e0020006b0061006e002000f600700070006e006100730020006d006500640020004100630072006f0062006100740020006f00630068002000520065006100640065007200200034002e003000200065006c006c00650072002000730065006e006100720065002e>
 /ENU <FEFF005500730065002000740068006500730065002000730065007400740069006e0067007300200074006f0020007200650070006f007200740020006f006e0020005000440046002f0058002d0031006100200063006f006d0070006c00690061006e0063006500200061006e0064002000700072006f0064007500630065002000500044004600200064006f00630075006d0065006e007400730020006f006e006c007900200069006600200063006f006d0070006c00690061006e0074002e0020005000440046002f005800200069007300200061006e002000490053004f0020007300740061006e006400610072006400200066006f00720020006700720061007000680069006300200063006f006e00740065006e0074002000650078006300680061006e00670065002e00200046006f00720020006d006f0072006500200069006e0066006f0072006d006100740069006f006e0020006f006e0020006300720065006100740069006e00670020005000440046002f0058002d0031006100200063006f006d0070006c00690061006e0074002000500044004600200064006f00630075006d0065006e00740073002c00200070006c006500610073006500200072006500660065007200200074006f00200074006800650020004100630072006f00620061007400200055007300650072002000470075006900640065002e0020005400680065002000500044004600200064006f00630075006d0065006e00740073002000630061006e0020006200650020006f00700065006e00650064002000770069007400680020004100630072006f00620061007400200061006e0064002000520065006100640065007200200034002e003000200061006e00640020006c0061007400650072002e>
 /PTB <FEFF005500740069006c0069007a006500200065007300740061007300200063006f006e00660069006700750072006100e700f5006500730020007000610072006100200063007200690061007200200064006f00630075006d0065006e0074006f007300200050004400460020006500200065006d0069007400690072002000720065006c0061007400f300720069006f007300200073006f00620072006500200063006f006e0066006f0072006d0069006400610064006500200063006f006d0020006f0020005000440046002f0058002d00310061002e0020005000440046002f0058002000e900200075006d0020007000610064007200e3006f002000640061002000490053004f00200070006100720061002000740072006f0063006100200064006500200063006f006e0074006500fa0064006f00200067007200e1006600690063006f002e002000500061007200610020006f00620074006500720020006d00610069007300200069006e0066006f0072006d006100e700f50065007300200073006f00620072006500200063006f006d006f00200063007200690061007200200064006f00630075006d0065006e0074006f0073002000500044004600200065006d00200063006f006e0066006f0072006d0069006400610064006500200063006f006d0020006f0020005000440046002f0058002d00310061002c00200063006f006e00730075006c007400650020006f0020004700750069006100200064006f002000550073007500e100720069006f00200064006f0020004100630072006f006200610074002e0020004f007300200064006f00630075006d0065006e0074006f0073002000500044004600200070006f00640065006d0020007300650072002000610062006500720074006f007300200063006f006d0020006f0020004100630072006f006200610074002c002000520065006100640065007200200034002e00300020006500200070006f00730074006500720069006f0072002e>
 >>
>> setdistillerparams
<<
 /HWResolution [2400 2400]
 /PageSize [595.276 765.354]
>> setpagedevice