Prévia do material em texto
Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 9 O CONCEITO DE PROFICIÊNCIA E O PROCESSO DE AVALIAÇÃO DA PARTE ESCRITA DO EXAME CELPE-BRAS Juliana Roquele Schoffen INFORMAÇÕES SOBRE A AUTORA Juliana Roquele Schoffen é doutora em Letras pela Universidade Federal do Rio Grande do Sul (UFRGS). Atualmente, é Professora Associada de Língua Portuguesa na UFRGS. Currículo na Plataforma Lattes: http://lattes.cnpq.br/8016681527762519. RESUMO ABSTRACT O exame Celpe-Bras é o Certificado de Proficiência em Língua Portuguesa para Estrangeiros expedido pelo Ministério da Educação do Brasil. Por meio de um único exame, o Celpe-Bras avalia seis níveis de proficiência, sendo a certificação concedida a partir do nível Intermediário. O Celpe-Bras é composto de duas partes: uma Parte Escrita, com quatro tarefas que avaliam compreensão oral, leitura e produção escrita, e uma Parte Oral, que consiste em uma interação face a face e avalia compreensão e produção oral. Este artigo tem como objetivo apresentar o conceito de proficiência que embasa o exame e descrever o processo de avaliação da Parte Escrita do Celpe- Bras. Para tanto, é enfocada a Parte Escrita do exame e sua composição em tarefas que solicitam a produção de quatro diferentes gêneros do discurso, e é discutida a visão de proficiência subjacente à avaliação realizada. A partir dessa visão de proficiência, são apresentados os parâmetros de avaliação holísticos utilizados no processo de avaliação da Parte Escrita, seguidos de uma discussão sobre as implicações do uso desses parâmetros para a validade e a confiabilidade do exame. Por fim, são descritos o processo de avaliação da Parte Escrita e os procedimentos utilizados pelo Celpe-Bras para garantir a confiabilidade do processo de avaliação. The Celpe-Bras exam is the Certificate of Proficiency in Portuguese for Foreigners granted by the Ministry of Education of Brazil. Through one single exam, Celpe-Bras evaluates six levels of proficiency, being the certification granted from the Intermediate level. Celpe-Bras is composed of two parts: a Written Part, which presents four tasks that evaluate oral comprehension, reading and written production, and an Oral Part, which consists of a face-to-face interaction that evaluates comprehension and oral production. This article aims to present the concept of proficiency that underlies the exam and describe the process of assessment of the Written Part of Celpe-Bras. To do so, we focus on the Written Part of the exam, that is composed by tasks that require production of four different discourse genres, and discuss the concept of proficiency underlying the assessment performed in the Written Part. Based on this concept of proficiency, the holistic assessment parameters used in the written part presented, followed by a discussion about the implications of using these parameters for the validity and reliability of the exam. In the end, we describe the processof assessmentof the Written Part of the exam and the procedures used by Celpe-Bras to ensure reliability. PALAVRAS-CHAVE KEY-WORDS Exame Celpe-Bras; Processo de avaliação, Parte Escrita Celpe-Bras Exam; Assessment process, Written part I NVENTÁRIO REVISTA DOS ESTUDANTES DE PÓS-GRADUAÇÃO DO INSTITUTO DE LETRAS DA UNIVERSIDADE FEDERAL DA BAHIA ISSN: 1679-1347 http://lattes.cnpq.br/8016681527762519 ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 10 INTRODUÇÃO O exame Celpe-Bras é o Certificado de Proficiência em Língua Portuguesa para Estrangeiros expedido pelo Ministério da Educação do Brasil. O exame teve sua primeira edição em 1998 e atualmente é aplicado em 45 instituições credenciadas no Brasil e 77 no exterior (em 40 países)1. A partir de 2009, o Celpe-Bras passou a ser realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), órgão do governo brasileiro responsável pelas avaliações educacionais de grande escala realizadas no país. O exame costuma ser aplicado duas vezes ao ano, tradicionalmente em abril e outubro. Desde 2013, o Celpe-Bras tem apresentado um número crescente de examinandos todos os anos2 e seu impacto como direcionador de ensino e pesquisa na área de português como língua adicional tem sido reconhecido por diversos pesquisadores ao longo desses vinte anos3. O Celpe-Bras é composto de duas partes: uma Parte Escrita, com quatro tarefas que avaliam compreensão oral, leitura e produção escrita, e uma Parte Oral, que consiste em uma interação face a face e avalia compreensão e produção oral. Por meio de um único exame, o Celpe-Bras certifica quatro níveis de proficiência: Intermediário, Intermediário Superior, Avançado e Avançado Superior. A escolha por utilizar um único instrumento para avaliar vários níveis de proficiência é uma opção teórica. Essa opção revela o construto do exame, segundo o qual todos os falantes de uma determinada língua podem realizar ações nessa língua, apresentando um desempenho coerente com seu nível de proficiência. Este artigo tem como objetivo apresentar a visão de proficiência que embasa o Celpe-Bras e descrever o processo de avaliação da Parte Escrita do exame4. A próxima seção apresenta a Parte Escrita do Celpe-Bras e sua composição em tarefas integradas de compreensão e produção que solicitam a produção de quatro diferentes gêneros do discurso. A seguir, é discutida a noção de proficiência subjacente à avaliação realizada na Parte Escrita do exame e são apresentados os parâmetros holísticos utilizados no processo de avaliação, seguidos de uma discussão sobre as implicações do uso desses 1 https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/celpe-bras/postos-aplicadores - Acesso em 05/04/2021 2 http://www.ufrgs.br/acervocelpebras/estatisticas/numero-de-examinandos-homologados/view - Acesso em 25/07/2018. 3 Ver, entre outros, Scaramucci (2004); Scaramucci & Rodrigues 2004; Ohlweiler (2006); Bortolini (2006); Yan (2008); Costa (2013), Dorigon (2015); Furtoso (2015); Schoffen e Martins (2016); Scaramucci (2016); Martins (2018); Nigasawa (2018). 4 A redação deste artigo ocorreu em 2018, antes da publicação do Documento Base do Celpe-Bras (BRASIL, 2020), motivo pelo qual ele não é referenciado ao longo do texto. https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/celpe-bras/postos-aplicadores http://www.ufrgs.br/acervocelpebras/estatisticas/numero-de-examinandos-homologados/view ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 11 parâmetros. A última seção descreve o processo de avaliação da Parte Escrita e os procedimentos utilizados para garantir a confiabilidade da avaliação. 1 A PARTE ESCRITA DO CELPE-BRAS A Parte Escrita do Celpe-Bras tem duração de três horas e é composta por quatro tarefas que avaliam compreensão e produção de diferentes gêneros do discurso, de forma integrada. As tarefas são definidas pelo exame como “um convite para agir no mundo, um convite para o uso da linguagem com um propósito social. Em outras palavras, uma tarefa envolve basicamente uma ação, com um propósito, direcionada a um ou mais interlocutores” (BRASIL, 2006, p. 5). De acordo com o Guia do Participante (BRASIL, 2013), em que são apresentadas tarefas comentadas que compõem a edição aplicada no primeiro semestre de 2013. As tarefas que compõem a Parte Escrita do Celpe-Bras propõem, assim, a realização de uma ação mediada pelo uso da linguagem por meio de textos organizados de forma socialmente construída. Isso significa que cada tarefa solicitará que o examinando se coloque em determinada posição social (enunciador) e, a partir dessa posição, compreenda o texto (oral, escrito ou multimodal) apresentado, selecioneas informações adequadas e escreva a uma determinada pessoa ou grupo de pessoas (interlocutor) a fim de realizar uma determinada ação (propósito). São os elementos da tarefa que delimitam para o examinando as condições de produção de leitura e escrita, construindo um texto pertencente a determinado gênero do discurso, ao mesmo tempo em que fornecem os parâmetros para a avaliação. (BRASIL, 2013, p. 7) A partir de textos autênticos que circularam na sociedade brasileira, o exame solicita então que o examinando responda à tarefa escrevendo um texto dirigido a um interlocutor específico e com propósitos comunicativos determinados, mobilizando para tal as informações adequadas dos textos oferecidos como insumo. Na medida em que explicitam os interlocutores e os propósitos de compreensão e de escrita, que juntos definem o contexto de recepção e de produção dos textos que compõem o exame (texto de insumo e texto a ser produzido pelo examinando), podemos afirmar, em consonância com Schlatter et al (2009), que as tarefas do Celpe-Bras “visam a criar oportunidades de ação no mundo em diferentes situações sociais, com base no conceito de uso da linguagem como uma ação conjunta dos participantes com um propósito social (CLARK, 1996 [2000]) e na noção de gênero discursivo (BAKHTIN, 1997 [2003])” (SCHLATTER ET AL., 2009, p. 105), segundo a qual“ cada enunciado é único e individual, mas cada domínio de uso da linguagem cria tipos relativamente estáveis de enunciados, que são chamados de gêneros do discurso” (BAKHTIN, 1997 [2003], p. ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 12 279). Para a perspectiva bakhtiniana, são os gêneros do discurso que organizam nossa comunicação, uma vez que “falamos apenas através de determinados gêneros do discurso, isto é, todos os nossos enunciados possuem formas relativamente estáveis e típicas de construção do todo” (BAKHTIN, 2003, p. 282). Os gêneros, assim, são entendidos como conjuntos de textos que compartilham as funções de organização da comunicação dentro de determinada esfera da atividade humana, e não apenas como um conjunto de textos que têm determinadas propriedades formais em comum. Isso significa dizer que, dessa perspectiva, os gêneros são entendidos pelo viés da produção, não do produto (da forma do texto acabado). Segundo o conceito bakhtiniano de gênero, centrado no dialogismo, não é possível que somente a forma, a função ou mesmo o suporte determinem um gênero, visto ser o gênero o somatório das relações dialógicas estabelecidas em um determinado contexto de comunicação, em que se relacionam o falante, o ouvinte, o propósito do enunciado e a esfera da atividade humana em que a comunicação ocorre. A forma é, então, resultado dessas relações, e não definidora do gênero, tanto quanto apenas a função sozinha ou o suporte sozinho não podem sê-lo. Bakhtin relaciona os tipos relativamente estáveis de enunciados (gêneros) e as funções que realizam na comunicação às esferas da atividade humana em que são usados e “para que” são usados. Se sempre quando falamos o fazemos em uma determinada esfera da atividade humana por meio de determinados gêneros, percebemos que esses gêneros são condicionados pela esfera em que estão inseridos e pela maneira como o falante se posiciona dentro dessa esfera. Falar, então, faz parte do agir, não é apenas uma soma de regras gramaticais e de vocabulário: “envolver-se em uma determinada esfera da atividade implica desenvolver também um domínio dos gêneros que lhe são peculiares. Em outras palavras, aprender os modos sociais de fazer é também aprender os modos sociais de dizer” (FARACO, 2003, p. 116). Para Bakhtin, é o gênero que guia o falante no processo discursivo. Os gêneros funcionam como parâmetros para o falante, que deve, para usá-los, partir da posição social e histórica que ocupa e considerar para quem dirige o seu enunciado, como esse interlocutor o vê, e também o propósito do seu enunciado, o que vai ser dito e como vai ser dito. Segundo Bakhtin, “sem levar em conta a relação do falante com o outro e seus enunciados (presentes e antecipáveis), é impossível compreender o gênero ou estilo do discurso” (BAKHTIN, 2003, p. 304). São os gêneros que vão regular essas relações e relacioná-las em textos, já que os gêneros são conjuntos de textos que compartilham as ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 13 funções de organização da comunicação dentro de determinada esfera da atividade humana. São também os gêneros que guiam as expectativas do ouvinte em relação à extensão do texto, ao que vai ser dito e aos propósitos que o falante pode ter com esse texto, à relação que o falante estabelece entre si próprio e quem o ouve, e também quanto às possibilidades de resposta. Segundo Rodrigues, “ao se relacionar com o discurso alheio, o interlocutor, desde o início, infere o gênero do enunciado e, dessa forma, as propriedades genéricas em questão já constituem índices indispensáveis à constituição do sentido do enunciado” (RODRIGUES, 2005, p. 166). Em consonância com essa visão, os gêneros do discurso, na Parte Escrita do Celpe-Bras, funcionam como os organizadores da avaliação, visto que é o gênero do texto solicitado no enunciado da tarefa que define as expectativas em relação à compreensão do texto de insumo e à seleção de recursos linguísticos e informacionais necessários para compor o texto a ser produzido. É por isso que ao determinar as condições de produção do texto a ser escrito, a tarefa especifica uma posição enunciativa para o autor, o interlocutor a quem o texto deve se dirigir e o propósito do texto. A relação entre enunciador, interlocutor e propósito, por sua vez, orienta a seleção de informações do texto de insumo que podem ser relevantes para dar consistência a esse propósito de escrita e indica o suporte em que esse texto deverá ser publicado. Todos esses elementos, juntos, compõem o gênero do discurso no qual o texto a ser produzido na tarefa deve se estruturar. (SCHOFFEN et al., 2018, p. 7-8) Cada tarefa da Parte Escrita do Celpe-Bras pressupõe uma resposta dentro de um determinado gênero do discurso, o que implica que o texto a ser produzido se insira em uma determinada esfera da comunicação humana, trate de um determinado tema e cumpra com o propósito comunicativo proposto no enunciado da tarefa, configurando a relação de interlocução solicitada e apresentando, para isso, as características informacionais e composicionais necessárias para poder ser publicado no suporte proposto na tarefa em questão. Todas as provas já aplicadas no exame Celpe-Bras estão disponíveis no Acervo Celpe-Bras (www.ufrgs.br/acervocelpebras)5. Em Schoffen et al. (2018) é apresentada uma descrição detalhada das tarefas já aplicadas na Parte Escrita do Celpe-Bras em seus vinte anos de existência. O estudo constata que as tarefas do exame têm apresentado uma grande diversidade de esferas de atuação, temáticas, gêneros do discurso, propósitos, relações de interlocução e suportes. Os resultados desse estudo ressaltam, também, que as tarefas da Parte Escrita privilegiam a solicitação de textos que circulam em esferas de atuação públicas, configurando relações de interlocução 5 Banco de dados, desenvolvido na Universidade Federal do Rio Grande do Sul, que reúne as provas já aplicadas, manuais, guias e legislação já publicados, bem como pesquisas acadêmicas já produzidas sobre o Celpe-Bras. http://www.ufrgs.br/acervocelpebras ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 14 predominantemente sociais. Segundo as autoras, ao privilegiar usos da linguagem em esferas menos familiares da atividade humana, as tarefas do exame Celpe-Bras caracterizamum instrumento de avaliação que consolidou, ao longo dos anos, o objetivo da avaliação de proficiência em usos mais monitorados da língua portuguesa, em esferas públicas e em gêneros que podem ser considerados mais estáveis se for levada em conta a menor proximidade entre os interlocutores e a mobilização das convenções da língua escrita esperada em tais situações de comunicação. (SCHOFFEN et al., 2018, p. 71). As tarefas da Parte Escrita do Celpe-Bras se propõem a avaliar compreensão e produção de forma integrada. Essa integração também parece estar de acordo com a visão bakhtiniana de linguagem, visto que, também nessa visão, as habilidades de compreensão e de produção aparecem imbricadas. É a partir da compreensão (dos textos e do mundo) que se dá a produção, e uma não existiria sem a outra. O que o falante diz não é algo primeiro, mas é sempre uma resposta ao que lhe foi dito, por outra pessoa ou pelo mundo e suas relações. Nenhum falante parte do início, está sempre dando continuidade a um diálogo que não se encerra em si mesmo. Da mesma forma, as palavras do falante serão alvo de respostas dos enunciados dos outros. Tendo em vista que, de acordo com o manual do exame, “o conceito de proficiência que fundamenta o exame consiste no uso adequado da língua para desempenhar ações no mundo” (BRASIL, 2012, p. 4), e considerando que, no uso da língua, a produção sempre requer compreensão, entendemos que a avaliação da Parte Escrita do Celpe-Bras pressupõe uma visão de proficiência que só pode ser demonstrada na relação concreta com um contexto e um interlocutor, como veremos a seguir. 2 A VISÃO DE PROFICIÊNCIA QUE EMBASA A AVALIAÇÃO DA PARTE ESCRITA Como vimos acima, a visão de linguagem apresentada nos manuais do Celpe- Bras, segundo a qual “o Exame se fundamenta na ideia de proficiência como uso adequado da língua para desempenhar ações no mundo, levando-se em consideração, portanto, não apenas aspectos textuais, mas, primordialmente, aspectos discursivos: contexto, propósito e interlocutores envolvidos na interação” (BRASIL, 2012, p. 9), está afiliada à visão bakhtiniana de linguagem, segundo a qual são os gêneros do discurso que organizam nossa comunicação, pois “falamos apenas através de determinados ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 15 gêneros do discurso, isto é, todos os nossos enunciados possuem formas relativamente estáveis e típicas de construção do todo” (BAKHTIN, 2003, p. 282). Se os gêneros do discurso “são tão indispensáveis para a compreensão mútua quanto as formas da língua” (BAKHTIN, 2003, p. 285), entendemos, então, que “ser proficiente em determinada língua é ser capaz de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de maneira adequada ao contexto de produção e ao propósito comunicativo” (SCHOFFEN, 2009, p. 102). Para avaliar proficiência a partir desse ponto de vista, é preciso, então, um sistema de avaliação que dê conta de todas as relações estabelecidas entre os interlocutores e os enunciados dentro de um determinado contexto de produção. Nesse sentido, entendemos que um sistema de avaliação que considere a linguagem de uma perspectiva bakhtiniana deva fazer o percurso proposto por Rojo (2005) para a análise dos gêneros, segundo o qual aqueles que adotam a perspectiva dos gêneros do discurso partirão sempre de uma análise em detalhe dos aspectos sócio-históricos da situação enunciativa, privilegiando, sobretudo, a vontade enunciativa do locutor – isto é, sua finalidade, mas também e principalmente sua apreciação valorativa sobre seu(s) interlocutor(es) e tema(s) discursivos – e, a partir desta análise, buscarão as marcas linguísticas (formas do texto/enunciado/ e da língua – composição e estilo) que refletem, no enunciado/texto, esses aspectos da situação. Isso configura não uma análise exaustiva das propriedades do texto e de suas formas de composição (gramática) – buscando as invariantes do gênero –, mas uma descrição do texto/enunciado pertencente ao gênero ligada sobretudo às maneiras (inclusive linguísticas) de configurar a significação. (ROJO, 2005, p. 199) Vemos, então, que, segundo essa visão, a construção do gênero está muito mais centrada na configuração da interlocução do que nas marcas linguísticas e formais presentes no texto. Se ser proficiente, então, é ser um membro competente de uma comunidade linguística, capaz de construir gêneros adequados para participar de situações de enunciação em diferentes esferas de uso da linguagem, podemos entender, dessa forma, que proficiência é, em grande medida, capacidade de configurar adequadamente a interlocução dentro de um contexto de comunicação específico. Ao avaliarmos proficiência, então, o que precisa ser avaliado é a capacidade de configurar a interlocução nos enunciados dentro de um gênero e de um contexto de produção específico, uma vez que todas as demais relações no texto vão ser estabelecidas a partir da interlocução configurada. Avaliar segundo uma perspectiva bakhtiniana de linguagem pressupõe também entender e aceitar que cada enunciado é único e irrepetível e, dessa forma, cada enunciado precisa ser avaliado dentro da sua singularidade. Cada enunciado configura ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 16 a interlocução de maneira única, e é a partir dessa interlocução que todas as outras relações vão se estabelecer. Para avaliar segundo essa perspectiva, portanto, é preciso utilizar parâmetros de avaliação que sejam genéricos o suficiente para serem capazes de se adaptar para cada texto, singularizando-se e singularizando a avaliação de modo a dar conta das relações únicas e irrepetíveis estabelecidas pelo enunciado. Dessa perspectiva, entendemos que o ato de avaliação coloca-se, assim, como um ato de enunciação, na medida em que o avaliador necessariamente responde ao texto através do seu processo de compreensão ativa, permeado pela sua rede de valores e pelas suas expectativas em relação a um texto de prova de proficiência, ajustando para cada texto os parâmetros de avaliação para que possam contemplar as relações estabelecidas em cada texto individualmente. (SCHOFFEN, 2009, p. 104) Na avaliação realizada na Parte Escrita do Celpe-Bras, portanto, todas as relações presentes (a relação que o autor estabelece com o interlocutor e com a situação em si, a vontade discursiva do falante e os recursos linguísticos utilizados para compor o texto final) precisam ser avaliadas conjuntamente, uma vez que contribuem de forma conjunta para a significação do texto e seu enquadramento no gênero que representa. Para avaliar segundo essa perspectiva, o Celpe-Bras faz a opção por uma avaliação holística6 na Parte Escrita, pois o entendimento de proficiência do exame diz respeito à ampliação da participação e da constituição enquanto sujeito nos diversos contextos de uso da linguagem, e não somente ao domínio de formas e regras da língua. A opção por uma avaliação holística está de acordo com o construto do exame, que rejeita a ideia de avaliar o conhecimento ou a acurácia dos recursos linguísticos de forma independente do uso que é feito da língua. Segundo Flores e Teixeira (2005), ao olhar a língua de uma perspectiva bakhtiniana “não importa a forma linguística invariável, mas sua função em um dado contexto”(FLORES; TEIXEIRA, 2005, p. 48). É nesse sentido que entendemos que os recursos linguisticos, no uso da linguagem, servem para configurar e sustentar a interlocução dentro de determinado contexto de produção. Pensar proficiência segundo essa visão implica entender que os recursos linguísticos estão “a serviço” da interlocução, isto é, articulando as relações contextuais e interlocutivas à materialidade linguística para a produção de umtexto dentro de determinado gênero. Proficiência é, dessa perspectiva, mais do que uma soma de regras de gramática e vocabulário ou um inventário de signos, proficiência é a capacidade de agir na língua, e um falante é mais 6 Para maiores informações sobre a diferença entre procedimentos de avaliação holísticos e analíticos, ver Schlatter et al. (2005). ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 17 ou menos proficiente na medida em que suas ações são mais ou menos adequadas aos contextos de produção em que atua. Avaliar proficiência então, segundo esse entendimento, passa ao largo da avaliação do uso “correto” dos recursos linguisticos enquanto formas estáticas, mas deve se centrar na avaliação da “adequação” no uso desses recursos para configurar a interlocução em um contexto de produção específico. (SCHOFFEN, 2009, p. 116) A partir do entendimento de proficiência como uso da linguagem para cumprir determinados propósitos comunicativos, como vimos, a determinação do nível de proficiência se dá pela realização ou não do propósito de forma mais ou menos preferível dentro do contexto de produção do texto. Dessa forma, os recursos linguísticos devem ser avaliados na medida em que permitem ou não a realização do propósito de forma mais ou menos preferível dentro do gênero e do contexto de produção previsto. Para produzir um texto que configure adequadamente a interlocução dentro de um determinado contexto de produção, é necessário fazer uso de certos recursos informacionais que vão tornar consistente a interlocução configurada e contribuir para o cumprimento do propósito interlocutivo do texto. Para isso, é necessário que o autor do texto demonstre estar de alguma forma envolvido na atividade da qual o gênero faz parte. O texto precisa, então, para legitimar a interlocução configurada e o propósito a que o texto se propõe, acionar recursos informacionais para dar conta da esfera de comunicação envolvida. Quanto mais contextualizados e adequados esses recursos, mais consistente será a interlocução. Os parâmetros de avaliação utilizados na Parte Escrita do Celpe-Bras, apresentados na próxima seção, buscam avaliar essas relações estabelecidas em cada texto de forma singular, de forma a definir os níveis de proficiência com base na consistência da interlocução configurada. 3 OS PARÂMETROS DE AVALIAÇÃO DA PARTE-ESCRITA Para McNamara (1996), a visão que um exame tem de língua e proficiência está, inevitavelmente, descrita na escala de avaliação utilizada. Dessa forma, segundo o autor, ainda que os exames não façam referência explícita a nenhuma teoria, a posição teórica fica implícita nos critérios pelos quais os avaliadores fazem os seus julgamentos (MCNAMARA, 1996, p. 32). Os parâmetros de avaliação utilizados na Parte Escrita do Celpe-Bras, como vimos, são baseados na visão de proficiência como capacidade de produzir enunciados adequados dentro de determinados gêneros do discurso, configurando a interlocução de forma adequada ao contexto de produção e ao propósito comunicativo, e é essa visão que perpassa a descrição dos níveis apresentada. ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 18 No quadro abaixo, são apresentados os parâmetros de avaliação utilizados para todas as tarefas da Parte Escrita do Celpe-Bras. Como dito anteriormente, Para dar conta das relações estabelecidas em cada texto, os parâmetros de avaliação são genéricos o suficiente para permitir que os critérios sejam atualizados no momento da avaliação, a partir das relações estabelecidas dentro de cada texto, individualmente, já que, segundo a perspectiva adotada, o enunciado é sempre único e singular, e como tal precisa ter parâmetros de avaliação que deem conta dessa singularidade. Ao permitirem essa singularização, os parâmetros de avaliação utilizados na Parte Escrita do Celpe-Bras possibilitam uma avaliação coerente com o construto do exame. Quadro 1 – Parâmetros de avaliação da parte escrita do Celpe-Bras 5- Configura adequadamente a relação de interlocução no gênero discursivo proposto na tarefa, realizando a ação solicitada. Recontextualiza apropriadamente e de maneira autoral as informações necessárias para cumprir o propósito interlocutivo de forma consistente. Eventuais inadequações ou equívocos não comprometem a configuração da interlocução. Produz um texto autônomo, claro e coeso, em que os recursos linguísticos acionados são apropriados para configurar a relação de interlocução no gênero solicitado e possíveis inadequações raramente comprometem a fluidez da leitura. 4- Configura a relação de interlocução no gênero discursivo proposto na tarefa, realizando a ação solicitada. Recontextualiza apropriadamente as informações necessárias para cumprir o propósito interlocutivo, mas possíveis equívocos ou incompletudes podem fragilizar, em momentos localizados, a consistência da interlocução. Os recursos linguísticos acionados são apropriados para configurar a relação de interlocução no gênero proposto, construindo um texto claro e coeso em que possíveis inadequações podem comprometer, em momentos localizados, a fluidez na leitura. 3- Configura a relação de interlocução no gênero discursivo proposto na tarefa, realizando a ação solicitada, ainda que a consistência da relação de interlocução possua algumas falhas. Pode recontextualizar de forma pouco articulada e/ou equivocada ou não recontextualizar informações necessárias para cumprir o propósito dentro do contexto de produção solicitado. Os recursos linguísticos acionados são apropriados, podendo apresentar limitações ou inadequações que podem prejudicar, em alguns momentos, a configuração da interlocução no gênero proposto. Problemas de clareza e coesão podem ocasionar, em alguns momentos, dificuldades na leitura 2- Configura a relação de interlocução de forma pouco consistente, realizando superficialmente a ação solicitada. Pode estabelecer uma relação de interlocução próxima à solicitada, não cumprir propósito(s) menor(es) e/ou apresentar problemas na construção do gênero. Pode apresentar trechos do texto que remetem a um gênero diferente, comprometendo a relação de interlocução. A relação entre o propósito do texto e a interlocução configurada não é clara ou não é totalmente adequada. Pode não recontextualizar informações que seriam necessárias para a configuração adequada da interlocução ou não articular claramente essas informações. Equívocos de compreensão podem comprometer parcialmente o cumprimento do propósito. Os recursos linguísticos acionados são limitados e/ou inadequados, podendo prejudicar parcialmente a configuração da relação de interlocução no gênero solicitado. Problemas de clareza e coesão podem ocasionar, em diferentes momentos, dificuldades na leitura. 1- Configura com problemas recorrentes ou não configura a relação de interlocução solicitada, realizando muito superficialmente ou não realizando a ação solicitada. Remete-se ao tema, mas pode não considerar o contexto de produção e não construir o gênero discursivo proposto ou apresentar problemas recorrentes na sua construção. Não recontextualiza informações suficientes para o cumprimento do propósito comunicativo considerando a relação de interlocução configurada. OU Pode apresentar equívocos graves e/ou frequentes de compreensão que comprometem o cumprimento do propósito. Os recursos linguísticos acionados são muito limitados e/ou ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 19 inadequados, o que prejudica substancialmente o cumprimento do propósito e a configuração da relação de interlocução, comprometendo a construção do gênero solicitado. Problemas frequentes de clareza e coesão ocasionam, em vários momentos, problemas na leitura. 0- Não configura,ou configura de forma equivocada, a relação de interlocução, não realizando a ação solicitada. OU Trata de outro tema. OU Demonstra problemas generalizados de compreensão, impedindo o cumprimento do propósito e a configuração da relação de interlocução E/OU Limita-se a reproduzir o(s) texto(s)-base(s), sem marcas de autoria. OU Ignora completamente os texto(s)- base(s). E/OU Problemas generalizados de clareza e coesão e/ou inadequações linguísticas impedem a configuração da relação de interlocução no gênero solicitado, comprometendo a compreensão geral do texto. OU A produção é insuficiente para a avaliação. (BRASIL, 2020, p. 39) Como é possível verificar nos parâmetros apresentados, são definidores dos níveis avaliados a consistência da configuração da interlocução dentro do gênero do discurso solicitado e o cumprimento do propósito interlocutivo apresentado na tarefa. Para avaliar essa consistência, cada texto deve ser considerado em sua singularidade, a partir das relações dialógicas que estabelece e da interlocução que configura, dentro do gênero no qual se constrói. Nas tarefas da Parte Escrita do Celpe-Bras, no entanto, um complicador se impõe, visto que a avaliação integra compreensão e produção, e a compreensão também precisa ser avaliada na produção do examinando. A esse respeito, a necessidade de recuperação das informações do texto de insumo deve ser considerada segundo critérios atualizados a cada texto individualmente, para que demonstrem a construção ou não de um texto adequado ao gênero proposto a partir da relação dialógica estabelecida. Para dar conta dessa avaliação, então, os parâmetros de avaliação, como vimos, consideram o todo da situação comunicativa proposta na tarefa de forma holística, para que o texto produzido pelo examinando seja avaliado como pertencente a esse gênero, a partir da relação de interlocução específica que se estabelece. A partir da configuração da interlocução em cada texto avaliado, os parâmetros de avaliação indicam que se verifique se os recursos utilizados no texto são efetivamente legitimados por essa relação e trabalham para ajudar a construí-la adequadamente dentro do gênero discursivo proposto pela tarefa. Também para a avaliação do uso dos recursos linguísticos e coesivos em língua portuguesa, os parâmetros de avaliação da Parte Escrita do Celpe-Bras são atualizados dentro da singularidade do texto. É preciso levar em consideração, a partir da relação interlocutiva configurada, quais recursos se mostram necessários e importantes para a configuração dessa relação. A avaliação dos recursos linguísticos, assim, não é dissociada da avaliação das práticas interacionais, já que,para desempenhar ações em diferentes contextos por meio da linguagem, deve-se utilizar recursos linguísticos que são constituintes da ação, entendendo que, para cada contexto, em cada evento e de acordo com os participantes envolvidos, existirão recursos linguísticos preferidos para o cumprimento daquele propósito naquele contexto. ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 20 Os parâmetros utilizados na avaliação da Parte Escrita do Celpe-Bras, como vimos, são baseados na ideia de proficiência como “uso adequado da língua para desempenhar ações no mundo” (BRASIL, 2012, p. 4) e, portanto, são coerentes com o construto do exame. A opção por uma avaliação nesses moldes, no entanto, requer um rigoroso controle do processo de avaliação, de forma a garantir a validade e a confiabilidade da avaliação realizada (WEIGLE, 2002). O processo de avaliação da Parte Escrita do Celpe-Bras, bem como os mecanismos utilizados para controlar esse processo, são apresentados na seção a seguir. 4 O PROCESSO DE AVALIAÇÃO DA PARTE ESCRITA As provas do Celpe-Bras são realizadas no mesmo dia em todos os postos aplicadores credenciados. Após a aplicação da prova, as notas e as gravações das interações da Parte Oral são inseridas em um sistema online desenvolvido pela empresa aplicadora que dá suporte ao exame e todo o material referente à aplicação, incluindo as fichas de avaliação da Parte Oral, as atas e os cadernos de respostas da Parte Escrita, são enviados de volta para a empresa aplicadora, que faz o processamento do material. Após a retirada da identificação dos textos produzidos pelos examinandos, que passam a ser identificados apenas por um código, é composta uma amostra aleatória de textos, representativos dos examinandos inscritos nos diversos postos aplicadores. Essa amostra é lida e analisada pela Comissão Técnico-Científica do exame , responsável por coordenar as equipes de correção durante o processo de avaliação. A partir da amostra, são redigidas as especificações para a avaliação de cada tarefa, que particularizam os parâmetros de avaliação com a explicitação de enunciador, interlocutor, propósito e conteúdo informacional solicitados por cada tarefa. Após a redação das especificações para cada tarefa, a Comissão Técnico-Científica avalia e discute os textos da amostra, e seleciona os textos a serem utilizados na capacitação dos avaliadores de cada tarefa. A avaliação dos textos produzidos pelos examinandos é realizada por professores e pesquisadores experientes da área de Português como Língua Adicional que compõem um cadastro de avaliadores selecionados pelo Inep em chamada pública. Os avaliadores são divididos em quatro equipes de correção, cada equipe ficando responsável pela avaliação de uma das quatro tarefas, com a coordenação de um membro da Comissão Técnico-Científica. Todos os avaliadores participam de uma capacitação presencial, durante a qual são apresentados e discutidos os parâmetros de ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 21 avaliação e as especificações para cada tarefa, bem como a avaliação dos textos anteriormente selecionados, com o objetivo de balizar os parâmetros entre todos os avaliadores. O processo de avaliação dos textos acontece à distância, por meio de uma plataforma online disponibilizada pela empresa aplicadora. Antes de iniciar a avaliação, os avaliadores realizam ainda uma simulação de correção de dez textos previamente selecionados e comentados pelos coordenadores, chamada de pré-teste, para que seja possível verificar o alinhamento de todos os avaliadores aos parâmetros de avaliação e às características específicas de cada tarefa. Após a simulação, os avaliadores recebem as avaliações e os comentários dos textos feitos previamente pelos coordenadores, e os coordenadores orientam os avaliadores que por ventura tenham se distanciado das avaliações desejadas, a fim de garantir uma melhor compreensão dos parâmetros e das especificações da tarefa. A avaliação de cada texto da Parte Escrita é realizada em uma escala de 0 a 5, utilizando-se os parâmetros de avaliação apresentados anteriormente, e é realizada no sistema duplo-cego, isto é, cada texto é avaliado independentemente por dois avaliadores diferentes sem que um saiba a nota que o outro deu. Se as notas dos dois avaliadores forem iguais ou tiverem diferença de um ponto (um avaliador atribuiu a nota 2 e o outro a nota 3, por exemplo), a nota final do examinando naquela tarefa será a média aritmética das notas atribuídas pelos dois avaliadores. Havendo diferença de dois pontos ou mais (um avaliador atribuiu a nota 2 e o outro a nota 4, por exemplo), entende-se que houve discrepância entre as notas, e o texto será reavaliado por um terceiro avaliador, sendo a nota final do examinando naquela tarefa a média aritmética entre as duas notas mais próximas. A nota final da Parte Escrita é a média aritmética das notas finais das quatro tarefas, e a certificação no exame é atribuída considerando- se a nota mais baixa atingida pelo examinando entre as Partes Escrita e Oral (COURA- SOBRINHO, 2006).4.1 PROCEDIMENTOS PARA GARANTIR A CONFIABILIDADE NO PROCESSO DE CORREÇÃO DA PARTE ESCRITA Se, ao utilizar parâmetros para a avaliação da Parte Escrita, o Celpe-Bras privilegia a validade de construto, já que os parâmetros tornam possível adequar as exigências e expectativas da avaliação para cada enunciado de forma singular, da mesma forma como acontece em situações de uso da linguagem fora de um exame de proficiência, o uso de parâmetros atualizáveis a cada texto pode gerar problemas de confiabilidade para o processo de avaliação, já que não há exigências fixas para a ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 22 avaliação de cada nível de proficiência, o que requer necessariamente maior investimento em capacitação para garantir a coesão entre os avaliadores (WEIGLE, 2002). Se lidamos com uma noção de proficiência em que o pressuposto é exatamente a variabilidade, é necessário mantermos esse pressuposto na avaliação, e o Celpe-Bras faz uso, então, de mecanismos para lidar com a diferença que possa surgir. O primeiro procedimento utilizado para garantir a confiabilidade na correção da Parte Escrita diz respeito à divisão dos avaliadores em equipes, sendo cada equipe responsável pela avaliação de apenas uma tarefa. O fato de cada avaliador se especializar na correção de uma só tarefa permite uma melhor compreensão das especificações daquela tarefa em particular, o que traz maior unidade, consistência e, consequentemente, confiabilidade à correção, diminuindo as eventuais discrepâncias. São adotados também, durante o processo de avaliação da Parte Escrita, outros procedimentos para garantir a confiabilidade da avaliação. Além da capacitação dos avaliadores, do pré-teste e da reavaliação dos textos que tenham recebido notas discrepantes, já apresentados anteriormente, são gerados, durante o processo de avaliação, relatórios diários de andamento da correção e de desempenho dos avaliadores. Esses relatórios são analisados pelos coordenadores das equipes que, se necessário, fazem intervenções junto aos avaliadores para ajustar o processo. Os relatórios a que os coordenadores das equipes de avaliação têm acesso durante o processo são os seguintes: • nota média por tarefa; • nota média por avaliador; • concentração de notas por tarefa; • concentração de notas por avaliador; • tempo médio de correção por texto por avaliador; • quantidade de vezes em que cada avaliador se envolveu em discrepância; • quantidade de vezes em que, tendo o texto sido reavaliado, a nota do avaliador foi diferente da nota atribuída pelo terceiro avaliador. Além desses relatórios, o desempenho dos avaliadores é acompanhado durante o processo de avaliação por meio da utilização de provas-controle, procedimento que consiste na inserção entre os textos a serem avaliados, ao longo do processo, de textos provenientes da amostra inicial discutida e avaliada pela Comissão Técnico-Científica. Esses textos são distribuídos para todos os avaliadores durante o processo de correção, com o objetivo de comparar as notas atribuídas pelos avaliadores com as notas-controle, atribuídas pelos coordenadores, verificando, assim, o desempenho dos avaliadores e o ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 23 atendimento aos parâmetros de avaliação. O desempenho dos avaliadores nas provas- controle também gera um relatório analisado pelo coordenador da equipe, que pode, se necessário, fazer intervenções junto aos avaliadores para aumentar a coesão do grupo e esclarecer dúvidas relacionadas à compreensão dos parâmetros de avaliação, mantendo, assim, a confiabilidade da avaliação. CONSIDERAÇÕES FINAIS O objetivo deste artigo foi apresentar e discutir a visão de linguagem e de proficiência avaliada na Parte Escrita do exame Celpe-Bras. A partir da definição de proficiência que embasa a Parte Escrita, foram apresentados os parâmetros utilizados na avaliação, que privilegiam a validade de construto, e descreveu-se como é realizado o processo de correção. A opção feita pelo Celpe-Bras por adotar uma avaliação holística na Parte Escrita, ao privilegiar a validade, traz, como vimos, desafios para que seja possível garantir a confiabilidade do processo de correção. Nesse sentido, foram aqui apresentados os procedimentos que o exame utiliza para enfrentar os desafios e garantir a confiabilidade, como a capacitação dos avaliadores, o tratamento das discrepâncias, o acompanhamento de cada grupo de avaliação por um coordenador, a geração de relatórios de acompanhamento do processo e de avaliação do desempenho dos avaliadores e a intervenção do coordenador para redirecionar os avaliadores quando se faz necessário. Como visto acima, o Celpe-Bras realiza, na Parte Escrita, uma avaliação coerente com a visão bakhtiniana de linguagem, que fundamenta o exame, demonstrando validade de construto. O processo de avaliação realizado na Parte Escrita também pode ser considerado bastante confiável, tendo em vista os procedimentos utilizados para enfrentar os desafios e garantir a confiabilidade. Entendemos, contudo, que esse processo de avaliação pode ser ainda mais aprimorado, investindo-se ainda mais na capacitação dos avaliadores, na descrição do processo de correção e no refinamento dos níveis de certificação do exame. É importante, nesse sentido, a realização de mais estudos sobre o Celpe-Bras e sobre o processo de avaliação, a fim de que possamos ter um sistema de avaliação ainda mais válido e confiável, coerente com as visões contemporâneas de proficiência em uso da linguagem. ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 24 REFERÊNCIAS BAKHTIN, M. Estética da criação verbal. São Paulo: Martins Fontes, 2003. BORTOLINI, L. S. Os conceitos de uso de língua, identidade e aprendizagem subjacentes ao material didático para o ensino de português em Leticia (Colômbia). 2006. Monografia (Licenciatura em Letras) – Instituto de Letras, Universidade Federal do Rio Grande do Sul, Porto Alegre. BRASIL. INEP – Instituto Naciona de Estudos e Pesquisas Educacionais Anísio Teixeira. Guia do Participante: tarefas comentadas. Brasília: INEP, 2013. BRASIL. INEP – Instituto Naciona de Estudos e Pesquisas Educacionais Anísio Teixeira. Manual do Candidato ao Exame Celpe-Bras. Brasília: INEP, 2006. BRASIL. INEP – Instituto Naciona de Estudos e Pesquisas Educacionais Anísio Teixeira. Manual do Examinando: versão eletrônica simplificada. Brasília: INEP, 2012. BRASIL. INEP – Instituto Naciona de Estudos e Pesquisas Educacionais Anísio Teixeira. Documento-Base do Exame Celpe-Bras. Brasília: INEP, 2020. CLARK, H. H. O uso da linguagem. Cadernos de Tradução, n. 9. Porto Alegre: UFRGS, jan-mar 2000. COSTA, E. V. Práticas de formação de professores de português língua adicional em um Instituto Cultural Brasileiro no exterior. 2013. Dissertação (Mestrado em Linguística Aplicada) – Instituto de Letras, Universidade Federal do Rio Grande do Sul, Porto Alegre. COURA-SOBRINHO, J. O sistema de avaliação Celpe-Bras: o Processo de Correção e a Certificação. In: HORA, Demerval da (Org.). Língua(s) e povos: unidade e diversidade. João Pessoa: Idéia, 2006. DORIGON, T. 2016. O Celpe-Bras como instrumento de política linguística: um mediador entre propósitos e materializações. Dissertação de Mestrado. Universidade Federal do Rio Grande do Sul. FARACO, C. A. Linguagem e diálogo: as ideias linguísticas do círculo de Bakhtin. Curitiba: Criar Edições, 2003. FLORES, V. N.; TEIXEIRA, M. Introdução à Linguística da Enunciação. São Paulo: Contexto, 2005. FURTOSO, V. A. B. Onde estamos? Para onde vamos?: a pesquisa em português para falantes ISSN: 1679-1347 Revista Inventário,Dossiê Temático 1, Salvador, abr. 2021 25 de outras línguas nas universidades brasileiras. In: LUCAS, P. O.; RODRIGUES, R. F. L. (Orgs.). Temas e rumos nas pesquisas em Linguística Aplicada: questões empíricas, éticas e práticas (vol. 1, p. 153-196). Campinas, SP: Pontes, 2015. MARTINS, A. F. Rastros de mudanças epistemológicas na área de português como língua adicional: o exame Celpe-Bras como um mecanismo de políticas linguísticas. BELT, v. 9, n. 1, p. 223-243, jan-jun 2018. MCNAMARA, T. F. Measuring second language performance. Edinburgh Gate: Addison Wesley Longman Limited, 1996. NAGASAWA, E. Y, Português como língua adicional para fins específicos: preparação ao exame Celpe-Bras. Dissertação de Mestrado, PPG-Letras – UFRGS, 2018. OHLWEILER, B. M. D. Criação de um jornal na sala de aula de português língua estrangeira. Dissertação de Mestrado, PPG-Letras – UFRGS, 2006. RODRIGUES, R. H. Os gêneros do discurso na perspective dialógica da linguagem: a abordagem de Bakhtin. In: MEURER, J. L., BONINI, A., MOTTA-ROTH, D. (Orgs). Gêneros: teorias, métodos, debates. São Paulo: Parábola Editorial, 2005. ROJO, R. Gêneros do discurso e gêneros textuais: Questões teóricas e aplicadas. In: MEURER, J. L., BONINI, A., MOTTA-ROTH, D. (Orgs.). Gêneros: teorias, métodos e debates. São Paulo: Parábola Editorial, 2005. SCARAMUCCI, M. V. R. Celpe-Bras exam and teachers´ perceptions of impact on teaching/assessment of Portuguese as a FL/L2. Trabalho apresentado no Language Testing Research Colloquium, Temecula, Califórnia, USA, 2004. SCARAMUCCI, M. V. R.; RODRIGUES, M. S. Compreensão (oral e escrita) e produção escrita no exame Celpe-Bras: análise do desempenho de candidatos hispano-falantes. In: SIMÕES, A; CARVALHO, A. M; WIEDEMANN, L. (Orgs.) Português para falantes de espanhol - artigos selecionados escritos em português e inglês. Campinas: Pontes, 2004. SCHLATTER, M.; ALMEIDA, A. N.; FORTES, M. S.; SCHOFFEN, J. R. Avaliação de desempenho e os conceitos de validade, confiabilidade e efeito retroativo. In: FLORES, V. N.; NAUJORKS, J. C.; REBELLO, L. S.; SILVA, D. S. (Orgs.). A redação no contexto do vestibular 2005: a avaliação em perspectiva. Porto Alegre: UFRGS, 2005. SCHLATTER, M.; SCARAMUCCI, M. V. R., PRATI, S.; ACUÑA, L. Celpe-Bras e Celu: impactos da construção de parâmetros comuns de avaliação de proficiência em português e em espanhol. In: FONTANA, M. Z. (Org.) O português do Brasil como língua transnacional. Campinas: RG Editora, 2009. SCHOFFEN, J. R.; MARTINS, A. F. Políticas linguísticas e definição de parâmetros para o ensino de português como língua adicional: perspectivas portuguesa e brasileira. ReVEL, 14(26), p. 271-306, 2016. ISSN: 1679-1347 Revista Inventário, Dossiê Temático 1, Salvador, abr. 2021 26 SCHOFFEN, J. R.; SCHLATTER, M.; KUNRATH, S. P.; NAGASAWA, E. Y.; SIRIANNI, G. R.; MENDEL, K.; TRUYLLIO, L. R.; DIVINO, L. S. Estudo descritivo das tarefas da Parte Escrita do exame Celpe-Bras: edições de 1998 a 2017. [recurso eletrônico] Porto Alegre: Instituto de Letras - UFRGS, 2018. SCHOFFEN, Juliana R. Gêneros do discurso e parâmetros de avaliação de proficiência em português como língua estrangeira no Exame Celpe-Bras. 2009. Tese (Doutorado em Linguística Aplicada) – Instituto de Letras, Universidade Federal do Rio Grande do Sul, Porto Alegre. WEIGLE, S. C. Assessing writing. Cambridge: Cambridge University Press, 2002. YAN, Q. De práticas sociais a gêneros do discurso: uma proposta para o ensino de português para falantes de outras línguas. Dissertação de Mestrado, PPG-Letras – UFRGS, 2008. Título em inglês: THE CONCEPT OF PROFICIENCY AND THE ASSESSMENTOF THE WRITTEN PART OF CELPE-BRAS EXAM