Prévia do material em texto
Página 1 de 37 Versão: 1/2018 Plano Operacional Avaliação Prática de Desempenho dos Estudantes 2018 Página 2 de 37 SUMÁRIO INTRODUÇÃO ........................................................................................................................................................... 4 1. ESCOPO DA AVALIAÇÃO PRÁTICA - EDIÇÃO 2018 ............................................................................................... 5 1.1. Objetivo ....................................................................................................................................................... 5 1.2 Cursos contemplados .................................................................................................................................... 5 1.3 Participantes: DRs e Escolas .......................................................................................................................... 6 1.4 Participantes: amostra e seleção dos estudantes ......................................................................................... 6 1.5 Cronograma de Operacionalização da Avaliação Prática .................................................................................. 1 1.5.1. Cronograma do 1º Semestre de 2018 ....................................................................................................... 1 1.5.2. Cronograma do 2º Semestre de 2018 ....................................................................................................... 1 1.5.3. Duração e horário de aplicação das provas ............................................................................................... 1 1.5.4. Pré e pós-aplicação .................................................................................................................................... 1 2. Instrumentos de Avaliação .............................................................................................................................. 1 2.2.2 Instrumentos de Avaliação Produzidos .................................................................................................. 3 3.1. Infraestrutura para realização das provas .................................................................................................... 4 3.1.2. Preparação da Infraestrutura .................................................................................................................... 5 4. Perfil dos Avaliadores ...................................................................................................................................... 6 5. Ambientação com os Instrumentos de Avaliação ............................................................................................... 6 6. Aplicação das Provas Práticas .............................................................................................................................. 7 7. SISTEMA DA AVALIAÇÃO PRÁTICA (SAP) ........................................................................................................... 13 7.1. Acesso ao SAP ............................................................................................................................................. 13 7.2. Convites ...................................................................................................................................................... 13 7.3. Central de Preparação ................................................................................................................................ 14 7.4. Escolas - Ambientes de prova ..................................................................................................................... 15 7.5. Homologação de Estudantes ...................................................................................................................... 15 7.6. Agendamento ............................................................................................................................................. 16 7.7. Geração de Provas ...................................................................................................................................... 16 7.8. Tabulação de Resultados ............................................................................................................................ 17 7.9. Confirmação do Coordenador .................................................................................................................... 17 7.10. Relatórios .................................................................................................................................................. 18 7.11. Dashboard ................................................................................................................................................ 18 8. PAPÉIS E RESPONSABILIDADES .......................................................................................................................... 18 8.1 Departamento Nacional .............................................................................................................................. 18 8.2 Departamento Regional ............................................................................................................................... 19 8.2.1 Executivo de Educação Profissional: ..................................................................................................... 19 Página 3 de 37 8.2.2 Interlocutor do SAEP ............................................................................................................................. 19 8.2.3 Delegado Técnico.................................................................................................................................. 20 8.3 Escolas ......................................................................................................................................................... 20 8.3.1 Coordenador de Avaliação ................................................................................................................... 20 8.3.2 Avaliadores ........................................................................................................................................... 21 9. CONFIDENCIALIDADE DO PROCESSO DE AVALIAÇÃO ........................................................................................ 21 10. REFERÊNCIAS ................................................................................................................................................... 23 Equipe Técnica do SAEP/DN .................................................................................................................................. 24 Grupo Técnico........................................................................................................................................................ 24 Página 4 de 37 INTRODUÇÃO O Sistema de Avaliação da Educação Profissional e Tecnológica (SAEP) é composto de ações para a avaliação da qualidade dos cursos, desde a concepção e implementação, passando pela proficiência dos alunos concluintes, até a performance dos egressos nas empresas. As avaliações permitem que o SENAI meça os efeitos das políticas adotadas e aprimore seus programas educacionais, sempre com o objetivo de oferecer uma educação de qualidade que atenda as demandas do setor industrial por profissionais qualificados. A Avaliação de Desempenho de Estudantes tem a finalidade de avaliar, em âmbito nacional, os cursos de educação profissional técnica de nível médio, utilizando como indicador a proficiência dos alunos. É composta de Avaliação Objetiva (on-line), que é aplicada em todos os alunos, e de Avaliação Prática, aplicada de forma amostral para os alunos que fizeram a prova objetiva. Tanto a prova objetiva, com questões de múltiplaescolha, como a prova prática (de execução), baseada em situações-problema, visam produzir diagnósticos e referenciais de qualidade dos cursos e do alcance dos perfis profissionais, bem como promover maior visibilidade da formação profissional. Com foco em competências, a avaliação propõe investigar o grau de desenvolvimento das capacidades básicas, técnicas e de gestão previstas no Itinerário Formativo, ou seja, verificar o alcance das competências necessárias ao desempenho da ocupação, conforme preconiza a Metodologia SENAI de Educação Profissional. Página 5 de 37 1. ESCOPO DA AVALIAÇÃO PRÁTICA - EDIÇÃO 2018 1.1. OBJETIVO A Avaliação Prática é um processo de avaliação pautada nas matrizes de referência do SAEP, oriundas do Perfil Profissional e Desenho Curricular nacionais, onde o desempenho dos alunos é avaliado por meio da resolução de situações-problema alinhadas a contextos reais de trabalho de cada curso. 1.2 CURSOS CONTEMPLADOS A Avaliação Prática, edição 2018, contempla 20 cursos técnicos, sendo 10 cursos avaliados na edição 2017 e 10 novos cursos. Os novos cursos foram definidos considerando a volumetria de matrículas e a quantidade de alunos prevista para participação na avaliação objetiva. Considerando estes requisitos, os cursos avaliados em 2018 estão relacionados no quadro seguir: ÁREA CURSOS Alimentos e Bebidas Técnico em Alimentos Automação e Mecatrônica Técnico em Automação Industrial Automação e Mecatrônica Técnico em Mecatrônica Automotiva Técnico em Manutenção Automotiva C.C Edificações Técnico em Edificações Eletroeletrônica Técnico em Eletroeletrônica Eletroeletrônica Técnico em Eletrônica Energia GTD Técnico em Eletrotécnica Logística Técnico em Logística MM Fabricação Mecânica Técnico em Fabricação Mecânica MM Mecânica Técnico em Eletromecânica MM Mecânica Técnico em Mecânica Polímeros Técnico em Plástico Química Técnico em Química Refrigeração e Climatização Técnico em Refrigeração e Climatização Segurança do Trabalho Técnico em Segurança do Trabalho TI Hardware Técnico em Informática TI Hardware Técnico em Manutenção e Suporte em Informática TI Hardware Técnico em Redes de Computadores Vestuário Técnico em Vestuário Página 6 de 37 1.3 PARTICIPANTES: DRS E ESCOLAS Participam da Avaliação Prática de Desempenho de Estudantes os Departamentos Regionais e Escolas com alunos que efetivamente participarão da Avaliação On-line 2018, conforme cronograma abaixo: 1ª Aplicação da Avaliação On-line: 07/05 a 16/05/2018 2ª Aplicação da Avaliação On-line: 17/09 a 26/09/2018 1.4 PARTICIPANTES: AMOSTRA E SELEÇÃO DOS ESTUDANTES A partir do cadastro realizado pelos Departamentos Regionais para a Avaliação On-line, o Departamento Nacional definirá a amostra e indicará os estudantes para cada uma das duas aplicações das provas práticas realizadas em cada ano (uma aplicação no 1º e uma aplicação no 2º semestre). A definição da amostra dos estudantes que participarão desta edição irá considerar a Unidade Escolar e será realizada por consultoria especializada em modelos estatísticos. Os estudantes dos 20 cursos técnicos a serem avaliados serão indicados pelo SENAI Departamento Nacional por meio de sorteio a partir dos estudantes cadastrados para participar de cada uma das duas etapas da Avaliação On-line. Considerando a pretensão de utilizar a metodologia da Teoria de Resposta ao Item (TRI) para a análise dos resultados, o quantitativo de participação de estudantes é importante, pois se recomenda que haja, minimamente, 300 avaliados por curso a nível nacional. Neste sentido, nos cursos em que o contingente participante da avaliação on-line for próximo de 300 alunos no ano em questão, todos os estudantes deverão participar da Avaliação Prática. O detalhamento do cálculo da amostra encontra-se disponível no Anexo 1. Página 1 de 37 1.5 CRONOGRAMA DE OPERACIONALIZAÇÃO DA AVALIAÇÃO PRÁTICA 1.5.1. CRONOGRAMA DO 1º SEMESTRE DE 2018 Processo Coordenação DN Interlocutores Delegados Técnicos Coordenador de Avaliação Avaliadores Datas Seção SAP 1ª Aplicação Convite de usuários para o SAP x x x A partir de 26/02/2018 Usuários Capacitação para a Avaliação Prática x x x x De 01 a 13/04/2018 Central de Preparação Envio das Listas de Infraestrutura x Até 19/03/2018 Central de Preparação Cálculo da amostra e carga no SAP x De 23 a 25/04/2018 - Aquisição de Consumíveis x x De 20/03 a 20/04/2018 - Familiarização com os instrumentos de avaliação x A partir de 23/04/2018 Central de Preparação Montagem dos Postos de Trabalho x De 23/04 a 18/05/2018 - Cadastro de ambientes de prova e homologação de estudantes x De 26/04 a 04/05/2018 Escolas / Homologação Agendamento das provas x De 07/05 a 18/05/2018 Agendamento Geração das provas x De 07/05 a 08/06/2018 Gerar Provas Aplicação das provas práticas x De 21/05 a 08/06/2018 - Tabulação de resultados x De 21/05 a 12/06/2018 Processamento de Resultados Validação do coordenador x De 21/05 a 12/06/2018 Processamento de Resultados Página 1 de 37 1.5.2. CRONOGRAMA DO 2º SEMESTRE DE 2018 Processo Coordenação DN Interlocutores Delegados Técnicos Coordenador de Avaliação Avaliadores Datas Seção SAP 2ª Aplicação Convite de usuários para o SAP x x x A partir de 15/07/2018 Usuários Capacitação para a Avaliação Prática x x x x De 01/08 a 28/09/2018 Central de Preparação Envio das Listas de Infraestrutura x Até 19/03/2018 Central de Preparação Cálculo da amostra e carga no SAP x De 20 a 22/08/2018 - Aquisição de Consumíveis x x De 01 a 31/08/2018 - Familiarização com os instrumentos de avaliação x A partir de 03/09/2018 Central de Preparação Montagem dos Postos de Trabalho x De 03 a 28/09/2018 - Cadastro de ambientes de prova e homologação de estudantes x De 23/08 a 14/09/2018 Escolas / Homologação Agendamento das provas x De 17/09 a 28/09/2018 Agendamento Geração das provas x De 17/09 a 23/10/2018 Gerar Provas Aplicação das provas práticas x De 01 a 19/10/2018 - Tabulação de resultados x De 01 até 23/10/2018 Processamento de Resultados Validação do coordenador x De 01 até 23/10/2018 Processamento de Resultados Página 1 de 37 1.5.3. DURAÇÃO E HORÁRIO DE APLICAÇÃO DAS PROVAS a. Ambientação: cada estudante terá até 30 minutos (sem contar nas 03h de prova) antes de iniciar a avaliação para ambientação e orientações, que compreendem: - reconhecimento dos equipamentos, ferramentas, instrumentos e ambientes de prova - leitura do caderno de prova do estudante e respectivos anexos - orientações gerais b. Tempo de prova: 3 horas c. Horário de aplicação da prova: preferencialmente o horário/turno em que o aluno estuda, assim como na prova on-line 1.5.4. PRÉ E PÓS-APLICAÇÃO O coordenador de avaliação deverá viabilizar o tempo e recursos necessários para que os avaliadores possam realizar os procedimentos pré e pós-aplicação de cada prova, que compreende, entre outros: Montagem do ambiente para as provas Preparação do ambiente para a aplicação de cada prova Apuração dos resultados de cada aluno Organização do ambiente após a aplicação da prova Tabulação dos resultados no SAP 2. INSTRUMENTOS DE AVALIAÇÃO O processo de ensino concebido pelo SENAI estimula o desenvolvimento das capacidades por meio de uma prática docente diferenciada e inovadora. Ela se apoia em estratégias de aprendizagem desafiadoras, procurando retratar a realidade da prática profissional e, ao mesmo tempo, desenvolver o raciocínio lógico e a autonomiano processo de aprendizagem. Assim, os estudantes aprendem a lidar com situações novas e inesperadas para resolver problemas. É nesse contexto que se pensou a prova prática, nada mais que a verificação do que já se aplica em sala de aula e nas oficinas. Página 2 de 37 Definiu-se como estratégia para construção das provas práticas utilizar-se de SITUAÇÕES- PROBLEMA, apresentando ao aluno uma situação real ou hipotética, dentro de um contexto alinhado ao mundo do trabalho que a torna altamente significativa. As situações-problema são desenvolvidas com base nos pressupostos da Metodologia SENAI de Educação Profissional (MSEP), considerando como documento norteador a Matriz de Referência utilizada para a avaliação objetiva on-line e adequada às condições de operacionalização da prova prática. Premissas: a. Foram desenvolvidas, no mínimo, 03 (três) provas para cada curso, identificadas como Prova 1, Prova 2,... ; b. Cada uma das provas é composta por uma ou mais situações-problema, e contempla todas as Unidades de Competência do Perfil Profissional e as capacidades da Matriz de Referência adequadas para este instrumento; c. As 03 (três) provas avaliam as mesmas Unidades de Competência e Capacidades, utilizam também a mesma infraestrutura e lista de verificação e são equivalentes em dificuldade e tempo de realização; d. A duração da prova é de 3 horas, viabilizando a realização no horário de aula dos estudantes, sem impacto significativo na rotina das escolas; e. As provas foram formatadas de maneira que os Departamentos Regionais possam operacionalizar com a infraestrutura e realidades locais, alinhadas ao Perfil Profissional e Desenho Curricular Nacionais. Logo a infraestrutura e situações- problema não têm citações de modelos, marcas ou processos específicos de equipamentos e ferramentas, de forma que não inviabilize a aplicação nos diferentes DRs; f. A prova simula situações reais e possíveis que o futuro profissional poderá encontrar no mercado de trabalho, exigindo dos estudantes a demonstração das capacidades esperadas pela profissão. Não é necessário que o estudante Página 3 de 37 desenvolva todo um produto ou serviço, sendo que a situação simulada poderá fornecer etapas já desenvolvidas, necessitando de complementos ou avaliação, por exemplo. 2.2.2 INSTRUMENTOS DE AVALIAÇÃO PRODUZIDOS a. Cada estudante deverá receber: ● 01 (um) Caderno de prova do estudante e respectivos anexos. b. Cada avaliador deverá utilizar para a avaliação: ● 01 (um) Manual do Avaliador com orientações para preparação e realização do processo de Avaliação Prática e respectivos anexos; ● 01 (uma) lista de verificação única para cada estudante que será avaliado. a. Caderno de prova do estudante O caderno de prova do estudante contém uma ou mais situações-problema relacionadas ao curso com todas as informações necessárias para o alcance dos resultados e desenvolvimento dos produtos esperados pelos estudantes. Estão descritos os resultados e entregas esperados, que irão dar subsídio para que os estudantes possam produzir e/ou demonstrar as evidências de processo e avaliar os produtos resultantes da resolução das situações-problema. Cada Caderno de Prova do Estudante conta com os anexos necessários para a resolução da(s) situação(ões)-problema. Estes anexos podem ser: tabelas, templates de documentos, projetos e/ou arquivos específicos de trabalho de uma determinada ocupação (projetos de CAD etc.). Página 4 de 37 B. MANUAL DO AVALIADOR O manual do avaliador é um documento norteador que auxiliará o avaliador na preparação e no momento da aplicação e correção das provas. Contém: orientações para a organização do ambiente de avaliação; orientações para preparação da avaliação; orientações para aplicação e correção das provas; layout básico, quando aplicável; lista de infraestrutura e insumos com especificações técnicas, caso necessário. B.1. LISTA DE VERIFICAÇÃO A lista de verificação é o instrumento utilizado pelo avaliador para o registro do desempenho do aluno. É compatível com a situação-problema elaborada e embasada no perfil profissional e nas capacidades descritas na matriz. Nela estão especificadas as evidências de processo e/ou de produto que devem ser demonstradas pelo aluno durante o desenvolvimento da situação-problema. As evidências são avaliadas de modo dicotômico (sim ou não, certo ou errado, fez ou não fez etc.); As evidências se relacionam ao desempenho de atividades (evidências de processo) ou a avaliação de produtos (evidências de produto). 3.1. INFRAESTRUTURA PARA REALIZAÇÃO DAS PROVAS A Lista de Infraestrutura é uma relação de máquinas, equipamentos, instrumentos, ferramentas, mobiliário, materiais, documentação técnica e EPI necessários para realização da Prova Prática para cada um dos cursos. Ela é disponibilizada previamente para os Departamentos Regionais e Escolas, visando a preparação para a aplicação das provas, no que tange a aquisição de consumíveis e preparação dos ambientes de prova. Página 5 de 37 Conta com a estimativa de insumos considerando um único estudante e uma estimativa de custo unitário para os insumos especificados, bem como a relação de máquinas, equipamentos, instrumentos, ferramentas, mobiliário, materiais, documentação técnica e EPI necessários para a montagem de 01 ambiente de prova. Junto à Lista de Infraestrutura, são disponibilizadas sugestões de leiautes e/ou fotos para auxiliar na montagem dos ambientes de prova. A infraestrutura necessária para a realização da Avaliação Prática é compatível com as capacidades descritas na Matriz de Referência do curso, com o Perfil Profissional e o Desenho Curricular, e é viável para a realização nas escolas que ofereçam o mesmo curso. Cabe destacar que a infraestrutura necessária para avaliação prática é compatível com o indicado no itinerário nacional, sendo que a descrição deve ser contemplativa para que abranja a maior parte das escolas do SENAI, sem negligenciar o mínimo exigido para o desenvolvimento do curso alinhado ao Perfil Profissional e Desenho Curricular Nacionais. 3.1.2. PREPARAÇÃO DA INFRAESTRUTURA Feita a seleção dos Avaliadores, os mesmos terão acesso à lista de infraestrutura e aos demais insumos necessários para a preparação para a Avaliação Prática. Nisso, os avaliadores deverão auxiliar o Coordenador de Avaliação no que tange à estimativa de insumos e consumíveis, de acordo com a quantidade de estudantes que será avaliada na escola, que deverá ser repassada aos responsáveis pela aquisição. Além disso, os avaliadores com base na Lista de Infraestrutura e nos projetos, quando aplicável, deverão proceder a separação dos equipamentos e instrumentos necessários e também à preparação dos ambientes definidos para que os estudantes possam realizar as provas. Página 6 de 37 Os avaliadores deverão mapear os ambientes de prova previstos e auxiliar o Coordenador de Avaliação na logística desses ambientes para facilitar o agendamento das provas. 4. PERFIL DOS AVALIADORES O avaliador é um profissional com qualificações pessoais e técnicas e competente para conduzir e/ou avaliar estudantes em situações de prova prática. A seleção do avaliador deve considerar as seguintes características: ● Possuir formação, competência ou experiência no curso técnico a ser avaliado, considerando o Perfil Profissional e as Unidades de Competência do curso; ● Desejável conhecimento do Sistema de Avaliação da Educação Profissional (SAEP), em especial da Avaliação de Desempenho de Estudantes; ● Possuir capacidade de comunicar-se adequadamente; ● Ter postura isenta e conduta desprovida de quaisquer interesses, para que possam fazer julgamentos (avaliações)imparciais dos desempenhos observados; ● Saber utilizar o computador e ferramentas web, para a geração das provas e tabulação dos resultados. No processo de seleção devem ser assegurados que os avaliadores: a) entendam a relevância e objetivos do processo de avaliação; b) sejam capazes de aplicar os procedimentos e documentos da avaliação; c) tenham competência na área a ser avaliada. 5. AMBIENTAÇÃO COM OS INSTRUMENTOS DE AVALIAÇÃO No prazo de 30 dias de antecedência do início da aplicação da Avaliação Prática, os avaliadores terão acesso, via Sistema da Avaliação Prática (SAP) aos seguintes documentos relacionados aos cursos que estão habilitados para avaliar: Página 7 de 37 ● Manual do Avaliador e anexos; ● 03 cadernos de prova dos estudantes e respectivos anexos; ● Lista de verificação; ● Matriz de referência. Caberá ao avaliador neste prazo, antes do início da aplicação das avaliações práticas, estudar todos os documentos apresentados de forma a apropriar-se corretamente dos desafios propostos aos estudantes e os resultados esperados. Com isso, espera-se que os avaliadores possam promover uma avaliação mais isonômica dos estudantes, de acordo com o que foi definido no desenvolvimento da avaliação do curso. Para a correta aplicação da avaliação, o Avaliador deve ler atentamente o Caderno de Prova do Estudante, Manual do Avaliador e lista de verificação, identificando as condições estabelecidas para a preparação do ambiente e etapas da prova e as evidências de processo e/ou de produto a serem observadas ao longo da aplicação da prova. Atenção: os arquivos disponibilizados são exclusivos para a familiarização e não serão utilizados para aplicação nos alunos. Caso tenha alguma dúvida quanto a qualquer um dos itens da Lista de verificação, para a preparação do ambiente de prova ou durante a aplicação ou correção da prova, o Avaliador deve informar ao Coordenador da Avaliação que, caso necessário, entrará em contato com o Interlocutor do SAEP e/ou Delegado Técnico, que procederá a análise das dúvidas e, caso necessário, acionar o Departamento Nacional para orientação. 6. APLICAÇÃO DAS PROVAS PRÁTICAS 6.1. Preparação do Ambiente Página 8 de 37 O avaliador deve preparar, a cada dia, o ambiente de prova e verificar se estão disponíveis todas as condições previstas no Caderno de Prova do Estudante e no Manual do Avaliador, tais como: ● Equipamentos ● Ferramentas ● Insumos ● Montagem da atividade e/ou erros e/ou defeitos quando aplicável. ● Documentações técnicas e normas disponíveis para consulta. O avaliador, em alguns cursos, deverá providenciar a desmontagem e organização do ambiente após a correção das atividades propostas, de acordo com as orientações do Manual do Avaliador. 6.2. Ambientação do Estudante O avaliador deve estabelecer contato inicial com o estudante, proporcionando um ambiente tranquilo e favorável para a realização da avaliação. a. O estudante tem o direito a 30 minutos Ambientação e orientação, conforme detalhado abaixo: b. - reconhecimento dos equipamentos, ferramentas, instrumentos e ambientes de prova; c. - leitura do caderno de prova do estudante e respectivos anexos; d. - orientações gerais; e. Durante a ambientação e ao longo da avaliação, ao aluno serão permitidos questionamentos e esclarecimentos de dúvidas sobre qualquer um dos itens, exceto aquilo que seja de competência do aluno prevista no perfil profissional ou informação que auxilie o estudante na resolução da avaliação. 6.3. Orientações para a aplicação para o Avaliador a. O avaliador deve cumprir a programação de aplicação do exame de acordo com data, horário e locais agendados pela Coordenação da avaliação, no Sistema da Página 9 de 37 Avaliação Prática, e atender a todas as orientações para a aplicação da prova contidas no Manual do Avaliador. b. Antes de entregar o caderno de prova, o avaliador deve solicitar ao estudante que desligue e guarde seu telefone celular. c. O avaliador deve certificar-se de que o estudante tenha lido e compreendido as instruções contidas no caderno de prova, esclarecendo as dúvidas, caso seja necessário, antes de dar início à avaliação. d. Não é permitida a presença de pessoas não autorizadas na área de aplicação da prova, sendo o Coordenador da Avaliação a pessoa responsável por definir as pessoas que terão acesso à área. e. A comunicação entre avaliador e aluno deve se restringir à orientação sobre o tempo de andamento da prova, a esclarecer possíveis dúvidas exceto aquelas que dizem respeito à competência prevista no perfil profissional e em casos em que o estudante tenha potencial para se expor a riscos oriundos de negligência no uso de EPI ou equipamentos e ferramentas. f. O avaliador deve registrar o horário de início da prova em local visível para o estudante e informar o tempo restante para a realização da avaliação a partir de 2h, 2h30 e 2h55. Ao término do tempo previsto para a realização da prova, a avaliação deverá ser encerrada não havendo tempo suplementar. g. As atualizações deverão ser de 30 em 30 minutos, além de informar os 15 minutos finais para que o estudante se organize e finalize a avaliação. h. O principal instrumento a ser utilizado pelo avaliador, no momento da avaliação, é a lista de verificação na qual será registrada, para cada evidência, a informação da escala de cotejo do “sim” (no caso de atendimento a evidência em questão) ou “não” com uma breve justificativa da sua atribuição. i. A lista de verificação poderá referenciar em anexos e/ou gabaritos visando dar maior clareza aos avaliadores dos critérios que serão avaliados. j. Ao final da avaliação, o caderno de prova do estudante e demais itens que compõem o instrumento de avaliação devem ser recolhidos pelo Avaliador, incluindo produtos e/ou evidências gerados pelos estudantes. Estes documentos Página 10 de 37 deverão ser guardados pelas escolas por, no mínimo 01 mês, contados do final do período de aplicação das avaliações práticas. k. O Departamento Nacional poderá, a qualquer tempo, solicitar evidências oriundas da realização das atividades pelos estudantes avaliados, visando analisar a operacionalização da prova e vislumbrar melhorias para o processo. l. Finalizada a avaliação, o avaliador disporá de 02 dias úteis para a consolidação dos resultados e lançamento no Sistema da Avaliação Prática. Feito isso, o Coordenador de Avaliação deverá homologar os lançamentos que serão gravados no sistema. m. Quando for identificada situação que interfira nas condições de aplicação de uma prova, o avaliador deverá suspender sua aplicação, informando imediatamente ao Coordenador da Avaliação, que fará o registro no formulário de ocorrências e tomará as providências cabíveis. n. Caso seja identificado conflito de interesses pelo avaliador ou pelo estudante, o avaliador deve informar imediatamente ao Coordenador da Avaliação, que fará o registro no formulário de ocorrências e tomará as providências cabíveis. o. O avaliador deve suspender o exame caso julgue que o candidato não apresente as mínimas condições técnicas, psicológicas e/ou físicas necessárias para realizar a avaliação, informando imediatamente ao Coordenador da avaliação, que fará o registro no formulário de ocorrências e tomará as providências cabíveis. p. Caso ocorra uma situação em que o estudante não utilize os EPI e/ou EPC exigidos para realização de uma atividade e isso implique em riscos para si e/ou demais, bem como para as instalações, o avaliador deve suspender a etapa, explicar a situação ao estudante e exigir a utilização dos equipamentos de proteção, para segurança de todos, retomando após a execução da etapa. q. Caso seja identificada situação de conduta desonesta por parte do aluno, o avaliadordeve informar imediatamente ao Coordenador da Avaliação, que fará o registro no formulário de ocorrências e tomará as providências cabíveis. r. Qualquer aluno da Avaliação Prática suspeito de conduta desonesta e que recusar- se a agir em conformidade com as regras, ou até mesmo comportar-se de maneira inadequada à conduta esperada na avaliação, estará sujeito desde a uma Página 11 de 37 advertência até ao cancelamento imediato de sua participação na avaliação prática. s. Qualquer pessoa que tenha evidências acerca de uma suposta violação das regras da avaliação prática deverá imediatamente relatar o caso ao Coordenador da Avaliação. t. Em se tratando de caso que envolva a própria Coordenação da Avaliação, a situação deverá ser reportada para o Interlocutor do SAEP e/ou Delegado Técnico, que irão proceder a análise do ocorrido e, se necessário, acionar a Unidade de Profissional e Tecnológica do Departamento Nacional. u. Para as pessoas habilitadas responsáveis pela realização das provas (avaliadores, equipe de suporte e coordenadores da avaliação), as sanções aplicadas serão desde uma advertência ao cancelamento imediato de sua participação na avaliação prática. 6.4 Verificação do Desempenho do aluno Durante a avaliação, o avaliador verifica o desempenho do aluno utilizando a Lista de Verificação. A Lista contêm a descrição das evidências com relação ao processo de execução das atividades e dos produtos concretos (intermediários ou finais) resultantes. As evidências descritas na Lista de Verificação podem estar referenciadas em normas ou então em modelos e/ou gabaritos, anexos do Manual do Avaliador, de forma que o julgamento do avaliador seja o mais objetivo e imparcial possível. O avaliador registra o desempenho do aluno na Lista de Verificação anotando, para cada evidência, unicamente o seu atendimento ou não (avaliação dicotômica), com a respectiva justificativa para o não atendimento em linguagem técnica. Ex.: Evidência: Utilizou óculos de segurança durante o processo de usinagem do eixo Justificativa Incorreta: não usou óculos Justificativa Correta: deixou de utilizar óculos de segurança durante a atividade de usinagem do eixo Página 12 de 37 Posteriormente, o avaliador fará a tabulação dos resultados registrados na Lista de Verificação no Sistema da Avaliação Prática (SAP), sendo então homologada pelo Coordenador da Avaliação, de acordo com os prazos definidos no cronograma da Avaliação Prática. Atenção: no 2º dia útil após finalizado o período de aplicação das provas, todos os dados deverão estar tabulados no sistema (SAP) e homologados pelo coordenador de avaliação. Página 13 de 37 7. SISTEMA DA AVALIAÇÃO PRÁTICA (SAP) O Sistema da Avaliação Prática (SAP) tem como objetivo principal dar suporte a uma série de processos relacionados a preparação, aplicação e consolidação dos resultados referentes a aplicação das provas práticas. O SAP apresenta os seguintes módulos: 7.1. ACESSO AO SAP O SAP é acessado em ambiente web por meio de usuário e senha, pelo endereço: http://sap.senai.br/ Imagem 1: tela de login do Sistema da Avaliação Prática (SAP) 7.2. CONVITES Para que um colaborador possa ter acesso ao SAP, é necessário o envio de um convite pelo sistema por um usuário já cadastrado. Este convite é enviado por meio do módulo de usuários, que também permite a listagem e gestão dos colaboradores envolvidos na avaliação. O colaborador receberá o convite em seu email e deverá inserir as demais informações solicitadas para finalizar o cadastro. Página 14 de 37 Um perfil superior (Interlocutor Nacional -> Interlocutor Regional -> Coordenador de Avaliação -> Avaliador) pode encaminhar um convite para um colaborador associando-o a um perfil hierarquicamente inferior ao seu. Neste convite, são associadas as informações de acesso para cada usuário. Logo, por exemplo, um Coordenador de Avaliação ao enviar um convite para um colaborador que será Avaliador, irá associar a escola ou escolas em que o docente atuará como avaliador, bem como os cursos que ele poderá avaliar. Esta dinâmica é padrão e as associações serão relacionadas as características de cada perfil. 7.3. CENTRAL DE PREPARAÇÃO O SAP conta com uma seção denominada Central de Preparação, que consiste em ambiente virtual de capacitação para todos os envolvidos no processo da Avaliação Prática: Interlocutores, Coordenadores e Avaliadores. A Central de Preparação conta com os seguintes recursos: Documentos: biblioteca de documentos referentes à avaliação prática e às capacitações; Testes de Preparação: ambiente para aplicação de testes objetivos de verificação do desenvolvimento da capacitação pelos diferentes perfis; Videoaulas: ambiente para visualização das videoaulas desenvolvidas para cada um dos módulos da Capacitação; Fórum: ambiente de discussão sobre aspectos de preparação, aplicação e correção das Provas Práticas; Perguntas frequentes (FAQ) Para os avaliadores, ainda estarão disponíveis recursos e objetos de aprendizagem para cada curso e/ou cursos aos quais estiverem associados. Página 15 de 37 7.4. ESCOLAS - AMBIENTES DE PROVA Apresenta os cursos oferecidos em cada escola e permite o cadastro dos locais de prova. Os coordenadores de avaliação deverão acessar este menu e proceder o cadastro dos locais de prova que serão utilizados durante o período de aplicação das provas. O processo de cadastramento dos ambientes de prova é importante pois, sem ele, não é possível realizar o agendamento das provas. 7.5. HOMOLOGAÇÃO DE ESTUDANTES O Departamento Nacional, a partir do cálculo da amostra de estudantes de cada uma das aplicações da Avaliação Prática de Desempenho dos Estudantes, procederá a carga no SAP dos estudantes participantes, divididos em Estudantes Selecionados e Estudantes Reservas, ordenados conforme sorteio, para cada turma. Cabe à escola, na figura do Coordenador de Avaliação, proceder a homologação dos estudantes que irão efetivamente participar da Prova Prática, considerando que o aluno deve ter obrigatoriamente participado da prova objetiva online. No caso de um aluno ter sido homologado para a Avaliação Prática e não ter participado da Avaliação On-line, o Coordenador de Avaliação deve proceder o cancelamento do agendamento realizado para aquele estudante e realizar a homologação do estudante reserva. A escola deve priorizar a participação dos Estudantes Selecionados. Os Estudantes Reserva deverão ser utilizados somente nos casos de impossibilidade de participação dos selecionados, na ordem de sorteio apresentada no sistema, nos casos listados abaixo: Estudante não participou da Avaliação On-line Estudante evadiu/abandonou/reprovou o curso Estudante se recusou a participar da Avaliação Prática Atestado médico Página 16 de 37 Outros - justificativa (transporte/trabalho...) O processo de homologação é importante, pois somente estudantes homologados ficam habilitados para o próximo passo: agendamento das provas. Caso haja a necessidade de inclusão de um estudante no SAP (cadastrado no período de aplicação da Avaliação On-line), esta solicitação deverá ser realizada pelo Coordenador de Avaliação e/ou Interlocutor ao Departamento Nacional por meio de e-mail ao endereço: saepdn@cni.org.br. Deverão ser informados obrigatoriamente: Nome Completo, E-mail, CPF, Escola, Turma e Curso do estudante a ser inserido. 7.6. AGENDAMENTO Finalizado o cadastro dos ambientes de prova e a homologação dos estudantes, o próximo passo é a realização do agendamento das provas. Para isso, deverão ser definidos o dia, hora, local de prova e avaliador responsável pela aplicação da prova prática, para cada um dos estudanteshomologados para participar do processo. O agendamento é responsabilidade dos Coordenadores de Avaliação. Em casos de força maior, poderão ser realizados reagendamentos dentro do período de aplicação. Para isso, o avaliador deverá proceder a solicitação ao Coordenador de Avaliação de sua unidade. 7.7. GERAÇÃO DE PROVAS Após o agendamento das provas, os Avaliadores deverão proceder a geração das provas dos estudantes. Na geração das provas, deverá ser escolhido o tipo de prova que o estudante irá realizar: Prova 1, Prova 2 ou Prova 3. mailto:saepdn@cni.org.br Página 17 de 37 As provas são equivalentes, têm o mesmo tempo de duração e requerem a mesma infraestrutura. Um estudante deverá realizar apenas uma das opções de prova disponíveis. Feita a escolha, o Avaliador irá gerar os instrumentos necessários para realizar a avaliação: caderno de prova e anexos, manual de avaliador e anexos e lista de verificação. O caderno de prova do estudante e a lista de verificação são personalizados com os dados de identificação do estudante e do agendamento da sua prova. O Avaliador deverá proceder a impressão e/ou preparação de arquivos digitais de acordo com as orientações constantes no Manual do Avaliador. O Manual do Avaliador estabelece qual dos arquivos gerados deverão ser impressos e quais deverão ser salvos em formato eletrônico. 7.8. TABULAÇÃO DE RESULTADOS A tabulação dos resultados é de responsabilidade de cada avaliador e deverá ser realizada em até dois (02) dias úteis da efetiva aplicação da prova prática. Este procedimento deverá ser realizado no SAP, na aba correspondente. Cabe a cada coordenador de avaliação realizar o monitoramento da tabulação junto aos Avaliadores de sua escola. 7.9. CONFIRMAÇÃO DO COORDENADOR Feita a tabulação, os coordenadores deverão proceder a validação do lançamento dos resultados no SAP visando corroborar os lançamentos e garantir que todos os procedimentos recomendados pela Coordenação Nacional foram seguidos no processo de aplicação das Provas Práticas. Página 18 de 37 7.10. RELATÓRIOS No SAP estão disponíveis relatórios em tempo real que permitem realizar a gestão de usuários e o acompanhamento dos processos (homologação, agendamento, geração de provas, tabulação de resultados e confirmação pelo coordenador). 7.11. DASHBOARD No SAP também estará disponível um dashboard (painel resumo) que irá oferecer de maneira simplificada um resumo do andamento dos diversos processos essenciais para a operacionalização da avaliação prática: Cadastro de Ambientes de Prova Homologação de Estudantes Agendamento de Provas Geração de Provas Tabulação dos Resultados Validação pelo Coordenador As pendências poderão ser acompanhadas e, de maneira simplificada, os diferentes perfis poderão ter acesso aos módulos para sanar as pendências. Os interlocutores terão uma visão regional, mas poderão por meio de filtros, ter a visão de escolas específicas. 8. PAPÉIS E RESPONSABILIDADES 8.1 DEPARTAMENTO NACIONAL O Departamento Nacional é a instituição gestora do programa, responsável pelo planejamento, coordenação e divulgação dos resultados. Deve planejar a avaliação, definir os cursos, providenciar todas as condições necessárias, bem como promover a articulação com os DRs. Página 19 de 37 As diferentes ações da Avaliação Prática são promovidas pelo Gerente Executivo, pela Gerente de Educação Profissional e Tecnológica e pela equipe gestora do SAEP. Entre suas atribuições estão: a. definir os cursos a serem avaliados; b. selecionar os desenvolvedores das provas; c. promover a capacitação das equipes nos DRs e Unidades, alinhando todas as etapas; f. selecionar a amostra de escolas e estudantes; g. promover o cadastro da avaliação; h. monitorar a aplicação das provas; i. realizar a análise dos resultados e produzir os relatórios de resultados do desempenho dos cursos por escola; j. acompanhar e apoiar os DRs em todas as etapas. 8.2 DEPARTAMENTO REGIONAL O Departamento Regional é a entidade gestora do processo junto às escolas. Deve planejar as ações a nível regional e coordenar os processos junto as Unidades Operacionais. 8.2.1 EXECUTIVO DE EDUCAÇÃO PROFISSIONAL: ● Viabilizar e realizar a gestão regional do processo da Avaliação Prática no Departamento Regional. 8.2.2 INTERLOCUTOR DO SAEP ● Articular com a UO a operacionalização da prova prática. ● Orientar e apoiar as UOs no processo de mobilização dos alunos, de acordo com a amostra. Página 20 de 37 ● Apoiar a definição do cronograma de aplicação das provas em cada UO. ● Monitorar a capacitação dos usuários e a aplicação de provas. ● Orientar as equipes da UOs. ● Monitorar a homologação dos alunos; ● Coordenar a consolidação dos resultados. 8.2.3 DELEGADO TÉCNICO ● Apoiar a elaboração do cronograma de aplicação em cada UO. ● Coordenar a seleção dos avaliadores dos cursos. ● Monitorar da preparação dos ambientes, insumos, infraestrutura e outras providências necessárias para a realização da Avaliação junto as Escolas. 8.3 ESCOLAS As Escolas (unidades operacionais) são a instância executora da Avaliação Prática. Cabem aos sujeitos envolvidos na escola a preparação e condução dos processos relacionados à avaliação prática. 8.3.1 COORDENADOR DE AVALIAÇÃO ● Selecionar os Avaliadores ● Agendar a aplicação das provas em sua UO ● Coordenar a preparação dos ambientes de avaliação - insumos, infra. ● Assegurar a confiabilidade e imparcialidade do processo de avaliação. ● Acompanhar a tabulação das listas de verificação no Sistema de Avaliação pelos avaliadores. ● Articular junto ao Interlocutor e o Delegado o processo de aplicação na sua UO. ● Mobilizar os estudantes para participação no processo. ● Validar os processos de tabulação dos resultados, realizados pelos Avaliadores. Página 21 de 37 ● Participar das ações de capacitação promovidas pelo Departamento Nacional e/ou Departamento Regional. ● Viabilizar o suporte necessário aos avaliadores durante o período de preparação e aplicação das Provas Práticas. ● Homologar os estudantes. ● Monitorar a capacitação dos avaliadores. 8.3.2 AVALIADORES ● Participar das ações de capacitação promovidas pelo Departamento Nacional e/ou Departamento Regional. ● Preparar os ambientes da avaliação, conforme orientações do Coordenador de Avaliação. ● Gerar as provas no Sistema da Avaliação Prática ● Aplicar a prova prática de acordo com as normas e procedimentos estabelecidos pelo DN e Manual do Avaliador. ● Tabular as os resultados das Provas no Sistema de Avaliação Prática (SAP). 9. CONFIDENCIALIDADE DO PROCESSO DE AVALIAÇÃO Todos os colaboradores envolvidos na Avaliação Prática devem manter confidenciais todas as informações obtidas ou geradas durante a condução das atividades de aplicação da prova. Para isso, é obrigatório o aceite de um termo de sigilo e compromisso no qual se comprometem a obedecer e seguir as regras e condutas definidas para a avaliação prática, incluindo aquelas relativas à confidencialidade, imparcialidade e conflito de interesses. Informações sobre a avaliação prática devem ser divulgadas de acordo com dois princípios fundamentais: Página 22 de 37 1. Quem precisa saber – apenas as pessoas autorizadas pelo Coordenador da Avaliação que necessitarem de informações para realizar uma tarefa demandada para a preparação e aplicação da avaliação. 2. Quando precisa saber – quando as informações forem necessárias conforme estabelecido em procedimento e cronograma da avaliação. A prova prática deve ser de conhecimento somente de pessoas autorizadas pelo Coordenador da Avaliação para realização de tarefas demandadas para a preparaçãoda avaliação. O Coordenador da Avaliação pode disponibilizar lista de materiais, projetos etc., por razões de preparação para a avaliação, em situações nas quais é imprescindível o envolvimento de outras pessoas além do avaliador (ex: pessoa para a fabricação de protótipo). Caso o colaborador não esteja cadastrado no Sistema da Avaliação Prática, é necessária a assinatura do termo de compromisso e sigilo no qual a pessoa se compromete a estar de acordo com as regras definidas para a avaliação prática, incluindo aquelas relativas à confidencialidade, imparcialidade e conflito de interesses. Este termo, em meio físico, deverá ficar em guarda do Coordenador de Avaliação por, no mínimo 06 meses. O modelo do Termo de Compromisso e Sigilo, encontra-se no anexo 2. Página 23 de 37 10. REFERÊNCIAS PASQUALI, L. Psicometria: Teoria dos testes na Psicologia e na Educação. Petrópolis: Vozes, 2003. SERVIÇO NACIONAL DE APRENDIZAGEM INDUSTRIAL. Departamento Nacional. Metodologia SENAI de educação profissional. / SENAI. Departamento Nacional. – Brasilia: SENAI/DN, 2013. SERVIÇO NACIONAL DE APRENDIZAGEM INDUSTRIAL. Departamento Nacional. Sistema de Avaliação da Educação Profissional e Tecnológica: documento base / Candido Alberto da Costa Gomes. – Brasília: SENAI/DN, 2011. RABELO, M. L. Avaliação educacional: fundamentos, metodologia e aplicações no contexto brasileiro. Coleção PROFMAT. Rio de Janeiro: SBM, 2013. Página 24 de 37 SERVIÇO NACIONAL DE APRENDIZAGEM INDUSTRIAL – DEPARTAMENTO NACIONAL DIRETORIA DE EDUCAÇÃO E TECNOLOGIA - DIRET Rafael Esmeraldo Lucchesi Ramacciotti Diretor de Educação e Tecnologia Julio Sergio de Maya Pedrosa Moreira Diretor Adjunto de Educação e Tecnologia Gustavo Leal Sales Filho Diretor de Operações UNIDADE DE EDUCAÇÃO PROFISSIONAL E TECNOLÓGICA - UNIEP Felipe Esteves Morgado Gerente Executivo de Educação Profissional e Tecnológica Maria Eliane Franco Monteiro Azevedo Gerente de Educação Profissional e Tecnológica Glecivan Barbosa Rodrigues Gestora do Sistema de Avaliação da Educação Profissional Hugo Nakatani Coordenação da Avaliação Prática Edilson de Oliveira Caldas Glecivan Rodrigues Hugo Nakatani Rosamaria Capó Sobral EQUIPE TÉCNICA DO SAEP/DN GRUPO TÉCNICO SENAI - DN Hugo Nakatani - Coordenador da Avaliação Prática SENAI - DN Rosamaria Sobral SENAI - DN Edilson Caldas SENAI - DN Glecivan Barbosa Rodrigues DR Bahia Fernanda Mikulski DR Minas Gerais Simone Mary de Magalhaes DR Paraná Erica Luz de Souza DR Santa Catarina Thiago Korb DR São Paulo Daniel Monteiro da Silva DR Sergipe Maria Eulalia Martins de Oliveira Consultores: Prof. Dr. Dalton Andrade – UFSC Página 25 de 37 Prof. Dr. Adriano Borgatto – UFSC Página 26 de 37 Anexo 1 - PLANO AMOSTRAL PARA A AVALIAÇÃO PRÁTICA Para o cálculo do quantitativo de alunos a serem selecionados, foi utilizada a fórmula da amostragem aleatório simples (AAS) dentro de cada escola/curso. A fórmula é dada por n = z2. σ2. N z2. σ2 + ε2. N onde, z é o nível de confiança, estabelecido em 95%, portanto z=1,96; é o desvio padrão. Foi utilizado o desvio padrão da última prova online; N é o quantitativo de alunos em cada escola/curso; é a margem de erro da estimativa de proficiência. Foi estabelecido em 30 pontos na escala da prova online, já que ainda não existe uma escala da prova prática. A prova online tem uma escala para cada curso. Todas as escalas criadas para a prova online estão representadas em uma escala (500,100), ou seja, apresentam média 500 e desvio padrão 100. Entretanto, é importante dizer que as escalas entre os cursos não são comparáveis, pois cada curso tem sua própria referência para a criação da escala. É importante notar que essa fórmula será aplicada em cada escola/curso. No cálculo amostral foram definidas premissas para viabilização do quantitativo para análise: Amostra considerando um Erro=30; Ajuste da amostra para atingir um mínimo de 300 alunos em todos os cursos (Para isso considerou-se Erro=20 para Logística e Erro=27 para Edificações), para que a TRI possa ser aplicada em todos os cursos; Ajuste da amostra para cursos com <=10 alunos, todos serem selecionados; Para o sorteio dos alunos dentro da escola/curso, foi definido um estrato de amostragem somente para garantir um melhor espalhamento dos alunos dentro da escola e consequentemente uma melhor representatividade dos alunos na escola de origem. É Importante notar que na Seção 2 foi utilizada a fórmula da AAS, ou seja, não foi previsto nenhum estrato dentro da escola. A criação desse estrato, não prevê garantir um erro amostral por turma, é apenas para garantir um melhor espalhamento da amostra. Esse procedimento poderá diminuir o erro amostral das proficiências nas escolas. O Página 27 de 37 estrato considerado no sorteio foi a turma e todo procedimento foi realizado dentro do software SPSS17 por meio da sintaxe apresentada na sequência: A base com a amostra sorteada foi repassada para a equipe do Departamento Nacional nos formatos SPSS e Excel, onde foi criada uma coluna indicando se o aluno foi selecionado na amostra. COMPUTE Aleatorio=RV.UNIFORM(0,1). EXECUTE. RANK VARIABLES=Aleatorio (D) BY Codigo_Escola Codigo_Turma /RANK /PRINT=YES /TIES=MEAN. SORT CASES BY Curso(A) UF(A) Escola(A) Turma(A) RAleator(A). COMPUTE Selecao=RAleator / Amostra. EXECUTE. RECODE Selecao (Lowest thru 1=1) (ELSE=0). EXECUTE. USE ALL. COMPUTE filter_$=(Selecao = 0). VARIABLE LABEL filter_$ 'Selecao = 0 (FILTER)'. VALUE LABELS filter_$ 0 'Not Selected' 1 'Selected'. FORMAT filter_$ (f1.0). FILTER BY filter_$. EXECUTE. RANK VARIABLES=Aleatorio (D) BY Codigo_Escola Codigo_Turma /RANK /PRINT=YES /TIES=MEAN. FILTER OFF. USE ALL. EXECUTE. RENAME VARIABLES (RAN001=Substituo). DELETE VARIABLES filter_$. Página 28 de 37 Anexo 2 - TERMO DE COMPROMISSO E SIGILO DA AVALIAÇÃO PRÁTICA TERMO DE COMPROMISSO E SIGILO DA AVALIAÇÃO PRÁTICA Eu, _______________________________________________________(Nome Completo), ______________________________(CPF), declaro estar ciente da natureza e objetivos da Avaliação Prática de Desempenho de Estudante (SAEP), assumindo o compromisso de: zelar pelo cumprimento do disposto no Plano Operacional e demais documentos orientadores da avaliação; seguir todos os procedimentos e critérios de avaliação definidos pelo SENAI/DN; agir de maneira absolutamente imparcial em relação às partes envolvidas no processo de avaliação; manter em total sigilo as informações relativas aos trabalhos desenvolvidos, incluindo TODAS as provas por mim aplicadas e qualquer outra a que tiver acesso; não reter sob minha guarda qualquer cópia - impressa ou em formato eletrônico - do material de avaliação; não utilizar nenhuma das provas aplicadas por mim para qualquer fim pedagógico, nem divulgar seu conteúdo por qualquer meio digital e/ou físico (e-mail, whatsapp, fotocópia etc.). _________________________________________ Assinatura Página 29 de 37 Controle de Alterações 1.