Baixe o app para aproveitar ainda mais
Prévia do material em texto
Pós-Graduação em Ciência da Computação “Métodos, Técnicas e Ferramentas para o Desenvolvimento de Software Educacional: Um Mapeamento Sistemático” Por Flávio de Abreu Lima Dissertação de Mestrado Universidade Federal de Pernambuco posgraduacao@cin.ufpe.br www.cin.ufpe.br/~posgraduacao RECIFE, AGOSTO/2012 Universidade Federal de Pernambuco CENTRO DE INFORMÁTICA PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO Flávio de Abreu Lima “Métodos, Técnicas e Ferramentas para o Desenvolvimento de Software Educacional: Um Mapeamento Sistemático” ORIENTADOR: Professor Sérgio Castelo Branco Soares RECIFE, AGOSTO/2012 Este trabalho foi apresentado à Pós-Graduação em Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco como requisito parcial para obtenção do grau de Mestre Profissional em Ciência da Computação. Catalogação na fonte Bibliotecária Jane Souto Maior, CRB4-571 Lima, Flávio de Abreu Métodos, Técnicas e Ferramentas para o desenvolvimento de Software Educacional: um mapeamento sistemático. / Flávio de Abreu Lima. - Recife: O Autor, 2012. 126 folhas: il., fig., tab. Orientador: Sérgio Castelo Branco Soares. Dissertação (mestrado profissional) - Universidade Federal de Pernambuco. CIn, Ciência da Computação, 2012. Inclui bibliografia e apêndice. 1. Engenharia de software. 2. Software educacional. I. Soares, Sérgio Castelo Branco (orientador). II. Título. 005.1 CDD (23. ed.) MEI2012 – 164 Dissertação de Mestrado Profissional apresentada por Flávio de Abreu Lima à Pós-Graduação em Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco, sob o título, ―Métodos, Técnicas e Ferramentas para o Desenvolvimento de Software Educacional: Um Mapeamento Sistemático‖, orientada pelo Professor Sérgio Castelo Branco Soares e aprovada pela Banca Examinadora formada pelos professores: ______________________________________________ Prof. Alex Sandro Gomes Centro de Informática / UFPE ______________________________________________ Profª. Cristine Martins Gomes de Gusmão Centro de Ciências da Saúde / UFPE _______________________________________________ Prof. Sérgio Castelo Branco Soares Centro de Informática / UFPE Visto e permitida a impressão. Recife, 17 de agosto de 2012. ___________________________________________________ Prof. RICARDO MASSA FERREIRA LIMA Vice-Coordenador da Pós-Graduação em Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco. Agradecimentos Agradeço primeiramente a Deus, por permitir que eu concluísse meu mestrado, diante das inúmeras adversidades encontradas pelo caminho; Ao professor Sérgio Soares, pela sua dedicada orientação durante o projeto e por ter acreditado no meu trabalho; A minha esposa Anny e ao meu filho Breno pela compreensão, paciência e por todos os sacrifícios feitos para esta minha conquista; Aos meus familiares e amigos pela compreensão, pelo incentivo e pela força; Aos colegas de mestrado, pela força e incentivo na nossa saudosa e solidaria caminhada. A todos pelo apoio e incentivo para que esta pesquisa se tornasse realidade, por terem contribuído de forma direta e indireta para a conclusão deste trabalho. Resumo Apesar da ampla difusão, desenvolvimento e aplicação de software de suporte à educação presencial e à distância na indústria e na academia, pesquisas ainda são necessárias para investigar e aprimorar métodos, técnicas e ferramentas que auxiliam especificamente o desenvolvimento de software educativo. A criação de tais aplicações minimiza o viés no processo ensino-aprendizagem em todos os níveis e setores da educação. Neste contexto, este trabalho apresenta um estudo de mapeamento sistemático para investigar quais métodos, técnicas e ferramentas vêm sendo utilizadas para auxiliar o desenvolvimento de software educativo. Atualmente, desenvolvedores de software educacional têm utilizado diferentes metodologias de desenvolvimento e não há uma padronização deste processo, o que pode dificultar o aprimoramento do desenvolvimento deste tipo de software. O resultado deste trabalho gera a fundamentação técnica pedagógica para, em um passo seguinte, o desenvolvimento de uma metodologia ou o aprimoramento das técnicas já existentes, considerando características intrínsecas ao software educacional. Palavras-chave: Desenvolvimento de Software Educacional, Mapeamento Sistemático, Recursos Pedagógicos. Abstract Despite the wide dissemination, development and application software that support both classroom education and distance learning in industry and academia, research is needed to investigate and improve methods, techniques and tools that assist specifically the development of educational software. The creation of such applications minimizes the bias in the teaching- learning process at all levels and sectors of education. In this context, this paper presents a systematic mapping study to investigate what methods, tools, and techniques have been used to assist in the development of educational software. Currently, developers of educational software have used different methodologies and there is no standardization of this process, which can hinder the improvement of the development of such software. The result of this work creates the foundation for technical and pedagogical, in a next step, the development of a methodology or the improvement of existing techniques, considering the inherent characteristics of educational software. Keywords: Educational Software Development, Systematic Mapping, Pedagogical Resources. Sumário 1 INTRODUÇÃO................................................................................................................................................. 1 1.1 PROBLEMAS E QUESTÕES DE PESQUISA ................................................................................................................ 3 1.2 OBJETIVOS .......................................................................................................................................................... 3 1.2.1 Objetivos específicos ...................................................................................................................................3 1.3 ESTRUTURA DA DISSERTAÇÃO ............................................................................................................................. 4 2. FUNDAMENTAÇÃO TEÓRICA ................................................................................................................... 5 2.1 CLASSIFICAÇÕES DE SOFTWARE EDUCACIONAL ................................................................................................. 5 2.2 AVALIAÇÕES DE SOFTWARE EDUCACIONAIS....................................................................................................... 8 2.2.1 Modelo de Avaliação de Campos .............................................................................................................. 10 2.2.2 A escala de avaliação desenvolvida por Reeves ....................................................................................... 10 2.2.3. Técnica de Inspeção Ergonômica de Software Educacional – TICESE ...................................................... 12 2.3. DESENVOLVIMENTO DE SOFTWARE EDUCACIONAL .......................................................................................... 13 2.4. MAPEAMENTO SISTEMÁTICO............................................................................................................................ 14 2.5 RESUMO ............................................................................................................................................................ 17 3. METODOLOGIA ........................................................................................................................................... 18 3.1. CLASSIFICAÇÃO DA PESQUISA .......................................................................................................................... 18 3.1.1 Classificação segundo Cooper .................................................................................................................. 19 3.2. CICLO DA PESQUISA ......................................................................................................................................... 21 3.2.1 Mapeamento Sistemático ......................................................................................................................... 22 3.2.2 Escopo e Questões de Pesquisa ................................................................................................................ 23 3.2.3 Estratégia de Busca .................................................................................................................................. 24 3.2.4 Processo de Busca ..................................................................................................................................... 24 3.2.5 Critérios de Inclusão/Exclusão e Procedimentos de Seleção..................................................................... 25 3.2.6 Extração dos dados ................................................................................................................................... 26 3.2.7 Estratégia de Síntese dos Dados ............................................................................................................... 27 3.3 RESUMO ............................................................................................................................................................ 28 4.RESULTADOS ................................................................................................................................................ 29 4.1 EXTRAÇÃO E ANÁLISE DOS DADOS .................................................................................................................... 29 4.2 MAPEAMENTO DAS EVIDÊNCIAS ....................................................................................................................... 35 4.2.1 RQ1-Tipos de Mecanismos........................................................................................................................ 36 4.2.2 RQ2- Recursos pedagógicos ...................................................................................................................... 55 4.2.3 RQ3- Temas Abordados ............................................................................................................................ 70 4.2.4 RQ4- Temas em Aberto ............................................................................................................................. 82 4.3 DISCUSSÕES SOBRE OS RESULTADOS ................................................................................................................ 90 4.4 RESUMO ............................................................................................................................................................ 92 5.CONSIDERAÇÕES FINAIS ........................................................................................................................... 93 5.1 CONCLUSÕES..................................................................................................................................................... 93 5.2 TRABALHOS FUTUROS ....................................................................................................................................... 94 5.3 AMEAÇAS À VALIDADE ..................................................................................................................................... 95 6 REFERÊNCIAS BIBLIOGRÁFICAS ............................................................................................................ 97 APÊNDICE A- ESTUDOS PRIMÁRIOS ........................................................................................................ 102 APÊNDICE B - ESTUDOS EXCLUÍDOS ....................................................................................................... 107 APÊNDECE C - PROTOCOLO DO MAPEAMENTO SISTEMÁTICO ....................................................... 110 C.1. EQUIPE .......................................................................................................................................................... 110 C.2. INTRODUÇÃO ................................................................................................................................................. 111 C.3. QUESTÕES DE PESQUISA ................................................................................................................................ 112 C.4. ATRIBUIÇÕES E RESPONSABILIDADES ............................................................................................................ 112 C.5. ESTRATÉGIA DE BUSCA ................................................................................................................................. 113 C.5.1. Strings de Busca ..................................................................................................................................... 114 C.5.2. Documentação da Pesquisa ................................................................................................................... 115 C.5.3. Seleção de Estudos ................................................................................................................................ 116 C.5.4. Critérios de inclusão e exclusão ............................................................................................................. 116 C.6. EXTRAÇÃO DE DADOS .................................................................................................................................... 117 C.6.1 Formulário A ........................................................................................................................................... 117 C.6.2. Formulário B .......................................................................................................................................... 118 C.6.3 Formulário C ...........................................................................................................................................118 C.6.4. Estratégia de síntese dos dados ............................................................................................................ 118 C.7. REFERÊNCIAS DO PROTOCOLO ....................................................................................................................... 120 APÊNDICE D – CONFERÊNCIAS, CONGRESOS E EVENTOS NA ÁREA DE SOFTWARE EDUCACIONAL. ............................................................................................................................................. 122 Lista de Figuras Figura 2.1: Critérios Pedagógicos..................................................................................................11 Figura 2.2: Critérios de Interface...................................................................................................12 Figura 2.3: Avaliação por Reeves..................................................................................................12 Figura 3.1: Etapas de pesquisa.......................................................................................................21 Figura 4.1: Resultado da busca manual e da busca automatizada, juntas......................................30 Figura 4.2: Resultado da busca automatizada................................................................................30 Figura 4.3: Resultado da busca manual.........................................................................................31 Figura 4.4: Estudos retornados pelas buscas.................................................................................31 Figura 4.5: Estudos Primários selecionados na primeira etapa.....................................................32 Figura 4.6: Estudos Primários selecionados na segunda etapa......................................................32 Figura 4.7: Distribuição dos estudos primários ao longo dos anos...............................................34 Figura 4.8: Distribuição pelos Países das Instituições dos autores dos estudos primários............34 Figura 4.9: Classificação quanto aos objetivos pedagógicos.........................................................35 Figura 4.10: Classificação da Q1...................................................................................................37 Figura 4.11: Recursos Pedagógicos...............................................................................................56 Figura 4.12: Temas Abordados ....................................................................................................71 Figura 4.13: Temas em aberto.......................................................................................................83 Lista de Tabelas Tabela 3.1: Classificação da Pesquisa...........................................................................................18 Tabela 3.2: Classificação segundo Cooper....................................................................................19 Tabela 4.1: Evolução do processo de seleção de estudos primários..............................................33 Tabela 4.2: Resumo dos EP por tipo de mecanismos....................................................................37 Tabela 4.3: Recursos Pedagógicos.................................................................................................56 Tabela 4.4: Temas Abordados.......................................................................................................70 Tabela 4.5: Temas em aberto.........................................................................................................82 1 1 INTRODUÇÃO Com o constante aumento da imersão da informática em todas as áreas do conhecimento, a educação também tem utilizado recursos computacionais como softwares que auxiliam no processo de ensino-aprendizagem. Professores de todos os níveis de ensino estão utilizando software educacional para aumentar o grau de apreensão do conhecimento na educação. Estes softwares não se restringem a níveis específicos de instrução, nem à educação à distância ou presencial, mais envolvem todos os processos educacionais. Enquanto autores como Sancho [1] conceituam software educativo como um programa que possui recursos que foram projetados com a intenção e finalidade de serem usados em contextos de ensino-aprendizagem, sendo projetado para tal. Giraffa [2] ressalta que qualquer software pode ser considerado educacional desde que utilize uma metodologia que o contextualize no processo de ensino aprendizagem. Este conceito bastante flexível surge de uma dificuldade de se definir software educacional, e torna possível que softwares desenvolvidos para outras finalidades possam ser utilizados como softwares educacionais. Desta forma é considerado educacional quando sua utilização em ambiente de ensino-aprendizagem tem a capacidade de fazer o aluno construir de forma autônoma seu conhecimento sobre determinado assunto. Segundo Pierre Tchounikine [3] Software educacional é um software projetado especificamente para levar um aluno a desenvolver uma atividade considerando objetivos pedagógicos. Completando esta definição, ele diz ainda que o software educacional deve ser desenvolvido considerando um projeto pedagogico, porque um software aplicativo básico pode ser utilizado na educação mais se não for projetado para isto não produzirá nos seus usuários, professores e alunos, o efeito desejado. 2 Um novo conceito de software educacional é o de objetos de aprendizagem. Segundo Wiley [4] são qualquer recurso digital que possa ser reutilizado para suporte ao ensino. Os repositórios dos Objetos de Aprendizagem prometem suprir os professores de diversas áreas e níveis de ensino, com recursos de alta qualidade, utilizados e reutilizados nas suas atividades em sala de aula ou em cursos on-line.[5] Existem diversas classificações para software educacional, de acordo com diferentes autores como: Vieira [6], Maddux [7], Knezek [8], Taylor [9], Valente [10]. Estas classificações são primordiais para o projeto de desenvolvimento de software educacional, pois de acordo com o tipo de classificação a que o software pertence, ele é desenvolvido com suas características especificas. No entanto, independente da classificação do software, ele precisa ser produzido levando em conta não só conceitos de Engenharia de Software, mas as teorias pedagógicas inerentes ao contexto educacional. Apesar de na construção do software haver a necessidade do equilíbrio entre a aplicação da Engenharia de Software com o embasamento pedagógico, alguns softwares educacionais possuem uma carga muito grande de pedagogia, focando exageradamente no aprendizado deixando o software pouco atrativo, com um nível de usabilidade não muito bom. Para investigar o desenvolvimento de software educacional em suas mais diversas classificações este trabalho realiza um mapeamento sistemático. Este tipo de pesquisa é definido por Kitchenham e Charters [11] como um tipo de revisão sistemática que se aplica quando se tem um escopo mais abrangente e se quer reunir, através de questões de pesquisas levantadas, o máximo possível de informação disponível sobre uma determinada área do conhecimento ou tópico em especifico. A motivação deste trabalho é levantar subsídios de forma sistemática, e poder oferecer toda esta coleta em um único trabalho que é o mapeamento sistemático, para fundamentar o desenvolvimento de uma metodologia de desenvolvimento de software específica de software educacional que possa ser utilizada por outros pesquisadores, Que por sua vez,pode ser feita de forma hibrida, a partir do que se é apresentado neste estudo ou de forma inovadora. 3 1.1 Problemas e questões de pesquisa Neste contexto, a presente pesquisa apresenta a seguinte problemática a ser investigada: quais os métodos, técnicas e ferramentas estão sendo utilizados para desenvolver software educacional de forma sistemática e padronizada? E estes mecanismos estão considerando o fator pedagógico como algo importante no processo de desenvolvimento deste tipo de software? Com base nestas questões fundamentais procurou-se investigar como os softwares educacionais têm sido desenvolvidos, independente de sua classificação. Estas questões deram origem a quatro questões que compõem o mapeamento sistemático desenvolvido. Q1 – Quais métodos, técnicas e ferramentas existem para apoiar o desenvolvimento de software educacional? Q2 – Que recursos pedagógicos são utilizados pelos métodos, técnicas, e ferramentas que apoiam o desenvolvimento do software educacional? Q3 – Quais são as questões abordadas pelos métodos, técnicas e ferramentas utilizados no desenvolvimento do software educacional? Q4 – Quais os problemas em aberto segundo os métodos técnicas e ferramentas do processo desenvolvimento de software educacional? 1.2 Objetivos Este trabalho tem como objetivo geral investigar e reunir de forma sistemática o conhecimento sobre as metodologias, técnicas e ferramentas de desenvolvimento de software educacional, a partir dos tópicos de pesquisa investigados, do contexto metodológico. A partir disso, elaborar um mapeamento que agregue e categorize as evidências produzidas na área, que poderá auxiliar no desenvolvimento de uma metodologia especifica de desenvolvimento de software educacional. 1.2.1 Objetivos específicos Os seguintes objetivos específicos devem ser alcançados com o desenvolvimento da pesquisa: Realizar um estudo de mapeamento sistemático sobre o desenvolvimento de softwares educacionais; 4 Identificar evidências sobre os tópicos de pesquisa investigados, do contexto metodológico, os mecanismos utilizados para desenvolver software educacional, os principais resultados e os tipos de mecanismos recorrentes; Promover o estudo de desenvolvimento de software educacional, Engenharia de Software e estudos empíricos; Por fim, com a combinação dos resultados evidenciados, agregar conhecimento à área de software educacional, bem como indicar questões principais e lacunas de pesquisa. 1.3 Estrutura da dissertação O corrente estudo está estruturado da seguinte forma: No Capítulo 2 é apresentado o referencial teórico, que contem a revisão de conceitos que fundamentam esta dissertação como: classificação de software educacional, avaliação de software educacional, desenvolvimento de software educacional e uma breve introdução a mapeamento sistemático. No Capítulo 3 é descrita a metodologia que foi adotada para realizar esta pesquisa. É apresentada a classificação da pesquisa com a apresentação de um quadro metodológico, as principais etapas deste estudo, os procedimentos seguidos pelo mapeamento sistemático, com apresentação do protocolo definido, a forma como os dados foram extraídos, analisados e sintetizados. No Capítulo 4 são apresentados resultados do mapeamento sistemático. No início são apresentadas informações gerais sobre o processo de pesquisa e seleção dos estudos primários que participaram do estudo, como as principais fontes, número de estudos retornados, distribuições por países e temporal, e outras informações. Ao final do capítulo são apresentadas as evidências encontradas que serviram para responder as perguntas de pesquisa e o mapeamento resultante. No Capítulo 5 são apresentadas as limitações e ameaças a validade do trabalho, e propostas de trabalhos futuros a partir dos resultados finalizando com as conclusões. 5 2. FUNDAMENTAÇÃO TEÓRICA Neste capítulo será apresentada uma fundamentação teórica obtida través de uma revisão tradicional de literatura. Serão abordados os tópicos: classificação de software educacional, avaliação de software educacional, desenvolvimento de software educacional e mapeamento sistemático. 2.1 Classificações de Software Educacional A Educação tem tentado dar respostas a questões lançadas pela sociedade moderna, não se admite mais uma Educação tradicional feita apenas com um professor, giz e quadro negro. A Educação tem descoberto nas novas tecnologias de informação e comunicação, fortes aliados no processo de ensino aprendizagem. Neste contexto o computador se apresenta como forte aliado neste processo. No entanto, precisa-se saber explorar este recurso tão poderoso. Com o computador surgem inúmeras oportunidades de auxilio a aprendizagem. Uma das formas mais comuns de se utilizar o computador como ferramenta educacional é através de softwares educacionais. Na literatura existem diversos tipos de classificação de softwares educacionais. Estas classificações se baseiam quanto: (i) aos níveis de aprendizado que podem proporcionar [6]; (ii) Quanto ao envolvimento do usuário no processo de utilização do software [7]; (iii) de acordo com a maneira como o conhecimento é manipulado: geração de conhecimento, disseminação de conhecimento e gerenciamento da informação [8], [9]; (iv) de acordo com os objetivos pedagógicos [10]. A classificação do software educacional quanto aos níveis de aprendizagem que podem proporcionar se divide em [6]: Sequencial - Esse tipo de software trata apenas de transferir a informação; o objetivo do ensino é apresentar o conteúdo para o aprendiz, ele por sua vez deverá memorizá-lo e repetir quando for solicitado. Esse nível de aprendizado leva a uma aprendizagem passiva, sem desenvolvimento intelectual na realização das tarefas. Relacional - O objetivo desse nível de aprendizagem é que o aprendiz seja capaz de adquirir habilidades, e fazer relações com outras informações. Nesse tipo de software a ênfase é dada a aprendizagem, que somente é processada com 6 a interação do aprendiz com a tecnologia. Esse nível de aprendizagem provoca uma aprendizagem isolada. Criativo - Associado à criação de novos esquemas mentais, possibilita a interação e o compartilhamento de objetivos comuns entre pessoas e tecnologias. A maior vantagem desse nível de aprendizado é levar a uma aprendizagem participativa. De acordo com a classificação de Maddux et al. [7] existem duas maneiras de categorizar a utilização de computadores na Educação. A primeira segue a linha comportamentalista. São softwares projetados para ensinar da mesma maneira que os métodos tradicionais, porém de forma mais fácil e eficiente, servem como exemplo desse tipo de software: softwares tutoriais, exercício e prática. Esse tipo de software requer pouco ou nenhum envolvimento intelectual do usuário, embora essas aplicações necessitem de respostas do usuário, elas não exigem pensamentos complexos, nem criativos. A segunda categoria consiste em programas que possibilitem uma melhor maneira de ensinar, uma ferramenta de ensino. Geralmente são baseados na teoria construtivista de Piaget, em que o aluno é o centro do seu próprio, onde o aprendiz em conjunto com os outros indivíduos constrói seu conhecimento através da interação e colaboração com os outros aprendizes. Os softwares de programação representam bem esta categoria. Esse tipo de software possibilita ao usuário organizar dados, fazer cálculos automáticos e comparações entre as particularidades dos dados que estão sendo coletados, no desenvolvimento de um projeto, por exemplo. São capazes de desenvolverraciocínio e criatividade. Miskulin [7] utilizando a classificação de Maddux cita as seguintes categorias de software utilizados em Educação: Drill and Practice (Repetição e prática), Tutorial Systems (Sistemas Tutoriais), Computer Simulations (Simulação), Problem-Solving software (software de Resolução de Problemas), Tool software (software de ferramenta), Programming (Programação), Integrated Learning Systems (Sistemas Integrados de Ensino) e Computer-maneged Instruction (Instrução gerenciada por computador). De acordo com a maneira como o conhecimento é manipulado os softwares podem ser classificados em: geração de conhecimento, disseminação de conhecimento e gerenciamento da informação [8] ou Tutor (o software que instrui o aluno), Tutorado (software que permite o aluno instruir o computador) e Ferramenta (software com o qual o aluno manipula a informação) [9]. Na verdade podemos agrupar as ideias destes 7 autores da seguinte forma: geração do conhecimento ou tutor, disseminação de conhecimento ou ferramenta, gerenciamento de conhecimento ou tutorado. Valente [10] classifica os softwares educacionais de acordo com os objetivos pedagógicos: tutoriais, exercício e prática, aplicativos, multimídia e Internet, programação, simulação e modelagem e jogos. Tutoriais: São softwares projetados para agirem como tutores, professores para o usuário. As informações são apresentadas seguindo uma ordem pedagógica, em que o usuário pode escolher a informação que desejar. A informação foi definida e organizada, previamente, durante a elaboração do software. Nesta categoria de software o computador exerce o papel de máquina de ensinar. A utilização é passiva, a interação do aprendiz com o computador se resume a leitura de textos ou a escutar o que o software está oferecendo. Nessa perspectiva, o software é fechado, não permitindo que o aluno verifique o processo, apenas o produto final. Exercício e prática: Esse tipo de ambiente permite ao aluno exercitar determinados conteúdos, conhecidos, mas não necessariamente dominado por ele [12]. Em software dessa categoria, as atividades exigem apenas o fazer, o memorizar informação, não importando a compreensão do que se está fazendo [6]. A função do aprendiz é passar de uma atividade para outra, sendo esse resultado avaliado pelo computador. Os programas ―Drill and Practice‖ (repetição e prática), são frequentemente chamados de CAI (Computer-Assisted Instruction). Aplicativos: Essa categoria de software é voltada para aplicações específicas, tem como objetivo o desempenho de tarefas práticas, podem ser do tipo: editores de texto, planilhas, editores gráficos, gerenciadores de bancos de dados, etc. Apesar de não terem sido desenvolvidos para fins educacionais esses ambientes proporcionam uso em diversas áreas do conhecimento. Multimídia e Internet: No uso de sistemas multimídia existe a combinação de textos, imagens, animações, sons, etc. Existem dois tipos de utilização destes sistemas: multimídia prontos e sistemas de autoria para que o aprendiz construa sua própria multimídia [10]. Programação: O desenvolvimento de programas exige que o aprendiz processe a informação e transforme-a em conhecimento, o que de certa forma é explicito no 8 programa [10]. Diante do ciclo proposto por Valente [10] descrição-execução-reflexão- depuração-descrição, o programa produzido pelo aprendiz é visto como uma explicitação do seu raciocínio. Sendo assim a atuação do professor é facilitada, pelo fato de o programa ser a descrição do raciocínio do aprendiz e explicitar o conhecimento que ele tem sobre o problema que está sendo resolvido. O Logo é um bom exemplo de linguagem de programação que vem sendo utilizada na Educação. Simulação e Modelagem: Certos fenômenos podem ser simulados através de computadores, para isso deve-se previamente programar um modelo desse fenômeno na máquina. Assim o usuário pode alterar os parâmetros e observar o comportamento do fenômeno. No processo de modelagem, o aprendiz cria o fenômeno e o implementa, através de um sistema computacional, uma vez implementado ele pode usá-lo como uma simulação. Os softwares do tipo simulação e modelagem são ambientes poderosos no desenvolvimento de habilidades e estratégias de resolução de problemas dos aprendizes. No caso da modelagem, é o aprendiz quem escolhe o fenômeno, desenvolve o seu modelo e o implementa no computador. No caso da simulação, isso é feito a priori e fornecido ao aprendiz [10]. Jogos: Para os softwares do tipo jogos, a ênfase educacional é dada como desafios que motivam o aprendiz, envolvendo-o em uma competição, seja com o computador ou com os colegas. Geralmente nos jogos não é permitido que o aprendiz defina as regras do jogo, provavelmente elas já foram definidas a priori, sem participação do mesmo. Sendo assim, espera-se que ele esteja elaborando hipóteses, usando estratégias e conhecimentos já existentes ou elaborando conhecimentos novos para vencer o desafio. 2.2 Avaliações de Software Educacionais Para a seleção de programas adequados no ensino-aprendizagem, e para o desenvolvimento de software educacionais, é importante que os educadores saibam reconhecer e também avaliar características deste tipo de software. Podendo indicá-lo como ferramenta educacional ou refutar seu uso. Tendo que considerar a importância de diversos fatores, necessários para atingir os objetivos educacionais esperados. De acordo com a norma ISO/CD8402, 1990 [13], ―qualidade é a totalidade das características de um produto ou serviço que lhe confere a capacidade de satisfazer as 9 necessidades implícitas de seus usuários‖. A qualidade, portanto, é percebida de formas diferentes para cada tipo de usuário. A norma ISO/IEC 9126:1991 traz definições para qualidade de software e conceitos relacionados, a 9126-2 e 9126-3 descrevem métricas externas relativas ao uso do produto e internas relativas à arquitetura do produto. A qualidade externa é visível aos usuários do sistema; qualidade interna é aquela pertinente aos desenvolvedores. Assim sendo, existem dois tipos de avaliação para o software: avaliação ao longo do processo e avaliação de produtos. A qualidade de produtos é tratada, entre outras, na série de Normas ISO/IEC 9126, na série ISO/IEC 14598 e na Norma ISO/IEC 12119, esta última focalizando os requisitos de qualidade de pacotes de software. Para avaliar um software educacional temos que considerar, além das características citadas, os atributos inerentes ao domínio e as tecnologias específicas. Sabemos que as teorias de aprendizagem refletem visões profundamente diferentes sobre como ocorre à aprendizagem e estas visões têm impacto nos softwares educacionais. O software educacional deve ser avaliado em relação a sua qualidade para que possa atender os objetivos a que se destina e a satisfazer as necessidades de professores e alunos. A seleção e a avaliação de um software é uma tarefa educativa e ao mesmo tempo técnica, que exige a compreensão do contexto educacional [14]. Os critérios pedagógicos que devem ser avaliados num software são os objetivos, os conteúdos, a didática, a capacidade interativa e a apresentação dos conteúdos [1413]. Os objetivos devem estar bem definidos, claramente expostos na documentação para o docente e mostrados para os alunos; na didática o software deve ser de fácil uso e não ser ele mesmo objeto de estudo para o aluno e para o professor; quanto à capacidade interativa devem aparecer na tela as explicações necessárias, inclusive com a possibilidade de saltá-las à escolha do usuário; e por fim a apresentação de conteúdos num programa didático deveoferecer vantagens em relação ao livro, deve ser dinâmico, dependendo do nível de interatividade e de individualização possíveis. Para auxiliar na tarefa de avaliação foram desenvolvidas algumas técnicas como: Modelo de avaliação de Campos, A escala de avaliação desenvolvida por Reeves, e a Técnica de Inspeção Ergonômica de Software Educacional – TICESE. 10 2.2.1 Modelo de Avaliação de Campos Este modelo proposto por Campos [15] materializa-se em um manual para avaliar o processo de desenvolvimento de software educacional e auxiliar a seleção deste tipo de software. A intenção é fornecer algumas diretrizes para desenvolvedores e usuários. Os critérios estabelecidos para a avaliação são de caráter genérico, assim tornam-se importantes para qualquer uma das modalidades de software educacional: tutoriais, exercício e prática, simuladores, etc. [16]. Neste manual estão disponíveis subsídios para definição de qualidade durante o processo de desenvolvimento e seleção de softwares encontrados no mercado que sejam adequados ao processo de ensino aprendizagem. Adequando-se assim ao conceito de qualidade de software exposto na norma ISO/IEC 9126 [13]. O método se baseia nos objetivos, fatores, subfatores, critérios e processo de avaliação para que seja verificada a qualidade de programas educacionais. Esta fundamentado nos seguintes conceitos [15]: Objetivos de qualidade — Determinam as propriedades gerais que o produto deve possuir. Fatores de qualidade do produto — Determinam a qualidade do ponto de vista dos diferentes usuários do produto (usuário final, alunos e professores) Critérios — Definem atributos primitivos possíveis de serem avaliados. Processos de avaliação — Determinam os processos e os instrumentos a serem usados de forma a se medir o grau de presença de um determinado critério no produto. Medidas — Indicam o grau de presença, no produto, de um determinado critério. Medidas agregadas — Indicam o grau de presença de um determinado fator e são resultantes da agregação das medidas obtidas da avaliação segundo os critérios 2.2.2 A escala de avaliação desenvolvida por Reeves O método de avaliação desenvolvido por Thomas Reeves [17] define duas abordagens para a avaliação de um software educacional. A primeira lista quatorze critérios, onde é feita uma análise, relacionada aos aspectos pedagógicos do software 11 conforme apresentado na Figura 2.1 A segunda abordagem é baseada em dez critérios referentes à interface com o usuário como mostra a Figura 2.2. Figura 2.1: Critérios Pedagógicos Fonte: Bases pedagógicas e ergonômicas para concepção e avaliação de produtos educacionais informatizados [1817] De acordo com o método de Reeves a avaliação de software educacional, é feita levando em consideração um ponto ou traço sobre uma escala não dimensionada que é representada por uma seta dupla, por meio de uma linha entre um ponto e outro é que interliga os critérios. Em cada extremidade da seta é colocado conceitos. Na extremidade esquerda fica o conceito mais negativo e na extremidade à direita o conceito mais positivo, a conclusão da avaliação é obtida graficamente analisando-se a disposição dos pontos marcados nas setas e que devem ser ligados conforme apresentado na Figura 2.3. 12 Figura 2.2: Critérios de Interface Fonte: Bases pedagógicas e ergonômicas para concepção e avaliação de produtos educacionais informatizados [1817] Figura 2.3: Avaliação por Reeves Fonte: Avaliação da Qualidade de Softwares Educacionais para ensino de Álgebra [19] 2.2.3. Técnica de Inspeção Ergonômica de Software Educacional – TICESE A técnica TICESE (técnica de inspeção ergonômica de software educacional) de Luciano Gamez [12] foi elaborada a partir de varias revisões de modelos já existentes. Visa apoiar o processo de avaliação de software educacional identificando suas qualidades e problemas ergonômicos. Para Gamez [12] software educacional 13 ergonômico é aquele que proporciona o aprendizado de maneira eficaz e satisfaz as necessidades do utilizador. A TICESE é composta por três módulos: módulo de classificação, módulo de avaliação, módulo de avaliação contextual. O módulo de classificação tem a intenção de classificar o software de acordo com seus atributos e sua proposta pedagógica. Cada software dentro de sua classificação possui características próprias que o diferiam dos demais, pelo quais aspectos específicos de cada categoria devem ser avaliados separadamente. No módulo de avaliação encontra-se a essência da técnica. Neste módulo avalia- se o software educacional de acordo com os padrões ergonômicos de qualidade de software educacional e esta avaliação incide sobre os aspectos pedagógicos do software e aspectos ergonômicos da interface do produto. A avaliação é feita a partir de um conjunto de critérios que são apresentados em três partes: qualidade da apresentação da informação, qualidade de recursos e qualidade da operação. Por fim, o módulo de avaliação contextual refere-se à adequação ou adaptação de um software educacional a um determinado contexto pedagógico ou situação especifica. É complementar a o módulo de avaliação e auxilia na tomada de decisão para adotar um determinado software para um contexto especifico. Este módulo é importante porque para se adotar um software educacional é preciso observar não somente sua classificação e avaliação, mais o ambiente onde se pretende inserir determinado software educacional. 2.3. Desenvolvimento de software educacional O desenvolvimento de software educacional se diferencia do desenvolvimento de software em geral porque deve possuir uma preocupação pedagógica desde seu desenvolvimento até a sua utilização por um determinado número de alunos em certo contexto. Seu desenvolvimento pode ser feito a partir de um projeto ainda não iniciado, ou a partir de componentes de softwares já existentes, ou seja, inventar e desenvolver um novo software ou analisar e avaliar como agregar ou adaptar componentes existentes de acordo com objetivos e restrições do processo de ensino aprendizagem [20]. Um dos grandes desafios no projeto de desenvolvimento do software educativo é saber equilibrar o processo entre a vertente pedagógica e a computacional. Por isso o desenvolvimento deste tipo de software sugere duas grandes etapas: projeto instrucional e projeto e implementação de software. 14 O projeto instrucional é feito por uma equipe de professores, programadores, pedagogos, projetistas, especialistas no currículo que se pretende explorar com o software [21]. No entanto este grupo multidisciplinar pode dificultar a fase de levantamento de requisitos ou propor mudanças frequentes na sua especificação, por parte da equipe não ter experiência em sistemas de informação [22]. Outras ameaças podem aparecer durante esta etapa se o software for desenvolvido em ambiente acadêmico. Quando isto acontece, o desenvolvimento do aplicativo geralmente esta vinculado a um projeto de pesquisa ou extensão e acontece uma grande rotatividade da equipe ou descontinuidade do desenvolvimento quando cessa o projeto [22]. O projeto instrucional é a etapa onde se define a abordagem pedagógica do aplicativo com relação ao aluno e ao conjunto de atividades que serão efetuadas através do software [2322]. No entanto esta etapa não se aplica a todo tipo de software educacional. Ela é ideal para softwares que serão utilizados de forma direta por alunos no processo de ensino aprendizagem. Não sendo necessário sua aplicação em componentes de apoio como sistemasde gerenciamento de cursos [24]. O projeto de software e implementação constitui a última etapa do processo de desenvolvimento de software educacional e nesta etapa, depois de definidos os requisitos se trabalha a parte computacional do software podendo se utilizar métodos tradicionais de Engenharia de Software. No entanto o desenvolvimento pode ocorrer em um único ciclo que trabalha as duas etapas de forma iterativa [24]. 2.4. Mapeamento Sistemático Quando uma área de pesquisa já esta em fase de maturidade há um aumento significativo de resultados de estudos disponibilizados, e se faz necessário analisar, resumir e apresentar um panorama sobre esta área de estudo. Existem metodologias específicas para tal tarefa. Ha exemplo, existem diversas pesquisas baseadas em evidências que são utilizadas desde os anos 90 na área de medicina [25]. Embora iniciado e difundido nas ciências médicas o paradigma baseado em evidências tem sido utilizado também na Engenharia de Software, desde estudos iniciais de Kitchenham em 2004 [26], [27]. Kitchenham et al [26] acreditam que a Engenharia de Software baseada em evidências pode fornecer mecanismos necessários para ajudar o profissional a adotar tecnologias adequadas e evitar as inadequadas, buscando as 15 melhores práticas e procedimentos. Isto pode ajudar no processo de tomada de decisão baseada em evidências, indicando quais tecnologias devem ser adotadas no suporte a Engenharia de Software. A Engenharia de Software baseada em evidências reúne e avalia evidências existentes em uma tecnologia através de cinco etapas de uma metodologia [28]: 1. Transformar o problema ou necessidade de informação em uma questão de pesquisa; 2. Pesquisar na literatura por melhores evidências disponíveis para responder às perguntas; 3. Avaliar criticamente as evidências, quanto a sua validade, impacto e aplicabilidade; 4. Integrar as evidências avaliadas com experiências práticas, valores e circunstâncias para tomar decisões; 5. Avaliar o desempenho das etapas anteriores e buscar formas de melhorá-las. As etapas de 1 a 3 são realizadas através de revisões sistemáticas da literatura que é um dos principais métodos do paradigma baseado em evidências. Segundo Kitchenham [11] existe três tipos de revisões utilizadas por este paradigma: revisão sistemática de literatura, mapeamento sistemático e revisão terciária. Como este trabalho classifica-se como mapeamento sistemático não será aprofundado outros tipos de revisão. Mapeamento sistemático (MS) é um método projetado para fornecer uma visão ampla de uma área de pesquisa, para estabelecer se existem evidências de pesquisa sobre um determinado tema e fornecer uma indicação da quantidade de evidências de forma sistemática. Os resultados de um estudo de (MS) pode identificar áreas adequadas para a realização de revisões sistemáticas da literatura. As razões para se realizar um mapeamento sistemático são [29]: Para examinar a extensão, alcance e natureza dos fenômenos de investigação. É uma maneira útil para mapeamento de áreas de estudo, onde é difícil visualizar a gama de materiais que possam estar disponíveis; Para determinar a necessidade de uma completa revisão sistemática. Nestes casos, um mapeamento preliminar da literatura pode ser realizado para 16 identificar se é relevante ou não a realização de uma revisão sistemática completa; Para resumir e divulgar resultados de pesquisa. Esse tipo de estudo de escopo pode descrever com mais detalhes os resultados e o alcance da investigação em determinadas áreas de estudo, proporcionando assim um mecanismo de síntese e divulgação dos resultados da investigação; Para identificar as lacunas de pesquisa na literatura existente. Este tipo de estudo de escopo leva à disseminação de conclusões, a partir da literatura existente, sobre o estado global da área investigada. O mapeamento sistemático assim como uma revisão sistemática precisa ser cuidadosamente planejado e executado para garantir sua eficácia e confiabilidade. Para Travassos [30] a etapa de planejamento de uma revisão sistemática, deve contemplar os seguintes passos: Listar os objetivos da pesquisa; Formular as questões de pesquisa (strings de busca elaboradas); Métodos que serão utilizados para execução e análise dos dados obtidos; Planejar as fontes e seleção de estudos; Definir e disponibilizar um protocolo. O protocolo é um item imprescindível na etapa de planejamento do MS, através dele se define todas as diretrizes da pesquisa e torna possível evitar o viés na pesquisa, possibilitando também a replicação por parte de pesquisadores externos. O protocolo utilizado nesta pesquisa é discutido no Capítulo 3 e apresentado de forma integral no Apêndice C desta dissertação. Concluída a etapa de planejamento do mapeamento e concluído o protocolo pode-se passar a execução que ainda segundo Travassos [30] possui os seguintes passos: Realização das buscas nas fontes definidas: o processo deve ser transparente e documentado possibilitando possíveis repetições; Seleção dos Estudos Primários com os critérios de inclusão e exclusão definidos; Extração dos dados, desde informações gerais dos estudos às respostas para as questões de pesquisa. 17 Por fim o mapeamento deve ser apresentado através de mapas das evidências de forma consistente mostrando similaridades e diferenças nos resultados colhidos, agrupados e analisados. 2.5 Resumo Neste capítulo foi apresentado à revisão de literatura na área de software educacional com os tópicos relevantes para o entendimento deste trabalho. Foi apresentado o conceito de software educacional suas possíveis classificações, sua avaliação de qualidade e seu desenvolvimento, e para embasar o trabalho desenvolvido nesta dissertação também foi apresentado um tópico de mapeamento sistemático. 18 3. METODOLOGIA O percurso metodológico a ser seguido numa pesquisa cientifica é importante porque torna o trabalho confiável e possível de replicação por outros pesquisadores mantendo a imparcialidade e a credibilidade. O percurso metodológico deste trabalho é apresentado neste capítulo em duas seções: Classificação da Pesquisa: apresentação da classificação da pesquisa e do quadro metodológico; Ciclo da pesquisa: descrição das etapas da pesquisa e detalhamento do mapeamento sistemático. 3.1. Classificação da Pesquisa Esta pesquisa utiliza o método de abordagem indutivo baseado em dados de natureza qualitativa. O método de procedimento utilizado foi o estudo de mapeamento sistemático. A Tabela 3.1 apresenta de forma resumida o quadro metodológico da pesquisa. Tabela 3.1: Classificação da Pesquisa Quadro metodológico Método de Abordagem Indutivo Método de Procedimento Estudo de Mapeamento Sistemático Natureza dos dados Qualitativa Segundo a definição de Marconi e Lakatos [31] o método indutivo é: ―um processo mental por intermédio do qual, partindo de dados particulares, suficientemente constatados, infere-se uma verdade geral ou universal, não contida nas partes examinadas.‖ Este método esta dividido em três etapas [31]: Observação dos fenômenos, com a finalidade de descobrir as causas de sua manifestação; Descoberta da relação, por intermédio da comparação, com a finalidade de descobrir a relação constante existente entre eles; 19 Generalização da relação entre os fenômenos e fatos semelhantes. O método de processo utilizado na pesquisa, como etapa mais concretade investigação é o Estudo de Mapeamento Sistemático (MS), que se apresenta como forma de avaliar todas as pesquisas disponíveis referentes a uma questão de investigação particular, área temática, ou fenômeno de interesse, parte do paradigma de práticas baseadas em evidências, e um tipo de estudo de revisão. A escolha do MS como método de procedimento a ser utilizado nesta pesquisa se deu devido à amplitude das questões investigadas e a sua natureza exploratória. Quanto à natureza dos dados a pesquisa qualitativa utilizada neste trabalho, prefere estudar relações complexas ao invés de explicá-las por meio do isolamento de variáveis como, faz a pesquisa quantitativa. Na pesquisa qualitativa a descoberta e a construção de teorias são objetos de estudo desta abordagem, sua coleta de dados produz textos que nas diferentes técnicas analíticas são interpretados hermeneuticamente [32]. Contudo a pesquisa qualitativa possui seus pontos fracos como: a tarefa de coletar e analisar dados ser extremamente trabalhosa, também exigem muito tempo e esforço para registrar, organizar, codificar, comparar e analisar dados, além disso, os resultados dos estudos qualitativos são considerados mais passiveis de erros que os dos estudos quantitativos, principalmente nas áreas mais técnicas e lógicas. 3.1.1 Classificação segundo Cooper Completando a definição da metodologia de pesquisa utilizada, será considerada a taxonomia de Cooper [33] que indica uma classificação para revisão sistemática de acordo com cinco características: foco, objetivo, perspectiva, cobertura, organização e audiência. Esta classificação é apresentada na Tabela 3.2. Tabela 3.2: Classificação segundo Cooper Características Categorias Foco Resultados de Pesquisa Métodos de Pesquisa Teorias Práticas ou Aplicações Objetivo Integração Perspectiva Representação Neutra Cobertura Exaustiva Organização Conceitual Audiência Pesquisadores Especializados 20 A primeira característica descrita é o foco e está relacionada com o interesse central do pesquisador podendo ser classificado de acordo com quatro categorias não excludentes entre si, pois geralmente uma revisão tem mais de um foco, variando tão somente o grau de atenção de cada um deles. São elas: Resultados de Pesquisa, Métodos de Pesquisa, Teorias e Práticas ou Aplicações. A segunda diz respeito aos objetivos que o pesquisador deseja alcançar com sua revisão sistemática. As categorias de classificação para os objetivos são: Integração, Crítica e Identificação de Problemas Centrais. A integração é o tipo mais comum em revisões sistemáticas porque é a síntese da literatura existente em uma área. Outro objetivo de uma revisão pode ser a análise crítica da literatura, em que a intenção do pesquisador é demonstrar que os resultados de estudos anteriores são injustificáveis. O terceiro tipo de objetivo é a identificação de problemas centrais, em que a intenção é fornecer sugestões sobre como os problemas e controvérsias em uma área de tornaram evidentes. A terceira característica é a perspectiva, que apresenta o ponto de vista do pesquisador em relação às discussões do trabalho e classifica-se em: Representação Neutra ou Exposição de Posicionamento. Na primeira classificação a intenção do pesquisador é apresentar argumentos e evidências sobre as diferentes teorias, métodos, problemas, ou resultados, de forma a revelar os trabalhos produzidos na literatura. Com relação à segunda perspectiva, o pesquisador tem uma postura mais ativa com a intenção de apresentar e defender um ponto de vista. A quarta característica é a cobertura e indica como o revisor pesquisa a literatura e como ele toma decisão sobre a qualidade do material, como ele decide sobre a busca e inclusão de trabalhos relevantes. Existem quatro tipos de cobertura: Exaustiva, Exaustiva com Seleção de Citação, Representativa e Central ou Essencial. Na cobertura Exaustiva o pesquisador coleta toda a literatura possível em determinada área. No segundo tipo também é feito a cobertura por exaustão, a diferença é que somente uma amostra é descrita no trabalho. O tipo representativo é feito a partir de uma amostra escolhida pelo pesquisador para representar toda a pesquisa. E por fim, na cobertura central ou essencial, o pesquisador seleciona os trabalhos que focam em esforços importantes e iniciais que direcionam um campo de pesquisa. 21 A quinta característica é a organização dos trabalhos e dos resultados e podem ser apresentados: Historicamente, Conceitualmente e Metodologicamente. Na primeira forma os temas são apresentados de forma cronológica do aparecimento na literatura. Na segunda os trabalhos relacionados onde as mesmas ideias aparecem juntas. E na terceira onde os trabalhos que empreguem métodos semelhantes são agrupados em subtemas. Pesquisadores podem combinar as organizações abordando, por exemplo, trabalhos historicamente dentro de um quadro conceptual e metodológico. A última característica de uma revisão diz respeito a sua audiência, ou seja, seu publico alvo. Os revisores podem escrever para, Profissionais na área, Pesquisadores em Geral, Pesquisadores Especializados, etc. A determinação do publico alvo vai influenciar no estilo da escrita e no uso de palavras técnicas de uma determinada área. 3.2. Ciclo da Pesquisa As etapas que compõe esta pesquisa estão descritas na Figura 3.1 e explicadas nos próximos parágrafos segundo Flávio Lima Et al. [42]. Figuras 3.1: Etapas de pesquisa A pesquisa iniciou-se com um conhecimento prévio sobre software educacional e seu desenvolvimento, e o levantamento do referencial teórico em uma revisão 22 bibliográfica que inclusive foi utilizada no Capítulo 2. Foram analisados estudos na área de software educacional (SE) e percebeu-se que alguns temas são bastante explorados a exemplo, classificação ou avaliação de SE, em detrimento de outros como desenvolvimento de SE. Percebeu-se que pouco se tem de sólido e consolidado em relação a desenvolvimento de SE. Depois de constatado a relevância, a necessidade e a inexistência de estudos sistemáticos neste tema, o problema da pesquisa foi formulado e explicitado através de questões de pesquisa. A partir das questões formuladas foi desenvolvido o protocolo que foi utilizado como guia durante todo o MS para a coleta de evidências. Este protocolo esta de forma resumida apresentado neste capítulo e completo no Apêndice C deste trabalho. Seguindo o protocolo foram selecionados estudos primários e destes foram extraídos dados necessários para a escrita do relatório. Estes dados foram sintetizados, classificados e apresentados no relatório, que apresenta também lacunas existentes no tema explorado, indicando áreas para pesquisas posteriores. 3.2.1 Mapeamento Sistemático Para responder as questões da pesquisa foi conduzido um estudo de mapeamento sistemático no intuito de encontrar e analisar o maior número de trabalhos primários relevantes e reconhecidos na área de desenvolvimento de SE. Segundo Kitchenham [11] Se durante o levantamento bibliográfico de um tema, descobre-se que existem poucas evidências ou que o tema é muito amplo, um estudo de mapeamento sistemático pode ser um exercício mais apropriado que uma revisão sistemática. Neste caso deve-se elaborar questões mais amplas e gerais, geralmente de caráter exploratório ao contrario da revisão sistemática que as questões devem ser mais precisas. Ainda de acordo com Kitchenham [27], as revisões sistemáticas e mapeamentos sistemáticos possuem os seguintes passos em comum: 1. Identificação da necessidade de executar arevisão sistemática; 2. Elaboração da questão de pesquisa; 3. Uma abrangente e exaustiva busca por estudos primários; 4. Avaliação de qualidade dos estudos incluídos; 5. Identificação dos dados necessários para responder a pergunta de pesquisa; 6. Extração dos dados; 23 7. Resumo e síntese dos resultados dos estudos; 8. Interpretação dos resultados para determinar sua aplicabilidade; 9. Escrita do relatório. 3.2.2 Escopo e Questões de Pesquisa A PICOC (População, Intervenção, Comparação, Resultado, Contexto) foi utilizada para delinear o escopo da pesquisa e identificar os elementos que iriam compor as questões da pesquisa. Segundo Petticrew [34] a PICOC são critérios utilizados para enquadrar as questões de investigação. Cada parte deste processo foi representada como um conjunto de palavras "relacionadas" que foram combinadas para fazer a sequência da string de busca. As fases do processo são descritas a seguir: População: Pesquisas sobre desenvolvimento de Softwares ou programas educacionais; Intervenção: Abordagens ou técnicas de desenvolvimento de softwares educacionais; Comparação: Não se aplica no mapeamento sistemático; Resultado: Um documento que mapeia mecanismos para desenvolver Softwares educacionais; Contexto: Não se aplica no mapeamento sistemático; A comparação não foi utilizada, pois o estudo não realiza comparações entre mecanismos que auxiliam o desenvolvimento de software educacional. O contexto também não foi utilizado neste mapeamento sistemático, uma vez que ele se refere ao contexto onde ocorrem as comparações. Após definida a estrutura PICOC foi definida as seguintes perguntas: Q1 – Quais métodos, técnicas e ferramentas existem para apoiar o desenvolvimento de software educacional? Q2 – Que recursos pedagógicos são utilizados pelos métodos, técnicas, e ferramentas que apoiam o desenvolvimento do software educacional? Q3 – Quais são as questões abordadas pelos métodos, técnicas e ferramentas utilizados no desenvolvimento do software educacional? Q4 – Quais os problemas em aberto segundo os métodos técnicas e ferramentas do processo desenvolvimento de software educacional? 24 3.2.3 Estratégia de Busca A construção da string de busca utilizada nas bibliotecas digitais selecionadas seguiu a estratégia definida por Kitchenham [35] e que apresenta os seguintes passos: Derivar as principais palavras-chaves a partir da identificação da população, intervenção, comparação, resultados e contexto, considerando questões de pesquisa; Identificar as principais palavras-chaves a partir das perguntas de pesquisa. Identificar sinônimos e termos alternativos as palavras chaves; Consultar especialistas na área; Em seguida utiliza-se o conector OR para combinar sinônimos e para termos alternativos de cada palavra-chave, O conector AND para ligar palavras chaves. Verificar a string de busca construída realizando buscas piloto e comparando os resultados obtidos com uma lista de estudos primários já conhecidos; Como resultado foi obtida a string de busca: ("software engineering") AND (method OR technique OR process OR tool OR guideline OR framework) AND ("educational software" OR “learning software” OR “educational games” OR “educational simulators” OR tutorials OR “educational Programming Languages” OR “educational multimedia”) 3.2.4 Processo de Busca O processo utilizado para procurar estudos primários incluiu buscas automatizadas através dos engenhos de busca de bibliotecas digitais utilizando a string de busca formulada, apresentada anteriormente. Também foram feitas buscas manuais em anais de eventos e periódicos, julgados relevantes pela equipe de pesquisa. E por fim, foram feitas consultas a especialistas na área de software educacional que sugeriram alguns artigos que julgaram importantes. A busca manual pode amenizar problemas de indexação de artigos recentes por parte das bibliotecas digitais e pode achar estudos que não utilizam as palavras-chave previstas neste mapeamento. Não foi utilizada nenhuma limitação das pesquisas em relação a tempo. Logo, a única limitação 25 da busca manual foi à disponibilidade do material na internet até a data das consultas (novembro de 2011). As conferências foram pesquisadas a partir do seu primeiro ano de realização. As bibliotecas digitais utilizadas na busca automatizada foram escolhidas a partir de mapeamentos já existentes que tiveram estas bibliotecas em comum. IEEE ComputerSociety Digital Library, ACM, Science Direct, Scopus, EI Compendex, Web of Science. Os journals e as conferências utilizados na busca manual foram: International Conference on Informatics Education and Research (SIGED); Journal of Interactive Media in Education (JIMI); Simpósio Brasileiro de Informática na Educação (SBIE); Revista Brasileira de Informática na Educação (RBIE). 3.2.5 Critérios de Inclusão/Exclusão e Procedimentos de Seleção A inclusão de um trabalho é determinada pela relevância em relação às questões levantadas, determinada pela análise do titulo, palavras-chave, resumo e conclusão. Os critérios de inclusão definidos foram: a) Estudos que foquem no contexto da Engenharia de Software e desenvolvimento de software educacional; b) Se pelo menos uma das questões fosse respondida, o estudo primário (EP) seria incluído. c) Não serão considerados trabalhos de PowerPoint e resumos estendidos ou trabalhos incompletos; d) O Artigo apresenta descrição de métodos e/ou técnicas e/ou ferramentas para o desenvolvimento de softwares educacionais. 26 Depois de aplicados os critérios de inclusão foram aplicados os critérios de exclusão. A partir da análise do titulo, palavra-chave, resumo e conclusão, foram excluídos os estudos que se enquadraram em alguns dos casos abaixo: a) Estudos repetidos. Se determinado estudo estiver disponível em mais de uma fonte de busca, será considerado somente a primeira vez que for encontrado; b) Trabalhos duplicados. Apenas o mais completo será aceito. O procedimento adotado para seleção dos estudos primários desta pesquisa foi dividido em duas etapas. Na primeira etapa, dois pesquisadores analisaram o conjunto de estudos obtidos através das bibliotecas digitais, levando em consideração o título, resumo e palavras-chave. Ao final desta etapa, os estudos claramente irrelevantes para a pesquisa foram excluídos. Se alguma dúvida sobre a relevância do estudo fosse levantada, o mesmo era incluído. Para a segunda fase, três duplas de pesquisadores foram formadas de acordo sua experiência em mapeamentos sistemáticos da literatura. Os artigos foram divididos entre as duplas e os membros da cada dupla leram e avaliaram seu conjunto de estudos incluindo ou não os artigos levando em conta os critérios de inclusão adotados por este trabalho e mostrados no parágrafo anterior. Para resolver os conflitos de decisões sobre a inclusão ou não do artigo no mapeamento, uma reunião posterior com os pesquisadores foi feita. Eles confrontaram suas avaliações e com a mediação de um pesquisador mais experiente, chegaram a um consenso de quais seriam os estudos primários finalmente selecionados para este mapeamento. 3.2.6 Extração dos dados Uma vez que o conjunto final de estudos primários foi obtido, trechos dos estudos primários foram extraídos através da utilização de formulários, e registrados como evidência para responder as perguntas de pesquisa investigadas por este mapeamento. Além disso, foram extraídas informações gerais dos estudos, como título, autores,ano de publicação, veículo de publicação (conferência/periódico) e países de origem das instituições às quais os autores são filiados. As extrações dos dados foram realizadas através de formulários que estão descritos no protocolo do mapeamento no Apêndice C. 27 3.2.7 Estratégia de Síntese dos Dados A contribuição idealizada por este estudo foi gerada a partir da síntese dos dados obtidos através do mapeamento sistemático realizado. O procedimento para a síntese dos dados iniciou-se com a marcação das passagens retiradas dos estudos selecionados (dados qualitativos), a partir dos formulários apresentados no Apêndice C, que fornecem algum tipo de informação relevante para responder as perguntas de pesquisa. Cada um dos trechos retirados dos estudos primários é associado a um código que identifica o tipo de mecanismo que o estudo está associado. Os códigos devem seguir um padrão para posteriormente serem agrupados Os códigos deste estudo seguem a seguinte formatação: ID; TM; RP; TASE; TADSE. Onde: ID = IDentificador do estudo primário; (i) TM = Tipo do Mecanismo encontrado para guiar o desenvolvimento de software educacional (ii) RP= Recursos Pedagógicos identificados (iii) TASE = Temas Abordados pelos métodos técnicas e ferramentas utilizadas para desenvolvimento de Software Educacional. (iv) TADSE = Temas em Aberto indicados métodos técnicas e ferramentas utilizadas para Desenvolvimento de Software Educacional. Assim, podem-se agrupar os trechos das pesquisas analisadas em grupos de acordo com os códigos utilizados. O primeiro padrão de código identificou os trechos dos estudos que indicava o tipo de mecanismo desenvolvido, o segundo código identificou que recursos pedagógicos foram utilizados na produção destes mecanismos, o terceiro os temas estudados no momento e o ultimo padrão são temas em aberto nesta aérea. Desta forma, seguindo o procedimento descrito e utilizando do auxílio de planilhas eletrônicas, foram mapeadas as evidências dos estudos selecionados e sintetizados os resultados. Todo processo foi realizado de forma que as informações possam ser rastreadas, possibilitando identificar os trabalhos que proveram os dados. 28 3.3 Resumo Este Capítulo tem importância fundamental para a confiabilidade dos resultados da pesquisa, nele foi apresentado de forma resumida o protocolo do MS, as razões para a adoção deste tipo de estudo e a condução deste percurso metodológico. 29 4.RESULTADOS Este capítulo apresenta os resultados do MS em questão, obtidos de forma condizente com o protocolo mostrado de forma resumida no Capítulo 3. Estes resultados serão apresentados em 3 partes distintas apresentadas a seguir: Extração e Análise dos Dados: São apresentados dados gerais do estudo de mapeamento, como: quantidade de trabalhos retornados na busca automatizada e manual, processo de seleção com o número final de estudos primários, distribuição ao longo dos anos, por país, dentre outros; Mapeamento das evidências: apresentação e transcrição das evidências identificadas nos estudos primários (EP), portanto, apresentação dos resultados para cada questão de pesquisa (Q1, Q2, Q3, e Q4); Discussão sobre os resultados obtidos: apresenta uma discussão dos principais resultados obtidos pela pesquisa. 4.1 Extração e análise dos dados Foram realizadas dois tipos de busca por estudos primários observando protocolo descrito de forma sucinta no Capítulo 2 e de forma detalhada no Apêndice C. O resultado final dos dois tipos de busca retornou 551 estudos primários vindos da busca automatizada e 1085 EP obtidos a partir da busca manual. O que é apresentado no gráfico da Figura 4.1 que indica a porcentagem de cada busca. A string de busca utilizada nas seis bibliotecas digitais escolhidas para a pesquisa retornaram 551 estudos primários, sendo, 287 na Scence Direct, 98 na Ei Compendex, 120 na IEEE, 32 na Web of Science, 10 na Scopus, 4 na ACM. A contribuição das bibliotecas, em relação ao total de estudos primários encontrados na pesquisa, esta ilustrada no gráfico da Figura 4.2. 30 Figura 4.1: Resultado da busca manual e da busca automatizada, juntas. Figura 4.2: Resultado da busca automatizada Para ampliar o alcance da pesquisa também foi utilizada uma busca manual em conferências e periódicos na área, indicadas por especialistas. 1085 estudos primários foram encontrados e contabilizados de forma manual, sendo pesquisados a partir da primeira edição do evento, quando se trata de conferência e de edição quando se trata de periódicos. A composição deste número se distribuiu em 361 do SIGED, 330 do SBIE, 155 artigos diversos, 125 do RBIE, e 114 do JIMI. Os artigos diversos foram fornecidos, por especialistas na área que contribuíram com esta pesquisa. O gráfico na 66% Busca Manual 34% Busca Automatizada 18% Science Direct 7% IEEE 6% EI Compendex 2% WEB of Science 1% Scopus 0% ACM 66% Outros 31 Figura 4.3 apresenta a importância percentual da pesquisa manual em relação a todos os estudos primários encontrados no MS. Figura 4.3: Resultado da busca manual Dois revisores foram responsáveis pela a leitura do titulo e do abstract de cada um dos estudos primários e após esta etapa os estudos foram reduzidos de 1636 para 87, uma redução de aproximadamente 94%. O gráfico na Figura 4.4 apresenta a distribuição dos estudos primários encontrados pelos mecanismos de busca automática e manual, distribuídos por fontes de pesquisa, e o gráfico na Figura 4.5 mostra estudos selecionados pelos dois revisores iniciais. Figura 4.4: Estudos retornados pelas buscas. 22% SIGED 20% SBIE 9% Art. Div 8% RBIE 7% JIMI 34% Outros 22% SIGED 20% SBIE 18% Science Direct 9% Art. Div 8% RBIE 7% IEEE 7% JIMI 6% Ei Compendex 2% Web of Science 1% Scopus 0% ACM 32 Figura 4.5: Estudos Primários selecionados na primeira etapa. Após a primeira seleção uma segunda etapa foi realizada, desta vez a equipe de realização do MS foi composta por seis membros e um revisor mais experiente para sanar as dificuldades e impasses desta etapa. Os revisores foram divididos em duplas e fizeram a leitura e análise dos 87 EP utilizando os critérios de exclusão e inclusão chegando ao resultado de 65 EP que são apresentados pelo gráfico na Figura 4.6. Figura 4.6: Estudos Primários selecionados na segunda etapa. É interessante notar que, embora o SIGED (International Conference on Informatics Education and Research) tenha o número mais expressivo de estudos retornados, não teve o maior número de estudos primários incluídos. As bibliotecas IEEE, ACM e SCOPUS retornaram, somados, apenas 8,1% dos estudos. Agrupando os 4% SIGED 9% SBIE 21% Science Direct 16% Art. Div. 7% RBIE 5% IEEE 17% JIMI 17% Ei Compendex 2% Web of Science 1% Scopus 1% ACM 5% SIGED 11% SBIE 20% Science Direct 15% Art. Div. 8% RBIE 6 1% 20% JIMI 14% Ei Compendex 3% Web of Science 1% Scopus 2% ACM 33 artigos de acordo com a origem de seus downloads pode-se observar que 43,1% dos estudos foram encontrados a partir de busca manual em conferências e congressos da área, 41,4% foram extraídos das bibliotecas digitais e 15,4% foram coletados com especialistas na área de software educacional. Analisando as fontes separadamente, pode-se observar que a Science Direct e EI Compendex são as bibliotecas que possuem um número maior de artigos publicados relacionados
Compartilhar