Prévia do material em texto
Analytics e Ambientes Virtuais na Educação Learning Analytics: Processos, Técnicas e Ferramentas Responsável pelo Conteúdo: Prof. Dr. Ivan Carlos Alcântara de Oliveira Revisão Textual: Profa. Ms. Luciene Oliveira da Costa Santos Nesta unidade, trabalharemos os seguintes tópicos: • Introdução • Mineração de Dados Educacionais: Breve Discussão • Visualização da Informação • Ferramentas: Características e Exemplos • Tecnologias para Learning Analytics • Considerações Finais Fonte: iStock/Getty Im ages Objetivos • Apresentar algumas representações de modelos e processos para o desenvolvimento de ferramentas de Learning Analytics propostos por alguns pesquisadores. • Conhecer resumidamente as técnicas de mineração de dados e visualização da informação, utilizadas para o desenvolvimento de ferramentas de Learning Analytics. • Destacar algumas ferramentas de Learning Analytics desenvolvidas, enfatizando os ambientes virtuais, público-alvo e características. • Apresentar a categorização e o público-alvo para as ferramentas de Learning Analytics. • Expor algumas tecnologias que podem ser utilizadas para o desenvolvimento das ferramentas de Learning Analytics. Nesta unidade, vamos estudar alguns processos e técnicas para o desenvolvimento de ferramentas para Learning Analytics (LA). As técnicas envolvem as áreas de Mineração de Dados e Visualização da Informação. Também, teremos uma imersão em algumas ferramentas de LA, características e tecnologias utilizadas na sua cons- trução. E, introduziremos algumas tecnologias interessantes para o desenvolvimento dessas ferramentas. Agora, faça o acesso ao link Materiais da Unidade e conheça os conteúdos preparados, dentre eles: o vídeo da aula, o texto teórico, as atividades e o material complementar. Dedique-se e colabore com as nossas discussões no fórum de discussão. Bons estudos! Bons Estudos! Learning Analytics: Processos, Técnicas e Ferramentas UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas Contextualização Uma instituição de ensino superior que atua há mais de 10 anos na Educação a Distância, tem 80 mil alunos de graduação e pós-graduação e desde o seu início faz uso intenso de Tecnologia da Informação e Comunicação (TIC), envolvendo sistemas de comunicação e de administração acadêmica, ambientes virtuais de aprendizagem (AVA), uma plataforma de Massive Open Online Courses (MOOC) para o oferecimento de cursos abertos e um Sistema de Aprendizagem Adaptativo e Inteligente proprietário, ainda em desenvolvimento, para o oferecimento de cursos de línguas. Todos os dados dos cursos, seus personagens e uso das plataformas são devidamente guardados nos bancos de dados da Instituição, perfazendo um interessante conjunto de dados históricos. Em particular, essa instituição tem um curso de graduação a distância que ocorre há 8 anos e utiliza o seu AVA. Nele, há uma turma que está em andamento há seis meses. Virgulino é um estudante dessa turma, cursou algumas disciplinas e vai iniciar uma nova disciplina que é considerada uma das mais difíceis do curso. Recentemente, Virgulino começou a estudar uma emergente área de pesquisa, chamada Learning Analytics, que se preocupa em propor e desenvolver ferramentas que realizam a seleção e captura de dados relativos às ações trilhadas pelos usuários em seus sistemas. Depois, processa, analisa e exibe a informação contida nesses dados para auxiliar na melhora da aprendizagem dos alunos. Então, Virgulino pensou: “porque não projetar uma proposta de ferramenta capaz de responder algumas perguntas dessa disciplina que vou cursar e sugerir futuramente à instituição?” Essas perguntas seriam: • Como foi o resultado dos alunos aprovados e reprovados nessa mesma disciplina em edições anteriores do curso? • Dentre os recursos e atividades de cada unidade, há algum que aponta maior dificuldade? • No decorrer da disciplina, essa ferramenta poderia me informar se minha tendência é ser aprovado ou reprovado? 6 7 No projeto da ferramenta, Virgulino idealizou: Bom! Vou selecionar e capturar os dados de todos os alunos nas edições anteriores da disciplina. A partir desses dados, pretendo contabilizar os tempos dedicados ao estudo de cada recurso não avaliativo e as notas obtidas pelos alunos em cada uma das atividades pontuadas. Ah! Somente para informar, toda disciplina da instituição apresenta: • Uma Unidade Estrutural: que contém informações a respeito do conteúdo programático da disciplina, objetivos gerais e específicos, um vídeo de apresentação do professor conteudista, além de uma atividade final dissertativa, corrigida pelo professor; • Três Unidades de Conteúdo: sendo que cada uma possui 1 vídeo de 15 minutos e um texto teórico, os dois recursos sempre estão contidos dentro da própria página do AVA e não podem ser realizados download. Além disso, têm 2 tipos de atividades pontuadas em cada unidade: uma atividade de sistematização de autocorreção e um fórum de discussão corrigido pelo professor. Os cursos da instituição realizam uma prova interdisciplinar ao final de cada semestre, envolvendo todas as disciplinas do período. Virgulino acredita que cada recurso da unidade possui um tempo de estudo esperado e cada atividade apresenta um indicador de expectativa. Esses valores podem informar que o resultado do aluno naquele item foi, por exemplo, inaceitável ou suficiente. Nesse projeto da ferramenta de Learning Analytics, Virgulino imagina que ao processar e analisar os dados de histórico das turmas anteriores, essa ferramenta deve permitir a visualização da informação resultante da seguinte forma: 1. Um gráfico de barras para os alunos aprovados e reprovados com as expecta- tivas e as médias obtidas em cada atividade, além de sinalizar seus indicadores nesses itens. 2. Outro gráfico de barras com o tempo de cada recurso (vídeo e texto teórico) de cada unidade, apresentando também os tempos obtidos para os alunos aprovados, reprovados. Também, teria uma barra com os seus resultados 7 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas 3. Uma figura de semáforo que sinalizaria a tendência de Virgulino na disciplina. Ou seja: • Verde: indica que está tendendo a ser aprovado; • Amarelo: que deve tomar cuidado e ficar atento, pois, dependendo das suas notas nas atividades e tempos de estudo dedicado aos recursos, pode reprovar; e • Vermelho: representando uma situação preocupante, visto que os resultados de Virgulino tendem à reprovação e ele deve estudar mais. Ao realizar o esboço de sua ferramenta, chegou ao modelo abaixo: O cenário que foi apresentado tem algumas teorias que poderiam ser melhor exploradas. Mesmo que o Virgulino não seja o real desenvolvedor da ferramenta de Learning Analytics, certamente ele gostaria de conhecer mais detalhes a respeito do processo de desenvolvimento dessas ferramentas e suas técnicas para poder, por exemplo, contribuir com sugestões no seu futuro como um profissional da área de Educação a Distância, não é mesmo? Então, que tal conhecê-los melhor? 8 9 Introdução A utilização de Tecnologias de Informação e Comunicação (TIC) nos processos de aprendizagem oferece uma nova maneira de transmitir o conhecimento por meio da educação a distância. Como exemplo, temos o uso de plataformas de aprendizagem, tais como Ambientes Virtuais de Aprendizagem (AVA), responsáveis por guardar em uma base de dados as ações trilhadas pelos usuários. Os dados dessas bases podem ser manipulados para permitir a obtenção de conhecimento e tentar auxiliar o processo de aprendizagem dos alunos. Nessa linha, temos a emergente área de Learning Analytics que “[...] é a medição, coleta, análise e comunicação de dados sobre alunos e seus contextos, para fins de compreensão e otimização da aprendizagem e dos ambientes em que ela ocorre.” (SIEMENS; LONG, 2011, p.34, tradução nossa). A análise dos grandes volumes de dados encontrados nessas plataformas de aprendizagem com ointuito de melhorar o processo de ensino pelo uso de Learning Analytics mostrou-se bastante promissora, e junto com esse crescimento ocorre também o desenvolvimento de novas ferramentas com o objetivo de permitir a aplicação das técnicas adequadas para a análise de tais dados. Desde a primeira conferência de LA ocorrida em 2011, diversas pesquisas têm sido realizadas com a finalidade de produzir conhecimento técnico para desenvolver novas ferramentas para auxiliar a aprendizagem dos estudantes. Aqui, vamos apresentar aspectos teóricos que permitem conhecer o processo de desenvolvimento de ferramentas de LA e, com isso, fornecer condições para que você possa propor uma que seja útil no seu contexto de atuação (seja como estudante, professor/tutor, coordenador ou administrador). Quando refletimos sobre a definição de LA, logo pensamos sobre as suas ferramentas, o seu processo de desenvolvimento e surgem algumas perguntas, tais como: • Há algum modelo ou processo que nos indique quais são as etapas que devem ser consideradas no desenvolvimento de ferramentas de LA? • Quais técnicas são utilizadas para análise dos dados? • Existe algum estudo a respeito das formas de visualização da informação com base nos dados analisados? • Quais são as ferramentas de LA desenvolvidas? Estão vinculadas a algum ambiente virtual de aprendizagem (AVA)? Para quem elas foram produzidas? Quais técnicas foram utilizadas? Com qual finalidade? Com o intuito de compreender melhor esses pontos e termos conhecimento suficiente para propor nossas próprias ferramentas de LA, vamos estudar alguns aspectos associados a essas questões. 9 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas Modelos e Processos de Learning Analytics Uma representação para os processos de Learning Analytics, proposto por Elias (2011), é composto por sete etapas: selecionar, capturar, agregar, prever, usar, refinar e compartilhar. Uma ilustração desse modelo é apresentada na figura 1. Com o intuito de identificar todo o processo e os passos envolvidos no desenvolvimento de ferramentas de Learning Analytics e o seu uso, vamos conhecer em detalhes esse modelo. No início, há uma questão previamente formulada a ser respondida com o objetivo de avaliar, auxiliar e melhorar a aprendizagem dos estudantes. Uma questão poderia ser, por exemplo: Qual a probabilidade de abandono dos estudantes em um certo curso/disciplina? Considerando essa situação e analisando a figura 1, observamos a circunferência central que identifica cada um dos envolvidos no modelo de LA: organizações, computadores, pessoas e teorias. Além deles, temos os processos: dados, processamento da informação e aplicação de conhecimento que tem natureza cíclica. Na etapa de seleção, ocorre a identificação dos dados e, na captura, são tomadas decisões e adotadas técnicas para certificar que os dados necessários nos próximos passos serão disponibilizados, ou seja, os dados armazenados pelas organizações são selecionados e capturados pelos computadores. Nas fases de predizer e agregar, é assumido que os dados obtidos nos passos anteriores são processados por métodos que vão desde uma simples visualização até algoritmos mais complexos que resumem e combinam dados. Esses métodos envolvem Teorias associadas à modelagem preditiva, mineração de dados e visualização da informação. dados capturar selecionar Aplicação de conhecimento refinar usar Processamento da informação agregar predizer Organizações Computadores Pessoas Teorias Figura 1. Modelo dos processos de Learning Analytics proposto por Elias (2011) Fonte: Adaptado de ELIAS, 2011 10 11 A etapa de usar, realizado por pessoas, envolve a geração de ações que mudam detalhes da atividade de aprendizado e podem executar situações que deem maior suporte a alunos que estão perdendo engajamento. A fase de refinar é responsável por manter a supervisão e a revisão dos passos anteriores, procurando garantir que os dados sejam coletados e aplicados sobre o indivíduo correto, na condição correta e com máximo impacto. Por fim, no compartilhamento, ocorre a comunicação dos resultados obtidos para avaliação pelos responsáveis. Nessa situação, as pessoas e as organizações podem agir com o intuito de diminuir essa probabilidade de abandono e garantir que o aluno conseguirá obter um aprendizado adequado e não desistirá do curso/disciplina. Um segundo modelo de referência para LA, obtido de Chatti et al. (2012), divide a análise dos dados em quatro dimensões: (1) dados e ambientes (o quê?); (2) as partes interessadas (quem?); (3) objetivos (por quê?); e (4) métodos (como?). Como destaca D’Aquin et al. (2014), LA tem muito a ver com os dados, e a maneira de fazer os dados brutos terem sentido em termos da experiência, comportamento e conhecimento do aluno. O modelo de Learning Analytics proposto por Chatti et al. (2012) é iterativo e normalmente é composto de três etapas (figura 2). Sendo elas: 4. Coleta e pré-processamento de dados: a coleta dos dados ocorre de diversas fontes, como ambientes educacionais e sistemas institucionais. O volume de dados pode ser alto, então, é possível a existência de informações irrelevantes. Esses dados são transformados na etapa de pré-processamento de acordo com o formato necessário para a etapa seguinte 5. Análise e ação: com base nos dados pré-processados e de acordo com os objetivos do exercício de análise dos dados, diferentes técnicas de LA podem ser aplicadas. Considerando os dados, essa etapa pode incluir ações de monitoramento, análise, predição, intervenção, avaliação, adaptação, visualização, personalização, recomendação e reflexão. 6. Pós-processamento: sua finalidade é garantir a melhoria contínua do processo, combinando novos dados com fontes adicionais, refinamento da informação, identificação de novos atributos para uma nova iteração, identificação e novos indicadores ou escolha de um novo método analítico. Learning Analy�cs Coleta de Dados e Pré-processamento Análise e Ação Pós-Processamento Figura 2. Modelo dos processos de Learning Analytics proposto por Chatti et al. (2012) Fonte: Adaptado de Chatti et al., 2012 11 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas Um outro modelo de LA proposto por Dyckhoff et al. (2012) tem como etapas: coleta de dados, pré-processamento e mineração de dados, visualização, análise e ação. Na coleta de dados, os dados são obtidos das variadas atividades realizadas pelos alunos em um AVA enquanto eles interagem com seus elementos. Alguns exemplos de atividades incluem a participação de exercícios em grupo, publicação em fóruns e a leitura de documentos. Na mineração dos dados pré-processados, diferentes técnicas de mineração são utilizadas, como clustering (agrupamento), classificação, regras de associação e análise de redes sociais, considerando sempre a privacidade dos dados. Depois disso, os resultados são apresentados como um widget (ou seja, uma aplicação ou um componente de interface que habilita o usuário a executar uma função ou acessar um determinado serviço) integrado a um AVA, painel, ou ambiente de aprendizagem pessoal. A partir do apresentado e por meio de uma análise, os professores podem ser capazes de interpretar as informações, refletir sobre o impacto que o método de ensino está gerando no processo de aprendizagem e consequente desempenho de seus alunos, verificar se os objetivos relacionados a eficácia do ensino foram alcançados e melhorar suas ações de intervenção. Porém, importante destacar que disponibilizar uma visualização gráfica para um conjunto de informações ou conhecimentos não garante que os professores serão capazes de interpretar corretamente (DYCKHOFF et al., 2012, p. 60-61). Uma ilustração dos processos descritos por Dyckhoff et al. (2012) encontramos na figura 3. Nela, observamos que as ações realizadas pelos estudantes em um AVA geram uma grande variedade de dados (registro de logs) que são processadospor meio da mineração de dados e fornecem informações, tais como: tempo gasto em uma determinada atividade, nota geral na disciplina ou no curso, taxa de participação nas atividades, dentre outras, exibindo-as em um painel de visualização. Essas informações são analisadas pelo professor que pode agir para melhorar a aprendizagem dos alunos com dificuldades. Um resumo comparativo de cada um dos modelos dos processos de LA é apresentado no quadro 1. Por meio desse quadro, é possível identificar as similaridades entre os modelos que, apesar de terem uma quantidade de etapas diferentes, todos envolvem a coleta e processamento de dados trilhados pelos usuários em seus sistemas de ensino; o uso de técnicas de modelagem preditiva, mineração de dados e visualização para realizar a análise; e a utilização dos resultados pelas pessoas (alunos, professores, administradores) com o objetivo de responder alguma questão formulada com antecedência para apoiar na melhoria da aprendizagem dos alunos. 12 13 Mineração de Dados e Analy�cs AVA/ Ambiente Virtual de Aprendizagem Estudante Professora Figura 3. Modelo dos processos de Learning Analytics proposto por Dyckhoff et al. (2012) Fonte: Adaptado de Dyckhoff et al., 2012 Quadro 1. Resumo dos modelos de Learning Analytics estudados: Elias (2011) Chatti et al. (2012) Dyckhoff et al. (2012) Selecionar Capturar Coleta e pré-processamento de dados Coleta de dados e pré-processamento Agregar/ Relatar Predizer Análise e ação Mineração de dados e Visualização Predizer Usar Análise e açãoRefinar Pós-processamento Compartilhar Fonte: Autoria própria. Mineração de Dados Educacionais: Breve Discussão Apesar de não ser o foco detalhar a teoria a respeito da mineração de dados e suas técnicas, vamos discuti-las brevemente para que você tenha ideia de seu funcionamento. Você deve ter observado nas diferentes propostas de modelos de Learning Analytics apresentados na seção anterior que uma das etapas envolve a manipulação dos dados de alunos e de sua trilha de aprendizagem. Essa manipulação corresponde ao uso das técnicas de mineração de dados. 13 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas Segundo Han e Kamber (2011), a mineração de dados pode ser vista como resultado da evolução natural da tecnologia da informação. Enquanto Liu (2006, apud CHATTI et al., 2012, p.11) define mineração de dados como o processo de descobrir padrões úteis ou conhecimento a partir de fontes de dados, como bases de dados, textos, imagens, a web, e sugere que os métodos de mineração de dados podem ser classificados em três categorias: aprendizado supervisionado, que trata de classificação e predição, aprendizado não supervisionado, ou clustering (agregação), e mineração de regras de associação. Nos métodos de aprendizado supervisionado, os especialistas de domínio (no nosso caso, os especialistas na área de educação) examinam e rotulam uma amostra dos dados (por exemplo, o rótulo poderia ser o tempo estimado de estudo em um recurso do curso pelo estudante) utilizada para treinamento da técnica de mineração e, esta, por sua vez, tem o objetivo de reconhecer e classificar os demais conjuntos de dados de acordo com o conhecimento adquirido na seção de treinamento (HAN; KAMBER, 2011). Em alguns cenários, onde os rótulos de dados não estão disponíveis, é necessária a aplicação de método de aprendizado não supervisionado. O método não supervisionado trabalha com suposição de que determinado objeto pertence a algum agrupamento e procura por padrões em um conjunto de dados não rotulado para classificar os objetos (HAN; KAMBER, 2011). Por exemplo, seja o aluno Y com tempo de estudo X no recurso A; então, o método supõe que o tempo de estudo X é o esperado e faz parte do grupo de alunos com tempo satisfatório; a seguir, baseado nessa suposição, o método procura por padrões que indicam tempo satisfatório, ótimo ou inaceitável dentro do conjunto de alunos. A mineração de regras de associação, por sua vez, trata da análise dos atributos e geração de regras a partir de padrões e associações entre os atributos, indicando elementos que implicam na presença de outros atributos em uma mesma transação, representando padrões. Por exemplo, a partir de uma base de dados, na qual são registradas as aprovações de alunos em uma determinada disciplina contendo três unidades de conteúdo, uma estratégia de mineração, com o uso de regras de associação, poderia gerar a seguinte regra: {Unidade I - bem avaliado, Unidade III - bem avaliado} → {Aprovação na Disciplina}, a qual indica que o aluno que tem boa avaliação nas unidades I e II da disciplina, com um determinado grau de certeza, é aprovado. A mineração de dados na área educacional trata da aplicação dessas técnicas de mineração em dados educacionais com o objetivo de resolver problemas desta área. Romero e Ventura (2010) ressaltam que os dados e problemas da área de educação têm algumas peculiaridades que sugerem um tratamento diferenciado em relação à mineração de dados tradicional. Embora a maioria das técnicas de mineração de dados possa ser aplicada diretamente, algumas devem ser adaptadas ao problema educacional em particular. Romero e Ventura (2010) ainda ponderam que ferramentas de mineração de dados educacionais de LA devem ser concebidas para facilitar o uso por parte dos educadores ou usuários não especialistas em mineração de dados. Sendo que, a maioria das ferramentas de mineração de dados atuais são muito complexas para os integrantes da área da educação e suas características vão muito além do escopo do que uma pessoa dessa área 14 15 normalmente está interessada em fazer, sendo necessário o suporte de um especialista para compreendê-la. Isso porque as ferramentas de mineração de dados normalmente são projetadas para privilegiar poder e flexibilidade, ao invés da simplicidade. A aplicação de técnicas de mineração de dados em ambientes educacionais visa atender aos interesses do público destes ambientes, incluindo o aluno e o professor. Dentre os principais objetivos de uso de mineração de dados na área de educação para atender a esses dois perfis, destacamos: a recomendação de atividades e recursos para alunos com o intuito de melhorar a sua aprendizagem; sugestões de adaptação; recomendação de cursos; discussões relevantes e livros; obter feedback sobre determinada instrução; analisar a aprendizagem e comportamento dos alunos; detectar os alunos que necessitam de suporte; prever o desempenho dos alunos; classificar os alunos em grupos; identificar padrões de comportamento dos alunos; determinar as atividades mais eficazes; e melhorar a adaptação e personalização de cursos (ROMERO; VENTURA, 2010). Visualização da Informação A crescente e massiva utilização de ambientes online, como redes sociais, fóruns de discussão, chats, blogs, e AVAs tem consolidado a internet como uma fonte rica de dados digitais inclusive para a área de educação. Este aumento na demanda produz também um aumento no volume de dados gerados por esses ambientes. Seguindo a tendência de aumento do volume de dados gerados pelos AVAs e demais ambientes online sobre o rendimento na aprendizagem, cresce também a dificuldade em analisar o desempenho na aprendizagem dos estudantes, e para tanto, recursos computacionais devem ser utilizados para viabilizar a extração e análise de tais informações (PERNOMIAN, 2008). Diversas técnicas e abordagens podem ser aplicadas ao problema da manipulação dos dados e a “Visualização da Informação” é uma das mais importantes áreas de pesquisa que desenvolve tecnologias para extração e exibição da informação a partir dos dados (BURKHARDT; RUPPERT; NAZEMI, 2012). As técnicas de visualização podem ser úteis, por exemplo, para analisar as atividades dos usuários em AVAs cujas informações obtidas das estatísticas do servidor não sejam capazes de responder adequadamente os tipos de perguntas feitas por quem deseja entender sobrea aprendizagem dos alunos nesses ambientes (MCGRATH, 2011). A visualização de dados e informações baseia-se na capacidade humana de interpretar visualmente as informações e, por meio dessa interpretação, perceber relacionamentos e padrões que auxiliam na descoberta de novos conhecimentos. Dessa forma, a “Visualização da Informação” procura interpretar as informações contidas em um conjunto de dados e, considerando as técnicas visuais, tenta perceber relacionamentos e padrões que auxiliam na descoberta de novos conhecimentos a partir de indicadores educacionais como nota, índice de aprovação, reprovação, estilos de aprendizagem dos estudantes e perfil metodológico das disciplinas. 15 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas A combinação de técnicas de visualização com análises estatísticas é considerada alternativa para a exploração adequada dos dados no processo de descoberta do conhecimento, por conciliar o potencial da análise humana com o processo de descoberta de novos conhecimentos (PERNOMIAN, 2008). No contexto de um ambiente de LA, a utilização de técnicas de Visualização da Informação pode ser de grande valor para professores e alunos, uma vez que lhes permite ter uma visão geral de suas atividades e de como elas se relacionam com as de seus pares ou outros agentes durante o processo de aprendizagem. Esse tipo de técnica pode ser útil ainda para os administradores de AVAs, uma vez que permite, por exemplo, conhecer o comportamento dos usuários a partir das ações realizadas por eles no sistema (DUVAL, 2011). Conforme mencionado por Ball et al. (2006, apud PERNOMIAN, 2008, p. 23), as técnicas de visualização geralmente são utilizadas em conjunto com técnicas de Interação humano-computador (IHC), uma vez que precisam apresentar interfaces eficazes para atender às necessidades de interatividade e facilitar a descoberta do conhecimento. Operações como seleção de dados, visão detalhada, rolagem e navegação pela sua estrutura são exemplos de estratégias de visualização que podem apoiar no processo de exploração para busca de conhecimento. Fry (2008) destaca que o processo de compreensão dos dados envolvendo a “Visualização da Informação” começa com uma pergunta; os dados armazenados; e envolve as fases: aquisição, análise, filtragem, mineração, representação e interação. Por exemplo, podemos começar com as “pegadas digitais” deixadas pelos estudantes dentro de um curso no AVA (os dados armazenados) e considerar uma pergunta realizada pelo professor/tutor: “Como está a porcentagem das médias dos meus alunos dentro do curso? ” Em seguida, utilizar as fases descritas para obter os dados, manipulá-los, visualizar a informação obtida e interagir com a interface com o intuito de descobrir algum conhecimento oculto. Observe a proximidade das fases da área de Visualização da Informação com as etapas apresentadas nos modelos e processos de LA. A apresentação dos dados requer ainda a aplicação de técnicas de visualização específicas, de acordo com o tipo de informação a ser exibida. Também, o uso da técnica deve considerar a facilidade de compreensão do público-alvo. Romani (2000 apud PERNOMIAN, 2008, p.26) afirma que existem técnicas de visualização específicas para cada tipo de informação, por exemplo, para dados de 1 dimensão (1D), gráficos em linhas, histogramas e de barras; para dados de 2 dimensões (2D), mapeamento por cores, imagens, histogramas 2D, gráficos de barra (2D); para dados de 3 dimensões ou temporais, figuras volumétricas, textura sobre superfície, animação, dentre outras associadas às informações multidimensionais. Como complemento, vale citar ainda as técnicas: treemaps, grafos e dashboards. 16 17 A título de conhecimento e sem nos preocuparmos com as questões de design e com as técnicas de IHC, vamos explorar brevemente algumas técnicas de visualização considerando, como exemplo, que foram realizadas as fases aquisição, análise, filtragem, mineração e obtida a Tabela 1, contendo as médias de notas para 100 alunos de um curso em um AVA com escala de notas inteira entre 0 e 10, além da frequência absoluta e relativa dos alunos que obtiveram essas médias. Tabela 1. Média de notas dos 100 alunos de um curso no AVA, a frequência absoluta e relativa das médias Médias 0 1 2 3 4 5 6 7 8 9 10 Frequência Absoluta 2 10 5 3 10 20 25 15 6 3 1 Frequência Relativa 2% 10% 5% 3% 10% 20% 25% 15% 6% 3% 1% Fonte: Autoria própria Histograma Um histograma é uma representação da distribuição dos dados por meio de um gráfico de barras, representados por retângulos adjacentes construídos com base em intervalos discretos. A escala horizontal representa as classes de valores de dados e a escala vertical as frequências absoluta ou relativa (CASTRO; FERRARI, 2016, p. 65). A figura 4 apresenta um histograma contendo as médias e a frequência relativa para os dados da tabela 1. Polígono de Frequência Um polígono de frequência serve para representar a distribuição dos dados e são úteis, por exemplo, para comparar conjuntos de dados e a sua forma de distribuição de frequência (CASTRO; FERRARI, 2016, p. 65). Esse gráfico utiliza segmentos de reta ligados aos pontos acima dos valores. Um exemplo de polígono de frequência obtido para alguns dados da tabela 1 é apresentado na figura 5. Média Fr eq uê nc ia R el a� va Histograma Figura 4. Histograma das frequências relativas envolvendo as médias de notas para um curso de 100 alunos 17 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas Fr eq uê nc ia A bs ol ut a Média Polígono de Frequência 30 25 20 15 10 5 0 333333333333333333333333333333333333333333333000000000000000000000000000000000000000000000000000000 2222222222222222222222222222222222222222222222222222222222222222555555555555555555555555555555555555555555555555555555555 22222222222222222222222222222222222222222222222222222222222000000000000000000000000000000000000000000000000000000000 11111111111111111111111111111111111111111111111555555555555555555555555555555555555555555555555555 111111111111111111111111111111000000000000000000000000000000000000000000000 555555555555555555555555555555555555555555555555555555555555555 0000000000000000000000000000000000000000000000000000000000 Figura 5. Polígono de Frequência a frequência absoluta das médias de um curso de 100 alunos Gráfico de Pareto Gráfico de Pareto é um gráfico de barras utilizado para dados qualitativos, no qual as barras são distribuídas em ordem decrescente de frequência (CASTRO; FERRARI, 2016, p. 66), conforme exemplo ilustrado na figura 6. As frequências podem ser absolutas ou relativas. Gráfico de Setores Também conhecido como tipo torta ou pizza, é um gráfico circular dividido em setores, no qual cada setor possui o tamanho relativo ao valor da variável ou atributo (CASTRO; FERRARI, 2016, p. 67). Úteis também para representar dados qualitativos. Baseado nos dados da tabela 1, foi elaborado o gráfico de setores da figura 7. Nesse gráfico, observe que cada setor possui uma cor e, acima dele, há a frequência relativa, além do valor da variável (ou atributo) média. Fr eq uê nc ia A bs ol ut a Média Gráfico de Pareto 30 25 20 15 10 5 0 33333333333333333333333330000000000000000000000000000000 222222222222222222222222255555555555555555555555555 22222222222222222222222000000000000000000000000 11111111111115555555555555555555555555555 111111111100000000000000000 5 0 Figura 6. Gráfi co de Pareto contendo a frequência absoluta das médias de um curso de 100 alunos 18 19 Figura 7. Gráfico de setores para a frequência relativa das médias de um curso de 100 alunos Gráfico de Dispersão Também chamado de scatter plot é um diagrama matemático que utiliza coordenadas cartesianas para exibir os valores dos atributos de um banco de dados e são apresentados como uma coleção de pontos com um valor no eixo horizontal e outro na vertical (CASTRO; FERRARI, 2016, p. 67). Como exemplo, considerandoos dados da tabela 1, foi elaborado um gráfico de dispersão ilustrado na figura 8. Média Gráfico de Dispersão Fr eq uê nc ia R el a� va Figura 8. Gráfico de dispersão da frequência relativa das médias de um curso de 100 alunos Treemap No ano de 1990, Ben Shneiderman do laboratório de Interação Humano Computator (IHC) da Universidade de Maryland (Estados Unidos) desenvolveu um modelo visual para mostrar o tamanho de arquivos e diretórios em um espaço de duas dimensões e o chamou de treemap. Detalhes podem ser obtidos em http://goo.gl/InyYOP 19 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas Segundo Jonhson e Shneiderman (1991, apud DINIZ et al., 2012, p. 28), um treemap é uma técnica de visualização que divide a região de exibição em uma sequência aninhada de retângulos com área e cor previamente definidos que corresponde a atributos de um conjunto de dados. Além disso, faz com que as pessoas direcionem seu olhar inicial nos retângulos maiores para depois olhar os menores. Algumas de suas vantagens são: • Faz uso de todo o espaço de visualização de maneira eficiente; • Preserva o contexto geral da informação; • Permite ter uma visão geral do escopo dos dados; e • É útil para exibir valores quantitativos de atributos ou variáveis. As propriedades do treemap são: i) Cada retângulo tem um tamanho que depende do peso (valor) do atributo ou variável; ii) Cada retângulo pode apresentar uma cor diferente ou todos podem ter uma única cor com escala variável dependente do valor de um atributo. Por exemplo, considerando o atributo “intensidade do sentimento desejo”, uma mesma cor com tonalidade mais escura pode determinar mais desejado, enquanto mais clara pode representar menos desejado. iii) Utilização de janelas pop-ups que exibem informações quando o mouse passa ou clica sobre alguma região de interesse do retângulo. A figura 9 apresenta um exemplo da frequência relativa (ou absoluta) das médias do curso da tabela 1. Observe que o maior retângulo azul à esquerda representa a média 6, de maior frequência relativa (25%) ou absoluta (25 alunos), enquanto o menor retângulo com azul de tonalidade mais forte representa a média 10, de menor frequência relativa (1%) ou absoluta (1). Observe que o treemap poderia ter sido colorido com uma única cor com intensidade variável que dependeria do valor da nota iniciando com azul muito claro para a nota 0 e muito escuro para a nota 10. Além disso, uma ferramenta de LA poderia exibir o nome dos alunos que obtiveram a nota ao passar com o mouse ou clicar em um determinado retângulo. Figura 9. Gráfi co Treemap da frequência relativa (ou absoluta) das médias de um curso de 100 alunos 20 21 Grafo Informalmente, um grafo é uma estrutura matemática e visual representada por entidades (objetos) que possuem características relevantes (relações) entre si e têm diversas propriedades. Os objetos são chamados de nós e as relações de arestas ou arcos. Por meio dele, é possível representar diversos modelos do mundo real e extrair muita informação e conhecimento relevante. Historicamente, o primeiro grafo é datado de 1732, quando Leonard Euler propôs um conhecido problema chamado “problema do carteiro chinês”. Nessa sua proposta, Euler utilizou um grafo para modelar uma situação do mundo real na antiga Prússia (atual Rússia), perto da cidade de Königsberg, no rio Pregel, onde havia sete pontes que ligavam duas ilhas entre si e ao continente. Euler representou os pedaços de terra (ilhas e continentes) por nós e os rios que faziam fronteira por arestas e tentou encontrar um caminho que não cruzasse uma mesma ponte duas vezes, tendo como ponto de partida e chegada o mesmo pedaço de terra. Com o modelo de um grafo ele provou que não era possível ao “carteiro” sair de um pedaço de terra e passar por todas as pontes uma única vez. Podemos fazer variações em relação aos tamanhos dos nós (objetos), espessura das arestas (relações), comprimento das arestas, cor das arestas, cor dos nós e, ainda, colocar rótulos tanto para os nós quanto para as arestas. No contexto de LA e da Visualização da Informação, alguns exemplos de uso poderiam ser: • Colaboração no fórum de discussão envolvendo as mensagens trocadas entre os alunos. Quando a colaboração entre os envolvidos for mais intensa, o tamanho do nó é maior, e menor se menos intensa. A interação (relação) entre os participantes, cria uma aresta entre eles. • Itens didáticos de uma unidade, disciplina ou curso acessados pelos estudantes. Nesse contexto, os estudantes e os itens seriam representados pelos nós e o acesso pelas arestas. A figura 10 ilustra um grafo modelando a colaboração nos fóruns de discussão de um curso completo ou de uma disciplina, envolvendo o aluno A1. Neste modelo, os nós representam os alunos e as arestas a interação entre eles. Se o aluno é muito participativo o tamanho do seu nó é maior, além de que, todos que tem a mesma intensidade de participação são representados pela mesma cor. Se algum aluno interagiu com o aluno A1, há uma aresta entre eles, além disso, a espessura da aresta depende da intensidade da interação, grossa representando muito intensa e fina, caso contrário. 21 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas Figura 10. Colaboração em um fórum de um curso ou disciplina envolvendo o aluno A1 Dashboard Um dashboard ou painel de instrumentos é uma representação gráfica que pode ser composta de diversas técnicas de visualização (por exemplo, um gráfico de barras, um mapa e um medidor de desempenho em um mesmo painel) e proporciona a exibição visual das informações processadas em uma única interface para ser explorada facilmente e compreendida com o passar dos olhos. Segundo Few (2005, apud TURBAN, 2009, p. 228), o desafio de um bom projeto de dashboard é exibir todas as informações de forma clara, em uma mesma tela e sem distrações. Um dashboard elaborado para Learning Analytics (LA) deve capturar a trilha de aprendizagem dos alunos e apresentá-la visualmente com o intuito de promover a conscientização, reflexão e permitir que: os alunos possam definir metas e acompanhar seu progresso na obtenção dos seus objetivos; os educadores monitorem seus alunos com a finalidade de identificar situações de risco e auxiliá-los; os administradores identifiquem problemas no ambiente educacional que prejudicam a aprendizagem dos alunos e, com isso, consigam contorná-los ou resolvê-los. Ao propor um dashboard, devemos somente tomar o cuidado com a sobrecarga cognitiva presente. Algumas características para um dashboard bem planejado para LA, adaptadas de Turban (2008), são: • Utiliza componentes visuais com o intuito de destacar os dados e as situações de risco que exijam tomada de decisão. Exemplos desses componentes são: medidores, gráficos, barras de desempenho, semáforos, mapas. • É muito fácil de usar e demanda pouco ou nenhum treinamento. 22 23 • Combina dados de diversos sistemas da instituição, por exemplo, AVAs e sistemas de gerenciamento acadêmico, fornecendo uma visão única, unificada e resumida do ambiente educacional ao qual os estudantes se encontram. • Permite obter mais detalhes pela navegação de suas áreas, por exemplo, ao selecionar uma determinada cidade de um polo de origem, apresenta os resultados de aprovação e reprovação dos alunos nessa localidade. • Realiza atualização dinâmica dos dados e permite ao usuário que o utiliza obter as informações mais recentes. • Deve ficar atento ao seu público-alvo. No contexto educacional, esse público seria: aluno, professor/tutor, coordenador e administradores da instituição. Um exemplo de um dashboard como ferramenta para o professor/tutor de uma disciplina pode ser visualizada na figura 11. Nessa figura, podemos observar 4 áreas: 1. Um mapa que apresenta as regiões do país que possuem alunos matriculados na disciplina. 2. Um treemap que apresenta os alunos que foram reprovados em disciplinascursadas anteriormente, entre 0 a 5 disciplinas. Observe que todos estão com a mesma cor, mas há um dégradé em cada retângulo. Nesse caso, cores mais fortes de um retângulo representam média geral mais alta no curso, e cores mais fracas indicam médias mais baixas. 3. Um gráfico de barras que informa a taxa de acertos nas unidades didáticas da disciplina, com base no histórico das turmas anteriores. Por meio dele, podemos observar que as unidades 1 e 6 são as que apresentam menor percentual de acertos, indicando, provavelmente, que são as que os alunos têm maior dificuldade. Figura 11. Dashboard elaborado para uma disciplina de um curso, visão do professor/tutor 23 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas 4. Os medidores representam a taxa de evasão dos alunos no curso quando são reprovados em 3, 2, 1 ou nenhuma disciplina. Baseado nessa figura 11, os educadores têm a possibilidade de tomar alguma decisão, não é verdade? Tente imaginar quais seriam! Ferramentas: Características e Exemplos A quantidade de AVAs baseados na web que incluem características de LA é pequena se compararmos com os interesses do público-alvo por este tipo de ferramenta. Então, vamos estudar algumas de suas características? Conde et al. (2015) propôs uma classificação das ferramentas de LA em quatro categorias com o objetivo de investigar como suas soluções são aplicadas para analisar dados de AVAs. Mas, aqui, para facilitar o entendimento, foram condensadas em três, conforme abaixo: • Dashboards (DB): apresentam as informações das atividades dos alunos ou professores na plataforma de ensino por meio de uma interface visual do tipo dashboard. • Frameworks e Ferramentas (FF): contempla ferramentas e frameworks que podem ser aplicados a variados tipos de plataformas ou contextos para explorar diferentes aspectos da aprendizagem. • Análise de problemas específicos (APE): compreende ferramentas com foco em determinados tipos de dados e sua representação, sendo projetadas para monitorar ou analisar partes pontuais de informações e atender a uma necessidade particular no contexto de uso. Além disso, podemos separar as ferramentas de LA dependendo do público-alvo para o qual ela foi desenvolvida, ou seja, aluno, professor, designer instrucional, administrador do AVA, coordenador e administrador da instituição. Na figura 12, podemos observar a classificação pelo tipo de ferramenta e o seu público-alvo. Figura 12. Classifi cação e Foco das Ferramentas de LA 24 25 O quadro 2, adaptado de Silva Jr e Oliveira (2016), apresenta o nome da ferramenta, o ambiente de aprendizagem suportado, as classificações descritas anteriormente e, a título de conhecimento, também apresenta a linguagem de programação utilizada para desenvolvê-la. Nesse quadro, podemos observar uma maior quantidade de ferramentas que utilizam o AVA Moodle e uma variedade de plataformas específicas e pouco conhecidas, com exceção dos Massive Open Online Courses (MOOC), representados pelas plataformas Open edX e Khan Academy. Provavelmente, esse fato ocorre porque o Moodle é um software livre, gratuito e de código aberto e os MOOCs uma tendência na Educação a Distância devido à sua abrangência geográfica. O quadro 3 também mostra que as linguagens mais utilizadas são PHP, Java e Python. Além disso, observamos que uma única ferramenta é direcionada somente para o aluno e duas envolvendo interesses institucionais. Detalhes de algumas dessas ferramentas são: • Quiz My Class Understanding (QMCU): apresenta relatórios e gráficos com foco no aluno para acesso por meio de dispositivos móveis. • Learning Analytics Enriched Rubric (LAe-R): utiliza um método de avaliação de estudantes baseado em indicadores associados aos dados de interações coletadas no AVA. • LeMO: aplica uma técnica de mineração de dados para identificar os caminhos de aprendizagem do aluno. • SoftLearn: utiliza técnica de inteligência artificial para descobrir os caminhos de aprendizagem dos alunos a partir dos eventos registrados em logs do AVA. • VeLA: aplica técnicas de visualização de dados como Grafos de Redes Sociais e Representação Paralela de Coordenadas para facilitar a exploração de dados de AVAs e a interação com as informações apresentadas. • Add-on de Suporte a Learning Analytics na plataforma Khan Academy (ALAS-KA): implementada para o ambiente Khan Academy, voltada para cursos na modalidade MOOC, é executada na plataforma Google App Engine de processamento em nuvem. Sua função é monitorar o uso do AVA pelos alunos por meio de métricas, além de permitir a visualização das informações pelos alunos e professores. Apresenta interfaces simples e padronizada de cores nos formatos dos gráficos, implementados com o auxílio da biblioteca Google Charts API. Detalhes podem ser vistos em: http://goo.gl/tCT40L Quadro 2. Ferramentas de LA Nome Ambientes de aprendizagem suportados Categoria Linguagem de Programação Foco QMCU Interno DD HTML5, jQuery Mobile, e ASP MVC4 Aluno LAe-R Moodle APE PHP Professor LeMO Moodle, Clix e Chemgapedia APE Java Professor 25 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas Nome Ambientes de aprendizagem suportados Categoria Linguagem de Programação Foco Mapper TelEduc APE Java e PHP Professor Não informado Open EDX DD Python Professor Não informado Open EDX FF Java e R Professor SoftLearn Moodle, Blackboard e ELGG FF Não informada Professor VeLA Moodle FF Java Professor ALAS-KA Khan Academy DD Python Aluno e Professor Grockit analytics Interno FF Não informada Aluno e Professor Learning Analytics Backend Services Go-Lab APE Não informada Aluno e Professor SCALE Moodle e Web-CAT FF Não informada Aluno e Professor Usalpharma Analytics Tool Second Life FF Python Aluno e Professor SmartKlass™ Moodle DD PHP Aluno, Professor e Instituição Intelliboard.net Moodle DD PHP Instituição Fonte: Adaptado de Silva Jr e Oliveira (2016) • Grockit Analytics: a ferramenta implementa as etapas de: coleta, seleção, análise, visualização e distribuição das informações, de forma análoga aos processos de LA descritos por Dyckhoff et al. (2012) e Chatti et al. (2012). • SCALE: a ferramenta utiliza o software de código aberto Hackystat para coletar, processar e apresentar informações a respeito das experiências de aprendizagem dos alunos em um AVA e traduzi-las em oportunidades para feedback personalizado, sem impactar negativamente o desempenho do ambiente. • Usalpharma Analytics Tool: utiliza o ambiente virtual Second Life para implementar um simulador de laboratório a partir do qual são coletadas informações a respeito do uso do ambiente pelos alunos e apresentado feedback ao aluno e professor. • SmartKlass™: apresenta diversas informações a respeito do desempenho dos alunos no curso, tais como: uso individual dos espaços pelos estudantes, resultados das atividades colaborativas e evolução no curso. • IntellBoard.net: apresenta vários gráficos e relatórios de cursos e a trilha de aprendizagem do aluno, tais como: total de visitas, o total de atividades/recursos/ professores de um curso, o número de alunos que completaram as atividades, o número de cursos, o tempo total que o aluno passou em determinado local, número total de visitas, a nota média do aluno para todos os cursos e nota média do aluno para as atividades. • Open Monitoring Environment (OME): utiliza a abordagem de mineração de dados abertos, open data mining, para automatizar a coleta e pré-processamento de dados com o apoio da ferramenta de mineração de dados Waikato Environment for Knowledge Analysis (Weka). 26 27 Tecnologias para Learning Analytics Uma síntese das tecnologias que podem ser utilizadas para o desenvolvimento de ferramentas de Learning Analytics é apresentada no quadro 3. Nele, podemos observar o nome da tecnologia, categoria, versão, características e endereço internet para conhecê-la melhor. Quadro 3. Tecnologias para desenvolvimento de ferramentasde Learning Analytics Tecnologia Categoria Versão Características Endereço Weka (Waikato Environment for Knowledge Analysis) Software de código aberto Gratuita Permite realizar tarefas de mineração e visualização da informação por meio de Interface Gráfica. Integra com IDE Java. http://www.cs.waikato.ac.nz /ml/weka/index.html R Linguagem de Programação Gratuita Permite análise de dados e visualização de dados. Tem pacotes de algoritmos para mineração documentados e validados https://www.r-project.org/ RapidMiner Software Gratuita e Paga Atua em mineração de dados, possui diversos algoritmos prontos, permite a extensão dos algoritmos e a conexão com diversas fontes de dados, tais como arquivos e diferentes SGBDs. https://rapidminer.com/ Tableau Software Gratuita e Paga Permite a criação rápida de visualização da informação para Business Intelligence e Analytics. http://www.tableau.com/ Considerações Finais Nesta unidade, foram apresentados os modelos e processos de LA, em especial o proposto por Elias (2011) composto das etapas: selecionar, capturar, agregar/relatar, predizer, usar, refinar compartilhar, além dos modelos de Chatti et al. (2012) e Dickhoff et al. (2012); foi realizada uma breve discussão a respeito da mineração de dados educacionais; detalhado Visualização da Informação e algumas de suas técnicas, explorando treemaps, grafos e dashboards com maior profundidade; foram apresentadas algumas características e exemplos de ferramentas de LA produzidas; e, por fim, destacadas algumas tecnologias utilizadas para no desenvolvimento de ferramentas para LA. Baseado no que foi apresentado e na sua atuação como um personagem de um ambiente educacional, seja como aluno, professor/tutor, coordenador, designer instrucional, conteudista ou administrador, é possível refletir sobre os aspectos abordados em relação ao desenvolvimento de ferramentas de LA e auxiliar os profissionais que as implementam na avaliação dos artefatos produzidos, e, principalmente, com questões que necessitam de respostas que ainda não encontramos nos sistemas atuais. Finalizando, parafraseando Siemens e Long (2011) e complementando com algumas reflexões pessoais, o uso de LA como um modelo de aconselhamento às pessoas envolvidas no ambiente educacional pode melhorar o desempenho dos alunos, minimizar as taxas de abandono em cursos e auxiliar na aplicação mais eficiente dos recursos pelas instituições, desenvolver vantagens competitivas, além de melhorar a qualidade e o valor da experiência de aprendizagem. 27 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas Material Complementar Indicações para saber mais sobre os assuntos abordados nesta Unidade: Sites SmartKlass™ Learning Analytics Moodle Página contendo o plugin do Moodle SmartKlass com vídeo demo, algumas telas exemplo e informações sobre o plugin. http://goo.gl/Hz4xxq IntelliBoard.net - Reporting and Analytics Tool for Moodle Página contendo o plugin do Moodle IntelliBoard.net com algumas telas exemplo e informações. http://goo.gl/jvZlkC Vídeos ANALYSE: A Learning Analytics Tool for Open edX Pequeno vídeo demonstrativo da ferramenta ANALYSE que apresenta algumas formas de visualização da informação. http://goo.gl/vENrGM ALAS KA: A Learning Analytics tool for the Khan Academy platform Apresentação sobre a ferramenta ALAS-KA, seu desenvolvimento e avaliação de resultados. http://goo.gl/IJUMFg Pedro José Munoz Merino, UC3M - ANALYSE A Learning Analytics Extension for Open edX Vídeo de Pedro José Munoz Merino que apresenta a ferramenta ANALYSE, arquitetura e desenvolvimento. http://goo.gl/ylfSgY 28 29 Referências BAKER, B. M. A conceptual framework for making knowledge actionable through capital formation. University of Maryland University College, 2007. BURKHARDT, D; RUPPERT, T; NAZEMI, K. Towards process-oriented Information Visualization for supporting users. In: Interactive Collaborative Learning (ICL), 2012 15th International Conference on. IEEE, 2012. p. 1-8. CASTRO, L. N.; FERRRARI, D. G. Introdução a Mineração de Dados – Conceitos Básicos, Algoritmos e Aplicações. São Paulo: Saraiva, 2016. CHATTI, M. A. et al. A reference model for learning analytics. International Journal of Technology Enhanced Learning, v. 4, n. 5-6, p. 318-331, 2012. CLOW, D. The learning analytics cycle: closing the loop effectively. In: Proceedings of the 2nd international conference on learning analytics and knowledge. ACM, 2012. p. 134-138. CONDE, M. A. et al. Exploring Student Interactions: Learning Analytics Tools for Student Tracking. In: Learning and Collaboration Technologies. Springer International Publishing, 2015. p. 50-61. D’AQUIN, M. et al. Using linked data in learning analytics. 2014. DINIZ, F. A. et al. Aplicação de uma técnica de visualização de dados baseado em árvores para auxiliar a priorização de requisitos em projetos ágeis. II Workshop Brasileiro de Visualização de Software. WBVS 2012. 23 de setembro de 2012. Disponível em: http://reuse.cos.ufrj.br/wbvs2012/papers/wbvs04.pdf. Data da consulta: 28/07/2016. DYCKHOFF, A. L. et al. Design and implementation of a learning analytics toolkit for teachers. Journal of Educational Technology & Society, v. 15, n. 3, p. 58-76, 2012. DUVAL, E. Attention please!: learning analytics for visualization and recommendation. In: Proceedings of the 1st International Conference on Learning Analytics and Knowledge. ACM, 2011. p. 9-17. ELIAS, T. Learning Analytics: The Definitions, the Processes, and the Potential. 2011. FRY, B. Visualizando Dados. Rio de Janeiro: Alta Books, 2008. HAN, J; KAMBER, M; PEI, J. Data mining: concepts and techniques. Elsevier, 2011, p. 549-. MCGRATH, O. G. Visualizing user activity in open e-learning contexts: challenges and techniques for operational management. In: Proceedings of the 39th annual ACM SIGUCCS conference on User services. ACM, 2011. p. 229-234. 29 UNIDADE Learning Analytics: Processos, Técnicas e Ferramentas PERNOMIAN, V. A. Visualização exploratória de dados do desempenho na aprendizagem em um ambiente adaptável. 2008. Tese de Doutorado. Universidade de São Paulo. ROMERO, C; VENTURA, S. Educational data mining: a review of the state of the art. Systems, Man, and Cybernetics, Part C: Applications and Reviews, IEEE Transactions on, v. 40, n. 6, p. 601-618, 2010. SIEMENS, G.; LONG, P. Penetrating the Fog: Analytics in Learning and Education. EDUCAUSE review, v. 46, n. 5, p. 30, 2011. SILVA JR., C. B.; OLIVEIRA, I. C. A. Learning Analytics: Revisão da Literatura e o Estado da Arte. 22º CIAED – Congresso Internacional ABED de Educação a Distância. 19 a 23 de setembro, 2016. TURBAN, E. et al. Business Intelligence. Um enfoque gerencial para a inteligência do negócio. Porto Alegre: Bookman, 2009. ZIELINSKI, F. D. C.; SCHMITT, M. A. R. Uma ferramenta gráfica para suporte à atividade docente no Moodle. RENOTE, v. 13, n. 1. 2015. 30