Baixe o app para aproveitar ainda mais
Prévia do material em texto
Métodos e Técnicas de Avaliação de Interface Natália Sales Santos 2021 Métodos e Técnicas de Avaliação de Interface – Página 2 de 66 Métodos e Técnicas de Avaliação de Interface Natália Sales Santos © Copyright do Instituto de Gestão e Tecnologia da Informação. Todos os direitos reservados. Métodos e Técnicas de Avaliação de Interface – Página 3 de 66 Sumário Capítulo 1. Introdução ........................................................................................... 5 Objetivos da avaliação de interface ........................................................................ 5 Razões para fazer avaliação de interface ............................................................... 7 Como avaliar ........................................................................................................... 7 O framework DECIDE ........................................................................................... 10 Capítulo 2. Avaliação de Interface ....................................................................... 14 Paradigmas de avaliação ...................................................................................... 14 Avaliação rápida e rasteira .............................................................................. 14 Teste em ambiente controlado ........................................................................ 15 Estudos em campo .......................................................................................... 15 Avaliação preditiva ........................................................................................... 16 Características dos métodos de avaliação ........................................................... 17 Etapa do ciclo de design .................................................................................. 18 Técnicas de coleta de dados ........................................................................... 19 Tipo de dados coletados .................................................................................. 20 Base dos métodos ........................................................................................... 21 Abordagem dos métodos ................................................................................. 21 Capítulo 3. Avaliação Analítica ............................................................................ 24 Avaliação heurística .............................................................................................. 24 As heurísticas de Nielsen ................................................................................ 24 Atividades principais da avaliação heurística ................................................... 25 Exemplo das heurísticas de Nielsen ................................................................ 30 Capítulo 4. Avaliação em Ambiente Controlado .................................................. 41 Métodos e Técnicas de Avaliação de Interface – Página 4 de 66 Visão geral ............................................................................................................ 41 Passos para execução de testes em ambientes controlados .......................... 42 Geração do material para o teste .................................................................... 46 Ambiente de testes e equipamentos ................................................................ 51 Teste de usabilidade ................................................ Erro! Indicador não definido. Capítulo 5. Microtestes de Usabilidade Pré-programados................................... 58 Visão geral ............................................................................................................ 58 Ambiente de teste e equipamentos ................................................................. 59 Passos para execução de microteste .............................................................. 60 Diferenças entre o teste de usabilidade e o microteste de usabilidade ........... 63 Referências................. ............................................................................................. 64 Métodos e Técnicas de Avaliação de Interface – Página 5 de 66 Capítulo 1. Introdução A avaliação de uma interface é uma atividade fundamental em qualquer processo de desenvolvimento que busque produzir um sistema interativo com alta qualidade de uso. É nesse momento que o avaliador julga o valor da qualidade de uso da solução a fim de identificar problemas (na interação e na interface) que possam prejudicar a experiência do usuário ao utilizar o sistema. Assim, é possível corrigir os problemas relacionados a usabilidade antes de inserir o sistema no cotidiano dos usuários, seja um sistema novo ou uma nova versão de algum sistema existente. (BARBOSA, 2010). A avaliação de interfaces não deve ser vista como uma fase única no processo de design e muito menos como uma atividade a ser feita somente no final do processo. Idealmente, a avaliação de interfaces deve ocorrer durante todo ciclo de vida do design e seus resultados utilizados para melhorias gradativas da interface. A avaliação é um passo importante do processo de design porque: ▪ Permite apreciar se o sistema apoia adequadamente os usuários, nas tarefas e no ambiente em que será utilizado. ▪ A utilização de métodos e princípios de projeto de interfaces não é suficiente para garantir uma alta usabilidade de seu software. ▪ A avaliação permite estimar o sucesso ou insucesso das hipóteses de designer sobre a solução que ele está propondo, tanto em termos de funcionalidade, quanto de interação. Objetivos da avaliação de interface Existe uma grande variedade de produtos interativos com uma vasta lista de características que necessitam ser avaliadas. Métodos e Técnicas de Avaliação de Interface – Página 6 de 66 Figura 1 – Exemplos de produtos interativos que podem ser avaliados. Para garantir que uma avaliação obtenha sucesso, é de extrema importância definir quais são os objetivos da avaliação, a quem eles interessam e por quê. Os objetivos de uma avaliação determinam quais aspectos relacionados ao uso do sistema devem ser investigados. (BARBOSA, 2010). Os principais são: ▪ Avaliar a funcionalidade do sistema: O design da interface do sistema deve permitir ao usuário efetuar a tarefa de modo fácil e eficiente. A avaliação nesse nível envolve também mediar o desempenho do usuário junto ao sistema para realizar a tarefa pretendida. ▪ Avaliar o efeito da interface junto ao usuário: Nesse contexto deve-se avaliar a usabilidade da interface; o quão fácil é aprender a usar a interface; a atitude do usuário com relação a interface e identificar áreas do design as quais sobrecarregam o usuário de alguma forma, por exemplo, exigindo que uma série de informações sejam relembradas. ▪ Identificar problemas específicos do sistema: Identificar aspectos do design os quais, quando usados no contexto-alvo, causam resultados inesperados ou confusão entre os usuários. Métodos e Técnicas de Avaliação de Interface – Página 7 de 66 Razões para fazer avaliação de interface Um sistema interativo deve ser avaliado na perspectiva de quem concebe, constrói e de quem o utiliza (BARBOSA, 2010). Considerando aspectos do projeto de interface, para quem constrói o sistema, a avaliação se faz necessária para: ▪ Verificar o entendimento dos projetistas sobre as necessidades dos usuários. ▪ Verificar se o sistema está de acordo com os requisitos. ▪ Comparar alternativas de projeto de interface. ▪ Identificar “estratégias” de design para um determinado domínio. Considerando aspectos da interação usuário-sistema, para quem utiliza o sistema, a avaliação se faz necessária para: ▪ Verificar se (e como) a interface afeta a forma detrabalhar dos usuários. ▪ Verificar se o sistema apoia adequadamente os usuários a atingirem seus objetivos em um contexto de uso. ▪ Identificar problemas de interação ou de interface. As diferenças entre quem concebe e quem utiliza o sistema não podem ser desprezadas. Os usuários podem ou não compreender e concordar com a lógica do designer, julgar a solução apropriada melhor do que as soluções existentes e incorporá-la no seu dia a dia, quando tiverem escolha (BARBOSA, 2010). Como avaliar Antes de começar a se preparar para uma avaliação, o avaliador deve aprender sobre a situação atual, que inclui o domínio do problema, os papéis e Métodos e Técnicas de Avaliação de Interface – Página 8 de 66 perfis dos usuários, seus objetivos e atividades, e o contexto em que o sistema é ou será utilizado (BARBOSA, 2010). O avaliador deve conhecer as interfaces dos sistemas complementares ou semelhantes aos que os usuários utilizam e também a interface do próprio sistema ou protótipo a ser avaliado (Barbosa, 2010). Além disso, sempre que possível o avaliador deve buscar saber quais compreender os comportamentos e as dificuldades dos usuários durante o uso de sistemas interativos semelhantes. Esse conhecimento é necessário para planejar a avaliação adequadamente e facilita a coleta e análise dos dados. A seguir serão apresentadas as atividades básicas dos métodos de avaliação, conforme ilustrado na Figura 2. Figura 2 - Atividades básicas dos métodos de avaliação de interface. Na atividade de preparação o avaliador deve definir: os objetivos com base em requisições, reclamações ou comportamento dos stakeholds do sistema e questões específicas de investigação; o escopo da avaliação (quais partes da interface, caminhos de interação, tarefas devem fazer parte da avaliação); os métodos de avaliação a serem utilizados; e os perfis e o número de participantes. Nessa atividade é preciso pensar nas questões éticas (os cuidados que devem ser tomados) e práticas que envolvem: alocar pessoal, recursos e Métodos e Técnicas de Avaliação de Interface – Página 9 de 66 equipamento; imprimir o material de apoio; preparação de todo o ambiente (hardware e software); realizar um teste-piloto e recrutar participantes. A atividade de coleta de dados deve ocorrer conforme o planejamento realizando e o método de avaliação selecionado. Se o método selecionado for por inspeção, haverá somente a participação dos avaliadores que vão fazer o uso do material preparado para seguir o método e vão examinar a interface para tentar prever a experiência de uso que os usuários terão ou para tentar identificar inconsistências com padrões. Se o método selecionado for por observação ou investigação, haverá a participação dos usuários que vão relatar experiências de uso vivenciadas ou permitir a observação de experiências reais de uso. Na atividade de interpretação será realizada a análise do material registrado para atribuir significado aos dados coletados. Essa análise deve ser orientada pelo método de avaliação selecionado e pelo planejamento da avaliação. Os métodos de avaliação costumam apontar os focos de analise (por exemplo, quais os dados dever ser analisados sobe quais perspectivas de analise) e os tipos de interpretações mais frequentes, por exemplo, a avaliação heurística enfatiza a análise de um conjunto de heurísticas. Na atividade de consolidação os resultados obtidos individualmente serão consolidados e analisados em conjunto. Na consolidação buscam-se recorrências nos resultados de todos os participantes de acordo com o método selecionado. Os resultados comuns a vários participantes de um grupo permitem fazer uma distinção entre características representativas do grupo e das características específicas de cada participante (BARBOSA, 2010). Busca-se também responder ou justificar por que alguma resposta não foi encontrada para as questões de investigação. A generalização dos resultados exige cuidado, pois pode ser influenciada pelo ambiente de avaliação e pelas características, preferências, interesses e necessidades dos participantes individuais. Métodos e Técnicas de Avaliação de Interface – Página 10 de 66 Caso não sejam encontrados problemas durante a avaliação, não se pode afirmar que o sistema tenha alta qualidade de uso, significando que o estudo não revelou problemas num determinado escopo do sistema avaliado com base em um planejamento. Na atividade relato dos resultados os avaliadores irão criar um documento no qual deverão incluir os objetivos e escopo da avaliação; a forma como a avaliação foi realizada (método de avaliação empregado); o número e o perfil de usuários e avaliadores que participaram da avaliação; um sumário dos dados coletados, incluindo tabelas e gráficos; um relato da interpretação e análise dos dados; uma lista dos problemas encontrados e um planejamento para o reprojeto do sistema, caso necessário (BARBOSA, 2010). O framework DECIDE Para que uma avaliação seja bem planejada, ela deve ser guiada por metas e objetivos claros e adequados ao contexto e ao ambiente em que o sistema está inserido. A fim de facilitar o planejamento de uma avaliação de um sistema interativo, Preece et al., (2002) propõem o framework DECIDE para orientar a avaliação. O framework DECIDE é um guia para auxiliar os avaliadores na organização das decisões a serem tomadas a respeito da avaliação, ou seja, o framework ajuda no planejamento e na realização de uma avaliação de interface. A Figura 3 mostra as etapas do framework DECIDE: Figura 3 – O Framework DECIDE. Métodos e Técnicas de Avaliação de Interface – Página 11 de 66 Determinar os objetivos gerais que a avaliação deverá tratar: Nessa etapa o avaliador deve determinar os objetivos e identificar o porquê e para quem tais objetivos são importantes. Os objetivos devem estar relacionados ao uso do sistema a ser investigado motivado por solicitações ou reclamações dos usuários ou interessados no sistema. É importante ressaltar que essa fase fornece subsídios para todas as outras e, principalmente, para tomada de decisões durante a execução, portanto, a sua correta execução permite aumentar as chances de sucesso da avaliação. Explorar perguntas específicas a serem respondidas: Nessa etapa, para cada objetivo definido na etapa anterior, o avaliador deve elaborar perguntas especificas a serem respondidas durante a avaliação considerando os usuários-alvo e suas atividades. Essas perguntas são responsáveis por transformar os objetivos iniciais em objetivos operacionais. Escolher (Choose) os métodos de avaliação que serão utilizados: Nessa etapa o avaliador deve escolher os métodos de avaliação de interface mais adequados para responder as perguntas e atingir os objetivos esperados, para isso, deve considerar o prazo, o custo, os equipamentos disponíveis e o grau de conhecimento e experiência dos avaliadores exigidos por cada técnica. •Determinar os objetivos gerais que a avaliação deverá tratarD •Explorar perguntas específicas a serem respondidas.E •Escolher (Choose) o paradigma e as técnicas de avaliação que responderão as perguntas.C • Identificar questões práticas que devem ser tratadas.I •Decidir como lidar com questões éticas.D •Avaliar (Evaluate), interpretar e apresentar os dados.E Métodos e Técnicas de Avaliação de Interface – Página 12 de 66 Identificar questões práticas que devem ser tratadas: Essa etapa deve abordar aspectos relacionados à realização dos testes, considerando fatores como: perfil e número de usuários que vão participar da avaliação; a preparação e o uso dos equipamentos necessários, seleção de tarefas, planejamento e preparação do material; alocação de material e recursos para conduzir a avaliação. Decidir como lidar com questões éticas: Sempre que usuários são envolvidos na avaliação,o avaliador deve tomar os cuidados éticos necessários, certificando-se de que os direitos dessas pessoas sejam respeitados. Avaliar (Evaluate), interpretar e apresentar os dados: Essa etapa envolve questões relacionadas a quais dados coletar, como analisar e como apresentá-los. É importante considerar: ▪ A confiabilidade ou consistência de um método: o quão bem ele produz os mesmos resultados em ocasiões diferentes sob as mesmas circunstâncias. ▪ A validade: questiona se o método de avaliação mede o que se pretende medir. Isso abrange tanto o método em si quanto a forma como ele é utilizado. ▪ E a validade ecológica: como o ambiente em que a avaliação é realizada influência nos resultados. O avaliador deve estar atento às características do método e à técnica escolhida e concentrar em responder às questões definidas na segunda etapa do framework DECIDE. (BARBOSA, 2010). Neste capítulo, foi apresentada a importância, os principais objetivos e as razões para realizar uma avaliação em um sistema interativo, bem como as atividades para realizar uma avaliação e o framework DECIDE. Vimos que: ▪ Um sistema interativo deve ser avaliado na perspectiva de quem concebe, constrói e de quem o utiliza. Métodos e Técnicas de Avaliação de Interface – Página 13 de 66 ▪ Uma avaliação tem como objetivos avaliar a funcionalidade do sistema, avaliar o efeito da interface junto ao usuário e identificar problemas específicos do sistema. ▪ As atividades para realizar uma avaliação são: preparação, coleta de dados, interpretação, consolidação e relato dos resultados. ▪ O framework DECIDE auxilia os avaliadores a planejar uma avaliação fornecendo uma lista de verificação útil para o planejamento de uma avaliação. Métodos e Técnicas de Avaliação de Interface – Página 14 de 66 Capítulo 2. Avaliação de Interface Toda avaliação de interface é conduzida por crenças frequentemente originadas de teorias ou experiências empíricas. A associação dessas crenças aos métodos de avaliação é conhecida como paradigma de avaliação. Paradigmas de avaliação Os quatro paradigmas para avaliação de interface são: avaliação rápida e suja, testes de usabilidade, estudos em campo e avaliação preditiva. Avaliação rápida e rasteira A avaliação rápida e rasteira é realizada de forma bem superficial. Esse tipo de avaliação visa fazer uma tomada rápida de opinião e oferecer aos interessados indicações gerais sobre a qualidade da experiência do usuário. Para a geração desses indicadores podem ser consultados especialistas, colegas, usuários reais ou potenciais. Avaliações deste tipo podem ser realizadas em qualquer estágio do desenvolvimento de software, porque a ênfase dessa avaliação está em uma contribuição rápida, não em descobertas cuidadosamente documentadas (PREECE et al., 2005). Este tipo de avaliação pode ser realizado no próprio local de trabalho dos usuários, em uma sala de reunião ou em um laboratório. Os dados coletados são geralmente qualitativos e são registrados de forma simples através de esboços ou relatórios descritivos e então passados para equipe de design. A avaliação rápida e rasteira não substitui um processo de avaliação formal no qual se produz resultados mais completos e confiáveis, mas a adoção deste paradigma é uma prática muito comum, devido às restrições orçamentárias e de cronograma dos projetos. Métodos e Técnicas de Avaliação de Interface – Página 15 de 66 Teste em ambiente controlado Os testes em ambiente controlado são procedimentos que têm como objetivo avaliar o desempenho dos usuários reais na realização de tarefas preparadas pelos avaliadores. Esse desempenho é avaliado no que diz respeito ao número de erros e ao tempo para completar uma determinada tarefa. Esse tipo de avaliação normalmente é realizado em laboratório em condições controladas pelos avaliadores. Os usuários não podem ser interrompidos durante a execução do teste e enquanto realizam as tarefas, eles são observados e filmados e suas interações são registradas por meio de softwares. Esses registros capturam vários aspectos comportamentais do usuário, tais como comentários verbais, expressões físicas, pausas, log da interação na interface (captura das telas, movimentos do mouse, cursor, teclas pressionadas), entre outros. Os dados de observação podem ser quantitativos ou qualitativos. Quando o fator de usabilidade investigado é a satisfação do usuário, os dados são medidos através da coleta da opinião dos usuários, por meio de entrevistas ou questionários, para identificação se estão ou não satisfeitos com o software e o grau de satisfação. Os dados coletados nos testes de usabilidade são enviados para os designers sob a forma de um relatório de desempenho e erros, sendo que as descobertas identificadas podem servir de parâmetros para as versões futuras do sistema (PREECE et al., 2005). Os relatórios são elaborados pelos avaliadores através da verificação das metas definidas para as medidas que foram coletadas e a classificação dos problemas pela sua gravidade. Estudos em campo O estudo de campo é realizado no ambiente real do usuário e tem como objetivo aumentar o entendimento do que os usuários fazem naturalmente e de como a tecnologia causa impacto nessas atividades. Esse tipo de avaliação requer um contato com o usuário nas situações comuns de sua rotina, onde as interrupções são frequentes e o comportamento do usuário é mais natural. Métodos e Técnicas de Avaliação de Interface – Página 16 de 66 O avaliador pode atuar na avaliação de duas formas: sendo apenas um observador e não interferir nas atividades do usuário ou pode fazer parte das atividades dos usuários atuando como participante delas. Neste caso, é empregado o uso da etnografia1, que consiste em um tipo particular de avaliação cujo objetivo é explorar os detalhes do que acontece em um ambiente social particular. (PREECE et. al. 2005). Esse estudo emprega técnicas qualitativas como entrevistas e observação participativa, e os resultados obtidos são registrados através de descrições acompanhadas de esboços, cenários, anotações ou qualquer outro recurso que o avaliador considere conveniente, por exemplo, gráficos e tabelas. Avaliação preditiva Nesse tipo de avaliação, os especialistas aplicam seu conhecimento a respeito de usuários típicos, normalmente guiados por heurísticas ou modelos de base teórica, visando prever problemas de usabilidade. (PREECE et al., 2005). Normalmente os usuários não precisam estar presentes, tornando esse processo muito mais atrativo e barato. Nesse caso os avaliadores assumem o papel dos usuários e indicam os possíveis problemas que os usuários possam ter durante a interação com a tecnologia em questão. Para a realização da avaliação é necessário que se tenha um protótipo do sistema que será avaliado, esse protótipo não necessariamente precisa ser funcional. Os problemas são coletados, revisados e enviados para os designers a partir de uma lista de problemas geralmente acompanhada de sugestões e soluções. Na Tabela 1 é apresentado um panorama sobre as características principais dos paradigmas de avaliação apresentados acima. 1 A etnografia é um método oriundo da antropologia e significa “descrever a cultura” (Hammersley & Atkinson, 1983). Métodos e Técnicas de Avaliação de Interface – Página 17 de 66 Tabela 1 – Características dos paradigmas de avaliação. Paradigma Rápida e Rasteira Teste em ambiente controlado Estudos de campo Avaliação Preditiva Papel dos usuários Comportamento natural Realizar um conjunto de tarefas Comportamento natural Não são envolvidos Quem controla Avaliadores (mínimo) Avaliadores (máximo) Avaliadores e Usuários Avaliadores experientes Local Ambiente natural ou laboratório LaboratórioAmbiente natural Ambiente natural ou laboratório Quando é usado A qualquer momento Com um protótipo Início do design, verificar necessidades dos usuários. Revisões especialistas a qualquer momento Tipo de dados Geralmente qualitativos e informais Quantitativos e qualitativos Qualitativos Lista de problemas, dados quantitativos. Relatório Esboços, citações Relatório de desempenho, de erros etc. Descrições, citações, logs Problemas e sugestões Filosofia Abordagem centrada no usuário pratica Abordagem aplicada a engenharia de usabilidade Observação objetiva ou etnográfica Heurísticas e experiências dos profissionais Características dos métodos de avaliação Diferentes tipos de avaliação podem ser implementados de acordo com o estágio de desenvolvimento do projeto. Geralmente, os recursos disponíveis, sendo eles principalmente tempo e dinheiro, têm um grande impacto no tipo de avaliação a ser feita. (ROCHA e BARANAUSKAS, 2003) Métodos e Técnicas de Avaliação de Interface – Página 18 de 66 Etapa do ciclo de design A avaliação de uma interface é uma atividade que pode ser realizada em diferentes etapas do ciclo de desenvolvimento de software (PRATES et.al. 2003). Existem dois processos que se destacam: A avaliação formativa ocorre durante o processo de design e tem como objetivo verificar se o produto está de acordo com as necessidades dos usuários. Este termo também é usado quando as avaliações são utilizadas para ajudar os designers na escolha de designs alternativos. A vantagem da avaliação formativa é que os problemas de interação são identificados e consertados antes de o sistema ficar pronto e ser liberado para uso. A avaliação formativa pode ser feita no início, no meio ou perto do final do ciclo de desenvolvimento de software. No início do projeto, normalmente é realizada em esboços em papel sobre representações preliminares. No meio do projeto é realizada sobre representações um pouco mais elaboradas. E perto do final do projeto é realizada sobre protótipos funcionais não necessariamente completos. Ela também pode envolver usuários em diferentes momentos do ciclo de vida. No início acontecem as entrevistas e o levantamento de requisitos, nesse momento é a primeira vez que o usuário é considerado e, se ele for consultado nesta etapa, muitas questões podem ser solucionadas mais rapidamente. Esta investigação pode ser considerada a primeira avaliação quando algumas soluções já foram estabelecidas e precisam ser validadas. A avaliação somativa ocorre no final processo de design e tem como objetivo avaliar o sucesso do produto finalizado. Esta avaliação acontece depois de uma versão funcional estar totalmente pronta. A utilização de usuários na avaliação somativa é opcional uma vez que realizar uma avaliação utilizando especialista também é uma forma válida de encontrar problemas na realização da tarefa. Esta avaliação independe de usuários, mas depende de um bom profissional que incorpore o usuário nos procedimentos de reconhecimento e interação com o sistema. Métodos e Técnicas de Avaliação de Interface – Página 19 de 66 Técnicas de coleta de dados Existem várias técnicas disponíveis para se coletar dados sobre a interface de um sistema e se fazer a análise da sua qualidade de uso. A decisão sobre que técnica utilizar depende principalmente da disponibilidade dos recursos que se tem e objetivos da avaliação a ser feita. (PRATES et. al., 2003). As principais características das técnicas de coleta da opinião de especialistas, coleta da opinião de usuários, observação e monitoramento de usuários e registro de uso. A coleta de opinião de especialistas consiste em considerar a opinião de especialistas no domínio da aplicação. A opinião dos usuários é muito importante e em algumas situações não pode ser substituída, mas alguns fatores como as restrições de custo e orçamento, a dificuldade de envolvimento de usuários reais pode levar a equipe de avaliadores a optar pela coleta da opinião de especialistas. Os especialistas examinam a interface com o objetivo de identificar possíveis problemas que os usuários possam ter ao utilizar o sistema. A coleta da opinião de usuários tem por objetivo obter uma apreciação dos usuários em relação ao sistema interativo. Nesta técnica deseja-se identificar o nível de satisfação dos usuários com o sistema, o que inclui aspectos como: se eles gostam do sistema, se a aparência estética do sistema é satisfatória, se o sistema faz aquilo que eles desejam, se tiveram algum problema ao usá-lo, e/ou se eles gostariam de (ou pretendem) usá-lo novamente. (PRATES et. al., 2003) Para essa coleta podem ser utilizados questionários e entrevistas, que podem ser feitos pessoalmente, por telefone ou e-mail. Com um grupo pequeno ou grande de pessoas, individualmente ou em grupo, fazendo o uso de perguntas que podem ser estruturadas ou livres. A observação e monitoramento dos usuários permitem aos avaliadores identificar os problemas reais vivenciados pelos usuários. Através desta técnica as necessidades dos usuários podem ser identificadas ou confirmadas, a adaptação dos usuários a uma tecnologia nova pode ser acompanhada, o avaliador pode conhecer as atividades desempenhadas pelos usuários e em qual contexto elas acontecem e assim por diante. A observação pode ser registrada usando anotações Métodos e Técnicas de Avaliação de Interface – Página 20 de 66 do observador, gravação de vídeo, áudio e logs de interação, ou uma combinação destas. Os desafios dessa técnica são: observar sem atrapalhar os usuários e como analisar o grande volume de dados coletados (quando se obtém várias horas de vídeo gravadas e/ou tipos diferentes de registros). O avaliador pode observar o usuário em ambientes mais controlados, como laboratórios. Neste caso o avaliador tem controle sobre o tempo, a comprometimento do usuário e as tarefas a serem executadas. O registro de uso é uma técnica que permite coletar informações sobre o uso de um sistema em um longo período de tempo, sem a necessidade de o usuário e o avaliador estarem presentes em um mesmo local. Esse registro é feito através de um arquivo log que armazena as ações realizadas no sistema, através da gravação da interação do usuário utilizando o sistema. Geralmente esses registros geram muita informação e a análise dos dados pode ser custosa para avaliadores (PRATES et. al., 2003). Tipo de dados coletados Dependendo do tipo de avaliação, o avaliador pode coletar dados sobre a situação atual do uso da tecnologia, aspectos positivos e negativos identificados durante esse uso, necessidades e oportunidades de intervenção entre outros(BARBOSA, 2010). Os dados coletados e produzidos em avaliação podem ser classificados de diferentes maneiras, as mais comuns são os dados qualitativos e os dados quantitativos. Os dados qualitativos representam conceitos que não são representados numericamente, tais como: expectativas, explicações, críticas, sugestões, listas de problemas. Normalmente estes dados permitem caracterizar os problemas encontrados relacionados à interação ou a interface. Esses dados também podem ser categorizados e depois quantificados. Os dados quantitativos representam numericamente uma quantidade, ou seja, uma grandeza resultante de uma contagem ou medição, tais como: o tempo e Métodos e Técnicas de Avaliação de Interface – Página 21 de 66 número de passos necessários para alcançar determinado objetivo ou quantas vezes a ajuda on-line e o manual de uso foram consultados (BARBOSA, 2010). Normalmente são utilizados para avaliar eficiência e produtividade de um sistema. A análise desses dados é feita utilizando cálculos simples como medias e desvio padrão. Base dos métodos Os métodos de avaliação de interfacepodem ser classificados em: métodos baseados em teoria ou métodos empíricos. A primeira classificação diz respeito a métodos fundamentados em alguma teoria que fornece explicações e previsões para fenômenos de interação entre o usuário e o sistema e ajudam a subsidiar resultados práticos para o design da interface de usuário. Alguns exemplos são: o Percurso Cognitivo que é baseado na teoria cognitiva e o MIS (método de inspeção semiótica) e o MAC (método de avaliação da comunicabilidade), ambos baseados na teoria da Engenharia Semiótica. Já os métodos de avaliação de base empírica dizem respeito aos métodos propostos a partir de resultados e conhecimento coletados através de experimentos. Alguns exemplos são o Teste de Usabilidade e a Avaliação Heurística. Abordagem dos métodos Os dados coletados podem ser analisados de forma analítica, experimental ou interpretativa. A abordagem analítica (inspeção ou preditiva) é baseada na análise da interface por especialistas e tem como objetivo identificar potenciais problemas que os usuários podem experimentar. A vantagem dessa abordagem é o fato de ser mais barata do que o teste com usuários e a desvantagem é que não analisa experiência do usuário A abordagem experimental (ambiente controlado) é executada em ambiente controlado e envolve usuários na execução da tarefa, e especialistas na Métodos e Técnicas de Avaliação de Interface – Página 22 de 66 preparação e análise dos dados. A vantagem é que essa abordagem é baseada em experiência real do usuário, e as desvantagens são que o ambiente não é natural para o usuário e é mais caro que avaliações analíticas. A abordagem interpretativa (estudo de campo) envolve a observação do uso feito pelo usuário em seu contexto natural. A vantagem dessa abordagem é que o especialista pode levar em consideração aspectos reais que influenciam no uso do sistema, e as desvantagens são que pode ser difícil comparar dados coletados e o custo de implementação é alto. A Figura 4 apresenta um resumo das características dos métodos de avaliação de interface apresentados acima. Figura 4 – Características dos métodos de avaliação de interface. O objetivo deste capítulo foi apresentar os principais paradigmas de avaliação e as características dos métodos de avaliação de interface. Várias questões devem ser consideradas antes de realizar uma avaliação em um sistema interativo, tais como: ▪ Os diferentes momentos do processo de desenvolvimento em que uma avaliação pode ser aplicada; ▪ Qual método de avaliação escolher; Métodos e Técnicas de Avaliação de Interface – Página 23 de 66 ▪ Que tipo de dados que podem ser coletados; ▪ E como os dados vão ser coletados, analisados e interpretados. Métodos e Técnicas de Avaliação de Interface – Página 24 de 66 Capítulo 3. Avaliação Analítica A avaliação analítica é o tipo de avaliação baseada na análise da interface por especialistas e tem como objetivo identificar potenciais problemas que os usuários podem experimentar durante a utilização de um sistema. Neste tipo de avaliação não há participação de usuários. Avaliação heurística A avaliação heurística é um método de avaliação que tem como objetivo identificar problemas de usabilidade conforme um conjunto de heurísticas ou diretrizes (guidelines) (NIELSEN, 1994). Ele é um método de base empírica, ou seja, é baseado nas melhores práticas definidas por profissionais experientes e especialistas em IHC (interação humano-computador), ao longo de vários anos de trabalho nesta área. A avaliação heurística não envolve usuários e é realizada através da inspeção da interface por especialistas. Normalmente, é recomendado que 3 a 5 especialistas realizem essa avaliação. Esses especialistas vão identificar potenciais problemas de usabilidade percorrendo a interface através de tarefas, fazendo a inspeção de padrões e consistência verificando a conformidade da interface com o conjunto de heurísticas que descrevem características desejáveis da interação e da interface. As heurísticas de Nielsen Nielsen propôs um conjunto inicial de dez de heurísticas (NIELSEN, 1993), que podem ser complementadas ou adaptadas conforme o avaliador julgar necessário e/ou domínio do sistema. Cada elemento ou conjunto de elementos da interface deve ser analisado a fim de verificar sua conformidade com cada uma das heurísticas. A Figura 5 apresenta as heurísticas propostas por Nielsen. Métodos e Técnicas de Avaliação de Interface – Página 25 de 66 Figura 5 – Heurísticas de Nielsen. Atividades principais da avaliação heurística Avaliação heurística contém quatro atividades principais, que serão descritas a seguir, conforme a Figura 6. Figura 6 – Atividades do método de avaliação heurística. Na atividade de preparação os avaliadores vão criar os cenários para as tarefas da avaliação, ou seja, uma narrativa textual concreta e rica em detalhes reais ou plausíveis. Um cenário tem como objetivo permitir ao usuário se identificar H1 - visibilidade do estado do sistema H2 - correspondência entre o sistema e o mundo real H3 - controle e liberdade do usuário H4 - consistência e padronização H5 - prevenção de erro H6 - ajuda aos usuários para reconhecerem, diagnosticarem e se recuperarem de erros H7 - reconhecimento em vez de memorização H8 - flexibilidade e eficiência de uso H9 - design estético e minimalista H10 - ajuda e documentação Métodos e Técnicas de Avaliação de Interface – Página 26 de 66 com a situação e tomar a motivação apresentada como própria. Além disso, a apresentação da tarefa de forma uniforme a todos os participantes garante que todos terão as mesmas informações ao executar a tarefa (PRATES, 2010). Um cenário completo contém os seguintes elementos: ▪ Contexto: são detalhes, circunstâncias que motivam ou explicam objetivos, ações e reações dos atores do cenário. ▪ Evento: uma ação ou reação externa produzida pelo computador ou outras características do ambiente. ▪ Avaliação: uma atividade mental voltada para interpretar características de uma situação. ▪ Ação: é o um comportamento observável. ▪ Atores: são pessoas que interagem com o computador ou com o contexto, descrição de um ator no cenário deve incluir as características pessoais que forem relevantes ao cenário. ▪ Objetivos: são os efeitos na situação que motivam as ações que os atores realizam. ▪ Plano: é uma atividade mental voltada para converter um objetivo em comportamento. Um exemplo de cenário é apresentado na Figura 7, contento todos os elementos citados acima. Métodos e Técnicas de Avaliação de Interface – Página 27 de 66 Figura 7 – Exemplo de um cenário e seus elementos. Os avaliadores também devem organizar as interfaces do sistema ou do protótipo que será avaliado, conforme os cenários definidos para avaliação e a lista de heurísticas que serão consideradas. A interface a ser avaliada pode ser o próprio sistema funcionando ou protótipos executáveis ou não, em vários níveis de fidelidade de detalhes. Na atividade da seção de avaliação cada avaliador vai inspecionar individualmente cada interface com o objetivo de identificar se as heurísticas foram respeitadas ou não. Normalmente, a sessão de avaliação costuma durar entre uma a duas horas. Para interfaces muito complexas, pode-se dividir a avaliação em sessões menores, em que cada uma se concentra em uma parte da interface. É importante que as avaliações sejam realizadas individualmente para que os avaliadores não sejam influenciados pela opinião dos outros. Durante a avaliação, o avaliador deve percorrer a interface pelo menos duas vezes: uma para ganhar uma visão geral da interface e outra para examinar cuidadosamente cada elemento da interface. Métodos e Técnicas de Avaliação de Interface – Página 28 de 66 Ao decorrerda avaliação, os avaliadores vão gerar um relatório em que, para cada problema encontrado, deve-se anotar: a descrição ou justificativa do problema; a heurística(s) violada(s) – um mesmo problema pode violar mais de uma heurística; a localização do problema (imagem da interface indicando o problema); a gravidade e a severidade do problema e se possível incluir recomendações de soluções que possam ajudar a resolver o problema encontrado. A localização do problema encontrado indica quais partes da interface devem ser modificadas. O problema pode estar em um único local na interface; em dois ou mais locais na interface, casualmente; na estrutura geral da interface, de forma sistemática; ou pode ser algo que “não está lá”, ou seja, precisa ser incluído na interface (PRATES, 2010). A gravidade dos problemas deve ser julgada pelos avaliadores de forma a facilitar a análise do custo/benefício da correção do problema. De acordo com Nielsen (1994), o julgamento da gravidade de um problema envolve três fatores: ▪ Frequência em que o problema ocorre: O problema é comum ou raro? ▪ Impacto do problema quando/se ele ocorre: será fácil ou difícil para o usuário superá-lo? ▪ Persistência do problema: o problema ocorre uma vez e poderá ser superado pelo usuário, ou vai incomodar o usuário repetidamente? Para auxiliar a compreensão dos problemas encontrados, Nielsen (1994) sugere a seguinte escala de severidade: 4 – Catastrófico: é obrigatório corrigir este problema antes do lançamento do produto. Se não for corrigido, muitos usuários não conseguirão atingir seus objetivos (para eles, o produto não funciona). 3 – Problema grande: importante ser corrigido e deve receber alta prioridade, vários usuários ficarão muito insatisfeitos se o problema for mantido. Métodos e Técnicas de Avaliação de Interface – Página 29 de 66 2 – Problema pequeno: é desejável a correção deste problema e deve receber baixa prioridade. Alguns usuários ficarão insatisfeitos em momentos específicos. 1 – Problema cosmético: deve ser consertado se, e somente se, houver tempo extra no projeto. 0 – Não concordo que seja um problema (este valor é resultado da opinião de um especialista sobre um problema registrado por outro especialista). Na atividade de consolidação os avaliadores vão se reunir para consolidar as informações encontradas por cada um. Nessa atividade cada avaliador vai expor seu relatório de problemas encontrados durante a avaliação da interface e juntos vão julgar o conjunto global dos problemas encontrados. Após esse julgamento em conjunto os avaliadores vão decidir quais problemas e sugestões devem fazer parte do relatório unificado de problemas de usabilidade. Um relatório consolidado contendo o consenso dos especialistas deve conter: ▪ Breve descrição do sistema; ▪ Lista de problemas: ‒ Problemas que acham que os usuários vão encontrar (indicando a(s) heurística(s) violada(s)), e por quê; ‒ Grau de severidade de cada problema (a escala normalmente usada é de 1 (menos severo) a 4 (mais severo); ▪ Indicadores de usabilidade; ‒ Recomendações sobre: ‒ Como resolver os problemas prioritários (ou seja, mais severos); Métodos e Técnicas de Avaliação de Interface – Página 30 de 66 ‒ Como resolver problemas fáceis e rápidos de eliminar; ‒ Alternativas de encaminhamento de solução de outros problemas; ‒ Conclusão sobre usabilidade. Na atividade de seleção dos problemas a serem corrigidos é realizada uma análise de custo/benefício das correções dos problemas encontrados na avaliação heurística. Essa análise é realizada junto ao cliente ou ao gerente de projeto, a fim de priorizar os problemas que serão corrigidos. Exemplo das heurísticas de Nielsen H1 - Visibilidade do estado do sistema: O sistema deve sempre manter os usuários informados sobre o que está acontecendo por meio de um feedback adequado em tempo adequado. Um exemplo prático de um recurso que auxilia o usuário a identificar o estado do sistema é a utilização de uma barra de progresso que exibe para o usuário andamento de uma tarefa (Figura 8). Figura 8 – Exemplo de uma barra de progresso que exibe o tempo restante para download de um arquivo. Outro exemplo é o bread crums, que serve como um guia para sinalizar ao usuário de onde ele veio e para onde está indo (Figura 9). Figura 9 – Exemplo da mensagem que o Gmail exibe quando está enviando um e-mail. Métodos e Técnicas de Avaliação de Interface – Página 31 de 66 H2 - Correspondência entre o sistema e o mundo real: O princípio do mapeamento entre o sistema e o mundo real é aproximar a forma de apresentação do sistema à forma física do mundo real. Para isso o sistema deve falar a língua do usuário com conceitos, vocabulário e processos que lhe são familiares. Um exemplo é apresentado na Figura 10. Através da interface desse sistema, o designer cria a metáfora do mundo real. Ele cria uma interface que representa um tocador de CD físico, que facilita rapidamente o uso de usuários que já conhecem um CD Player fisicamente. Figura 10 – Exemplo de uma interface que apresenta uma imagem de cartão de credito. Métodos e Técnicas de Avaliação de Interface – Página 32 de 66 H3 - Controle e liberdade do usuário: O usuário deve estar no controle das ações que ocorrem no sistema, pois em algum momento ele pode escolher uma função do sistema por engano e precisar de uma saída de emergência, visivelmente marcada para sair do estado indesejado. A interface deve possibilitar aos usuários desfazer e refazer tarefas. A imagem abaixo (Figura 11) traz um exemplo simples de como o usuário pode tem controle sobre um programa para compactar arquivos, pois o sistema permite que ele pare de compactar os arquivos a qualquer momento. Figura 10 – Exemplo de uma mensagem que permite o usuário desfazer uma ação. H4 - Consistência e padronização: Os usuários não devem ser obrigados a perguntar se palavras, situações ou ações diferentes significam a mesma coisa. O design deve sempre seguir as convenções da plataforma ou do ambiente. As Figuras 12 e 13 mostram um exemplo de consistência e padronização de forma bem simples, em que para cada tipo de área de notícia do site é atribuída uma cor diferente, e tudo referente a essa área está com a mesma cor. Figura 11 – Exemplo de consistência e padronização utilizando cores. Métodos e Técnicas de Avaliação de Interface – Página 33 de 66 Figura 12 – Exemplo de consistência e padronização utilizando cores: mesmo quando entramos em um subtítulo de uma área de notícia a cor é mantida. H5 - Prevenção de erro:Tentar evitar que o problema ocorra, eliminando as condições passíveis de erro ou apresentando-as aos usuários com uma opção de confirmação antes de executar a ação. A Figura 14 apresenta um exemplo de prevenção de erro quando o usuário aciona a função para fechar um documento do Word sem salvar as alterações. Métodos e Técnicas de Avaliação de Interface – Página 34 de 66 Figura 13 – Exemplo de prevenção de erro do Word. Outra forma de prevenir erro é apresentada na Figura 15, onde o design criou um layout apropriado para cada campo a ser preenchido pelo usuário, desta forma o usuário consegue preencher os campos com os dados corretos. Figura 14 – Exemplo de um cadastro que dá dicas durante o preenchimento de um novo cliente (os campos de CPF, de data de nascimento e telefone). H6 - Ajuda os usuários a reconhecerem, diagnosticarem e se recuperarem de erros: As mensagens de erro devem estar em linguagem clara (sem códigos), indicando o problema e sugerindo uma solução. O Google (Figura 16) faz isso de uma forma muito inteligente. Mesmo quando o usuário escreve a busca com uma ortografia errada, ele realiza a busca e pergunta se estamos procurando outra informação coma ortografia correta. Métodos e Técnicas de Avaliação de Interface – Página 35 de 66 Figura 15 – Exemplo de um formulário que além de apresentar informações simples e clara para ajudar o usuário a identificar o problema, ainda destaca o campo onde o problema acorreu. H7 - Reconhecimento em vez de memorização: O design deve tornar objetos, ações e opções visíveis e compreensíveis. O usuário não deve ter que se lembrar de informações de uma parte do diálogo em outra parte. As instruções para uso do sistema devem estar visíveis ou facilmente recuperáveis sempre que necessário. Um exemplo é a exibição das fontes do tema do Word. Ao clicar na seta à direita é exibida uma lista com todas as fontes disponíveis, cada fonte é apresentada com o seu nome e com a fonte tipográfica que representa. Desta forma o usuário não precisa lembrar a tipografia de cada fonte. Figura 17. Métodos e Técnicas de Avaliação de Interface – Página 36 de 66 Figura 16 – Exemplo dos tipos de fonte do Word. H8 - Flexibilidade e eficiência de uso: Oferecer aceleradores e caminhos alternativos para uma mesma tarefa, para tornar a interação do usuário mais rápida e eficiente, permitindo que o sistema consiga servir igualmente a usuários experientes e novatos. O design deve permitir que os usuários customizem as ações mais frequentes. A pesquisa do Google permite que usuários experientes e novatos consigam realizar uma busca de forma simples e rápida. Para os novatos é disponibilizada uma busca mais simples de página, que contém somente o campo para realizar a pesquisa e um botão para pesquisar como pode ser vista na Figura 18. Já para os usuários mais experientes o Google disponibiliza uma pesquisa avançada que permite ao usuário configurar várias opções de pesquisa conforme a Figura 19. O fato de o Google disponibilizar duas formas de pesquisa não impede de que os usuários experientes utilizem a pesquisa mais simples ou vice e versa. Métodos e Técnicas de Avaliação de Interface – Página 37 de 66 Figura 17 – Exemplo da pesquisa do Google. Figura 18 – Exemplo da pesquisa avançada do Google. H9 - Design estético e minimalista: O design deve evitar informações irrelevantes ou desnecessárias. A atenção do usuário deve ser nas informações relevantes. A Figura 20 mostra a tela de localizar e substituir do Word. Essa tela é simples e bem objetiva, pois exibe exatamente as informações que o usuário precisa para poder localizar e substituir uma palavra em seu documento. Não tem nenhuma informação irrelevante que possa fazer com que o usuário não consiga realizar a tarefa. Métodos e Técnicas de Avaliação de Interface – Página 38 de 66 Figura 19 – Exemplo da pesquisa no Word. Já o exemplo da Figura 21 é o oposto. Ele mostra uma tela que contém várias abas com desenhos e marcações que podem acabar fazendo com que o usuário cometa erros ao utilizar ou até mesmo não consiga realizar uma tarefa. Figura 20 – Exemplo da pesquisa avançada do Google. H10 - Ajuda e documentação: Ainda que seja melhor que o sistema possa ser usado sem documentação, pode ser necessário prover ajuda aos usuários. Qualquer informação deste tipo deve ser fácil de buscar, focada na tarefa do usuário, relacionar passos concretos a serem desenvolvidos, e não ser muito longa. O Word disponibiliza uma ajuda em forma de tópicos, conforme mostra a Figura 22. O usuário pode optar por realizar uma pesquisa dentro da ajuda ou procurar o que precisa através dos tópicos apresentados. Métodos e Técnicas de Avaliação de Interface – Página 39 de 66 Figura 21 – Exemplo da ajuda do Word. Outro tipo de ajuda pode ser visto na Figura 23. O formulário de pagamento do Walmart tem um campo para preencher o código de segurança do cartão. Como não é algo muito óbvio, tem uma imagem próxima ao campo mostrando onde fica o código de segurança do cartão. Figura 22 – Exemplo da forma de pagamento do Walmart. Este capítulo apresentou o método de avaliação heurística, realizado por especialistas que desempenham o papel dos usuários nas interações com o sistema e dão sua opinião sobre os possíveis problemas que o usuário pode ter durante a interação com o sistema. A execução da avaliação heurística se resume em: ▪ Cada avaliador individualmente: Métodos e Técnicas de Avaliação de Interface – Página 40 de 66 ‒ Inspecionar a interface; ‒ Listar os problemas encontrados; ▪ Todos os avaliadores: ‒ Revisam os problemas encontrados e geram um relatório; ▪ Os avaliadores discutem os problemas com o cliente ou ao gerente de projeto, a fim de analisar o custo/benefício das correções aos problemas encontrados. Métodos e Técnicas de Avaliação de Interface – Página 41 de 66 Capítulo 4. Avaliação em Ambiente Controlado A avaliação em ambiente controlado é o tipo de avaliação baseada na experiência real do usuário. O registro e a análise dos dados permitem identificar problemas reais que os usuários enfrentam durante a utilização de um sistema. A avaliação é executada em um ambiente controlado, por exemplo, um laboratório, e envolve tanto usuários (para a execução das tarefas) quanto especialistas (na preparação, no acompanhamento e na análise dos dados). Nesse tipo de avaliação o avaliador tem um controle tanto sobre o ambiente de teste quanto sobre as atividades que serão realizadas, desta forma o avaliador não precisa se preocupar com fatores externos que possam vir a atrapalhar o usuário na execução das atividades. Recomendam-se cinco usuários e pelo menos dois avaliadores, uma para acompanhar o usuário durante o teste e outro para observar o teste. A principal desvantagem de testes em ambientes controlados é justamente o fato de ser uma avaliação em um ambiente fora do contexto em que o sistema é utilizado. Visão geral A realização de uma avaliação em ambiente controlado requer um planejamento minucioso para que o avaliador tenha controle sobre todas as condições da avaliação. O avaliador deve garantir que as condições da avaliação sejam as mesmas para todos os usuários participantes e que a avaliação consiga atingir seu objetivo. Métodos e Técnicas de Avaliação de Interface – Página 42 de 66 Passos para execução de testes em ambientes controlados O teste em ambiente controlado contempla três etapas principais para sua realização. Essas etapas serão descritas a seguir, conforme a Figura 24: Figura 23 – Etapas da execução de um teste em ambiente controlado. Na etapa de preparação do teste o avaliador deve determinar os objetivos principais da avaliação, a seleção das tarefas e dos participantes, considerar os aspectos éticos, realizar um teste piloto e definir a quantidade de testes. Cada uma dessas atividades será descrita a seguir, conforme a Figura 25: Figura 24 – Atividades da etapa de preparação de teste em ambiente controlado. Na atividade para determinar o objetivo do teste o avaliador irá determinar os critérios relevantes ou os pontos críticos que deverão ser considerados na Métodos e Técnicas de Avaliação de Interface – Página 43 de 66 avaliação, a fim de verificar se o objetivo desejado está sendo alcançado. Geralmente os critérios são definidos na etapa de design. Por exemplo, a satisfação do usuário ou o desempenho caso deseja verificar se o usuário consegue realizar uma tarefa em um determinado período de tempo. Na etapa de design são levantadas tarefas essências para o sucesso do sistema e/ou tarefas frequentes que os usuários irão realizar durante a interação com o sistema. Pode incluir também estruturas de acesso, hierarquia e caminhos de navegação. Um exemplo de determinação do objetivo do teste é apresentado na Figura 26.d Figura 25 – Objetivo da avaliação (PRATES et. al. 2003). Na atividade de seleção das tarefas parateste o avaliador deve determinar as tarefas que os usuários irão realizar na avaliação. Essas tarefas devem ser típicas e realistas para que se possa prever o uso do sistema. O tempo de execução de cada tarefa deve ser determinado com muito cuidado. Geralmente o tempo máximo para a realização de uma tarefa é de 20 minutos, deve-se manter um tempo inferior à uma hora para a realização de todo o Métodos e Técnicas de Avaliação de Interface – Página 44 de 66 teste para que não se torne cansativo para o usuário. Um exemplo de seleção de tarefas é apresentado na Figura 27. Figura 26 – Tarefas a serem realizadas no teste (PRATES et. al. 2003). Na atividade de seleção dos participantes o avaliador deve definir o perfil e a quantidade de usuários que vão participar da avaliação. Geralmente o objetivo é encontrar participantes com perfil semelhante aos usuários reais do sistema. Para identificar os participantes com o perfil desejado é necessário realizar um questionário breve de seleção. Após definir o perfil dos participantes, o avaliador deve definir a quantidade de participantes na avaliação. Tipicamente em testes com usuários se envolve de cinco a doze participantes (DUMAS e REDISH, 1999). Nielsen, por sua vez, recomenda que cinco usuários participem da avaliação (NIELSEN, 2000). Segundo ele, esse número de participantes apresenta a melhor relação de custo/benefício. Com cinco participantes encontram-se 85% dos problemas de aplicação e o benefício dos novos erros encontrados valem o custo do teste executado. Um exemplo de seleção de usuários é apresentado na Figura 28. Métodos e Técnicas de Avaliação de Interface – Página 45 de 66 Figura 27 – Seleção dos participantes (PRATES et. al. 2003). A atividade de considerações sobre aspectos éticos diz respeito ao cumprimento da regulamentação brasileira (LEITÃO & ROMÃO-DIAS, 2003), a saber da resolução 196/96 do Conselho Nacional de Saúde [CNS,1996]2, que estabelece normas para a pesquisa envolvendo seres humanos. Os principais aspectos dessa resolução para a aplicação do método são: o caráter voluntário e consentido dos participantes (por escrito), a preservação do anonimato e proteção de grupos vulneráveis; a garantia de bem-estar e o direito de interromper os testes dos participantes. O usuário deve consentir por escrito na execução do teste e o documento de consentimento deve especificar as condições acordadas do teste, devendo ser assinado tanto pelo participante do teste, quanto pelo avaliador. Além disso, o formulário deve permitir ao usuário acrescentar novas condições ao acordo, caso o deseje (PRATES et. al, 2003). A atividade de execução do teste-piloto tem como objetivo principal a apreciação do material gerado para a avaliação. Durante a execução do teste é importante observar se os participantes conseguiram entender corretamente todo o material gerado, se o tempo de execução do teste está dentro do previsto, se as 2 [CNS, 1996] Conselho Nacional de Saúde. Resolução número 196/96 sobre pesquisas envolvendo seres humanos. 1996. Disponível de maneira on-line em http://conselho.saude.gov.br/docs/Reso196.doc. Métodos e Técnicas de Avaliação de Interface – Página 46 de 66 tarefas propostas conseguem atingir os objetivos da avaliação. O teste-piloto também serve para praticar a habilidade do avaliador, para verificar se os equipamentos estão funcionando corretamente. O interessante é executar o teste piloto até que se identifique que não há necessidade de alteração no material. Geração do material para o teste Após a definição dos objetivos, das tarefas e dos perfis desejados dos usuários do teste, é preciso gerar o material de apoio que será utilizado durante o teste. Este material inclui: ▪ Questionário para seleção de participantes do teste: Através desse questionário é possível identificar as características do perfil de usuário do sistema e selecionar os candidatos de acordo com perfil desejado. ▪ Scripts de apresentação e explicação do processo de teste aos usuários: através desse script é possível garantir que todos os usuários receberão as mesmas informações e serão tratados da mesma forma. ▪ Formulários de consentimento do usuário: Para realizar testes com os usuários é preciso ter um formulário de consentimento formal que deve ser preenchido e assinado antes do teste. (Esse item será discutido com mais detalhes na próxima seção) ▪ Texto de descrição da tarefa: As tarefas a serem executadas devem ser apresentadas aos usuários por escrito, e se possível, na forma de um cenário. ▪ Roteiros de entrevista ou questionários: Após a realização do teste podem ser realizadas entrevistas ou questionários com o objetivo de entender melhor algumas ações do usuário ou avaliar a satisfação do usuário com o sistema. Na Figura 29 é apresentada a relação do material gerado de acordo com cada atividade apresentada acima. Métodos e Técnicas de Avaliação de Interface – Página 47 de 66 Figura 28 – Material gerado em cada uma das atividades da etapa de preparação do teste. A etapa de execução é quando o usuário irá realizar o teste do sistema. Os usuários serão observados enquanto os avaliadores registram seu desempenho e sua opinião durante a execução do teste. Para isso, essa etapa contempla seis passos, os quais auxiliam no controle e na realização do teste. A Figura 30 apresenta os passos a serem seguidos e em seguida uma explicação sobre cada um desses passos. Figura 29 – Passos para a execução de teste em ambiente controlado. O primeiro passo é o recebimento do usuário, onde o avaliador deve deixar o usuário o mais à vontade possível, uma vez que muitos tendem a ficam Métodos e Técnicas de Avaliação de Interface – Página 48 de 66 ansiosos e nervosos por se tratar de um teste em um ambiente controlado. É preciso explicar que o teste que está sendo realizado é para avaliar o sistema e não o usuário, e que ele pode interromper o teste a qualquer momento. O próximo passo é a apresentação do trabalho e sistema, em que o avaliador deve ler para o usuário o script de apresentação, reforçar que a avaliação é sobre o sistema e não sobre o usuário. Após apresentar o trabalho e o sistema, o avaliador deve solicitar o consentimento formal do usuário pedindo para que ele leia e assine o formulário de consentimento da execução do teste. O próximo passo é a aplicação do questionário pré-teste. Esse questionário tem a finalidade de conhecer as especificidades do usuário. Finalizado o questionário pré-teste é iniciada a execução das tarefas, em que, num primeiro momento, é apresentado o material correspondente às tarefas e solicitado que o usuário leia e verifique se conseguiu compreender todo o material. Quando o usuário começa a realizar as tarefas, o observador também começa a realizar as anotações sem interromper ou interferir a concentração do usuário. Caso o usuário faça alguma pergunta sobre o sistema ou sobre a realização de alguma tarefa, as mesmas não devem ser respondidas. O avaliador só responde perguntas que não estão relacionadas com o software que está sendo testado, por exemplo, perguntas sobre o sistema operacional. Terminado a execução das tarefas é realizada a entrevista ou o questionário pós-teste. A entrevista ou o questionado tem como objetivo tirar dúvida sobre algumas ações observadas do usuário e também colher sua opinião sobre a experiência de utilizar o sistema e/ou sugestões que possam ajudar a melhorar o sistema. A etapa de análise consiste em analisar os dados obtidos no teste. Os dados no teste de usabilidade podem ser coletados de várias formas, tais como registro de uso, observações, anotações, preenchimento de questionários, Métodos e Técnicas de Avaliação de Interface – Página 49 de 66 entrevistas. Após coletar os dados de todos os usuáriosque participaram do teste, os avaliadores vão gerar um relatório do teste. Neste relatório são apresentados os testes realizados e os problemas encontrados. Teste de usabilidade O teste de usabilidade tem como objetivo principal avaliar a qualidade da interface em termos de sua usabilidade, ou seja, medir o valor alcançado pelo sistema em cada um dos aspectos de usabilidade de interesse: facilidade de aprendizado, facilidade de uso, eficiência de uso e produtividade, satisfação do usuário, flexibilidade, utilidade e segurança no uso. (NIELSEN 1993; PREECE et. al., 2002). Por exemplo, pode-se avaliar a facilidade de aprendizado medindo: ▪ A quantidade de erros que os usuários cometeram nas primeiras sessões de uso; ▪ A quantidade de usuários que conseguiram completar com sucesso determinadas tarefas; ▪ A quantidade de vezes que os usuários consultaram a ajuda on-line, caso exista, ou o manual de usuário. Essas medidas são definidas na atividade de seleção das tarefas para o teste no passo de preparação da avaliação. Lembrando que, o teste de usabilidade possui os mesmos passos e atividades contidos em um teste realizado em um ambiente controlado. As medidas são definidas a partir dos requisitos de usabilidade levantados pelos clientes e pelas metas de usabilidade propostas pela equipe de design. Para cada uma das medidas a serem observadas, deve-se definir os limites mínimos aceitáveis (pior caso), os limites máximos possíveis (melhor caso) e o valor almejado para a medida no projeto. Métodos e Técnicas de Avaliação de Interface – Página 50 de 66 Na tabela 2 é apresentado um exemplo de medidas que podem ser observadas durante um teste de usabilidade. Tabela 30 – Exemplo de medidas que podem ser observadas a cada tarefa durante a realização da tese de usabilidade. Fator Método de Medição Pior Caso Nível Almejado Melhor Caso Facilidade de uso Número de erros cometidos Mais de 10 erros No máximo 3 erros Nenhum erro Facilidade de uso Porcentagem de vezes que o usuário vai ao sistema de ajuda Para cada tarefa vai pelo menos 1 vez Apenas a 1ª vez que realiza uma tarefa complexa Nunca Utilidade Frequência de uso Uma vez a cada três dias ou menos frequente Uma vez ao dia Mais de uma vez ao dia Eficiência do sistema de ajuda Porcentagem das vezes que usuário encontrou o que procura no sistema de ajuda Nunca Acima de 90% das vezes 100% das vezes Eficiência do sistema de ajuda Consegue resolver o problema com base no conteúdo de ajuda Nunca Acima de 90% das vezes 100% das vezes Avaliação inicial Questionário (subjetivo) Negativa Positivo Muito positivo Métodos e Técnicas de Avaliação de Interface – Página 51 de 66 Essas medidas devem ser objetivas e confiáveis. Objetivas no sentido de realmente medir aquilo a que se propõem e confiáveis de modo que se obtenham os mesmos resultados ao tornar a medir o atributo em condições similares às do objeto ou indivíduo em questão. Os resultados obtidos por meio das medidas devem ser reproduzíveis e significativos para a avaliação. Durante o teste, o avaliador acompanha o usuário na execução das tarefas e analisa se as medidas alcançadas pelo usuário são compatíveis com as medidas esperadas para que a usabilidade do sistema seja satisfatória. Durante a análise dos dados coletados o avaliador deve classificar a gravidade dos problemas (NIELSEN, 1998): ▪ Problema catastrófico: impede que o usuário termine sua tarefa; ▪ Problema sério: atrapalha a execução da sua tarefa; ▪ Problema cosmético: atrasa a execução e/ou irrita usuários. O relatório do teste deve conter a descrição dos testes feitos, os problemas encontrados, as análises sobre as medidas definidas para cada tarefa e, se solicitado, hipóteses sobre causas dos problemas. Se os problemas identificados se referem a requisitos de usabilidade, eles devem ser corrigidos, uma vez que são requisitos do cliente. Já as metas de usabilidade devem ser analisadas quanto à prioridade de correção, uma vez que foram estipulados pela equipe de desenho. Ambiente de testes e equipamentos O ambiente de testes é composto por duas salas: a sala de teste e a sala de observação. A sala de teste é onde o usuário vai utilizar o sistema, a sala de observação é local onde o avaliador vai observar os usuários durante o teste. Normalmente as salas são separadas por um vidro espelhado onde os avaliadores enxergam os usuários, mas estes não enxergam os avaliadores. Um exemplo de ambiente de testes é apresentado na Figura 31. Métodos e Técnicas de Avaliação de Interface – Página 52 de 66 Figura 31 – Exemplo de um ambiente de teste (BARBOSA, 2010). A sala de teste deve possuir um computador e um espaço suficiente para acomodar o usuário e um avaliador. Geralmente existem duas ou três câmeras de vídeos fixas que tem o objetivo de registrar o comportamento dos usuários, como os movimentos das mãos, expressões faciais e linguagem corporal. O microfone também é colocado próximo ao usuário para gravar suas palavras. Os vídeos e outros dados são transmitidos para a sala de observação. A sala de observação deve possuir um monitor que irá replicar o que está sendo visto no monitor do usuário (meio de um software de compartilhamento de tela) e outro computador para anotações importantes. Nas Figuras 32 e 33 são apresentados alguns exemplos de ambientes de teses reais. Figura 32 – Laboratório de comunicabilidade do Grupo de Pesquisa em Engenharia Semiótica (SERG / PUC-Rio). Métodos e Técnicas de Avaliação de Interface – Página 53 de 66 Figura 33 – Laboratório de Usabilidade do Instituto Recôncavo de Tecnologia (IRT). Os laboratórios de usabilidade podem ser muitos caros e demandar muito trabalho de funcionamento e manutenção (PREECE et. al. 2005). Para contornar esses problemas uma alternativa é realizar o teste com a ajuda de um equipamento portátil e utilizar uma sala (de reunião ou de conferência) disponível como um laboratório de usabilidade temporário, conforme a Figura 34. Uma vantagem de utilizar um equipamento portátil é que os mesmos podem ser levados aos ambientes de trabalho, permitindo que os testes possam ser realizados no local, tornando-o menos artificial e até mais convenientes para os usuários. (PREECE et. al. 2005). Figura 34 – Laboratório portátil (nmgroup.com). file:///C:/Users/IGTI/Downloads/MTA/3.%20Apostila/nmgroup.com Métodos e Técnicas de Avaliação de Interface – Página 54 de 66 Teste de usabilidade remoto Geralmente poucos equipes tem tempo e recursos suficientes para realizar testes de usabilidades presenciais, logo uma opção viável e realizar teste de usabilidade remoto. O teste de usabilidade remoto pode ser conduzido usando dois métodos diferentes: moderado ou não moderado. Teste de usabilidade remoto moderado O teste de usabilidade remoto moderado costuma ser mais barato, menos demorado e mais conveniente para os participantes. Nos casos em que os participantes não podem se descolar até o local de teste, o teste de usabilidade remoto moderado é uma boa alternativa. O passo mais importante para realizar um teste remoto moderado é escolher uma ferramenta de compartilhamento e gravação de tela e áudio que seja fácil de utilizar e instalar, tanto para os avaliadores quanto para os participantes. Existem muitas ferramentas de compartilhamento de tela disponíveis, tais como: Zoom, Google Meet, Skype, Microsoft Teams entre outras. Ao escolher uma Métodos e Técnicas de Avaliação de Interface – Página 55 de 66 ferramenta é preciso prestar muita atenção aos requisitos de instalação. O ideal é utilizar a ferramentas que os participantes já utilizam ou já tenham instaladas em seu equipamento. Administraras tarefas que serão realizadas durante os testes é um pouco mais trabalhosa que em um teste de usabilidade presencial. O ideal é entregar as tarefas uma de cada vez e pedir par os participantes leem a tarefa em voz alta. A entrega das tarefas pode ser realizada de três formas: ▪ Enviar para os participantes um documento (por exemplo, pdf) com as tarefas, uma de cada vez. ▪ Usar a janela de bate-papo da ferramenta de compartilhamento de tela para enviar o texto da tarefa atual para o participante, durante a sessão. ▪ Ler a tarefa em voz alta para o participante. Realize um teste piloto. O teste piloto é muito importante, pois com ele será possível verificar o funcionamento da ferramenta; se o participante consegue instalar a ferramenta corretamente; se a internet está funcionado e é suficiente para realizar o teste. Teste de usabilidade remoto não moderado Em um teste remoto não moderado não há um avaliador presente durante a sessão de teste, em vez disso, é utilizado uma ferramenta que fornece instruções aos usuários, registra suas ações e pode fazer perguntas de acompanhamento e/ou perguntas pré e pós teste. O teste não moderado geralmente é muito mais rápido do que um teste moderado. É possível realizar um teste e receber os resultados em apenas algumas horas. Esses testes também permitem a coleta de feedback de dezenas ou mesmo centenas de usuários simultaneamente. Contudo, existem limitações importantes nos testes de usabilidade não moderados: Métodos e Técnicas de Avaliação de Interface – Página 56 de 66 Realizar um teste em um protótipo inicial é difícil sem um avaliador, uma vez que ele não está presente para explicar e ajudar os participantes a se recuperarem de erros ou limitações do protótipo. Sem um avaliador, os participantes podem se envolver menos com o teste e se comportar de maneira menos realista em tarefas que dependem de imaginação, tomada de decisão ou respostas emocionais. Testes não moderados funcionam melhor para avaliar produtos (sites e/ou apps) ativos ou protótipos funcionais. Eles são apropriados para analisar atividades que não exijam muita imaginação ou emoção dos participantes. Esse tipo de teste requer um planejamento ainda mais meticuloso do que um teste presencial, uma vez que não se pode confiar no julgamento humano para adaptar os procedimentos do estudo em tempo real. Antes de escolher qual ferramenta de teste utilizar é preciso ter os objetivos do teste bem claros para depois selecionar uma ferramenta que tenha os recursos mais adequados para seus objetivos do teste. A ferramenta para realização da tese é crucial para obter resultados úteis. A ferramenta deve ser capaz de orientar os participantes durante a realização do teste e registrar o que acontece. Existem algumas ferramentas disponíveis, tais como Maze.design3, Lookback4 que oferecem um trial, que facilita realizar testes com a ferramenta antes de realmente adquiri-la. É importante dedicar um tempo para investigar e testar as ferramentas, para selecionar a mais adequada para realizar o teste. As tarefas que serão realizadas pelos participantes em produto devem ser altamente específicas para sua situação. Como os participantes não poderão pedir esclarecimentos caso não entendam alguma instrução tarefas devem ser escritas 3 https://maze.co/ 4 https://lookback.io/ Métodos e Técnicas de Avaliação de Interface – Página 57 de 66 com mais cuidado do que as tarefas dos testes moderados. Pois, se os participantes executarem as tarefas de forma errada o teste pode ser perdido. Com isso as tarefas devem informar explicitamente aos participantes quando eles devem parar. As perguntas de pré e/ou pós teste devem ser bem planejadas. Essas perguntas podem incluir questões quantitativas, nas quais os participantes avaliam a dificuldade de utilizar o produto ou a satisfação. Realize um teste piloto, pois nele será possível verificar o funcionamento da ferramenta e como será o retorno os resultados dos testes. O objetivo deste capítulo foi apresentar como realizar testes de usabilidade. O teste de usabilidade avalia a usabilidade de um sistema a partir de observações de experiências de uso. Os objetivos deste teste determinam quais critérios de usabilidade deverão ser medidos. Esse teste pode ser realizado de duas formas diferentes: presencial e remoto. Os testes presenciais, em ambiente controlado, permitem que os avaliadores tenham controle sobre todo o processo de avaliação (através dos materiais gerados em cada uma das atividades de preparação do teste), o que garante que as condições do teste serão as mesmas para todos os usuários. Os testes remotos, moderados e não moderados, podem ser mais baratos; menos demorados e mais convenientes para os participantes. Mas, isso não muda o fato de que para realizar esses testes o(s) objetivo(s) devem ser claros e o planejamento é o passo mais importante. Métodos e Técnicas de Avaliação de Interface – Página 58 de 66 Capítulo 5. Microtestes de Usabilidade Pré-programados É de conhecimento de todos que, para verificar a usabilidade de um sistema, o teste de usabilidade é um método muito eficaz. Mas a grande realidade é que de fato é muito difícil empresas investirem dinheiro e tempo em recursos para realizar um teste usabilidade. A aplicação de um teste de usabilidade é relativamente simples, porém, quando executado com um tempo e uma frequência inadequada, torna-se complexo e pode gerar mudanças significativas em todo um projeto. Steve Krug (2006) afirma que quando um teste de usabilidade é executado no início e com frequência adequada, pode-se tirar o máximo de proveito a um custo baixo, economizando tempo e desgastes refazendo o projeto. Nesse sentido esse capítulo vai apresentar um microteste de usabilidade que qualquer um pode aplicar facilmente em um sistema interativo ou outro produto através de uma abordagem direta apresentada por KRUG (2010). Visão geral Steve Krug (2010) utiliza o termo “teste de usabilidade do tipo faça você mesmo” para denominar um microteste de usabilidade. Este tipo de teste é qualitativo, pois o seu objetivo não é provar algo e sim ter ideias que permitam melhorar o que está sendo criado. Como resultado, esses testes tentem ser mais informais do que científicos, ou seja, o teste pode ser realizado por alguns usuários e haver a necessidade de alterar o protocolo no meio do teste. Por exemplo, se o primeiro usuário não conseguiu completar uma determinada tarefa e o motivo para isso for óbvio, a tarefa pode ser alterada ou até mesmo excluída da lista de tarefas para os demais usuários do teste. Essa alteração não pode ser aplicada em um teste quantitativo porque invalidaria os resultados. Métodos e Técnicas de Avaliação de Interface – Página 59 de 66 O microteste de usabilidade pode ser facilmente integrado a metodologias ágeis de desenvolvimento de software, uma vez que essa metodologia é baseada na produção rápida de partes de um sistema e essas partes precisam ser testadas. O único cuidado que deve ser tomado é que em muitos casos os usuários dos testes podem ser membros da equipe que estão desenvolvendo o sistema. O maior desafio do microteste de usabilidade em uma metodológica ágil é planejar o microteste à frente dos desenvolvedores que muitas vezes fazem mudanças no sistema, mas não têm tempo para fazer a prototipagem. De acordo com Krug (2010), o microteste de usabilidade funciona porque: ▪ Todos os sites têm problemas: geralmente os problemas são significativos e podem frustrar seriamente o usuário ou até mesmo impedir o usuário de realizar uma tarefa. ▪ A maioria dos problemas sérios tende a ser facilmente encontrada: os problemas do sistema podem ser óbvios para os projetistas e desenvolvedores, porque eles sabem como o sistema funciona ou deveria funcionar,
Compartilhar