Teste de usabilidades

Prévia do material em texto

TESTES - USABILIDADE
TESTE DE USABILIDADE
• O teste de usabilidade avalia a usabilidade de sistemas 
interativos por meio da observação de usuários reais 
realizando tarefas típicas e pré-predefinidas, no intuito de 
melhorar a facilidade de uso do sistema interativo, avaliar o 
grau de efetividade da interação e determinar o grau com 
que o sistema se ajusta e apoia as necessidades dos 
usuários (Pressman & LOWE, 2009; Moraes & Rosa, 2008).
• Esse método visa avaliar a qualidade da interação entre usuários e 
sistema, identificando problemas e avaliando seu impacto na 
interação (Cybis et alii, 2010; Preece et alii, 2005). 
• Pressman & Lowe (2009) enfatizam que não há como determinar a 
usabilidade de um sistema sem realizar uma avaliação de 
usabilidade. Assim, em síntese, Preece et alii (2005) descreve a 
realização de um teste de usabilidade:
• Os testes de usabilidade envolvem avaliar o desempenho dos 
usuários típicos na realização de tarefas cuidadosamente 
preparadas, por sua vez típicas daqueles para os quais o sistema foi 
planejado. O desempenho dos usuários é geralmente avaliado no 
que diz respeito ao número de erros e ao tempo para completar a 
tarefa (p.361).
• Os testes de usabilidade realizam medições do desempenho dos 
usuários (números de erros e tempo de duração da tarefa) na 
experiência de uso do sistema, possuindo uma abordagem 
quantitativa (Souza et alii, 1999). 
• No entanto, os autores Preece et alii (2005), Pressman & Lowe (2009), 
Cybis (et alii, 2010), Silva & Barbosa (2010) e Nielsen & Loranger (2007) 
afirmam que os resultados também possuem uma abordagem 
qualitativa, visto que apenas medir os resultados é uma abordagem 
simplista, sendo necessário o avaliador julgar e interpretar os 
resultados no intuito de identificar problemas e recomendar soluções.
PARA REALIZAR UM TESTE DE USABILIDADE E AVALIAR A EXPERIÊNCIA DE USO DE UM SISTEMA 
POR MEIO DA OBSERVAÇÃO, SILVA & BARBOSA (2010) RECOMENDAM UM SÉRIE DE 
ATIVIDADES PLANEJADAS A FIM DE OBTER RESULTADOS MAIS EFICAZES.
Atividade Tarefa
Preparação
• definir tarefas para os participantes 
executarem
• definir o perfil dos participantes e recrutá-los
• preparar material para observar e registrar o 
uso
• executar um teste-piloto
Coleta de dados
• observar e registrar a performance e a 
opinião do participantes durante sessões de 
uso controladas
Interpretação e consolidação dos 
resultados
• reunir, contabilizar e sumarizar os dados 
coletados dos participantes
Relato dos resultados
• relatar a performance e a opinião dos 
participantes
• Na atividade de preparação, diversas decisões devem ser tomadas. 
A primeira é a definição das tarefas. Tendo em mente os objetivos e 
as expectativas da avaliação, são definidas tarefas típicas que 
usuários pertencentes ao público-alvo realizarão. 
• Cybis (et alii, 2010) recomenda que as tarefas, além de típicas, 
estejam relacionadas aos objetivos e as principais funções do 
sistema. 
• Dumas & Redish, (1999 apud Moraes & Rosa, 2008) aconselham a 
criação de cenários curtos, claros e objetivos a fim de facilitar a 
realização das tarefas pelos usuários, e assim, aumentar a eficácia 
dos resultados, visto que os cenários são estórias que representam 
situações reais de uso e permite criar um ambiente mais realístico, 
eliminando a superficialidade, característica dos testes.
• Após a criação de tarefas e cenários, Silva & Barbosa (2010) indicam 
selecionar e recrutar os usuários. Os participantes devem ser 
selecionados tendo como critério o perfil e as características dos 
usuários típicos do sistema, e não apenas relacionados a critérios 
demográficos.
• No recrutamento, além de ter certeza que os participantes 
representam os usuários típicos do sistema, os participantes não 
podem, em nenhuma hipótese, sentir-se pressionados a participar, 
mesmo sendo remunerados, além de que, o local planejado para 
ocorrer os testes deve ser preparado para receber os participantes 
com conforto, com equipamentos básicos para a realização do 
teste, com privacidade e segurança (Cybis et alii, 2010).
• Testes com participantes podem ocorrer em dois lugares: em laboratório ou 
em ambiente real de trabalho. Teste em laboratório pode ter o ambiente 
controlado pelo avaliador, ao contrário do teste em ambiente de trabalho, 
onde interrupções e ruídos podem ocorrer (Cybis et alii, 2010). 
• O teste em laboratório, além do espaço físico, exige equipamentos para 
coleta de dados. Embora alguns laboratórios possam ser extremamente 
sofisticado e caros (figura 13a), Moraes & Rosa (2008) e Cybis (et alii, 2010) 
afirmam que laboratórios simples (figura 13b), porém com equipamentos 
adequados, produzem os mesmos resultados que laboratórios mais 
preparados.
• Em laboratório, apenas uma sala com um computador, uma cadeira 
para o participante realizar as tarefas, uma câmera de vídeo para 
filmar os movimentos e reações dos usuários e um software para 
capturar o movimento realizado pelo usuário no sistema são 
suficientes para realizar o teste (Moraes & Rosa, 2008). 
• Em laboratório ou em ambiente real de trabalho, Krug (2000) ressalta 
que apenas equipamentos básicos, que permitem capturar a 
interação do usuário com o sistema, como o citado anteriormente, 
são necessários. A figura 13 apresenta um laboratório apenas com 
equipamentos essenciais e com equipamentos mais sofisticados.
• Os equipamentos devem ser testados antes de realizar a avaliação. 
Para tanto, faz-se necessário realizar um teste piloto para, além de 
configurar e verificar o funcionamento e configuração do sistema, 
checar e validar se o teste ocorrerá de acordo com o planejado. 
• Quanto à configuração a ser utilizada, Nielsen & Loranger (2007) 
recomendam a utilização da mesma configuração e equipamentos 
utilizados pelo usuário alvo do sistema, que pode ser obtido por meio 
de análise de logs e tráfego de dados do sistema.
• A próxima atividade na 
realização do teste é a coleta 
de dados, que envolve 
questionários pré-teste, sessão 
de observação e entrevista pós-
teste. Os questionários serão 
detalhados nos próximos 
tópicos. A coleta de dados na 
sessão de observação utiliza 
diversas técnicas. Preece et alii 
(2005, p.394) cita três técnicas 
principais:
• anotações e uso de uma câmera: anotações são uma forma simples 
e flexível de coletar dados e marcar observações e detalhes, porém, 
a velocidade é limitada, sendo recomendada para fazer apenas 
pequenas observações, enquanto a câmera filma e coleta todos os 
outros detalhes para análise posterior.
• gravação em áudio e câmera fixa: a gravação em áudio possui as 
mesmas características que as anotações, porém, de forma mais 
fácil. Entretanto, a transcrição do áudio é um processo mais 
demorado e oneroso, e maiores detalhes da sessão são capturados 
por câmera fixa.
• vídeo: os vídeos coletam tanto dados visuais como sonoros e com 
mais detalhes que as anotações e gravação de áudio, porém, é mais 
intrusiva e pode intimidar, no inicio, o participante; e sua análise pode 
ser muito lenta e exigir muito tempo.
• Além dessas três técnicas, Cybis (et alii, 2010) cita softwares como 
uma ferramenta de apoio para registro dos dados, permitindo 
marcações e registro das interações ocorridas durante a sessão. 
Além de software para apoio, Nielsen & Loranger (2007) 
recomendam que durante a sessão seja utilizado um método para o 
usuário pensar em voz alta. 
• Nesse método, o usuário é convidado a pensar em voz alta ao 
executar uma tarefa durante a sessão. Nielsen & Loranger (2007) 
justificam a necessidade desse método afirmando que “ouvir os 
pensamentos de um usuário permite entender a razão de suas ações, 
e essas informações são valiosas em processo de teste” (p.6). 
• Moraes & Rosa (2008)também fazem algumas recomendações 
durante a sessão: cuidado com palavras e expressões corporais 
usadas; agir com imparcialidade; procurar entender por que ocorreu 
cada erro; criar roteiros e scripts para serem lidos para o participante; 
assim, todos recebem os mesmo procedimentos.
• Depois de realizadas as sessões de observação com todos os 
usuários, a próxima atividade é a interpretação e consolidação dos 
resultados. Nessa fase, segundo Silva & Barbosa (2010), os dados 
obtidos são analisados no intuito de obter resultados quantitativos e 
qualitativos.
FOCO QUALITATIVO
• Um foco quantitativo permite testar hipóteses, descobrir tendências, 
comparar soluções alternativas e verificar se o sistema atingiu as metas de 
usabilidade; para isso, utilizando gráficos, índices, médias, tabelas, 
porcentagens e outros dados estatísticos. 
• O foco qualitativo exige uma análise conjunta e interpretativa de todos os 
dados, permitindo identificar a origem dos problemas, identificar quais as 
características e comportamentos da interface contribuem para gerar o 
problema, elaborar explicações para os problemas e justificar as 
recomendações de soluções. Saber qual foco utilizar, quantitativo ou 
qualitativo, segundo Preece et alii (2005), exige uma análise dos objetivos e 
metas da avaliação. Segundo Dumas & Redish, (1999 apud Moraes & Rosa, 
2008, p.167), os dados coletados em uma sessão de teste de usabilidade 
são:
• Lista de problemas ocorridos durante a produção do teste;
• Dados quantitativos sobre tempo, número e tipos de erros e outras 
medidas de performance;
• Dados quantitativos nos resultados subjetivos e outras perguntas a 
partir dos questionários pós-tarefa e pós-teste;
• Comentários dos participantes sobre seus logs ou notas e sobre o 
questionário;
• As notas escritas pela equipe do teste e seus comentários que 
tenham sido registrados num log;
• Dados sobre o histórico dos participantes, sobre os perfis dos usuários, 
questionários de recrutamento ou questionários pré-teste;
• Videotapes, eventualmente, mostrando diversas cenas do teste.
FINALMENTE, A ÚLTIMA ATIVIDADE DO TESTE DE USABILIDADE É APRESENTAR 
UM RELATÓRIO DOS RESULTADOS. NESSE RELATÓRIO, SEGUNDO SILVA & 
BARBOSA (2010, P.343), DEVEM DESCREVER:
• os objetivos e o encorpo de avaliação;
• breve descrição dos métodos de teste de usabilidade;
• o número e o perfil dos avaliadores e dos participantes;
• as tarefas executadas pelos participantes;
• uma lista dos problemas encontrados, indicando, para cada problemas:
• local onde ocorreu o erro
• descrição e justificativa
• discussão, indicando os fatores de usabilidade prejudicados
• sugestões de solução
AS ATIVIDADES APRESENTADAS NESTE TÓPICO FORAM PROPOSTAS POR 
SILVA & BARBOSA (2010). EXISTEM TAMBÉM DIVERSOS OUTROS ROTEIROS DE 
ATIVIDADES PARA REALIZAÇÃO DE TESTE DE USABILIDADE. 
Atividade Objetivo
Planejamento do teste Determinar o objetivo do teste e tarefas
Organização dos materiais Determinar script do teste, formulários de 
consentimentos e outros materiais
Preparação do local Preparar e verificar local, equipamento e 
sala
Teste piloto Aplicar teste piloto com um ou dois 
colaboradores
Recrutamento dos usuários Selecionar e agendar as horas de teste
Condução do teste Aplicar o teste
Análise dos resultados Revisar os problemas encontrados, priorizar 
os problemas baseado na frequência e nas 
severidades e identificar as soluções 
possíveis
Correção Fazer as alterações modificadas e testar 
mais uma vez
MORAES & ROSA (2008) AFIRMAM QUE EXISTEM DIVERSOS ROTEIROS COM 
AMPLAS VARIAÇÕES, PORÉM, TODOS APRESENTAM AS SEGUINTES 
CARACTERÍSTICAS EM COMUM:
• Objetivo principal
• Os participantes representam usuários reais
• Os participantes executam tarefas reais
• Observa-se e registra-se o que os usuários fazem e dizem
• Analisam-se os dados, diagnosticam-se os problemas reais 
e, então, recomendam-se alterações para consertar tais 
problemas.