Aula_06_Introducao_Avaliacao

Prévia do material em texto

11
INF1403 INF1403 –– Introdução a Interação Introdução a Interação 
serg
INF1403 INF1403 –– Introdução a Interação Introdução a Interação 
HumanoHumano--Computador (IHC)Computador (IHC)
TurmaTurma 3WB3WB
Professor: Alberto B. Professor: Alberto B. RaposoRaposo
Avaliação de IHC: Paradigmas, Métodos e TécnicasAvaliação de IHC: Paradigmas, Métodos e Técnicas
1212/Mar/2011/Mar/2011
O que é avaliar?O que é avaliar?
•• determinar o valor dedeterminar o valor de
•• apreciarapreciar
•• julgarjulgar
•• ponderar, examinar, considerarponderar, examinar, considerar
serg
•• ponderar, examinar, considerarponderar, examinar, considerar
•• calcular, estimarcalcular, estimar
adaptado de: Dicionário Aurélio – Século XXI em CD-ROM
Avaliação de IHCAvaliação de IHC
•• O que é?O que é?
– Chamamos de avaliação de IHC a atividade profissional 
especializada que tem por objetivo julgar a qualidade de 
interação que um sistema ou artefato computacional oferece 
serg
interação que um sistema ou artefato computacional oferece 
aos seus usuários.
1. Avaliação é uma atividade profissional. Não é uma emissão de 
opinião baseada em preferências ou conjecturas pessoais. 
2. Usuários sempre têm opiniões e julgamentos sobre a qualidade 
dos sistemas com que interagem: mas isto não é uma “avaliação 
de IHC”, a menos que os usuários sejam também profissionais.
O que define uma ‘atividade profissional’?O que define uma ‘atividade profissional’?
•• Neste contexto, uma ‘atividade profissional’ é aquela Neste contexto, uma ‘atividade profissional’ é aquela 
cuja realização utiliza e depende de conhecimentos cuja realização utiliza e depende de conhecimentos 
técnicos, tais como, por exemplo:técnicos, tais como, por exemplo: Este módulo do curso 
tem por objetivo levar 
os alunos a entenderem 
serg
– Conceitos de IHC
– Métodos de avaliação
– Modos e meios de aplicação de conceitos e métodos a 
instâncias específicas de interação
– Disciplina e rigor para realizar procedimentos de coleta de 
dados e análise
– Cuidados éticos
os alunos a entenderem 
o que isto significa na 
prática.
Por que fazer avaliação ?Por que fazer avaliação ?
•• Por que avaliar?Por que avaliar?
– Seu sistema SEMPRE será avaliado
• pelo menos toda vez que um usuário utilizá-lo
•• (Bruce Tognazzini (Bruce Tognazzini http://www.asktog.com/columns/037TestOrElse.htmlhttp://www.asktog.com/columns/037TestOrElse.html))
– Consertar problemas antes e não depois de o produto ser lançado
– Voltar a energia da equipe para a solução de problemas reais
serg
– Voltar a energia da equipe para a solução de problemas reais
– Engenheiros codificam, não discutem: quem será o advogado do 
usuário?
– O tempo para colocar o produto no mercado diminui.
– Comercialização de um produto mais sólido (a próxima versão corretiva 
não precisa estar no forno na hora do lançamento do produto no 
mercado)
O que avaliar?O que avaliar?
•• Aspectos Aspectos cognitivoscognitivos e e funcionaisfuncionais relativos à realização de tarefas apoiadas relativos à realização de tarefas apoiadas 
pelo sistemapelo sistema
– É fácil de aprender? É rápido? Dá para confiar? Dá para reverter erros 
cometidos (facilmente)? Dá para lembrar depois de algum tempo sem usar? …
•• Aspectos Aspectos sóciosócio--culturaisculturais do uso do artefato no local / contexto previstosdo uso do artefato no local / contexto previstos
– A tecnologia se integra fácil no ambiente físico? Causa algum tipo de problema 
com outras tecnologias ou com pessoas que estejam usando outras 
serg
com outras tecnologias ou com pessoas que estejam usando outras 
tecnologias? E com quem não esteja usando tecnologia nenhuma? Pode-se 
prever mudanças (a curto ou médio prazo) das práticas do ambiente sócio-
cultural previsto? Quais? E aí (o que vai provavelmente acontecer)? Há alguma 
redistribuição de poder? …
•• Aspectos Aspectos afetivosafetivos
– As pessoas vão gostar? Vão achar bonito, agradável? Vão achar que dá status 
usar a tecnologia (ou vão achar que estão “pagando mico”)? …
Quando avaliar ?Quando avaliar ?
•• Avaliação Avaliação formativaformativa (ou construtiva)(ou construtiva)
– ao longo de todo o processo de design
– artefatos: cenários, storyboards, modelagem da interação e 
protótipos de sistema
serg
•• Avaliação Avaliação somativasomativa (ou conclusiva)(ou conclusiva)
– nas etapas finais (de cada ciclo) do desenvolvimento
– artefatos: produto (ou protótipo, intermediário ou final) 
funcionando
Avaliação Avaliação –– objetivosobjetivos
•• verificar o verificar o entendimentoentendimento dos projetistas sobre as necessidades e dos projetistas sobre as necessidades e 
preferências dos usuáriospreferências dos usuários
•• investigar como uma interface investigar como uma interface afetaafeta a forma de trabalhar dos a forma de trabalhar dos 
usuáriosusuários
•• comparar comparar alternativasalternativas de projeto de interfacede projeto de interface
•• identificar identificar problemasproblemas de interação ou de interfacede interação ou de interface
serg
•• identificar identificar problemasproblemas de interação ou de interfacede interação ou de interface
– potenciais (previstos por especialistas) ou reais
•• verificar se foram alcançados verificar se foram alcançados objetivos quantificáveisobjetivos quantificáveis em métricas em métricas 
de usabilidadede usabilidade
•• verificar verificar conformidadeconformidade com um padrão ou conjunto de heurísticascom um padrão ou conjunto de heurísticas
•• elaborar elaborar material de apoiomaterial de apoio (e.g. instruções, sistema de ajuda) e (e.g. instruções, sistema de ajuda) e 
treinamentotreinamento
Paradigmas, Métodos e TécnicasParadigmas, Métodos e Técnicas
•• Paradigma?Paradigma?
– É um modelo ou forma de conceber a atividade, normalmente atrelado 
ao objetivo que se quer atingir com ela.
– Toda avaliação é guiada explícita ou implicitamente por uma série de 
crenças e expectativas. Várias vezes elas têm origem em teorias.
serg
• Estas crenças e expectativas, juntamente com as teorias a que podem se 
referir, constituem o paradigma de avaliação.
•• Método?Método?
– É um conjunto claramente definido de passos, que são sistematica e 
rigorosamente repetidos, para se realizar um procedimento.
•• Técnica?Técnica?
– É uma forma de realizar uma tarefa ou atividade.
Contextualizando os conceitos:Contextualizando os conceitos:
•• Existe um Existe um paradigmaparadigma na ciência segundo o qual o conhecimento, na ciência segundo o qual o conhecimento, 
para ser para ser científicocientífico, tem de ser: , tem de ser: 
– construído a partir da observação empírica e 
– reproduzido sempre que ocorrerem exatamente as mesmas condições 
em que ele foi observado para ser construído.
serg
•• Para fazer ciência de acordo com este paradigma, um dos Para fazer ciência de acordo com este paradigma, um dos métodosmétodos
que se pode usar é o experimental:que se pode usar é o experimental:
– A grosso modo, este método envolve formular hipóteses sobre um 
fenômeno empírico, elaborar um teste para verificá-las em ocorrências 
observáveis do fenômeno em questão, identificar variáveis a serem 
controladas, medir o seu comportamento, analisar as medidas 
coletadas e concluir sobre a validade das hipóteses.
•• A regressão linear é uma A regressão linear é uma técnicatécnica estatística bastante usada para estatística bastante usada para 
analisar dados coletados em testes de observação empíricas.analisar dados coletados em testes de observação empíricas.
Contextualizando os conceitos:Contextualizando os conceitos:
•• Existe um Existe um paradigmaparadigma na ciência segundo o qual o conhecimento, na ciência segundo o qual o conhecimento, 
para ser para ser científicocientífico, temde ser: , tem de ser: 
– construído a partir da observação empírica e 
– reproduzido sempre que ocorrerem exatamente as mesmas condições 
em que ele foi observado para ser construído.
serg
•• Para fazer ciência de acordo com este paradigma, um dos Para fazer ciência de acordo com este paradigma, um dos métodosmétodos
que se pode usar é o experimental:que se pode usar é o experimental:
– A grosso modo, este método envolve formular hipóteses sobre um 
fenômeno empírico, elaborar um teste para verificá-las em ocorrências 
observáveis do fenômeno em questão, identificar variáveis a serem 
controladas, medir o seu comportamento, analisar as medidas 
coletadas e concluir sobre a validade das hipóteses.
•• A regressão linear é uma A regressão linear é uma técnicatécnica estatística bastante usada para estatística bastante usada para 
analisar dados coletados em testes de observação empíricas.analisar dados coletados em testes de observação empíricas.
Desde visão macro até a visão micro: COERÊNCIA DE ESCOLHAS!
4 paradigmas para a avaliação de IHC4 paradigmas para a avaliação de IHC
1.1. O O rápido e rasteirorápido e rasteiro (que prima pela informalidade)(que prima pela informalidade)
2.2. Os Os testes de usabilidadetestes de usabilidade (experimentos controlados em (experimentos controlados em 
laboratórios)laboratórios)
serg
3.3. Os Os estudos em campoestudos em campo (que se realizam nos contextos (que se realizam nos contextos 
naturais de uso das tecnologias avaliadas e são mais difíceis de naturais de uso das tecnologias avaliadas e são mais difíceis de 
controlar e registrar do que os testes de usabilidade)controlar e registrar do que os testes de usabilidade)
4.4. A A avaliação preditivaavaliação preditiva (que se baseia em conhecimento (que se baseia em conhecimento 
heurístico ou teórico de um avaliador especializado)heurístico ou teórico de um avaliador especializado)
O paradigma O paradigma rápido e rasteirorápido e rasteiro
•• É uma prática comum no É uma prática comum no designdesign de IHC.de IHC.
•• Os Os designersdesigners pedem apreciações informais do que fizeram ou estão pedem apreciações informais do que fizeram ou estão 
fazendo a:fazendo a:
serg
– pessoas que tenham maior conhecimento sobre usabilidade, ou 
– pessoas sejam destinatárias da tecnologia que está sendo produzida.
•• São avaliações literalmente São avaliações literalmente rápidas rápidas e e rasteirasrasteiras, que podem se , que podem se 
repetir em vários pontos do ciclo de desenvolvimento.repetir em vários pontos do ciclo de desenvolvimento.
•• A idéia é que a avaliação ofereça o A idéia é que a avaliação ofereça o feedbackfeedback mais imediato mais imediato 
possível, e não a de que seja a mais cuidadosa e informativa.possível, e não a de que seja a mais cuidadosa e informativa.
Testes de Usabilidade (1/2)Testes de Usabilidade (1/2)
•• Testes de usabilidade têm Testes de usabilidade têm 
de envolver usuários (reais de envolver usuários (reais 
ou potenciais) e um ou potenciais) e um 
registro de sua atuação.registro de sua atuação.
serg
•• Podem ser feitos em Podem ser feitos em 
laboratório ou em campo laboratório ou em campo 
(ver próximo paradigma).(ver próximo paradigma).
•• Os participantes (usuários) Os participantes (usuários) 
devem realizar certas devem realizar certas 
atividades controladas atividades controladas 
(tarefas), o que permite (tarefas), o que permite 
avaliar o seu desempenho.avaliar o seu desempenho.
Testes de Usabilidade (2/2)Testes de Usabilidade (2/2)
•• Os registros podem capturar uma ampla gama do comportamento do Os registros podem capturar uma ampla gama do comportamento do 
usuário: vídeo do usuário+ tecnologia, usuário: vídeo do usuário+ tecnologia, loglog da interação na interface da interação na interface 
(movimentos mouse, cursor, teclas apertadas, etc.), áudio de (movimentos mouse, cursor, teclas apertadas, etc.), áudio de 
comentários ou interjeições do usuário, e até mesmo certos sinais comentários ou interjeições do usuário, e até mesmo certos sinais 
sensóriosensório--motores (direção do olhar, tensão muscular, etc.).motores (direção do olhar, tensão muscular, etc.).
serg
•• Os registros podem ser usados para prever e explicar certas Os registros podem ser usados para prever e explicar certas 
ocorrências de desempenho, bem como para ajudar a corrigir e ocorrências de desempenho, bem como para ajudar a corrigir e 
prevenir erros de interação.prevenir erros de interação.
•• Através de entrevistas e questionários podeAtravés de entrevistas e questionários pode--se descobrir o grau de se descobrir o grau de 
satisfação dos participantes, bem como outros aspectos psicológicos.satisfação dos participantes, bem como outros aspectos psicológicos.
Estudos de CampoEstudos de Campo
•• Os estudos de campo, ao contrário dos testes de usabilidade, são Os estudos de campo, ao contrário dos testes de usabilidade, são 
feitos feitos exclusivamente no ambiente “natural” dos exclusivamente no ambiente “natural” dos 
usuários/participantes.usuários/participantes.
•• O objetivo destes estudos é observar O objetivo destes estudos é observar sem qualquer interferênciasem qualquer interferência
serg
(sem propor tarefas específicas) como as pessoas usam e se (sem propor tarefas específicas) como as pessoas usam e se 
relacionam com artefatos tecnológicos.relacionam com artefatos tecnológicos.
•• Tais estudos são bons para:Tais estudos são bons para:
– Prospectar a introdução de novas tecnologias
– Determinar requisitos de projeto
– Decidir estratégias para promover a adoção de tecnologias
– Descobrir como uma tecnologia é de fato usada
Avaliação preditivaAvaliação preditiva
•• EspecialistasEspecialistas utilizam o conhecimento utilizam o conhecimento que já têmque já têm sobre usuários e sobre usuários e 
situações típicas de uso de uma série de tecnologias para situações típicas de uso de uma série de tecnologias para preverprever o o 
efeito de determinado produto ou tecnologia sobre os seus efeito de determinado produto ou tecnologia sobre os seus 
usuários.usuários.
serg
– Note que não é preciso envolver os usuários! Na maioria dos 
casos, um especialista advoga em nome dos usuários, indicando o 
que os usuários achariam ou fariam da tecnologia.
•• Outra alternativa é utilizar Outra alternativa é utilizar modelosmodelos para guiar uma inspeção da para guiar uma inspeção da 
tecnologia e prever a ocorrência de problemas.tecnologia e prever a ocorrência de problemas.
•• As avaliações neste paradigma são atraentes em termos de custo.As avaliações neste paradigma são atraentes em termos de custo.
Técnicas de avaliação de IHCTécnicas de avaliação de IHC
Há diferentes Há diferentes técnicastécnicas de de 
avaliação.avaliação.
• Cada técnica se aplica 
melhor ou pior (ou não se 
RRáápido e pido e 
RasteiroRasteiro
Testes de Testes de 
UsabilidUsabilidaa
dede
Estudos Estudos 
de Campode Campo
AvaliaAvaliaççãoão
PreditivaPreditiva
TTéécnica 1cnica 1
serg
melhor ou pior (ou não se 
aplica) conforme o 
paradigma em que nos 
encontramos. 
• Logo o que queremos 
fazer é saber como 
preencher as colunas de 
uma tabela como esta ao 
lado. (Por quê?)(Por quê?)
TTéécnica 2cnica 2
……
TTéécnica ncnica n
Sobre as técnicas de avaliação 1/5Sobre as técnicas de avaliação 1/5
Paradigmas de AvaliaçãoParadigmas de Avaliação
Tipo de Tipo de 
TécnicaTécnica
Rápida & Rápida & 
RasteiraRasteira
Teste de Teste de 
UsabilidadeUsabilidade
Estudos de Estudos de 
CampoCampo
Avaliação Avaliação 
PreditivaPreditiva
Observação Observação É muito útil É muito útil Registros da Registros da A observação é A observação é Não acontece.Não acontece.
serg
Observação Observação 
de usuáriosde usuários
É muito útil É muito útil 
parase ter para se ter 
noção geral, noção geral, 
embora não embora não 
muito rica, de muito rica, de 
como os como os 
usuários atuam usuários atuam 
em seu em seu 
contexto contexto 
natural.natural.
Registros da Registros da 
atitude e atitude e 
interação interação 
ajudam a ver ajudam a ver 
erros, descobrir erros, descobrir 
caminhos caminhos 
inesperados na inesperados na 
interface e a interface e a 
calcular tempo calcular tempo 
de interação.de interação.
A observação é A observação é 
o coração dos o coração dos 
estudos de estudos de 
campo; eles campo; eles 
não existem não existem 
sem ela. O sem ela. O 
avaliador tem avaliador tem 
de ficar de ficar imersoimerso
no ambiente no ambiente 
dos usuários.dos usuários.
Não acontece.Não acontece.
Sobre as técnicas de avaliação 2/5Sobre as técnicas de avaliação 2/5
Paradigmas de AvaliaçãoParadigmas de Avaliação
Tipo de Tipo de 
TécnicaTécnica
Rápida & Rápida & 
RasteiraRasteira
Teste de Teste de 
UsabilidadeUsabilidade
Estudos de Estudos de 
CampoCampo
Avaliação Avaliação 
PreditivaPreditiva
serg
Perguntar aos Perguntar aos 
usuáriosusuários
É útil conversar É útil conversar 
com usuários com usuários 
individualmente individualmente 
ou com grupos ou com grupos 
de usuários de usuários 
(reais ou (reais ou 
potenciais). potenciais). 
PodePode--se usar a se usar a 
técnica de técnica de 
focus groups.focus groups.
Questionários Questionários 
(com perguntas (com perguntas 
abertas ou abertas ou 
fechadas), bem fechadas), bem 
como como 
entrevistas entrevistas 
(com perguntas (com perguntas 
abertas ou abertas ou 
fechadas) fechadas) 
exploram a exploram a 
satisfação do satisfação do 
usuário.usuário.
É possível É possível 
(embora não (embora não 
indispensável) indispensável) 
entrevistar os entrevistar os 
usuários. A usuários. A 
etnografiaetnografia tem tem 
métodos métodos 
específicos específicos 
para isto, que para isto, que 
têm sido muito têm sido muito 
usados em usados em 
IHC.IHC.
Não acontece.Não acontece.
Focus groupsFocus groups: técnica 
qualitativa de análise; 8-
15 representantes dos 
“usuários” participam de 
uma discussão liderada 
e focada em uma 
questão específica. A 
idéia não é generalizar –
é entender melhor.
EtnografiaEtnografia é uma 
técnica utilizada 
principalmente por 
antropólogos e cientistas 
sociais. Consiste em 
REGISTRAR ou 
ESCREVER (‘grafia’) 
detalhadamente as 
práticas culturais de um 
grupo (‘etno’).
Sobre as técnicas de avaliação 3/5Sobre as técnicas de avaliação 3/5
Paradigmas de AvaliaçãoParadigmas de Avaliação
Tipo de Tipo de 
TécnicaTécnica
Rápida & Rápida & 
RasteiraRasteira
Teste de Teste de 
UsabilidadeUsabilidade
Estudos de Estudos de 
CampoCampo
Avaliação Avaliação 
PreditivaPreditiva
serg
ConsultarConsultar
especialistasespecialistas
É bom colher É bom colher 
críticas de críticas de 
especialistas especialistas 
(‘relatório (‘relatório 
crítico’), pois o crítico’), pois o 
olhar do olhar do 
especialista especialista 
treinado treinado 
costuma costuma 
identificar logo identificar logo 
vários vários 
problemas.problemas.
Não acontece.Não acontece. Não acontece.Não acontece. Previsões de Previsões de 
especialistas especialistas 
logo no início logo no início 
do ciclo de do ciclo de 
designdesign, , 
sobretudo a sobretudo a 
partir de partir de 
heurísticas, heurísticas, 
traz ganhos no traz ganhos no 
tempo de tempo de 
desenvolvimendesenvolvimen--
to global.to global.
Sobre as técnicas de avaliação 4/5Sobre as técnicas de avaliação 4/5
Paradigmas de AvaliaçãoParadigmas de Avaliação
Tipo de Tipo de 
TécnicaTécnica
Rápida & Rápida & 
RasteiraRasteira
Teste de Teste de 
UsabilidadeUsabilidade
Estudos de Estudos de 
CampoCampo
Avaliação Avaliação 
PreditivaPreditiva
serg
Testes com Testes com 
usuáriosusuários
Não acontece.Não acontece. Testes com Testes com 
representantes representantes 
de usuários de usuários 
típicos, em típicos, em 
laboratórios, laboratórios, 
com variáveis com variáveis 
controláveis, controláveis, 
são o coração são o coração 
dos testes de dos testes de 
usabilidade.usabilidade.
Não acontece.Não acontece. Não acontece.Não acontece.
Sobre as técnicas de avaliação 5/5Sobre as técnicas de avaliação 5/5
Paradigmas de AvaliaçãoParadigmas de Avaliação
Tipo de Tipo de 
TécnicaTécnica
Rápida & Rápida & 
RasteiraRasteira
Teste de Teste de 
UsabilidadeUsabilidade
Estudos de Estudos de 
CampoCampo
Avaliação Avaliação 
PreditivaPreditiva
Modelo de Modelo de Não acontece.Não acontece. Não acontece.Não acontece. Não acontece.Não acontece. Especialistas Especialistas 
serg
Modelo de Modelo de 
desempenho desempenho 
dos usuáriosdos usuários
Não acontece.Não acontece. Não acontece.Não acontece. Não acontece.Não acontece. Especialistas Especialistas 
podem usar podem usar 
modelos modelos 
específicos específicos 
para prever o para prever o 
desempenho desempenho 
de usuários, de usuários, 
comparativacomparativa--
mente aos mente aos 
modelos de modelos de 
design que há.design que há.