A maior rede de estudos do Brasil

Como garantir que as análises qualitativas possuem representatividade em relação a população de usuários do produto ou da feature?

É comum que pessoas não tão familiarizadas com pesquisas qualitativas gerem algumas objeções em relação a resultados e insights que não vieram de números. Às vezes, com razão, às vezes, não. :)

- "Mas essa é a opinião de um usuário, não do todo."

- "A maioria dos nossos usuários são casados e possuem filhos, esse que você entrevistou é solteiro. Não é nossa persona."


O que você faz para garantir que as objeções acima não vão invalidar sua pesquisa?

Algum processo para seguir antes da quali? Algo para ser feito depois? Alguma dica importante para o durante a apresentação dos resultados?


Compartilhe sua experiência, aqui!

UxHumanas / Sociais

3 resposta(s)

User badge image

Mariana

Há mais de um mês

Diria que tem dois aspectos preponderantes nessa discussão:

1) Combinação de métodos quanti e quali sempre

2) Conceito de "Saturação"


1) Combinação de métodos

O embasamento quanti precisa, NECESSARIAMENTE, vir antes e PODE vir depois.


Antes

- O recrutamento precisa garantir que os participantes selecionados de fato representem aquele grupo, baseado em dados do banco ou pesquisas primárias quantitativas (ex.: survey) ou dados secundários de mercado (censo, por exemplo);

- No entanto, sabemos que há infinitas maneiras de segmentar um grupo e será necessário determinar quais aspectos são primários, ou seja, mais influenciadores no comportamento dos usuários em relação ao problema de pesquisa que está sendo investigado, que não é necessariamente dados sociodemográficos;

Esse ponto de partida precisa estar explícito no relatório, com as premissas para definição dos entrevistados.


Depois

- Dependendo do tema da pesquisa, é interessante dimensionar os comportamentos identificados numa pesquisa qualitativa através de métodos quantitativos, seja por survey online ou dados do banco;

- É impossível e não há necessidade que seja uma regra, dado que a pesquisa qualitativa serve justamente para aprofundar, chegar em "comos" e "porquês", e muitas vezes isso não será alcançado via um método quanti. No entanto, muitas vez, o embasamento quanti inicial pode ser suficiente para dimensionar/extrapolar os achados da pesquisa quali.


2) Saturação


Assim como a pesquisa quantitativa trabalha com o conceito de amostra probabilística, a quali se baseia no conceito de Saturação. Idealmente, a investigação deve seguir até que seja identificado um padrão frente ao problema de pesquisa, ou seja, por repetição, entender que aquele comportamento representa um grupo.

Em relação à análise dos resultados, na pesquisa qualitativa o número não deve ser um destaque ("x usuários falaram tal coisa"), mas sim os comportamentos principais que, por saturação, podem ser conclusivos. O que pode ser destacado é como alguns comportamentos são associados à determinados perfis do grupo investigado (exemplo: "as pessoas que trabalham tem x comportamento, enquanto as que não trabalham tem comportamento y"). É interessante deixar claro os insights que foram pontuais e não pode ser, ainda, generalizado.


Diria que tem dois aspectos preponderantes nessa discussão:

1) Combinação de métodos quanti e quali sempre

2) Conceito de "Saturação"


1) Combinação de métodos

O embasamento quanti precisa, NECESSARIAMENTE, vir antes e PODE vir depois.


Antes

- O recrutamento precisa garantir que os participantes selecionados de fato representem aquele grupo, baseado em dados do banco ou pesquisas primárias quantitativas (ex.: survey) ou dados secundários de mercado (censo, por exemplo);

- No entanto, sabemos que há infinitas maneiras de segmentar um grupo e será necessário determinar quais aspectos são primários, ou seja, mais influenciadores no comportamento dos usuários em relação ao problema de pesquisa que está sendo investigado, que não é necessariamente dados sociodemográficos;

Esse ponto de partida precisa estar explícito no relatório, com as premissas para definição dos entrevistados.


Depois

- Dependendo do tema da pesquisa, é interessante dimensionar os comportamentos identificados numa pesquisa qualitativa através de métodos quantitativos, seja por survey online ou dados do banco;

- É impossível e não há necessidade que seja uma regra, dado que a pesquisa qualitativa serve justamente para aprofundar, chegar em "comos" e "porquês", e muitas vezes isso não será alcançado via um método quanti. No entanto, muitas vez, o embasamento quanti inicial pode ser suficiente para dimensionar/extrapolar os achados da pesquisa quali.


2) Saturação


Assim como a pesquisa quantitativa trabalha com o conceito de amostra probabilística, a quali se baseia no conceito de Saturação. Idealmente, a investigação deve seguir até que seja identificado um padrão frente ao problema de pesquisa, ou seja, por repetição, entender que aquele comportamento representa um grupo.

Em relação à análise dos resultados, na pesquisa qualitativa o número não deve ser um destaque ("x usuários falaram tal coisa"), mas sim os comportamentos principais que, por saturação, podem ser conclusivos. O que pode ser destacado é como alguns comportamentos são associados à determinados perfis do grupo investigado (exemplo: "as pessoas que trabalham tem x comportamento, enquanto as que não trabalham tem comportamento y"). É interessante deixar claro os insights que foram pontuais e não pode ser, ainda, generalizado.


User badge image

Camila

Há mais de um mês

A saturação que já foi pontuada @Mari é um ponto bem interessante, ou seja, quando chega um ponto em que não conseguimos mais adicionar mais dados e informações.

Além disso achei interessante trazer uma comparação que li nesse artigo do medium (https://uxdesign.cc/qualitative-research-for-ux-an-engineers-first-impressions-2f4aba9d2711), que nos faz entender melhor a diferença dessas duas abordagens. Ele traz a pesquisa qualitativa como indutiva, ou seja, a partir das observações iremos procurar padrões. Já a pesquisa quantitativa é dedutiva, pois iremos tentar validar uma hipótese a partir dos dados de pesquisa coletado. Nesse sentido, a pesquisa quantitativa apresenta uma relevância estatística maior e quanto maior a amostra, menor a probabilidade de erro.

Complementando, acredito que o recrutamento das pesquisas qualitativas é bem importante para garantir a representatividade da amostra, mas ainda não direcionando muito a escolha para evitar o viés. Uma possibilidade é fazer uma clusterização de usuários dos produto utilizando variáveis que sejam interessantes para recrutamento de pesquisa e estejam alinhados com a relevância para o negócio.



Essa pergunta já foi respondida por um dos nossos estudantes