Buscar

No cálculo da amostra do seu experimento, qual período você considera na "baseline conversion rate"?

Última semana? Último mês? Último ano? Último ciclo do seu produto?

E se essa metrica for afetada por sazonalidade? Como calcular essa taxa base de conversão?

💡 2 Respostas

User badge image

Gilvan Teles

Normalmente se usa uma média histórica... Se há uma sazonalidade presente é importante usar como referência para a média o mesmo período para o qual o teste será feito. Também é importante evitar períodos onda existam quebras estruturais na série temporal (oscilações muito fortes, consequências de fatores endógenos ou exógenos).

4
Dislike0
User badge image

Vinícius Soares

Esse é uma pergunta muito boa, por que ela não é exatamente fechada em solução, explico:

O estimador de máxima verossimilhança tende a ser a média, mas que média?

Se sua métrica tem um comportamento platô, com baixa variância, a média aqui tanto faz o período.

Agora se sua média oscila muita, quase senoidal, você pode estimar pela média do período, ou do efeito sazonal, exemplo ANO.

A média também pode ser substituída por algo extremamente conservador, veja que pela calculadora do Evan Miller quanto maior a conversão, maior o tamanho da amostra, logo se achar interessante para experimento, estime pelo máximo.

Um outro ponto que eu gosto muito de lembrar é que o cálculo amostral pode ser feito também considero o Erro (ou o desvio padrão), para isso, sendo ainda mais preciso, pode-se adotar a variância do periodo X, dia-a-dia, e passar esse parâmetro no cálculo. Se ainda assim não tiver como estimar a variância, opte pelo cálculo amostral conservador n = {z^2 _(1−α/2)} / (4*d^2)  , em que d é a margem de erro, alfa o nível de significância e z é o z-score da tabela Normal.


2
Dislike0

✏️ Responder

SetasNegritoItálicoSublinhadoTachadoCitaçãoCódigoLista numeradaLista com marcadoresSubscritoSobrescritoDiminuir recuoAumentar recuoCor da fonteCor de fundoAlinhamentoLimparInserir linkImagemFórmula

Para escrever sua resposta aqui, entre ou crie uma conta

User badge image

Outros materiais