O que fazer quando o meu teste já ganhou relevância antes de atingir o tamanho da amostra planejado?

Po, excelente pergunta!

Eu não sou nenhum especialista em estatística, mas eu penso muito da seguinte forma: o tamanho calculado da amostra é para evitar de você tomar decisões precipitadas no decorrer do teste. Por exemplo, você tem um teste A/B rolando e percebe que a variante A está ganhando, mas sem relevância estatística e o tamanho da amostra ainda não foi atingido. Então espera mais um pouco: ou ter a relevância buscada ou então ter o tamanho de amostra atingido. Atingiu o tamanho da amostra e ainda não tem uma diferença com relevância estatística? Nesse caso, eu considero inconclusivo.

Mas, se antes de atingir o tamanho da amostra, você já obteve a relevância estatística desejada, eu diria que pode tomar sua decisão sem problemas. Se o teste aponta o "A" como vencedor, por exemplo, mesmo sem o tamanho necessário de amostra, na minha opinião e visão você pode declarar o "A" como vencedor.

Não sei se ficou muito confuso, mas qualquer coisa vamos trocando ideia. Essa discussão é muito boa :)

Uma coisa que na minha visão é muito importante de se considerar é a dimensão e o impacto do teste que você está fazendo. Se é um teste envolvendo diretamente o faturamento de uma empresa e, antes de atingir o tamanho da amostra, você já tem a diferença clara com relevância estatística, na minha opinião já pode pausar o teste e declarar o vencedor porque você está lidando com algo crucial pra uma empresa que é o faturamento. Agora, se é um teste de algo "menor" (por exemplo: variantes de um único anúncio em uma única campanha de mídia paga), acredito que seja tranquilo querer esperar atingir o tamanho da amostra, mas sem muita necessidade pra isso. Então acho que esse feeling com relação ao negócio é extremamente importante nessa tomada de decisão.