Nesse meio-tempo, a descoberta de que “não há associação estatisticamente significativa” entre duas variáveis quer dizer que qualquer relação entre...

Nesse meio-tempo, a descoberta de que “não há associação estatisticamente significativa” entre duas variáveis quer dizer que qualquer relação entre as duas variáveis pode ser razoavelmente explicada apenas pelo acaso. O New York Times publicou uma denúncia bombástica sobre empresas de tecnologia oferecendo a preço baixo programas que elas alegam melhorar o desempenho de alunos, quando os dados sugerem outra coisa.3 Segundo o artigo, a Carnegie Mellon University vende um programa chamado Cognitive Tutor com esta temerária alegação: “Currículos matemáticos revolucionários. Resultados revolucionários.” Tavia, uma avaliação do Cognitive Tutor conduzida pelo Departamento de Educação dos Estados Unidos concluiu que o produto “não tem efeitos discerníveis” nos resultados dos exames de alunos do ensino médio. (O Times sugere que a campanha de marketing apropriada deveria ser “Currículos matemáticos indistintos. Resultados não provados”.) Na verdade, um estudo de dez produtos de softwares programados para melhorar o domínio de matérias como matemática ou leitura descobriu que nove deles “não têm efeitos estatisticamente significativos nos resultados dos exames”. Em outras palavras, pesquisadores federais não podem descartar o mero acaso como causa de qualquer variação no desempenho de estudantes que usam esses produtos e estudantes que não usam.