Muitos anunciantes confiam cegamente nos chamados testes A/B oferecidos por plataformas como Google Ads e Meta (Facebook e Instagram). Mas será que esses testes são realmente confiáveis?
De acordo com o artigo recente “Sobre a descaracterização persistente dos testes A / B do Google e do Facebook” de Johannes Boegershausen, Yann Cornil, Shangwen Yi e David Hardisty (leia aqui, texto completo aqui), a resposta curta é: não.
Testes A/B ou apenas “estudos observacionais disfarçados”?
O principal problema identificado pelos pesquisadores é que esses testes não garantem atribuição aleatória de anúncios aos consumidores, o que impede qualquer inferência causal válida. Em outras palavras, os resultados desses testes não provam que uma versão de anúncio é melhor que a outra — porque a distribuição dos anúncios pode ser distorcida por algoritmos de segmentação.
“Ao contrário de experimentos controlados randomizados (RCTs), os estudos de plataforma online não aleatorizam verdadeiramente os usuários para as variantes de anúncios, violando assim um dos princípios centrais da inferência causal.” (Boegershausen et al., 2024)
Além disso, uma revisão de 133 estudos publicados sobre plataformas online mostrou que esses testes são erroneamente apresentados como experimentos randomizados, quando na verdade deveriam ser tratados como estudos observacionais com fatores de confusão.
“Os algoritmos de otimização da Meta e do Google frequentemente interrompem a randomização ao ajustar a entrega com base em desempenho preliminar, introduzindo viés sistemático nas comparações entre variantes.” (Boegershausen et al., 2024)
“Estudos revisados raramente discutem ou controlam por esse tipo de viés, levando a conclusões potencialmente enganosas sobre a eficácia de intervenções de marketing.”
A entrega distorcida e a falta de transparência
Os algoritmos usados por essas plataformas aplicam segmentações pós-randomização que resultam na chamada entrega distorcida (também conhecida como divergent delivery). Isso significa que a plataforma pode acabar mostrando os anúncios de maneira desigual, com base no comportamento esperado do usuário, enviesando os resultados.
“A entrega divergente distorce os grupos de tratamento e controle ao longo do tempo, o que significa que mesmo que a randomização fosse verdadeira no início, a exposição desigual pode comprometer a validade do teste.”
O artigo reforça que, mesmo quando os testes são configurados para serem justos inicialmente, a otimização automática baseada em desempenho começa a influenciar quais usuários veem qual versão do anúncio — o que torna os dados finais não confiáveis.
“A distribuição do anúncio é adaptada com base em dados de performance precoces, criando uma retroalimentação que prejudica a imparcialidade do experimento.” (Boegershausen et al., 2024)
O que os pesquisadores recomendam
Os autores se juntam ao apelo de Braun et al. (2024) para que plataformas como Google e Meta:
- Sejam mais transparentes sobre a natureza não experimental de suas ferramentas de teste A/B;
- Ofereçam, idealmente, métodos verdadeiramente randomizados para comparação de variantes;
- Deixem claro aos anunciantes que os testes baseados em algoritmos de otimização não fornecem inferência causal confiável.
“Os anunciantes deveriam tratar os testes oferecidos pelas plataformas como observacionais, a menos que possam confirmar que a randomização e a entrega são mantidas de forma controlada e transparente.”
O artigo também sugere que pesquisadores e profissionais de marketing devem exigir mais das plataformas, inclusive acesso a dados brutos e transparência nos critérios de entrega de anúncios.
Antes de confiar nos resultados…
Sempre se pergunte:
- Como as variantes foram atribuídas?
- Houve algum tipo de segmentação ou otimização que possa ter enviesado a veiculação?
- O grupo de controle foi comparável ao grupo de tratamento ao longo de toda a campanha?
Leitura complementar
- Discussão do artigo anterior de Braun et al. por Dr Grace Kite
- Discussão adicional sobre Braun et al.
- Exemplo prático comentado por James Hassan
Se você investe em mídia paga, precisa entender que nem todo “teste A/B” é um experimento científico válido. Questione, investigue e, se possível, complemente seus testes com ferramentas e metodologias que garantam atribuição verdadeiramente aleatória.
Não confie cegamente no que a plataforma mostra como “resultado”.