BLOG
lnc-teste-ab
Geral

Adotando a cultura de Testes A/B

Muitas empresas encaram os testes A/B como mágica, já que a internet está cheia de histórias de sucesso sobre cores de botões que fizeram milagres de conversão. Na realidade, quem coloca a mão na massa sabe que os testes A/B são poderosos sim, mas requerem muuito trabalho: a maioria dos seus A/Bs irão falhar e isso é completamente normal. O principal ponto sobre teste A/B é que a prática realmente trata de experimentaçãoaprendizado. Muitas vezes o teste não vai resultar em um aumento de conversão, por exemplo, mas vai evitar que você perca dinheiro mantendo más ideias online.

Falhe rápido e aprenda

Testes A/B não evitam que você falhe, mas vão te mostrar rápido que você está falhando e você vai aprender com isso. Todos os dados gerados serão a base para a criação de novas hipóteses, chegando cada vez mais perto do sucesso.

“Essa é uma das mais importantes lições do método científico: se você não pode falhar, você não pode aprender.” Eric Ries.

Já ouvimos muitas empresas dizendo que não precisam investir em uma ferramenta de teste A/B, pois podem implementar soluções que já deram certo para outros. Aí que mora o grande erro. Tomar como verdade absoluta aquilo que deu certo para outros talvez seja até pior do que implementar suas próprias ideias no escuro.

Uma solução que deu muito certo para alguém pode servir de inspiração para criar suas próprias hipóteses, mas isso não significa que a mesma solução vai funcionar para você. Seu produto é diferente, sua audiência é específica e o contexto muito específico também. Ouça os seus próprios usuários.

Lembre-se que rodar testes A/Bs tem valor, mas também tem custo – e o projeto de tornar sua empresa (ou um time de design) data driven pode morrer antes mesmo de começar. A boa notícia é que o investimento pode ser facilmente justificado.

Convencendo alguém numa posição de decisão a fazer testes A/B

Muitos profissionais encontram várias formas passivas e ativas de resistência no momento de adotar uma metodologia direcionada por testes. Como Dan Siroker muito bem coloca em seu livro “A/B Testing”, essa resistência vem muitas vezes de pessoas em uma posição de decisão, conhecido como HiPPO (the Highest Paid Person’s Opinion). Justo porque testes A/B neutralizam a ideologia e a substituem por dados comprovados. Pessoas em posição de autoridade temem desistir de seu status HiPPO e encarar uma cultura mais direcionada por testes, a qual encoraja curiosidade e humildade.

Há duas coisas que podemos dizer para os HiPPOs: A primeira é que empresas data-driven estão tendo mais sucesso porque estão escutando e entendendo seus clientes, um componente essencial no processo de decisão. Você tem muitos concorrentes já fazendo o mesmo que você, porém de um jeito mais voltado para dados, e eles vão ultrapassá-lo porque estão ouvindo os números ao invés de tomar decisões no escuro.

A segunda é que você elimina a necessidade de envolver somente pessoas que “sabem tudo”. Desse modo, passa a deixar a equipe mais confortável para dizer “eu não sei, mas vamos rodar um experimento”. Isso irá economizar horas em reuniões e o valor de cada indivíduo se torna mais importante, pois não dependem somente da habilidade de tomada de decisão que poucos podem fazer, mas sim da habilidade de gerar boas ideias com várias pessoas. A empresa e as equipes podem ser mais inclinadas a pensar fora do normal e mais arrojados, o famoso “pensar fora da caixa”.

Como falamos antes, a maioria dos testes irão falhar e é aí que você percebe o quanto de dinheiro perdia inserindo hipóteses falhas no seu produto. O mais importante nisso? Analisar, aprender e iterar. É necessário reconhecer que os testes vão gerar mais perguntas do que respostas, e essas perguntas vão apontar para mais hipóteses. É assim que o processo funciona.

Um exemplo prático

Aqui na Linx+Neemu+Chaordic, muitas das hipóteses não dão certo na primeira tentativa. Então elas são analisadas, polidas, voltam para experimento e, na medida em que comprovam valor, viram features dos nossos produtos.

Um dos testes que fizemos, com o objetivo de aumentar o ticket médio das vendas no e-commerce, foi favorecer a exibição de produtos mais caros. Nós erramos e erramos feio: o resultado foi 33% menor em vendas no grupo de experimento em relação ao grupo de controle. Bom, se favorecer produtos mais caros não deu certo, então favorecer os mais baratos pode funcionar, certo? Errado! Sendo assim, analisamos os resultados e criamos uma terceira hipótese, desta vez com base no histórico de compra dos consumidores. Foram criados 3 tipos de recomendação: a padrão, para quando não temos nenhum histórico do usuário, a de médio poder de compra e a de alto poder de compra.

Analisando cada consumidor foi possível oferecer produtos na faixa de preço que ele geralmente compra. Recomendando produtos mais focados no seu padrão de consumo, conseguimos aumentar o RPV (Receita por visitante) em até 3%. Aí sim nós podemos considerar que houve uma melhor experiência de consumo,  pois os usuários encontraram com maior facilidade produtos que gostam e que tem haver com seus perfis.

Como priorizar seus testes?

O sucesso de um processo direcionado a testes depende de gerar valor cedo, para justificar o investimento e gerar mais budget para os próximos testes. Inclusive há empresas que alocam recursos adicionais prevendo os experimentos que irão falhar, pois ainda sim é possível aprender com eles. Agora que você tem uma lista de hipóteses, a priorização dos seus testes pode ser feita da seguinte forma: maior retorno esperado, menor esforço de implementação e menor tempo de duração do teste.

Uma das maneira para se fazer isso é adicionando as ideias em uma planilha e suas métricas primárias, então em outra coluna você e sua equipe irão colocar o impacto esperado para cada ideia. Em outra coluna adicione o esforço de implementação. Você pode usar Fibonacci ou qualquer outro método que seu time já esteja acostumado. Após valorar todas as ideias, divida a coluna do valor pelo esforço, então você terá o ROI de cada ideia.

Isso ajudará a priorizar suas hipóteses minimizando o custo inicial e riscos. Ao rodar os primeiros testes você já terá dados para analisar e criar mais hipóteses, agora mais embasadas e com mais chances de sucesso. Algumas ideias poderão ficar empatadas ou muito próximas, considere o tempo de duração do teste como meio para selecionar definitivamente as ideias que serão testadas primeiro. A duração do teste é um fator importante na escolha, assumindo que temos ideias com o mesmo potencial de retorno e esforço, iniciar pelo teste de duração mais curta significa um possível retorno mais rápido e experimentar a próxima ideia mais cedo.Prever a duração de um teste é algo que seu time deve saber fazer, mas isso já é assunto para tratarmos mais profundamente em outro post.

Takeaways

  • A maioria dos testes irão falhar. É triste, mas isso te impedirá de deixar ideias ruins no ar.
  • Não conte com intuição, testes são imprevisíveis.
  • Não implemente o que deu certo para outros sem testar no seu próprio negócio. Lembre-se: o seu público e contexto são únicos.
  • Falhe rápido, analise, aprenda e experimente novamente.
  • A sobrevivência da cultura de testes depende de uma boa priorização.

 

Bibliografia:

  • Dan Siroker, Pete Koomen. A/B Testing — The Most Powerful Way To Turn Clicks Into Customers
  • https://br.udacity.com/course/ab-testing–ud257/

Artigo de Daiany Nascimento, Coordenadora de UX no time de Product Experience da Linx+Neemu+Chaordic. Artigo originalmente publicado em uxdesign.cc e adaptado com permissão da autora.