Como criar e acompanhar um Teste A/B de pagamentos?

O Teste A/B de pagamentos permite comparar o desempenho de dois conectores de cartão de crédito transparente utilizando dados reais da operação da loja, ajudando o lojista a avaliar qual apresenta melhores resultados antes de tomar decisões sobre sua operação de pagamentos.

Durante o período definido para o teste, as intenções de compra são distribuídas entre o Conector A e o Conector B, conforme os percentuais configurados. A partir das transações processadas, é possível comparar métricas como taxa de aprovação, taxa de reprovação, valores processados e ticket médio.

Assim, em vez de avaliar os conectores apenas pelas configurações ou características de cada solução, o lojista pode comparar seu desempenho na própria operação e utilizar os resultados como apoio para a tomada de decisão.


Antes de começar

Para criar um Teste A/B, é necessário:

  • Ter um conector de cartão de crédito transparente configurado na loja;
  • Ter as credenciais dos conectores que participarão do teste devidamente configuradas;
  • Possuir permissão de acesso ao módulo de pagamentos.

Importante: o Teste A/B está disponível para conectores de cartão de crédito transparente.


Como acessar o Teste A/B de pagamentos

No painel administrativo, acesse:

Configurações > Pagamento > Teste A/B de pagamentos.

Nesta tela, são exibidos os testes cadastrados e informações como nome, período, conectores comparados e status.

Os testes podem apresentar os seguintes status:

  • Aguardando início: o teste foi criado, mas o período configurado ainda não começou;
  • Em execução: o teste está ativo e as transações elegíveis estão participando da distribuição;
  • Finalizado: o período do teste terminou ou o teste foi interrompido.

Como criar um Teste A/B

Na tela de Teste A/B de pagamentos, clique em Criar teste.

No formulário, preencha as informações necessárias para configurar a comparação.

Nome

Informe um nome que facilite a identificação do teste.

Exemplo: Teste A/B – Conector A x Conector B

Período

Defina a data e o horário de início e término do teste.

As transações são consideradas nas métricas somente quando forem geradas dentro do período de vigência configurado.

Conector A

O Conector A corresponde ao conector padrão de cartão de crédito transparente configurado na loja.

Essa informação é apresentada apenas para visualização durante a configuração do teste.

Conector B

Selecione o segundo conector que será comparado.

Não é permitido utilizar o mesmo conector nas opções A e B. Além disso, as credenciais necessárias para utilização do conector devem estar configuradas.

Antifraude

Defina o antifraude que será utilizado conforme as opções disponíveis para os conectores participantes do teste.

Distribuição

Determine qual percentual das intenções de compra será direcionado para cada conector.

Por exemplo:

Conector A: 70%
Conector B: 30%

A soma dos percentuais deve ser sempre 100%.

Após preencher as informações, salve o teste.

Atenção: enquanto um Teste A/B estiver ativo, configurações relacionadas aos conectores participantes não devem ser alteradas. O sistema restringe alterações que possam comprometer a consistência dos resultados.


Como funciona a distribuição das transações?

Durante o período do teste, quando uma intenção de compra elegível acessa o checkout, a Uappi define qual dos dois conectores será utilizado de acordo com os percentuais configurados.

Por exemplo, em uma configuração de 70% para o Conector A e 30% para o Conector B, cada nova intenção elegível possui uma probabilidade correspondente de ser direcionada para um dos conectores.

A distribuição real pode apresentar pequenas diferenças em relação ao percentual configurado, principalmente quando ainda existem poucas transações. Com um volume maior, a tendência é que a distribuição fique mais próxima da configuração definida.

Depois que um conector é atribuído a uma intenção de compra, ele é mantido durante aquela intenção, mesmo que o cliente atualize o checkout, altere informações ou realize uma nova tentativa de pagamento.

Importante: apenas transações efetivamente processadas são contabilizadas nas métricas. Se o cliente acessar o checkout e abandonar a compra antes de gerar uma transação, essa intenção não entra nos resultados.


Como visualizar os resultados

Na listagem de Testes A/B, localize o teste desejado e clique na opção Ver resultados.

A visualização dos resultados fica disponível para testes com status em execução ou finalizado.

Entre as informações apresentadas estão:

  • período de vigência;
  • status do teste;
  • conectores A e B;
  • distribuição configurada;
  • distribuição real das transações;
  • total de transações;
  • taxa de aprovação;
  • taxa de recusa;
  • valor total aprovado;
  • valor total reprovado;
  • ticket médio aprovado;
  • ticket médio reprovado.

Distribuição configurada x distribuição real

A distribuição configurada representa o percentual definido no momento da criação do teste.

Já a distribuição real representa a quantidade e o percentual de transações que efetivamente foram processadas por cada conector.

Por isso, os valores podem não ser exatamente iguais.

Métricas de conversão

As métricas permitem comparar o desempenho dos dois conectores lado a lado.

A taxa de aprovação indica o percentual de transações aprovadas em relação ao total de transações processadas pelo conector.

A taxa de recusa apresenta as transações que não foram aprovadas.

Os valores totais e tickets médios ajudam a complementar a análise do desempenho de cada conector.

Observação: A taxa de aprovação pode apresentar pequenas diferenças em relação ao resultado final das transações, pois algumas transações que ainda estão em avaliação são consideradas aprovadas para fins da métrica e podem ter seu status alterado posteriormente.

Importante: os resultados devem ser utilizados como apoio à análise. O Teste A/B não determina automaticamente qual conector é o vencedor.


Resultados de um teste em andamento

Quando o teste estiver Em execução, os dados apresentados ainda são preliminares e podem mudar conforme novas transações forem processadas.

A página de resultados é atualizada automaticamente enquanto o teste estiver ativo, sem necessidade de recarregar manualmente a tela.

Para uma análise mais completa, recomenda-se aguardar o encerramento do período configurado.


Resultados de um teste finalizado

Quando o teste estiver Finalizado, os dados apresentados correspondem aos resultados consolidados do período.

Nesse caso, a atualização automática deixa de ocorrer, pois não serão adicionadas novas transações ao período analisado.


Regras importantes

Cada tentativa de pagamento é considerada uma transação independente. Portanto, se um cliente realizar três tentativas de pagamento, as três poderão ser contabilizadas separadamente.

Caso uma transação processada por um dos conectores do teste seja recusada e posteriormente aprovada por uma retentativa realizada em um terceiro conector, o terceiro conector não entra nas métricas do Teste A/B. O resultado registrado continua representando o desempenho do conector originalmente testado.

Em pagamentos mistos, como cartão de crédito + PIX, somente a parte processada no cartão de crédito transparente participa das métricas. O valor considerado corresponde à parcela paga no cartão, e não ao valor total do pedido.


Exclusão de um Teste A/B

Ao excluir um Teste A/B, as transações e métricas vinculadas a ele também são removidas permanentemente.

Antes da exclusão, o sistema apresenta uma confirmação informando sobre a perda do histórico.

Atenção: a exclusão do teste e de seu histórico de métricas não pode ser desfeita.


Perguntas frequentes

O Teste A/B altera alguma coisa na experiência do cliente no checkout?

Para intenções de compra elegíveis, o Teste A/B atua na definição do conector que processará a transação. O fluxo normal do checkout deve continuar sem interferência visível para o cliente.

Após a atribuição, o conector permanece vinculado àquela intenção de compra durante a navegação pelo checkout.

O cliente percebe a troca de conectores?

Não. A escolha do conector acontece internamente durante o checkout e não fica visível para o cliente. O conector atribuído é mantido durante toda a intenção de compra. 

Se o cliente atualizar a página do checkout, o conector pode mudar?

Não. O conector atribuído deve permanecer o mesmo durante toda a intenção de compra. Atualizar a página, navegar entre etapas do checkout, alterar informações ou realizar novas tentativas de pagamento não deve gerar uma nova atribuição.

Se o cliente sair do checkout e voltar depois, ele continuará no mesmo conector?

Depende. Se o cliente retornar e recuperar o mesmo carrinho, o conector atribuído será mantido. Caso ele retorne posteriormente e seja criada uma nova intenção de compra, uma nova atribuição será realizada, podendo receber outro conector.

Posso alterar a data de término de um teste em andamento?

Não. Após o início do teste, suas configurações não podem mais ser alteradas e ficam disponíveis apenas para visualização. 

Posso alterar o percentual de distribuição depois de criar o teste?

Depois que o teste estiver em andamento, suas configurações não podem mais ser alteradas. Isso evita mudanças que possam comprometer a consistência dos resultados.

Posso ter mais de um Teste A/B em execução ao mesmo tempo?

Não. Apenas um Teste A/B pode estar em execução por vez. Também não é permitido cadastrar testes com períodos de vigência sobrepostos.

O antifraude influencia o resultado do Teste A/B?

O antifraude faz parte da configuração do teste e o mesmo antifraude é utilizado para ambos os conectores. Não é possível selecionar antifraudes diferentes ou utilizar um antifraude em apenas um dos conectores.

Durante a execução do teste, as configurações e credenciais do antifraude utilizado não podem ser alteradas, garantindo que a comparação entre os conectores seja feita sob as mesmas condições

O que acontece se um dos conectores ficar indisponível durante o teste?

Se o conector atribuído ficar indisponível ou apresentar erro, a transação deve falhar normalmente e o erro é registrado nas métricas do teste.

O sistema não redireciona automaticamente a transação para o outro conector participante do Teste A/B, pois isso alteraria a comparação entre os conectores.

Posso utilizar mais de dois conectores no mesmo Teste A/B?

Não. Nesta versão, o Teste A/B realiza a comparação entre dois conectores: Conector A e Conector B. A implementação não prevê testes com mais de duas integrações simultâneas.

Posso utilizar o Teste A/B para PIX ou boleto?

Não. O Teste A/B é destinado às transações de cartão de crédito transparente. Outros métodos de pagamento não participam do teste.

A distribuição será exatamente igual ao percentual configurado?

Não necessariamente. Os percentuais configurados determinam a distribuição esperada entre os conectores, mas a distribuição real pode apresentar diferenças, principalmente quando o volume de transações ainda é pequeno.

Uma tentativa recusada entra nos resultados?

Sim. Uma transação gerada é contabilizada mesmo quando apresenta erro ou recusa. Intenções que não chegam a gerar uma transação não entram nas métricas.

O sistema informa automaticamente qual conector venceu o teste?

Não. A tela apresenta as métricas dos conectores lado a lado para facilitar a comparação de desempenho.

O que acontece se o teste ainda não tiver transações?

A tela de resultados pode ser exibida normalmente, com os indicadores zerados até que sejam registradas transações no teste.

Quer aprender na prática?
Acesse o curso completo no Uappi School e veja o passo a passo de como configurar e utilizar o Teste A/B de Pagamentos.
Acessar curso no Uappi School

Leave a Reply

Your email address will not be published. Required fields are marked *