Ao final deste artigo você vai ter um roteiro de teste para rodar antes de colocar um agente de IA na frente do seu cliente.
Para usar, você precisa do agente já construído e de uma lista das ações que ele pode executar. Não precisa saber programar. A maior parte do trabalho é escrever casos e ler respostas.
Esse roteiro existe porque a demonstração mente. Agente testado com três perguntas bem escritas funciona sempre, e é justamente por isso que ele vai ao ar e quebra na primeira semana.
O que precisa ser testado em um agente de IA?
O que ele deve recusar, principalmente.
Quase todo teste verifica se o agente acerta. Poucos verificam se ele nega o que deveria negar, e é aí que mora o incidente com cliente.
Isso conversa com um achado do Work Trend Index 2026, que comentamos no artigo sobre o uso avançado de IA no trabalho. A habilidade mais valorizada pelo mercado hoje é controle de qualidade das respostas geradas por IA, citada por 50% dos profissionais. Conferir virou o trabalho.
O método em seis passos
No desenho, repare que a escrita do que é proibido vem antes de qualquer teste. Sem essa lista, não existe critério para dizer que uma resposta está errada.
- Escreva a lista do que o agente não pode fazer nem dizer.
- Monte três conjuntos de casos, de acerto, de recusa e de borda.
- Rode cada caso três vezes, porque a resposta varia.
- Troque as frases limpas por mensagens reais de cliente.
- Meça a taxa de transferência para uma pessoa.
- Abra para um grupo pequeno antes de abrir para todos.
Passo 1, escrever o proibido
Liste o que o agente não pode fazer, em frases curtas. Não pode prometer prazo. Não pode conceder desconto. Não pode falar de outro cliente. Não pode inventar número.
Essa lista é o gabarito do teste. Sem ela, cada pessoa que avalia usa o próprio critério, e a aprovação vira questão de gosto.
Boa parte desses itens também precisa estar travada na camada de ações, não só pedida no prompt, como descrevemos em como dar acesso a um agente sem abrir o banco de dados. O teste serve para confirmar que a trava funciona.
Passo 2, montar os três conjuntos
Separe os casos em três grupos, com propósito diferente.
- Acerto. O que o agente precisa resolver sozinho. Vinte casos cobrem a maioria das operações.
- Recusa. O que ele precisa negar ou transferir. Dez casos bastam no começo.
- Borda. O que está no limite, onde pessoas razoáveis discordariam. Cinco já doem bastante.
O conjunto de borda é o mais valioso e o mais evitado. Ele obriga a empresa a decidir coisas que nunca decidiu, como o que responder quando o cliente pergunta algo que o contrato não cobre.
Passo 3, repetir cada caso três vezes
A mesma pergunta pode receber respostas diferentes, porque o modelo não é determinístico.
Rodar uma vez só e aprovar é o erro mais comum do teste caseiro. Rode três vezes e observe a variação. Se as três respostas dizem a mesma coisa com palavras diferentes, está bom. Se uma delas muda o conteúdo, o caso reprova.
Passo 4, usar texto real de cliente
Esse passo sozinho reprova metade dos agentes que passaram nos anteriores.
Cliente real escreve com erro de digitação, abrevia, manda três mensagens seguidas e mistura dois assuntos na mesma frase. Quem monta o teste escreve frases limpas, porque conhece o sistema.
Pegue cinquenta mensagens reais do seu atendimento, anonimize nome e documento, e rode essas. É a diferença entre testar o agente e testar a sua habilidade de escrever pergunta.
Como escrever um bom caso de borda
Caso de borda é o pedido que duas pessoas da sua empresa responderiam de formas diferentes.
O cliente pergunta se consegue um prazo menor porque o caso dele é urgente. Pergunta se o serviço cobre uma situação que o contrato não menciona. Pede uma informação que existe, mas que normalmente só é dada por telefone.
Nenhum desses tem resposta óbvia. É exatamente por isso que valem ouro no teste.
Quando a empresa senta para decidir o que o agente responde nesses cinco casos, ela está decidindo política de atendimento, não configuração de software. Em boa parte dos projetos, essa é a conversa mais útil da implantação inteira, e ela não teria acontecido sem o teste forçar.
Escreva a resposta aprovada ao lado de cada caso de borda. Ela vira treinamento para gente nova e referência para a próxima versão do agente.
Passo 5, medir a taxa de transferência
Conte em quantos casos o agente passou a conversa para uma pessoa.
Esse número precisa ficar numa faixa, não ser minimizado. Taxa muito baixa quase sempre significa que o agente está respondendo coisas que não deveria. Taxa muito alta significa que ele não está resolvendo nada e só adicionou um passo.
Não existe número universal. O que importa é escolher a faixa antes do teste e discutir quando o resultado sai fora dela.
Passo 6, abrir para um grupo pequeno
Publique primeiro para uma fatia pequena, de 5% a 10% das conversas, por uma semana.
Nessa fase o objetivo não é medir satisfação. É colher as mensagens que ninguém imaginou, porque elas sempre aparecem e nunca estavam no roteiro.
Registre tudo, inclusive o que o agente recusou. Esse registro é o começo do inventário descrito em como montar um inventário de sistemas de IA.
Se preferir fazer esse desenho com quem já montou e derrubou agente antes, a página de tecnologia e automação mostra o caminho.
Um exemplo com números
O exemplo é ilustrativo, com valores redondos para mostrar o formato do resultado.
| Conjunto | Casos | Primeira rodada | Depois do ajuste |
|---|---|---|---|
| Acerto | 20 | 18 corretos | 20 corretos |
| Recusa | 10 | 6 corretos | 10 corretos |
| Borda | 5 | 2 corretos | 4 corretos |
Repare onde estava o problema. O agente acertava 90% do que deveria responder e falhava em 40% do que deveria recusar.
Esse é o padrão que mais vemos. Agente treinado para ser útil tende a ser útil demais, inclusive quando a resposta certa é não.
O que fazer quando um caso reprova
A reação instintiva é reescrever o prompt, e às vezes é mesmo a resposta. Antes disso, vale checar de qual dos três tipos é a falha.
Se o agente deu informação que não deveria ter, o problema está na camada de ações, não no texto. Alguma função está devolvendo campo demais, e nenhuma instrução conserta isso de forma confiável.
Se ele respondeu dentro do permitido, mas com conteúdo errado, o problema é de contexto. Falta informação disponível ou ela está desatualizada na origem.
Se ele acertou o conteúdo e errou o tom ou o momento de transferir, aí sim é prompt. Tratamos desse desenho em como escrever o prompt de um agente de atendimento.
Essa separação economiza dias. O erro mais caro em ajuste de agente é reescrever instrução por semanas para resolver um problema que estava no acesso ao dado.
Erros comuns
- Testar só o caminho feliz. O que machuca é o pedido que deveria ter sido negado.
- Rodar cada caso uma vez. Esconde a variação, que é onde o problema aparece depois.
- Usar frases limpas. Testa quem escreveu o teste, não o agente.
- Aprovar por impressão. Sem lista de proibições, a avaliação vira gosto pessoal.
- Abrir para todo mundo de uma vez. Tira a chance de corrigir barato.
- Não registrar as recusas. O que o agente negou é o melhor material para a próxima versão.
Perguntas frequentes
Quantos casos de teste são suficientes?
Trinta e cinco casos divididos nos três conjuntos cobrem bem um primeiro agente. O número importa menos que a distribuição, porque é o conjunto de recusa que costuma reprovar.
Preciso de ferramenta para rodar esses testes?
No começo não. Uma planilha com o caso, a resposta esperada e as três respostas obtidas resolve. Ferramenta passa a valer quando o conjunto cresce e o teste vira rotina a cada mudança.
Com que frequência repetir o teste?
Sempre que o prompt mudar, quando uma ação nova for liberada e quando o modelo for atualizado. Esse terceiro caso pega muita gente de surpresa, porque a mudança vem do fornecedor e não da empresa.
Quem deve aprovar o resultado?
Quem responde pela operação, não quem construiu. Quem construiu conhece os limites e evita, sem perceber, justamente os casos que o cliente vai fazer.
Esse teste garante que o agente não vai errar?
Não garante. Ele reduz a chance e, mais importante, deixa o erro dentro de um limite conhecido. Agente sem teste erra de formas que ninguém previu, e é isso que vira incidente.
Quanto tempo esse roteiro leva
Montar os trinta e cinco casos leva de meio dia a um dia, e é trabalho de quem conhece o atendimento, não de quem programa. Rodar tudo três vezes leva algumas horas.
A fase de abrir para poucos consome uma semana de calendário e quase nenhuma hora de trabalho. É espera, não esforço, e é a parte que mais gente corta por pressa.
Vale resistir a essa pressa. A semana de teste com poucos custa quase nada e evita o tipo de erro que o cliente conta para outras pessoas.
A tarefa desta semana
Pegue o agente que a sua empresa já usa, se existir um, e escreva cinco pedidos que ele deveria recusar. Rode os cinco hoje.
Se ele responder qualquer um deles com algo útil, você encontrou um problema que estava no ar sem ninguém saber. Se recusar os cinco, você ganhou os primeiros cinco casos do seu conjunto de teste.
Quer esse roteiro aplicado no seu agente por quem já fez isso antes? fale com o time da Blue Labs no WhatsApp.