Antes de colocar um agente de IA em produção: o checklist completo

Toda semana aparece alguém dizendo que montou um agente de IA no fim de semana e que não precisa mais do time de operações.

Antes de esse agente tocar em um pedido, uma nota fiscal ou um cliente de verdade, confira se você já tem tudo o que está nesta lista. Ela serve tanto para quem vai contratar quanto para quem vai construir.

Dá para marcar os itens que você já tem. Fica salvo só neste navegador.

01 · 4 itens

O processo vem antes do agente

Um fluxo mapeado do começo ao fim por alguém que entende o trabalho, e não um fluxo que o agente montou a partir de três exemplos
Exceções documentadas, porque resolver os casos simples é a parte fácil
Um processo que já funciona, porque automatizar um processo quebrado só faz as coisas darem errado mais rápido
Regras de operação claras, revisadas e aprovadas por alguém do time de operações

02 · 5 itens

Quando o agente precisa parar

Uma lista de situações em que o agente tem que parar: disputas, ameaças jurídicas, pedidos para falar com uma pessoa ou qualquer valor acima de um limite definido
Um jeito de passar o caso para uma pessoa com todo o histórico da conversa, para o cliente não ter que começar de novo
A possibilidade de uma pessoa entrar no meio de uma tarefa e devolvê-la ao agente sem perder o que já foi feito
Permissão para o agente dizer "não sei" em vez de inventar uma resposta
Um nível mínimo de confiança abaixo do qual o caso vai para uma pessoa

03 · 5 itens

Respostas em que dá para confiar

Fontes junto com as respostas, para alguém conferir de onde veio a informação
Respostas financeiras que batem com o sistema oficial até o centavo
Um agente que reconhece o erro quando é questionado e corrige
Respostas consistentes quando o cliente faz a mesma pergunta mais de uma vez
Uma saída sensata para perguntas que ninguém previu

05 · 6 itens

Ambiente de teste e acesso mínimo

Versões de teste de cada ferramenta, para que testar um fluxo de reembolso não reembolse alguém de verdade
Contas de teste nos serviços externos, para um teste não mandar e-mail para um cliente real
Um conjunto limitado de ferramentas, porque você não quer o agente descobrindo permissões de que nunca precisou
Uma conta de serviço separada para cada agente, com acesso limitado ao que ele realmente faz
Um agente que lê notas fiscais sem permissão para pagá-las
Aprovação humana antes de o agente movimentar dinheiro, enviar correspondência formal ou encerrar uma conta

06 · 5 itens

Execução que aguenta falhas

Operações que podem rodar duas vezes sem estrago, porque novas tentativas acontecem e pagamento em dobro não tem graça
Tempo limite nas chamadas de ferramentas, para uma API que não responde não travar o fluxo inteiro
Progresso salvo a cada etapa, para uma falha na etapa nove não obrigar a começar do zero
Limite de tentativas, para um agente travado não passar a noite tentando a mesma coisa
Um tempo máximo de execução antes de o caso ser escalado

07 · 5 itens

Código onde dá, modelo onde precisa

Código comum cuidando das etapas que dá para conferir com código comum, deixando para o modelo só o que exige julgamento
Extração por regras para datas, valores e números de conta, para o modelo não reescrever detalhes importantes
Saídas estruturadas validadas antes de seguirem para outro sistema
Uma leitura das respostas que não quebra quando o modelo resolve colocar uma introdução simpática antes do JSON
Verificação independente de que a tarefa foi concluída, em vez de confiar no relatório que o próprio agente faz

08 · 3 itens

Agentes que usam o navegador

Automação de navegador que funciona dentro das restrições dos portais reais dos clientes
Um plano B para quando um site de terceiros muda o layout ou troca um botão de lugar
Alguém disponível para aprovar a autenticação em dois fatores quando um portal externo pedir

09 · 9 itens

Avaliação antes e depois de cada mudança

Um conjunto de avaliação montado com casos reais e recentes de clientes, e não com exemplos que o desenvolvedor inventou
Especialistas do negócio revisando os resultados, porque a maioria dos engenheiros não sabe dizer se um código de glosa de convênio está certo
Toda resposta errada investigada e incluída no conjunto de avaliação, para o mesmo erro ser pego da próxima vez
Casos de teste difíceis que ninguém pode tirar discretamente só para melhorar a nota
Avaliações refeitas sempre que o prompt, o modelo ou os dados mudam
Testes de regressão, para garantir que corrigir um problema não cria outro
Avaliação feita por IA conferida de tempos em tempos com o julgamento de pessoas, porque o avaliador também erra
Uma comparação entre modelos usando as perguntas reais do seu negócio antes de escolher qual usar
Configurações de raciocínio testadas com o seu volume de trabalho, porque pagar por mais raciocínio não garante resultado melhor

10 · 6 itens

Entrada gradual na operação

Um período em que o agente trabalha em paralelo com o time, sem agir sozinho
Uma fase em que o agente recomenda antes de ganhar confiança para executar
Memória dos falsos alertas já descartados, para ninguém ter que rejeitar o mesmo alerta errado toda manhã
Revisão humana frequente de conversas inteiras com clientes, e não só das médias do painel
Testes de segurança que tentam quebrar o agente antes que usuários reais tentem
Uma linha de base medida antes do lançamento, para saber o que de fato melhorou

11 · 7 itens

Modelos e prompts sob controle

Versões de modelo fixadas, para uma atualização inesperada do fornecedor não mudar o comportamento do agente sem ninguém perceber
Datas de aposentadoria dos modelos acompanhadas com antecedência, e não descobertas quando algo para de funcionar
Um modelo reserva já testado, caso o fornecedor principal saia do ar
A possibilidade de trocar de modelo sem reconstruir o fluxo inteiro
Prompts guardados em controle de versão, com mudanças revisadas antes de ir para produção
Um registro das mudanças de prompt, para investigar o que aconteceu em vez de ouvir que alguém "ajustou alguma coisa"
Formas independentes de voltar atrás em prompts, modelos e ferramentas

12 · 5 itens

Volume e picos

Limites de uso das APIs considerados antes do pico de segunda de manhã
Filas de verdade, porque centenas de casos chegando ao mesmo tempo precisam ser processados com confiabilidade
Limites de concorrência, para tarefas em paralelo não sobrecarregarem juntas o mesmo serviço
Um botão de parada de emergência que alguém de fora da engenharia sabe usar
Uma liberação gradual, começando por poucos clientes e não por todos de uma vez

13 · 7 itens

Custos

Custo por caso medido antes do lançamento, e não descoberto na primeira fatura do mês
Um orçamento mensal de operação que foi de fato aprovado
Limites diários de gasto que param a execução quando necessário, em vez de só mandar um alerta
Orçamento de tokens por tarefa, porque um documento grande fora do comum pode deixar um caso simples surpreendentemente caro
Cache para as informações que o agente busca de novo e de novo
Modelos mais baratos nas tarefas simples e modelos mais capazes onde eles fazem uma diferença mensurável
Estimativa de custo antes de rodar um ano de casos históricos pelo sistema

14 · 9 itens

Segurança contra ataques

Proteção contra instruções maliciosas escondidas em e-mails, PDFs e sites que o agente lê
Uma separação rígida entre conteúdo externo e as instruções que o agente está autorizado a seguir
Restrições sobre para onde o agente pode mandar dados, para ele não enviar registros de clientes a um endereço que encontrou em um documento
Ambientes isolados, sem credenciais expostas, para qualquer código que o agente execute
Credenciais guardadas e usadas por ferramentas seguras, em vez de mostradas diretamente ao modelo
Revisão de segurança dos servidores MCP e plugins, porque até a descrição de uma ferramenta pode influenciar o comportamento do agente
Um plano de resposta para quando alguém conseguir enganar o agente e fazê-lo tentar expor informações sensíveis
Registros de cada chamada de ferramenta, de quem a iniciou e de quais informações ou sistemas ela acessou
Filtros de segurança que barram pedidos realmente perigosos sem bloquear trabalho legítimo em áreas sensíveis

16 · 9 itens

Agentes de voz

Links de pagamento seguros, em vez de pedir ao cliente que dite os dados do cartão para um agente de voz
Tempo de resposta rápido o bastante para a conversa soar natural
Tratamento de interrupções, porque gente de verdade não espera o robô terminar cada frase
Detecção de caixa postal, para informações da conta não serem ditas para uma secretária eletrônica
Transferências de ligação que não derrubam o cliente
Pronúncia correta de nomes, endereços e termos técnicos
Testes com sotaques diferentes, barulho de fundo e conexões ruins
Respostas em outro idioma quando o cliente fala em outro idioma
Tom adequado para clientes irritados, de luto ou passando por dificuldade financeira

17 · 7 itens

Acompanhamento em produção

Rastros detalhados das etapas, chamadas de ferramenta e uso de tokens de cada execução
Transcrições pesquisáveis por cliente, caso e resultado
Painéis que acompanham juntos precisão, taxa de escalonamento, custo por caso e disponibilidade
Alertas quando a taxa de escalonamento sobe de repente, porque esse é o primeiro sinal de que algo quebrou
Alertas quando a taxa de escalonamento cai inesperadamente a zero, porque silêncio também é sinal de alerta
Monitoramento de mudanças de desempenho conforme os casos e as condições do negócio evoluem
Um canal de feedback que leva os problemas reais dos usuários até quem é responsável por corrigir

18 · 6 itens

O lado humano de cada passagem de bastão

Filas de revisão humana com capacidade para dar conta dos escalonamentos
Prazos de resposta claros para o lado humano de cada passagem
Um agente confiável antes de começar a conectar cinco, porque cada passagem entre agentes é mais uma chance de perder contexto
Um responsável com nome e sobrenome para cada agente
Um roteiro de ação para quando o agente de repente começar a escalar todos os casos
Documentação explicando por que as regras importantes existem, para ninguém remover uma proteção crítica daqui a seis meses

E no fim das contas

E, depois de construir tudo isso, você ainda vai precisar de boa parte das pessoas que pretendia substituir:

O time de operações, para explicar como o trabalho acontece de verdade, com todas as exceções
O time de operações de novo, para montar os casos de avaliação a partir do trabalho real com clientes
Uma liderança de operações, para decidir quais casos o agente nunca pode tocar
Pessoas experientes, para assumir quando o agente trava no meio do atendimento a um cliente
O time de operações, para revisar conversas reais e achar os problemas que os painéis não mostraram
Um engenheiro de backend, para conectar o agente aos seus sistemas sem dar a ele acesso irrestrito
Especialistas em segurança, para garantir que informação sensível fique onde deve ficar
Especialistas em conformidade, que saibam explicar a um auditor o que o agente fez e por quê
Um arquiteto que entenda o custo real de rodar cada caso
Engenheiros de qualidade, que percebam quando a precisão cai depois de uma atualização de modelo ou de prompt
Um engenheiro que conheça a infraestrutura bem o bastante para consertar quando tudo começar a falhar às 3 da manhã
Alguém sênior o bastante para dizer ao CEO que o segundo agente pode esperar até o primeiro funcionar direito
E alguém que lembre por que um determinado reembolso foi proibido lá atrás, muito depois de todo mundo ter esquecido

Boa sorte. 🫡

← Todos os artigos

Antes de colocar um agente de IA em produção: o checklist completo

O processo vem antes do agente

Quando o agente precisa parar

Respostas em que dá para confiar

Sistemas, integrações e dados

Ambiente de teste e acesso mínimo

Execução que aguenta falhas

Código onde dá, modelo onde precisa

Agentes que usam o navegador

Avaliação antes e depois de cada mudança

Entrada gradual na operação

Modelos e prompts sob controle

Volume e picos

Custos

Segurança contra ataques

Privacidade, conformidade e auditoria

Agentes de voz

Acompanhamento em produção

O lado humano de cada passagem de bastão

Negócio, time e propriedade

E, depois de construir tudo isso, você ainda vai precisar de boa parte das pessoas que pretendia substituir:

Continue lendo

Engenheiro de agentes de IA: quem constrói o agente dentro da sua operação

Observabilidade de agentes de IA: o que registrar para entender cada decisão

POC de IA que não sai do piloto: por que acontece e como chegar à produção

Quer colocar um agente em produção do jeito certo?