Observabilidade de agentes de IA: o que registrar para entender cada decisão

Evento e decisão são coisas diferentes

Um registro de evento diz o que aconteceu: "às 14h32, o agente enviou uma resposta para o cliente 4821". Isso é útil para saber que o sistema está vivo, mas não ajuda quando o cliente reclama que a resposta estava errada.

Um registro de decisão diz por que aconteceu: o que o agente recebeu, que informações consultou, quais opções considerou, qual regra ou instrução levou à escolha e quanta confiança ele tinha. Com isso, você consegue reconstruir o raciocínio e descobrir se o problema estava no dado, na instrução, na integração ou no próprio modelo.

Saber que o agente agiu mostra que ele está vivo. Saber por que ele agiu mostra se você pode confiar nele.

O que registrar em cada decisão

Um bom registro de decisão costuma ter seis peças:

• A entrada. A mensagem, o documento ou o gatilho que iniciou o trabalho, do jeito que chegou.
• O contexto consultado. Quais sistemas o agente acessou e o que voltou de cada um. Se ele buscou o cadastro do cliente, registre o que encontrou.
• A instrução vigente. Qual versão das instruções e das regras estava ativa naquele momento. Sem isso, você não sabe se o erro já foi corrigido.
• O modelo usado. Qual modelo de IA respondeu e com quais parâmetros. Isso importa quando você usa mais de um ou troca de fornecedor.
• A decisão e a justificativa. O que o agente escolheu fazer e a explicação que ele mesmo deu, quando o desenho prevê isso.
• O resultado. O que de fato aconteceu depois: a ação foi executada, falhou, foi aprovada ou recusada por uma pessoa.

Com essas peças ligadas por um identificador comum, você consegue seguir uma tarefa do começo ao fim, mesmo quando ela passa por várias etapas ou por mais de um agente.

Imagine um agente que aprova reembolsos até um certo valor. Um cliente recebe reembolso indevido. Com o registro de evento, você só sabe que o reembolso saiu. Com o registro de decisão, você vê que o sistema de pedidos devolveu o status antigo, que a instrução dizia para confiar nesse status e que o modelo seguiu a regra. O problema estava na integração, e é lá que a correção precisa acontecer.

Por que isso importa no dia a dia

Registrar decisões dá trabalho e ocupa espaço. Vale a pena por motivos bem práticos:

• Achar erros silenciosos. Se o agente começa a errar a classificação de um tipo de pedido, você só descobre olhando as decisões, porque nenhum erro técnico vai aparecer.
• Corrigir na causa. Sabendo se o problema veio de um dado desatualizado, de uma instrução ambígua ou de uma integração que devolveu vazio, a correção é direta. Sem isso, o time fica mexendo nas instruções no escuro.
• Responder ao cliente. Quando alguém pergunta por que recebeu determinada resposta, você tem como explicar.
• Atender auditoria e regulação. A LGPD prevê que o titular pode pedir revisão de decisões tomadas só com base em tratamento automatizado que afetem seus interesses. Ter o histórico organizado facilita muito essa resposta.
• Melhorar com dados. Decisões revisadas por pessoas viram exemplos para ajustar o agente e para testar novas versões antes de publicar.

O que olhar com frequência

Guardar registros não adianta se ninguém olha. Algumas visões ajudam a acompanhar a saúde do agente sem ler cada decisão:

• Taxa de escalonamento para pessoas, por tipo de tarefa. Uma subida repentina indica que algo mudou.
• Taxa de correção: quantas decisões foram alteradas ou recusadas por quem revisou.
• Tempo por tarefa e custo de uso do modelo por tarefa.
• Falhas de integração: sistemas que não responderam ou devolveram dados incompletos.
• Uma amostra aleatória de decisões para revisão humana toda semana, mesmo das que pareceram corretas.

A amostra aleatória é a mais esquecida e uma das mais úteis. Os erros mais perigosos são os que o agente comete com confiança, e esses não aparecem em nenhum alerta.

Os erros mais caros são os que o agente comete com segurança, sem disparar nenhum alerta.

Cuidados com dados pessoais

Registrar tudo tem um lado delicado. Se o agente lida com dados de clientes, pacientes ou funcionários, os registros também passam a conter esses dados. Isso exige o mesmo cuidado que qualquer outra base com informação pessoal.

• Defina por quanto tempo os registros ficam guardados e apague depois desse prazo.
• Mascare ou remova dados sensíveis que não são necessários para entender a decisão, como números completos de documento ou de cartão.
• Restrinja o acesso aos registros a quem realmente precisa, e registre quem consultou.
• Deixe claro no seu registro de operações de tratamento que esses dados existem e para que servem.

O objetivo é ter informação suficiente para entender e auditar, sem criar uma cópia desnecessária de tudo que passa pelo agente.

Como começar sem complicar

Não é preciso montar uma estrutura sofisticada no primeiro dia. Uma ordem razoável é esta:

• Garanta que cada tarefa tenha um identificador único e que todas as etapas usem esse mesmo identificador.
• Registre entrada, decisão e resultado desde o início. Contexto e justificativa podem vir logo em seguida.
• Versione as instruções do agente e grave a versão em cada registro.
• Monte uma visão simples com as taxas de escalonamento e correção.
• Combine quem revisa a amostra semanal e o que fazer com o que encontrar.

Com isso em pé, o agente deixa de ser uma caixa-preta. Você passa a saber o que ele faz, por que faz e onde precisa melhorar, e ganha base para dar mais autonomia a ele com segurança.