Medindo custo e resultados: pense em custo por resultado, não em tokens

Uma fatura mensal de tokens diz quanto você gastou, não o que obteve. As equipes que operam bem os agentes medem o custo por resultado e o ligam a um resultado de negócio escolhido antes da construção.

Escolha a métrica antes do modelo

Associe um KPI de negócio a cada agente candidato na entrada: tempo de ciclo, taxa de erro, custo por transação ou tempo até a resolução. Ele molda o conjunto de avaliação, o monitoramento e a decisão de lançamento, e impede que o retorno do investimento vire uma história montada depois que o dinheiro foi gasto.

Custo por tarefa bem-sucedida

A unidade que se sustenta é o custo total do agente dividido pelas tarefas bem-sucedidas. Ela captura novas tentativas, retrabalho, escalonamentos e tempo de revisão. Um modelo mais barato por chamada pode ser mais caro por resultado se o seu trabalho precisar de limpeza, enquanto um modelo mais caro que termina em menos etapas pode vencer.

Reporte a confiabilidade, não só as médias

Uma taxa de aprovação de uma única execução esconde a inconsistência. A orientação da Splunk sobre avaliação de agentes reporta o pass^k, o sucesso em tentativas repetidas, ao lado do pass@k. Em um estudo citado de uso de computador, um agente chegou a cerca de 78% de pass@10, mas só a cerca de 36% de pass^10: parecia capaz e ainda assim era inconsistente demais para ser lançado. Meça por tipo de tarefa, já que o agendamento na saúde exige consistência quase perfeita, enquanto um fluxo de conteúdo pode tolerar novas tentativas.

Uma configuração que você consegue montar em uma semana

• Instrumentar: cada sessão emite um trace com contagem de tokens e chamadas de ferramentas, marcado com o agente e a versão.
• Linha de base: colete uma semana de tráfego e anote a taxa de conclusão, o custo por sessão, a latência p95 e uma nota de qualidade.
• Adicione uma avaliação para o seu modo de falha mais comum e rode-a a cada mudança.
• Revise toda semana: os mesmos três gráficos, mais as três sessões mais caras e as três piores saídas.

Comece com a taxa de conclusão de tarefas, o custo por sessão e uma métrica de qualidade ligada ao principal modo de falha: fundamentação para agentes apoiados em recuperação, precisão das chamadas de ferramentas para agentes que executam ações. Adicione tetos de gasto por funcionalidade e alternativas de contingência, para que um agente descontrolado apareça antes da fatura.

O retorno, sem rodeios

Valor por tarefa concluída menos custo por tarefa concluída, vezes o número de tarefas concluídas. Para a resposta mais limpa, compare com um grupo de controle, porque as pessoas que escolhem usar um agente muitas vezes diferem das que não escolhem.