Medir costo y resultados: piensa en costo por resultado, no en tokens

La cuenta mensual de tokens dice cuánto gastaste, no qué obtuviste. Los equipos que operan bien a sus agentes miden el costo por resultado y lo vinculan a un resultado de negocio elegido antes de construir.

Elige la métrica antes que el modelo

Asigna un KPI de negocio a cada agente candidato desde el ingreso: tiempo de ciclo, tasa de error, costo por transacción o tiempo de resolución. Moldea el conjunto de evaluación, el monitoreo y la decisión de lanzamiento, y evita que el retorno de la inversión se vuelva un relato armado después de gastar el dinero.

Costo por tarea exitosa

La unidad que resiste es el costo total del agente dividido por las tareas exitosas. Captura los reintentos, el retrabajo, las escalaciones y el tiempo de revisión. Un modelo más barato por llamada puede resultar más caro por resultado si su trabajo necesita limpieza, mientras que un modelo más caro que termina en menos pasos puede ganar.

Informa la confiabilidad, no solo los promedios

La tasa de aprobación de una sola ejecución esconde la inconsistencia. La guía de Splunk sobre evaluación de agentes informa pass^k, el éxito en intentos repetidos, junto a pass@k. En un estudio citado de uso de computador, un agente alcanzó cerca de un 78 % de pass@10 pero solo cerca de un 36 % de pass^10: parecía capaz y aun así era demasiado inconsistente para lanzarse. Mide por tipo de tarea, ya que la agenda de citas médicas exige una consistencia casi perfecta mientras que un flujo de contenido puede tolerar reintentos.

Una configuración que puedes montar en una semana

• Instrumentar: cada sesión emite una traza con conteos de tokens y llamadas a herramientas, etiquetada con el agente y la versión.
• Línea base: recopila una semana de tráfico y anota la tasa de finalización, el costo por sesión, la latencia p95 y un puntaje de calidad.
• Agrega una evaluación para tu modo de falla más común, y ejecútala en cada cambio.
• Revisa cada semana: los mismos tres gráficos, más las tres sesiones más caras y las tres peores salidas.

Empieza con la tasa de finalización de tareas, el costo por sesión y una métrica de calidad acorde al principal modo de falla: fundamentación para agentes apoyados en recuperación, exactitud de las llamadas a herramientas para agentes que ejecutan acciones. Agrega topes de gasto por funcionalidad y alternativas de respaldo, para que un agente desbocado se note antes que la factura.

El retorno, sin rodeos

Valor por tarea completada menos costo por tarea completada, multiplicado por el número de tareas completadas. Para la respuesta más limpia compara contra un grupo de control, porque las personas que eligen usar un agente suelen diferir de las que no.