Saltar al contenido principal

Métricas del bot

Cada mensaje que atiende un bot queda medido: por qué pasos del flujo pasó, cuánto tardó cada uno, qué herramientas usó y cuánto costó. No se guarda el texto de las conversaciones, solo los números.

Para verlas necesitas el permiso Ver bots.

En la ficha del bot​

Abre el bot desde Agentes. Al final de la ficha está la tarjeta Métricas, con un selector de periodo (7, 30 o 90 días):

GráficoQué responde
Mensajes atendidos por díaCuánto trabaja el bot y si hay picos
Cómo terminó cada mensajeCuántos respondió, cuántos quedaron esperando una respuesta, cuántos pasaron a una persona y cuántos fallaron
Costo por versión del flujoSi el último cambio del flujo gasta más o menos que el anterior
Herramientas usadas y su resultadoQué herramientas usa el bot y cuáles fallan

Debajo, la tabla Pasos del flujo muestra una fila por paso:

  • Ejecuciones: cuántas veces corrió.
  • Embudo: de todas las conversaciones, qué porcentaje llegó a ese paso. Si un paso tiene un embudo muy bajo, la gente abandona antes de llegar.
  • Errores: cuántas veces falló, y qué porcentaje supone.
  • p95: el tiempo que el paso no supera el 95 % de las veces. Es mejor señal que el promedio, porque muestra los casos lentos que la gente sí nota.
  • Costo: lo gastado en inteligencia artificial en ese paso.

Cada gráfico es una consulta del constructor de Reportes, así que puedes hacer la misma pregunta con otros cortes. Las fuentes se llaman Bots: mensajes atendidos, Bots: pasos del flujo, Bots: herramientas y los dos históricos diarios.

Sobre el flujo: el botón Métricas​

En el editor de flujos, el botón Métricas de la barra superior pinta sobre cada paso lo que pasó en los últimos 7 días:

  • el número de veces que corrió y su p95;
  • los errores, si los hubo;
  • un borde de color: más intenso cuanto más se usa, y rojo si falla en más del 5 % de las veces.

Un paso que dice Sin uso en 7 días no se alcanzó en ese periodo. Si esperabas que se usara, revisa las condiciones que llevan hasta él.

Los pasos que vienen de un subflujo se miden uno a uno y aparecen en la tabla con el nombre del subflujo delante (Verificar identidad › Pedir cédula). En el lienzo se suman sobre el paso del subflujo, que es lo único que se ve ahí.

Alertas y tope diario​

Encima de los gráficos está el apartado Alertas. Cuando un día supera algún umbral aparece una alerta aquí y también en la campana de notificaciones. Con Visto la das por atendida y no vuelve a aparecer ese día.

Sin configurar nada, el bot ya avisa cuando:

  • más del 10 % de los mensajes del día terminan en error (a partir de 20 mensajes);
  • algún mensaje se corta por dar demasiados pasos (casi siempre, un bucle en el flujo);
  • el 95 % de los mensajes tarda más de 30 segundos.

Con el botón Umbrales cambias esos valores para ese bot o los apagas. También puedes fijar un tope diario de costo (en USD) o de tokens.

El tope diario solo avisa

Superar el tope diario genera una alerta, pero el bot sigue respondiendo. Así un pico de mensajes no deja a tus pacientes sin atención. Decide tú, con la alerta en la mano, si pausas el bot o revisas el flujo.

Para cambiar umbrales necesitas el permiso Editar bots. Para ver y dar por vistas las alertas basta con Ver bots.

Estado del bot en una conversación​

Cuando un bot responde algo raro en una conversación concreta, ábrela en Conversaciones y usa el menú ⋮ → Estado del bot. Verás:

  • Dónde va: si está esperando una respuesta del usuario en un paso Esperar respuesta, o en qué paso seguirá con el próximo mensaje. Si el flujo cambió o pasó el tiempo de espera, avisa de que el próximo mensaje empezará desde Inicio.
  • Qué recuerda: cuántos mensajes tiene en su memoria y los nombres de los datos que guardó (por ejemplo cedula). Los valores no se muestran.
  • Últimos mensajes: por qué pasos pasó cada uno y cómo terminó. Los pasos en rojo fallaron.

Puntos de guardado: el bot guarda uno por cada mensaje (se conservan los últimos 20). En cada uno ves cuántos mensajes recordaba y cuántos datos tenía guardados, y puedes pulsar Probar desde aquí: escribes lo que dijo la persona y el sistema reproduce el recorrido que haría hoy el flujo desde ese punto exacto.

Esa prueba es en seco: no le llega nada a la persona, no se llama a ninguna API y no se gasta en inteligencia artificial. Es la forma de responder a «me contestó cualquier cosa» sin tener que repetir la conversación de verdad. Ojo: se prueba contra el flujo de ahora, así que si lo cambiaste desde entonces verás el recorrido nuevo, no el viejo.

Reiniciar memoria del bot hace que el bot olvide esa conversación: el próximo mensaje empieza desde Inicio, como si fuera la primera vez. Los mensajes del chat no se borran. Sirve, por ejemplo, cuando cambiaste el flujo y quieres probarlo desde cero con tu propio número.

Ver el estado requiere Ver bots; reiniciarlo, Editar bots.

Cuánto se guarda​

El detalle de cada mensaje se guarda 180 días. Pasado ese tiempo quedan los resúmenes por día, que no se borran, así que los históricos diarios siguen sirviendo para comparar meses.