Problema
El asistente podía responder de forma general, pero no había una forma objetiva de saber cuándo fallaba.
Caso de uso
Caso demostrativoDe calidad vaga de chatbot a criterios de lanzamiento medibles.
Helpy es un asistente SaaS ficticio creado para demostrar la metodología de evaluación de Evalor. Los resultados son ilustrativos y no representan un trabajo real con cliente.
Resultados
El sistema v2 mejora porque responde desde material fuente.
Fidelidad a fuentes
v1 0.07
v2 0.88
Relevancia de respuesta
v1 0.08
v2 0.73
Precisión de contexto
v1 0.00
v2 0.95
Método
Un conjunto fijo de preguntas y métricas de evaluación comparan la línea base contra una versión con mejor contexto.
Decisión
El equipo ve qué mejoró, qué sigue fallando y qué debería bloquear una salida a producción.
Casos reales
Aquí irán futuros casos reales.
Evalor solo publicará resultados reales con permiso explícito. No se muestran testimonios, logos ni métricas de cliente inventadas.