Los modelos cambian, los prompts cambian y los usuarios cambian. Sin evaluación continua, la calidad se descubre por quejas o por métricas de negocio que llegan tarde.
Evaluar modelos en producción significa crear una disciplina: casos de prueba, métricas, revisiones y decisiones de release basadas en evidencia.
Construir un set representativo
El set de evaluación debe cubrir casos comunes, casos difíciles, datos ambiguos, entradas mal formadas y ejemplos donde el modelo debe negarse.
No necesita ser enorme al principio. Necesita ser relevante y crecer con incidentes reales.
Medir más de una dimensión
La exactitud es importante, pero no suficiente. Muchos productos necesitan formato estable, tono correcto, fuentes citadas, ausencia de datos sensibles y coherencia entre pasos.
Cada feature debería definir qué significa una buena respuesta para su contexto.
- Correctitud factual o semántica.
- Cumplimiento de schema o formato.
- Uso correcto de fuentes.
- Seguridad y privacidad de la salida.
Automatizar sin confiar ciegamente
Los evaluadores automáticos aceleran, pero también pueden equivocarse. Lo ideal es combinarlos con revisión humana en muestras críticas y con métricas de usuario.
Cuando una evaluación automática bloquea un release, el equipo debe poder revisar ejemplos concretos.
Conectar evaluación con despliegue
Un cambio de prompt o modelo debería pasar por pruebas antes de producción y monitoreo después del release.
Si una métrica cae bajo umbral, el sistema debe permitir rollback o desactivación de la nueva configuración.
Checklist para aplicar
- Dataset de evaluación versionado.
- Métricas por feature, no genéricas.
- Comparación entre versión actual y candidata.
- Rollback cuando una métrica crítica cae.
La evaluación continua convierte la calidad de IA en una práctica de ingeniería. Sin ella, cada mejora es una apuesta.