Los sistemas con IA también se caen, solo que a veces no lo hacen con un error visible. Pueden responder lento, caro, fuera de formato, con baja calidad o con información que no debería usar.
SRE aplicado a IA amplía la observabilidad tradicional para incluir señales de calidad y comportamiento.
Definir SLOs por experiencia
No todos los flujos necesitan el mismo objetivo. Un autocompletado puede priorizar latencia, mientras que un asistente legal interno prioriza exactitud y trazabilidad.
Los SLOs deben estar atados a lo que el usuario considera éxito, no solo a métricas del proveedor.
- Latencia máxima por tipo de tarea.
- Porcentaje de respuestas válidas según contrato.
- Tasa aceptable de fallback humano.
Observar el pipeline completo
Una mala respuesta puede originarse en recuperación, prompt, modelo, herramienta externa o datos desactualizados. Si solo se observa la llamada final, el diagnóstico se vuelve lento.
Cada etapa debe dejar trazas suficientes para reconstruir qué ocurrió sin exponer datos sensibles.
Alertar por degradación semántica
Las alertas no deben esperar a que todo falle. Cambios en longitud de respuesta, rechazo de usuarios, errores de formato o aumento de costo pueden anticipar problemas.
Una alerta útil tiene dueño, umbral y acción esperada. Si nadie sabe qué hacer, solo agrega ruido.
Usar canaries y evaluaciones continuas
Antes de liberar un nuevo prompt o modelo, conviene probarlo contra un conjunto de casos representativos. Después, un canary permite ver comportamiento con tráfico real limitado.
Las evaluaciones continuas convierten calidad en una señal operativa, no en una opinión ocasional.
Checklist para aplicar
- SLOs separados por feature.
- Trazas por etapa: retrieval, prompt, modelo y herramientas.
- Alertas de costo, formato y calidad.
- Canary para cambios de prompt o modelo.
Un sistema con IA confiable no se mide solo por estar disponible. Se mide por responder bien, dentro de límites y con fallas que el equipo puede entender.