En productos con IA, la latencia define si una experiencia se siente asistida o pesada. Reducirla requiere mirar red, modelo, contexto, proveedor, streaming y diseño de interacción.
No existe una sola técnica ganadora. La mejor estrategia depende de SLA, volumen, variabilidad de inputs y tolerancia a respuestas aproximadas.
Reducir trabajo antes del modelo
Cada token y cada herramienta adicional aumenta tiempo. Limpiar contexto, limitar fuentes y evitar llamadas innecesarias suele ser la forma más barata de acelerar.
También conviene evitar que el modelo resuelva tareas determinísticas que puede hacer código normal.
Cachear con criterio
El cache funciona cuando las respuestas son repetibles o cuando se pueden cachear partes del flujo: embeddings, retrieval, clasificación o plantillas de respuesta.
En tareas personalizadas, un cache agresivo puede devolver resultados incorrectos. La clave es definir exactamente qué depende del usuario y qué no.
- Cache de embeddings para documentos sin cambios.
- Cache de resultados para consultas frecuentes.
- Invalidación por versión de fuente o permisos.
Usar streaming y percepción de velocidad
A veces no se puede reducir todo el tiempo total, pero sí el tiempo hasta el primer resultado. Streaming, skeleton states y pasos parciales hacen que el usuario entienda que el sistema avanza.
La percepción no reemplaza rendimiento, pero mejora la experiencia mientras se optimiza el backend.
Preparar degradación elegante
Cuando hay congestión, el sistema puede usar modelos más rápidos, reducir profundidad de búsqueda, limitar longitud o enviar a cola.
Degradar bien significa mantener una respuesta útil y honesta sin bloquear toda la experiencia.
Checklist para aplicar
- SLA por tipo de tarea.
- Medición de tiempo por etapa.
- Cache con reglas de invalidación.
- Fallback a modelo o ruta más rápida.
La latencia se gana sumando pequeñas decisiones: menos contexto, mejores rutas, cache donde corresponde y una interfaz que acompaña el tiempo real del sistema.