Modelos de decisión autoalojados: Servicio, Cuantización, Latencia y Operaciones

Opciones de Despliegue

• Comparativa de ventajas y desventajas: API alojada versus autoalojada
• Patrones de despliegue en local, en el borde (edge) y aislados (air-gapped)
• Modelo único versus portafolio de modelos
• Comparación del costo por decisión

Tamaño de Hardware y Capacidad

• Huella de memoria según el recuento de parámetros
• Aceleración solo con CPU versus GPU
• Planificación de concurrencia y rendimiento (throughput)
• Margen para el crecimiento de la longitud de la tarea

Stacks de Servicio (Serving)

• Opciones con vLLM y SGLang
• Ejecución con llama.cpp y GGUF
• Ollama para desarrollo local
• Selección basada en la forma de la carga de trabajo de decisión

Cuantización sin Perder Calibración

• Formatos de precisión y ahorro de memoria
• Medición de la calidad y pérdida de calibración
• Variantes por tensor y sensibles a la importancia
• Pruebas de aceptación tras la cuantización

Ingeniería de Latencia

• Latencia mediana versus latencia de cola (tail latency)
• Crecimiento de la latencia según la longitud del contexto
• Inicio cálido (warm start) y almacenamiento en caché de modelos
• Loteo (batching) de múltiples preguntas de decisión

Entornos de Borde (Edge) y Restringidos

• Pequeños modelos de decisión en CPU
• Despliegue en Apple Silicon y dispositivos embebidos
• Operación sin conexión y estrategia de actualización
• Distribución de pesos en entornos aislados (air-gapped)

Contenedores y Escalado

• Diseño de imágenes para el servicio de modelos
• Gestión de volúmenes y almacenamiento en caché
• Escalado horizontal y enrutamiento
• Límites de recursos y uso compartido de GPU

Observabilidad

• Métricas de solicitudes, latencia y errores
• Monitoreo de la distribución de confianza
• Seguimiento de resultados de decisiones y escalaciones
• Alertas por deriva en la calibración

Versionado y Despliegue (Rollout)

• Versionado de modelos y adaptadores
• Despliegue sombra (shadow) y canario
• Archivos de modelo fijos para auditoría
• Procedimientos de reversión (rollback)

Seguridad y Multitenancy

• Autenticación y limitación de tasa (rate limiting)
• Aislamiento de inquilinos (tenants) para prompts y registros
• Aislamiento de red y control de salida (egress)
• Registro de auditoría de decisiones