Contacta con nosotros

Temario del curso

Introducción a la escalabilidad de Ollama

  • Arquitectura de Ollama y consideraciones de escalado.
  • Cuellos de botella comunes en implementaciones multiusuario.
  • Mejores prácticas para la preparación de infraestructura.

Asignación de recursos y optimización de GPU

  • Estrategias eficientes de utilización de CPU/GPU.
  • Consideraciones sobre memoria y ancho de banda.
  • Restricciones de recursos a nivel de contenedor.

Implementación con contenedores y Kubernetes

  • Contenerización de Ollama con Docker.
  • Ejecución de Ollama en clústeres de Kubernetes.
  • Balanceo de carga y descubrimiento de servicios.

Escalado automático y agrupamiento

  • Diseño de políticas de escalado automático para Ollama.
  • Técnicas de inferencia en grupos para optimizar el rendimiento.
  • Priorización entre latencia y rendimiento.

Optimización de la latencia

  • Perfilamiento del rendimiento de la inferencia.
  • Estrategias de almacenamiento en caché y calentamiento del modelo.
  • Reducción de la sobrecarga de E/S y comunicación.

Monitoreo y observabilidad

  • Integración de Prometheus para métricas.
  • Creación de paneles con Grafana.
  • Alertas y respuesta a incidentes para la infraestructura de Ollama.

Gestión de costos y estrategias de escalado

  • Asignación de GPU consciente de los costos.
  • Consideraciones entre implementación en la nube y en las instalaciones.
  • Estrategias para un escalado sostenible.

Resumen y próximos pasos

Requerimientos

  • Experiencia con administración de sistemas Linux.
  • Conocimiento sobre contenerización y orquestación.
  • Familiaridad con la implementación de modelos de aprendizaje automático.

Público objetivo

  • Ingenieros DevOps.
  • Equipos de infraestructura de aprendizaje automático.
  • Ingenieros de confiabilidad del sitio.
 21 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas