Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción y fundamentos del diagnóstico
- Visión general de las causas de fallo en sistemas LLM y problemas comunes específicos de Ollama.
- Establecimiento de experimentos reproducibles y entornos controlados.
- Herramientas de depuración: registros locales, capturas de solicitud/respuesta y aislamiento en sandbox.
Reproducción y aislamiento de fallos
- Técnicas para crear ejemplos mínimos fallidos y puntos de partida (seeds).
- Interacciones con estado frente a sin estado: aislamiento de errores relacionados con el contexto.
- Determinismo, aleatoriedad y control del comportamiento no determinista.
Evaluación conductual y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y aproximadores de perplejidad.
- Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas.
- Verificaciones de fidelidad específicas por tarea y criterios de aceptación.
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenarios y extremo a extremo.
- Creación de suites de regresión y líneas base con ejemplos dorados.
- Integración en CI/CD para actualizaciones de modelos de Ollama y puntos de validación automatizados.
Observabilidad y monitoreo
- Registro estructurado, trazas distribuidas e identificadores de correlación.
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
- Alertas, paneles de control y SLIs/SLOs para servicios respaldados por modelos.
Análisis avanzado de causas raíz
- Trazado a través de gráficos de prompts, llamadas a herramientas y flujos multi-turno.
- Diagnóstico comparativo A/B y estudios de ablativo.
- Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por los mismos.
Seguridad, robustez y estrategias de remediación
- Mitigaciones: filtrado, fundamentación, aumento mediante recuperación (RAG) y estructuración del prompt.
- Patrones de reintegro, implementación canaria y lanzamiento por fases para actualizaciones de modelos.
- Estudios póstumos, lecciones aprendidas y bucles de mejora continua.
Resumen y próximos pasos
Requerimientos
- Amplia experiencia en el desarrollo e implementación de aplicaciones con modelos de lenguaje grandes (LLM).
- Familiaridad con los flujos de trabajo de Ollama y el alojamiento de modelos.
- Comodidad con Python, Docker y herramientas básicas de observabilidad.
Público objetivo
- Ingenieros de IA.
- Profesionales de ML Ops.
- Equipos de QA responsables de los sistemas de LLM en producción.
35 Horas
