Contacta con nosotros

Temario del curso

Introducción al ajuste fino eficiente en parámetros (PEFT)

  • Motivación y limitaciones del ajuste fino completo
  • Visión general de PEFT: objetivos y beneficios
  • Aplicaciones y casos de uso en la industria

LoRA (Adaptación de Bajo Rango)

  • Concepto e intuición detrás de LoRA
  • Implementación de LoRA utilizando Hugging Face y PyTorch
  • Práctica: Ajuste fino de un modelo con LoRA

Ajuste fino de adaptadores

  • Cómo funcionan los módulos de adaptador
  • Integración con modelos basados en transformadores
  • Práctica: Aplicación del ajuste fino de adaptadores a un modelo transformer

Ajuste fino de prefijos

  • Uso de indicaciones suaves (soft prompts) para el ajuste fino
  • Ventajas y limitaciones en comparación con LoRA y los adaptadores
  • Práctica: Ajuste fino de prefijos en una tarea LLM

Evaluación y comparación de métodos PEFT

  • Métricas para evaluar el rendimiento y la eficiencia
  • Compensaciones en la velocidad de entrenamiento, uso de memoria y precisión
  • Experimentos de benchmarking e interpretación de resultados

Despliegue de modelos ajustados

  • Guardado y carga de modelos ajustados
  • Consideraciones para el despliegue de modelos basados en PEFT
  • Integración en aplicaciones y flujos de trabajo

Mejores prácticas y extensiones

  • Combinar PEFT con cuantización y destilación
  • Uso en entornos con pocos recursos y multilingües
  • Direcciones futuras y áreas de investigación activa

Resumen y próximos pasos

Requerimientos

  • Comprensión de los fundamentos del aprendizaje automático
  • Experiencia trabajando con modelos de lenguaje grande (LLM)
  • Familiaridad con Python y PyTorch

Público objetivo

  • Científicos de datos
  • Ingenieros de IA
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas