Contacta con nosotros

Temario del curso

Introducción a los modelos multimodales

  • Visión general del aprendizaje multimodal
  • Aplicaciones de los modelos multimodales
  • Desafíos al manejar múltiples tipos de datos

Arquitecturas para modelos multimodales

  • Exploración de modelos como CLIP, Flamingo y BLIP
  • Comprensión de los mecanismos de atención intermodal
  • Consideraciones arquitectónicas para la escalabilidad y eficiencia

Preparación de conjuntos de datos multimodales

  • Técnicas de recolección y anotación de datos
  • Preprocesamiento de entradas de texto, imágenes y video
  • Equilibrio de los conjuntos de datos para tareas multimodales

Técnicas de ajuste fino para modelos multimodales

  • Configuración de flujos de trabajo de entrenamiento para modelos multimodales
  • Gestión de limitaciones de memoria y recursos computacionales
  • Manejo de la alineación entre modalidades

Aplicaciones de modelos multimodales ajustados finamente

  • Respuesta a preguntas visuales
  • Generación de leyendas para imágenes y videos
  • Generación de contenido mediante entradas multimodales

Optimización del rendimiento y evaluación

  • Métricas de evaluación para tareas multimodales
  • Optimización de latencia y capacidad de procesamiento para producción
  • Aseguramiento de robustez y coherencia entre modalidades

Implementación de modelos multimodales

  • Empaquetado de modelos para su implementación
  • Inferencia escalable en plataformas en la nube
  • Aplicaciones en tiempo real e integraciones

Casos de estudio y laboratorios prácticos

  • Ajuste fino de CLIP para recuperación de imágenes basada en contenido
  • Entrenamiento de un chatbot multimodal con texto y video
  • Implementación de sistemas de recuperación intermodal

Resumen y próximos pasos

Requerimientos

  • Conocimientos sólidos en programación Python
  • Comprensión de conceptos de aprendizaje profundo
  • Experiencia con el ajuste fino de modelos preentrenados

Público objetivo

  • Investigadores de IA
  • Científicos de datos
  • Profesionales de aprendizaje automático
 28 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas