Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Fundamentos de la depuración y evaluación con Mastra
- Comprensión de los modelos de comportamiento del agente y los modos de fallo.
- Principios básicos de depuración en Mastra.
- Evaluación de acciones deterministas y no deterministas de los agentes.
Configuración de entornos para la prueba de agentes
- Configuración de áreas de prueba aisladas (sandboxes) y espacios de evaluación segregados.
- Captura de registros, trazas y telemetría para un análisis detallado.
- Preparación de conjuntos de datos y «prompts» (indicaciones) para pruebas estructuradas.
Depuración del comportamiento de los agentes de IA
- Seguimiento de las rutas de decisión y las señales de razonamiento interno.
- Identificación de alucinaciones, errores y comportamientos no deseados.
- Uso de paneles de observabilidad para la investigación de la causa raíz.
Métricas de evaluación y marcos de referencia (benchmarking)
- Definición de métricas cuantitativas y cualitativas de evaluación.
- Medición de la precisión, la consistencia y el cumplimiento contextual.
- Aplicación de conjuntos de datos de referencia para una evaluación repetible.
Ingeniería de fiabilidad para agentes de IA
- Diseño de pruebas de fiabilidad para agentes que operan durante largos periodos.
- Detección de deriva (drift) y degradación en el rendimiento del agente.
- Implementación de salvaguardas para flujos de trabajo críticos.
Procesos de aseguramiento de calidad y automatización
- Creación de pipelines de QA para la evaluación continua.
- Automatización de pruebas de regresión para las actualizaciones del agente.
- Integración del QA con CI/CD y flujos de trabajo empresariales.
Técnicas avanzadas para la reducción de alucinaciones
- Estrategias de indicación (prompting) para reducir las salidas no deseadas.
- Bucles de validación y mecanismos de autoverificación.
- Experimentación con combinaciones de modelos para mejorar la fiabilidad.
Informes, supervisión y mejora continua
- Elaboración de informes de QA y tableros de puntuación (scorecards) de agentes.
- Supervisión del comportamiento a largo plazo y los patrones de error.
- Iteración sobre los marcos de evaluación para sistemas en evolución.
Resumen y próximos pasos
Requerimientos
- Comprensión del comportamiento de los agentes de IA y las interacciones con los modelos.
- Experiencia en la depuración o prueba de sistemas de software complejos.
- Conocimiento de herramientas de observabilidad o de registro (logging).
Público objetivo
- Ingenieros de aseguramiento de calidad (QA).
- Ingenieros de fiabilidad de IA.
- Desarrolladores responsables de la calidad y el rendimiento de los agentes.
21 Horas
