Temario del curso
Introducción al Red Teaming de IA
- Comprender el panorama de amenazas de la IA
- Roles de los equipos rojos en la seguridad de la IA
- Consideraciones éticas y legales
Aprendizaje Automático Adversario
- Tipos de ataques: evasión, envenenamiento, extracción, inferencia
- Generar ejemplos adversarios (por ejemplo, FGSM, PGD)
- Ataques dirigidos vs no dirigidos y métricas de éxito
Prueba de Robustez del Modelo
- Evaluar la robustez ante perturbaciones
- Explorar ceguera y modos de falla del modelo
- Prueba de estrés en modelos de clasificación, visión y NLP
Red Teaming de Pipelines de IA
- Área de ataque de pipelines de IA: datos, modelo, implementación
- Explotar APIs y puntos finales inseguros del modelo
- Ingeniería inversa del comportamiento y salidas del modelo
Simulación y Herramientas
- Usar la Adversarial Robustness Toolbox (ART)
- Red teaming con herramientas como TextAttack e IBM ART
- Herramientas de sandbox, monitoreo y observabilidad
Estrategia y Colaboración de Defensa del Equipo Rojo de IA
- Desarrollar ejercicios y objetivos de equipo rojo
- Comunicar hallazgos a equipos azules
- Integrar el red teaming en la gestión de riesgos de IA
Resumen y Pasos Siguientes
Requerimientos
- Un conocimiento de las arquitecturas de aprendizaje automático y deep learning
- Experiencia con Python y marcos de ML (por ejemplo, TensorFlow, PyTorch)
- Familiaridad con conceptos de ciberseguridad o técnicas de seguridad ofensiva
Audiencia
- Investigadores de seguridad
- Equipos de seguridad ofensiva
- Profesionales de garantía y red teaming en IA
Testimonios (2)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
El conocimiento profesional y la forma en que lo presentó ante nosotros
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Traducción Automática