Taller de Migración con Databricks: De Almacenes de Procedimientos a Lakehouse (5 días intensivos)

Introducción, Objetivos y Estrategia de Migración

• Metas del curso, alineación del perfil de los participantes y criterios de éxito
• Enfoques de migración a alto nivel y consideraciones de riesgo
• Configuración de espacios de trabajo, repositorios y conjuntos de datos para el laboratorio

Día 1 — Fundamentos de la Migración y Arquitectura

• Conceptos Lakehouse, visión general de Delta Lake y arquitectura de Databricks
• Diferencias entre SMP y MPP e implicaciones para la migración
• Diseño Medallion (Bronce→Plata→Oro) y visión general de Unity Catalog

Laboratorio del Día 1 — Traducción de un Procedimiento Almacenado

• Migración práctica de un procedimiento almacenado de ejemplo a un notebook
• Mapeo de tablas temporales y cursores a transformaciones en DataFrame
• Validación y comparación con el resultado original

Día 2 — Delta Lake Avanzado y Carga Incremental

• Transacciones ACID, registros de confirmación, versionado y viaje en el tiempo (time travel)
• Auto Loader, patrones MERGE INTO, upserts y evolución del esquema
• OPTIMIZE, VACUUM, Z-ORDER, particionado y ajuste del almacenamiento

Laboratorio del Día 2 — Ingesta Incremental y Optimización

• Implementación de ingestión con Auto Loader y flujos de trabajo MERGE
• Aplicación de OPTIMIZE, Z-ORDER y VACUUM; validación de resultados
• Medición de las mejoras en el rendimiento de lectura/escritura

Día 3 — SQL en Databricks, Rendimiento y Depuración

• Funciones analíticas de SQL: funciones de ventana, funciones de orden superior, manejo de JSON/arrays
• Lectura del Spark UI: DAGs, shuffles, etapas (stages), tareas y diagnóstico de cuellos de botella
• Patrones de ajuste de consultas: join por broadcast, hints, almacenamiento en caché y reducción de desbordamiento (spill)

Laboratorio del Día 3 — Refactorización SQL y Ajuste de Rendimiento

• Refactorizar un proceso SQL pesado a Spark SQL optimizado
• Utilizar trazas del Spark UI para identificar y corregir problemas de skew y shuffle
• Medición antes/después y documentación de los pasos de ajuste

Día 4 — PySpark Táctico: Reemplazo de Lógica Procedural

• Modelo de ejecución de Spark: driver, ejecutores (executors), evaluación diferida y estrategias de particionado
• Transformación de bucles y cursores en operaciones de DataFrame vectorizadas
• Modularización, UDFs/pandas UDFs, widgets y bibliotecas reutilizables

Laboratorio del Día 4 — Refactorización de Scripts Procedurales

• Refactorizar un script ETL procedural en notebooks PySpark modulares
• Introducción a la parametrización, pruebas unitarias y funciones reutilizables
• Revisión de código y aplicación de lista de verificación de mejores prácticas

Día 5 — Orquestación, Flujo de Trabajo Completo y Mejores Prácticas

• Databricks Workflows: diseño de trabajos, dependencias de tareas, activadores y manejo de errores
• Diseño de flujos Medallion incrementales con reglas de calidad y validación del esquema
• Integración con Git (GitHub/Azure DevOps), integración continua (CI) y estrategias de pruebas para lógica PySpark

Laboratorio del Día 5 — Construcción de un Flujo Completo End-to-End

• Ensamblaje del flujo Bronce→Plata→Oro orquestado con Workflows
• Implementación de registro, auditoría, reintentos y validaciones automáticas
• Ejecución del flujo completo, validación de salidas y preparación de notas para el despliegue

Operacionalización, Gobernanza y Preparación para Producción

• Mejores prácticas de gobernanza, linaje y controles de acceso con Unity Catalog
• Costos, dimensionamiento de clústeres, escalado automático y patrones de concurrencia de trabajos
• Listas de verificación de despliegue, estrategias de reversión (rollback) y creación de manuales de operaciones

Revisión Final, Transferencia de Conocimientos y Próximos Pasos

• Presentaciones de los participantes sobre el trabajo de migración y lecciones aprendidas
• Análisis de brechas, actividades recomendadas de seguimiento y entrega del material de capacitación
• Referencias, rutas de aprendizaje adicional y opciones de soporte