Temario del curso
Introducción a Apache Iceberg
- Descripción general de Apache Iceberg
- Revisión de los conceptos básicos
Análisis profundo de la arquitectura de Iceberg
- Análisis en profundidad del formato de tabla de Iceberg
- Descripción general detallada de la arquitectura, incluidos los metadatos y el diseño de archivos
- Funcionamiento interno de la evolución del esquema y las particiones
Instalación y configuración avanzadas
- Configuración de Iceberg para un rendimiento óptimo en diferentes entornos
- Integración con diversos motores de procesamiento de datos
- Configuración avanzada: seguridad, cifrado y controles de acceso
- Instalación de Iceberg en un entorno distribuido
Operaciones y mantenimiento avanzados
- Gestión de tablas Iceberg a gran escala
- Implementación y gestión de cambios complejos en el esquema
- Manejo de la evolución de particiones y particionamiento oculto
- Operaciones CRUD avanzadas con cambios en el esquema y las particiones
Técnicas de optimización de consultas
- Técnicas para reducir la latencia de las consultas
- Poda de particiones y poda de archivos
- Almacenamiento en caché de metadatos y estrategias de optimización
- Implementación y prueba de técnicas de optimización de consultas
Ajuste de rendimiento para conjuntos de datos grandes
- Optimización del rendimiento para conjuntos de datos a gran escala
- Uso de las características integradas de Iceberg para el ajuste de rendimiento
- Estudios de casos sobre el ajuste de rendimiento en escenarios reales
- Ajuste del rendimiento para conjuntos de datos a gran escala
Migración e integración de datos avanzadas
- Migración de estructuras de datos complejas desde otros sistemas
- Integración de Iceberg con flujos de datos en tiempo real
- Migración de conjuntos de datos complejos e integración de flujos de datos en tiempo real
Fiabilidad y consistencia
- Garantía de la consistencia e integridad de los datos en entornos distribuidos
- Implementación y gestión de garantías transaccionales
- Manejo de fallos y mecanismos de recuperación
- Implementación de características de fiabilidad y consistencia
Funcionalidades avanzadas y personalización
- Implementaciones de catálogo personalizadas
- Extensión de Iceberg con características personalizadas
- Implementación de catálogos personalizados y extensión de las funcionalidades de Iceberg
Gobernanza y cumplimiento normativo de datos
- Implementación de políticas de gobernanza de datos
- Cumplimiento de las normativas sobre datos
- Gestión de registros de auditoría y linaje de datos
- Implementación de características de gobernanza y cumplimiento
Resumen y próximos pasos
Requerimientos
- Familiaridad con los conceptos básicos, las operaciones básicas y la gestión de tablas Iceberg
Público objetivo
- Ingenieros de datos
- Arquitectos de datos
- Analistas de datos
- Desarrolladores de software
Reseñas (2)
Un viaje por el mundo de Spark: un curso muy intenso. DSL, Spark SQL, particionamiento versus agrupación para mí.
Georgiana Elisabeta
Curso - Apache Spark Fundamentals
Traducción Automática
Ejercicios prácticos. La clase debería haber durado 5 días, pero los 3 días fueron útiles para aclarar muchas de las preguntas que tenía al trabajar con NiFi.
James - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática