Temario del curso
Fundamentos de NiFi y Flujos de Datos
- Datos en movimiento vs. datos en reposo: conceptos y desafíos
- Arquitectura de NiFi: núcleos, controlador de flujo, provance y avisos
- Componentes clave: procesadores, conexiones, controladores y proveniencia
Contexto e Integración con Big Data
- Papel de NiFi en ecosistemas de Big Data (Hadoop, Kafka, almacenamiento en la nube)
- Descripción general de HDFS, MapReduce y alternativas modernas
- Casos de uso: ingestión de flujos, envío de registros, pipelines de eventos
Instalación, Configuración y Configuración del Clúster
- Instalación de NiFi en modo nodo individual y clúster
- Configuración del clúster: roles de los nodos, Zookeeper y balanceo de carga
- Orquestar implementaciones de NiFi: utilizando Ansible, Docker o Helm
Diseño y Gestión de Flujos de Datos
- Enrutamiento, filtrado, división y fusión de flujos
- Configuración del procesador (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.)
- Manejo de esquemas, enriquecimiento y operaciones de transformación
- Manejo de errores, relaciones de reintento y retroceso de presión
Escenarios de Integración
- Conexión a bases de datos, sistemas de mensajería y APIs REST
- Transmisión a sistemas de análisis: Kafka, Elasticsearch o almacenamiento en la nube
- Integración con Splunk, Prometheus o pipelines de registro
Monitoreo, Recuperación y Proveniencia
- Utilizar la interfaz web de NiFi, métricas y visualizador de proveniencia
- Diseñar recuperación autónoma y manejo graceful de fallos
- Respaldo, versionado de flujo y gestión de cambios
Ajuste y Optimización del Rendimiento
- Ajustar JVM, heap, pools de hilos y parámetros de clustering
- Optimizar el diseño de flujo para reducir cuellos de botella
- Aislamiento de recursos, priorización de flujos y control de rendimiento
Mejores Prácticas y Gobernanza
- Documentación del flujo, estándares de nomenclatura, diseño modular
- Seguridad: TLS, autenticación, control de acceso, encriptación de datos
- Control de cambios, versionado, acceso basado en roles y registros de auditoría
Solución de Problemas y Respuesta a Incidentes
- Problemas comunes: bloqueos muertos, fugas de memoria, errores del procesador
- Análisis de registros, diagnóstico de errores e investigación de la causa raíz
- Estrategias de recuperación y reversión del flujo
Laboratorio Práctico: Implementación Realista de un Pipeline de Datos
- Construir un flujo completo: ingestión, transformación, entrega
- Implementar manejo de errores, retroceso de presión y escalado
- Pruebas de rendimiento y ajuste del pipeline
Resumen y Próximos Pasos
Requerimientos
- Experiencia con la línea de comandos de Linux
- Conocimientos básicos de redes y sistemas de datos
- Familiaridad con conceptos de streaming de datos o ETL
Audiencia Objetivo
- Administradores de sistemas
- Ingenieros de datos
- Desarrolladores
- Profesionales de DevOps
Reseñas (7)
Ejercicios prácticos. La clase debería haber durado 5 días, pero los 3 días fueron útiles para aclarar muchas de las preguntas que tenía al trabajar con NiFi.
James - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
Creí que el ritmo del formador fue muy bueno. No dejó a ningún estudiante atrás con su enfoque. Fue muy solidario con nosotros, los NUEVOS, que quizás no hayamos tenido un rol de Administrador de Sistema o Infraestructura durante nuestra carrera o que hayamos recuperado esas habilidades de un período anterior de nuestra carrera.
Pamdrea Ivory - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
Me gustó la sección práctica. Me ayudó a retener mejor la información al completar los ejercicios proporcionados. Además, la capacidad del instructor de interactuar con toda la clase hizo que me sintiera cómodo para hacer preguntas sobre lo que no entendía.
Leila - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
Casos de uso y ejemplos para construir flujos de datos con NiFi. Trabajamos en la solución de problemas comunes y obstáculos.
Nelson - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
Amé la estructura. El primer día nos sumergimos en los conceptos básicos de NiFi, sus conceptos y casos de uso, entre otros temas. Al día siguiente, pusimos en práctica lo aprendido el primer día al construir flujos para cumplir con los requisitos de diferentes escenarios. En el tercer día, exploramos el Registro de NiFi, el control de versiones, la multiinquilinato y realizamos una sesión de preguntas y respuestas.
Adam - BHG Financial
Curso - Apache NiFi for Administrators
Traducción Automática
Muy poco, se me dificulto mucho y mas por que entre desfasado, no tome los primeras sesiones.
Rolando Garcia - OIT para Mexico y Cuba
Curso - Apache NiFi for Administrators
El conocer que hay un programa que tiene muchas aplicaciones potenciales para el trabajo que desarrollo
