Programa del Curso
Introducción
Descripción general de Spark Streaming Características y arquitectura
- Fuentes de datos admitidas
- API principales
Preparación del entorno
- Dependencias
- Spark y contexto de streaming
- Conexión con Kafka
Procesamiento de mensajes
- Análisis de mensajes entrantes como JSON
- Procesos ETL
- Inicio del contexto de streaming
Realización de una ventana Stream Processing
- Intervalo de deslizamiento
- Configuración de entrega de puntos de control
- Lanzamiento del entorno
Creación de prototipos del código de procesamiento
- Conexión con un tema de Kafka
- Recuperación de JSON de la fuente de datos mediante Paw
- Variaciones y procesamiento adicional
Transmisión del código
- Variables de control de trabajo
- Definición de valores para que coincidan
- Funciones y condiciones
Adquisición de salida de flujo
- Contadores
- Salida de Kafka (coincidente y no coincidente)
Solución de problemas
Resumen y conclusión
Requerimientos
- Experiencia con Python y Apache Kafka
- Familiaridad con las plataformas de procesamiento de flujos
Audiencia
- Ingenieros de datos
- Científicos de datos
- Programadores
Testimonios (5)
Ejemplos/ejercicios perfectamente adaptados a nuestro dominio
Luc - CS Group
Curso - Scaling Data Analysis with Python and Dask
Traducción Automática
El entrenador estaba muy disponible para responder a todo tipo de preguntas que hice
Caterina - Stamtech
Curso - Developing APIs with Python and FastAPI
Traducción Automática
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Curso - Build REST APIs with Python and Flask
Transferencia de conocimientos prácticos y experiencia del formador.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Curso - GUI Programming with Python and PyQt
Traducción Automática
As I was the only participant the training could be adapted to my needs.