Kafka para Administradores

Aspectos Esenciales de la Administración de Kafka

• Dónde se integra Kafka en una plataforma de datos moderna y las responsabilidades productivas típicas.
• Conceptos fundamentales para operadores: brokers, temas (topics), particiones, desplazamientos (offsets) y grupos de consumidores.
• Fundamentos de la replicación: líderes y seguidores, réplicas sincronizadas (in-sync replicas) e intercambios en la disponibilidad.
• Aspectos destacados operativos de Kafka y terminología común utilizada en los manuales de ejecución (runbooks).

Modo KRaft y Diseño del Clúster

• Conceptos básicos de KRaft: controladores (controllers), cuórum de metadatos, elecciones y su importancia operativa.
• Planificación del despliegue: dimensionamiento para throughput, particiones, retención y crecimiento.
• Roles y distribuciones de nodos: controladores combinados frente a dedicados, consideraciones de dominio de fallas.
• Laboratorio: inspección de metadatos KRaft, validación de la salud del cuórum e interpretación de los registros del controlador.

Instalación, Configuración y Operaciones Diarias

• Enfoques de instalación (paquetes, tarball, contenedores) y qué estandarizar en entornos empresariales.
• Configuración principal del broker que impacta la fiabilidad: listeners, replicación, directorios de registros y retención.
• Operaciones de servicio seguras: orden de inicio, cierre graceful y verificaciones de validación.
• Laboratorio: implementación de un clúster multi-nodo, verificación del registro del broker y confirmación de la producción y consumo básicos.

Gestión de Temas, Particiones y Ubicación de Datos

• Ciclo de vida del tema mediante la CLI de Kafka: crear, describir, actualizar configuraciones y eliminar.
• Selección de particiones y factores de replicación para cargas de trabajo reales, incluidas las anti-patrones comunes.
• Reasignaciones y equilibrado: cuándo mover particiones y cómo verificar el progreso de forma segura.
• Laboratorio: creación de temas, desencadenamiento de una reasignación de particiones, simulación de una caída del broker y confirmación de la recuperación.

Seguridad de Kafka para Producción

• TLS para tráfico de cliente e inter-broker: certificados, cadenas de confianza y pasos de validación.
• Autenticación con SASL: selección de mecanismos comunes y evitación de configuraciones erróneas.
• Autorización con ACLs: patrones de mínimo privilegio para administradores, productores y consumidores.
• Laboratorio: habilitar TLS y SASL, validar la conectividad del cliente y aplicar ACLs para roles de aplicación.

Observabilidad, Fiabilidad y Solución de Problemas

• Aspectos esenciales de monitoreo: salud del controlador, particiones sub-replicadas, latencia de solicitudes y saturación de disco y red.
• Registros y métricas: lectura de registros del broker y exposición de métricas mediante JMX exporter a pilas comunes de observabilidad.
• Manuales operativos (playbooks): reinicios en cascada, cambios seguros de configuración y manejo de problemas de disco lleno e ISR (in-sync replicas).
• Laboratorio: construcción de un conjunto mínimo de alertas, diagnóstico de un clúster degradado y restauración de la replicación saludable.

Actualizaciones y Preparación para Recuperación ante Desastres

• Planificación de actualizaciones para Kafka: verificaciones de compatibilidad, etapas previas y enfoque de reversión (rollback).
• Expectativas de copias de seguridad y recuperación: qué se puede respaldar, qué no, y conceptos básicos de recuperación de configuración.
• Descripción general de la replicación entre clústers y cuándo utilizar MirrorMaker 2 para Recuperación ante Desastres (DR) y migraciones.
• Clausura: lista de verificación operativa, artefactos de entrega y próximos pasos para el despliegue en producción.