Apache NiFi

¿Qué es?

Apache NiFi es una plataforma de integración de datos con interfaz visual de arrastrar y soltar: defines flujos (dataflows) que mueven, transforman y enrutan datos entre sistemas heterogéneos sin necesidad de escribir código. Su modelo de programación son procesadores conectados en un grafo.

¿Para qué sirve?

• Ingestión desde fuentes diversas: bases de datos (JDBC), APIs REST, S3, SFTP, Kafka, sistemas de archivos — decenas de conectores incluidos sin configuración extra.
• Enrutamiento condicional y transformación ligera: filtrar, dividir, convertir formatos (JSON ↔ Avro ↔ CSV), enriquecer registros con lookups externos en el mismo flujo visual.
• Observabilidad inmediata: cada mensaje (FlowFile) es trazable; el UI muestra cuellos de botella, backpressure y proveniencia de datos en tiempo real.

¿Cuándo usarla / cuándo no?

Úsala cuando necesites mover datos entre sistemas con reglas de enrutamiento complejas, equipos no técnicos deban operar o monitorear el flujo, o quieras trazabilidad de proveniencia (quién tocó qué dato y cuándo) sin instrumentar código a mano.

Piénsalo dos veces si tu necesidad es orquestación batch con dependencias entre tareas (ahí Airflow es más natural: DAGs con lógica de reintentos y SLAs por paso), o mensajería de alta velocidad con millones de eventos por segundo (ahí Kafka es la pieza correcta; NiFi puede ser el productor/consumidor, pero no el broker). NiFi también requiere JVM y memoria generosa — sobredimensionado para pipelines simples que caben en un script de Python.

Empieza en 1 minuto

La forma más rápida es con Docker; la imagen oficial expone el UI en el puerto 8443 (HTTPS con certificado autofirmado en versiones recientes):

docker run --name nifi \
  -p 8443:8443 \
  -e SINGLE_USER_CREDENTIALS_USERNAME=admin \
  -e SINGLE_USER_CREDENTIALS_PASSWORD=adminpassword \
  apache/nifi:latest

Abre https://localhost:8443/nifi — acepta el certificado autofirmado en tu navegador. Desde el UI arrastra un procesador GetFile (o GenerateFlowFile para probar sin archivos reales), conéctalo a LogAttribute y arranca el flujo. Sin una línea de código.

Para producción, consulta la guía de administración oficial.