Especialista en Ingesta de Datos con NiFi, Kafka y Flink

Over de functie

Wij zoeken een technisch specialist die data‑ingestie‑pipelines ontwerpt, implementeert en optimaliseert met Apache NiFi, Apache Kafka en Apache Flink. Je werkt zowel met batch‑ als real‑time data en zorgt voor betrouwbare, schaalbare en veilige data‑stromen.

Belangrijkste verantwoordelijkheden

• Ontwerpen en implementeren van data‑ingestie‑flows met Apache NiFi voor gestructureerde, semi‑gestructureerde en ongestructureerde bronnen.
• Configureren, beheren en optimaliseren van streaming‑pipelines met Apache Kafka.
• Ontwikkelen van real‑time transformatie‑ en verrijkingsprocessen met Apache Flink.
• Integreren van databronnen zoals relationele databases, APIs, bestanden, legacy‑systemen, enterprise‑applicaties, messaging‑queues en cloud‑platformen.
• Definiëren van foutafhandelings‑ en retry‑strategieën, monitoring, traceability en datakwaliteitscontrole.
• Implementeren van validatie, cleaning, normalisatie en verrijking tijdens de ingestie.
• Meewerken aan streaming‑ en event‑driven architecturen.
• Waarborgen van beschikbaarheid, performance, schaalbaarheid en security van data‑pipelines.
• Documenteren van flows, configuraties, afhankelijkheden, transformatieregels en operationele procedures.

Gewenst profiel

• Analytisch denkvermogen en vermogen om complexe technische problemen op te lossen.
• Focus op datakwaliteit, veiligheid en betrouwbaarheid.
• Ervaring met het ontwerpen van schaalbare en onderhoudbare oplossingen.
• Resultaatgericht en betrouwbaar in het leveren van afspraken.

Vereiste vaardigheden

• Diepgaande ervaring met Apache NiFi (processors, controller services, templates, parameter contexts, back‑pressure).
• Ervaring met Apache Kafka (topics, partitions, consumer groups, producers, brokers, offsets, schemas, retentie‑strategieën).
• Ervaring met Apache Flink (stream processing, windows, joins, aggregaties, state management, fault tolerance).
• Kennis van batch‑, near‑real‑time‑ en real‑time ingestie‑patronen.
• Ervaring met data‑formaten JSON, CSV en XML.
• Ervaring met relationele databases en NoSQL‑oplossingen.
• SQL‑kennis en basis data‑modellering.
• Integratie‑ervaring met REST‑APIs, SFTP, messaging‑queues en enterprise‑systemen.
• Ervaring met monitoring, logging en troubleshooting van data‑pipelines.