SPOED: Cloud/Data Engineer

Functieomschrijving:

Jouw rol als Cloud/Data Engineer:

• Je houdt je bezig met de realisatie van schaalbare, efficiënte en veilige data-platforms in de Azure-cloud, waarbij Databricks een centrale plek inneemt.
• Je werkt nauw samen met data scientists, ML engineers en business stakeholders aan oplossingen die techniek, beleid en concrete waarde voor Nederland verbinden.

• Inrichten van de Medallion Architectuur (Bronze, Silver, Gold) binnen Databricks
• Vertalen van complexe businesslogica naar helder gestructureerde datasets
• Werken volgens Kimball dimensioneel modelleren
• Bouwen van robuuste Gold-lagen
• Werken met Metric Views voor betrouwbare rapportages en analyses

• Ontwikkelen van robuuste datapijplijnen met PySpark en SQL
• Werken met Spark Declarative Pipelines (SDP)
• Ontwerpen van modulaire en onderhoudbare transformaties met dbt

• Optimaliseren van Databricks compute clusters
• Schaalbaarheid en performance verbeteren binnen Delta Lake
• Werken met Partitioning, Clustering, Z-Ordering en Liquid Clustering

• Inrichten van centrale governance via Unity Catalog
• Implementeren van RBAC (Role-Based Access Control)
• Toepassen van data security best practices

• Automatiseren van deployments via Databricks Asset Bundles (DABs)
• Instrumenteren, monitoren en debuggen van Databricks jobs, pipelines en platformcomponenten

Over de klant:

De wereld verandert elke dag en RVO verandert mee. Met meer dan 6.000 RVO’ers werkt de organisatie dagelijks aan morgen. RVO ondersteunt, adviseert en stimuleert ondernemend Nederland. Nationaal én internationaal.

Binnen RVO wordt gewerkt aan grote maatschappelijke uitdagingen zoals:

• De verduurzaming van onze energievoorzieningen
• Het tegengaan van klimaatverandering
• De omslag naar een duurzaam landbouw- en voedselsysteem
• Het bouwen aan een sterke digitale economie

RVO verbindt ondernemers, overheden en organisaties om samen te bouwen aan het Nederland van morgen. Technologie, data en innovatie spelen hierin een cruciale rol.

Een duurzame en economisch sterke samenleving vraagt om schaalbare, betrouwbare en veilige data-oplossingen. Daarom zoekt RVO een ervaren Cloud/Data Engineer die impact wil maken binnen complexe data-platformen in Azure en Databricks.

Eisen:

• Aantoonbare ervaring in het ontwerpen en bouwen van een cloud data platform met Databricks op Azure en zorgen voor het integreren, opschonen en beschikbaar maken van data voor business intelligence toepassingen aantoonbaar middels cv en/of motivatie
• Minimaal 3 jaar aantoonbare ervaring in het ontwerpen en uitwerken van een technische data solution architectuur, met aandacht voor Governance & Security, aantoonbaar middels cv en/of motivatie
• Minimaal 2 jaar aantoonbare ervaring in het ontwikkelen van robuuste datapijplijnen met PySpark en SQL, aantoonbaar middels cv en/of motivatie
• Ervaring met Medallion Architectuur (Bronze, Silver, Gold)
• Ervaring met Delta Lake optimalisaties
• Ervaring met Unity Catalog en RBAC
• Ervaring met dbt
• Ervaring met Agile/Scrum (SAFe)

Wensen:

• Kennis van en ervaring met Backend & SQL/Postgres
• Ervaring met Django voor API-ontwikkeling en authenticatie
• Kennis van Monitoring & MLOps
• Ervaring met Application Insights en Databricks metrics
• Kennis van Microsoft Azure, Databricks, Storage, Active Directory en Key Vault
• Ervaring met veilige en compliant dataoplossingen
• Ervaring met betrouwbare en efficiënte data pipelines en platformen
• Kennis van Spark Declarative Pipelines (SDP)
• Ervaring met complexe data architecturen gericht op schaalbaarheid, security en cloudintegratie