Lead Data Orchestration Engineer
- Company
- Collective.work
- Location
- France
- Salary
- 13 650 €/mo
- Posted
- 2026-10-23
Skills: Airflow, AWS, CI/CD
Taux journalier (TJM): 650€ / jour Contexte de la missionDans le cadre du renforcement de son équipe Data Platform, notre client recherche un Lead Data Orchestration Engineer, expert Apache Airflow et AWS MWAA.La plateforme actuelle orchestre des pipelines de données bancaires dans 9 pays européens. Après une première phase de stabilisation, l'objectif est désormais d'optimiser son architecture, de renforcer sa résilience et d'étudier une éventuelle migration vers une infrastructure plus adaptée.Missions et responsabilités1. Optimisation de l'architecture Airflow * Faire évoluer et optimiser la DAG Factory existante. * Migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets). * Améliorer les performances et la scalabilité de la plateforme. * Automatiser la validation des DAGs dans les pipelines CI/CD.2. Sécurisation et résilience * Renforcer l'observabilité : monitoring, dashboards, alerting. * Implémenter une politique de rotation des secrets. * Optimiser le capacity planning, le scaling et la gestion des ressources. * Améliorer l'isolation réseau et les mécanismes de reprise automatique. * Formaliser les procédures de gestion des incidents (runbooks).3. Étude et migration d'infrastructure * Réaliser un benchmark des alternatives à AWS MWAA (ECS/EKS, Astronomer, Dagster, Prefect). * Évaluer les coûts, les performances et les risques associés. * Définir une architecture cible et un plan de migration. * Piloter les POC et la migration progressive si une…
Full text and application on the employer's site.