Descripcion del puesto
En tant que Senior Data Engineer chez CRH Talento de IT, vous rejoindrez une équipe dynamique basée au Mexique et serez responsable de la conception, du développement et de la mise en production de pipelines de données end‑to‑end, tant en batch qu’en near‑real‑time, sur la plateforme Databricks. Vous travaillerez sur l’implémentation d’une architecture Lakehouse structurée en couches bronze, silver et gold, garantissant la qualité, la disponibilité et la fiabilité des données pour les équipes d’Analytics, de Business Intelligence et de Data Science.
Vos principales missions incluront :
- Concevoir et optimiser des pipelines de données robustes, automatisés et scalables, incluant l’ingestion, la transformation, la validation et la publication des jeux de données.
- Mettre en place des mécanismes de monitoring, d’alerte et de détection d’anomalies afin d’assurer une surveillance proactive des flux de données.
- Optimiser les jobs Spark/Databricks pour réduire les coûts de traitement cloud tout en améliorant les performances.
- Documenter, certifier et publier les datasets afin de les rendre consommables par les différents acteurs métiers.
- Gérer les incidents critiques en production, proposer des actions correctives et préventives, et assurer la continuité du service.
- Promouvoir les bonnes pratiques de développement, de tests, de documentation et de déploiement, et définir les standards techniques de l’équipe.
- Collaborer étroitement avec les data scientists, analystes, ingénieurs ML et chefs de projet pour soutenir les initiatives d’intelligence artificielle et d’analyse avancée.
Profil recherché :
- Diplôme universitaire en ingénierie, informatique, mathématiques, actuariat, économie, finance ou domaine connexe.
- Minimum 5 ans d’expérience confirmée en ingénierie des données, avec une expertise avérée sur Databricks, Spark et les architectures Lakehouse.
- Maîtrise des langages de programmation Python/Scala, SQL et des outils d’orchestration (Airflow, Azure Data Factory, etc.).
- Solides connaissances en modélisation de données, gestion de métadonnées et gouvernance des données.
- Expérience en optimisation de coûts cloud (AWS, Azure ou GCP) et en mise en place de solutions de monitoring (Prometheus, Grafana, Datadog).
- Capacité à travailler en mode agile, à communiquer clairement avec des équipes multidisciplinaires et à documenter les processus de façon exhaustive.
- Anglais professionnel requis ; l’espagnol est un atout.
Nous offrons un environnement de travail stimulant, des projets à forte valeur ajoutée et la possibilité d’évoluer au sein d’une entreprise en pleine croissance. Rejoignez‑nous pour contribuer à la transformation digitale de nos clients et à l’innovation data‑driven.
