Data engineer - GCP BigQuery Spark Scala H/F

Réf. 667403 - publié le 17 mai 2024

Informations générales

Missions

Nexoris vous propose une offre d'emploi dans les domaines Informatique -Télécom, SSII à Paris.

Nexoris est un cabinet de conseil dédié depuis 2010 aux consultants Indépendants du secteur IT & Financier intervenant dans les transformations métiers et SI de nos clients.

Notre client bancaire recherche un Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS.

Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données.

Tâches et activités de la mission
- Récupérer les données issues de sources externes
- Utiliser la puissance du datalake pour le traitement des données
- Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels
- Mettre en œuvre la chaîne d'ingestion, validation, croisement et déversement des données dans le datalake
- Développer en respectant les règles d’architecture définies
- Développer et documenter les user stories avec l’assistance du Product Owner
- Produire les scripts de déploiement
- Prioriser les corrections des anomalies
- Assister les équipes d’exploitation
- Participer à la mise en œuvre de la chaîne de delivery continue
- Automatiser les tests fonctionnels

Livrables
- Agrégats de données journaliers, hebdomadaires et mensuels
- Scripts de déploiement
- Documentation des user stories

Profil

Développeur Data / Data Engineer-5 ans dans des rôles similaires

- Plateforme et environnement GCP (indispensable)
- Environnement GKE
- Développement d'API REST
- Stockage : HDFS / GCS
- Traitement : Maîtrise de l’écosystème Spark / Kafka / Scala
- Planification : Airflow / Composer
- Méthodologies : Scrum, Kanban, Git
- DWH : SQL, BigQuery, BigTable
- Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build

Expérience en développement dans un environnement Scrum / Kanban
Bonnes compétences relationnelles et sens de la communication
Sensibilité et information sur les évolutions technologiques des piles logicielles utilisées

Bon niveau d'Anglais.

Longue mission basée à Paris.
2 jours de TT minimum proposés / semaine.

Postuler

Nom du recruteur : Nexoris