HA id : #12714 36 ans Colombes Hauts-de-Seine |
|
|
Dernière expérience |
HEAD OF DATA - Groupe LA POSTE BRANCHE NUMERIQUE, Paris - France
|
Sep 2017 - Mai 2022 |
Dans un environnement d'abondance de données (Big Data), le projet datalake groupe a émergé pour répondre aux besoins d'exploration et d'analyse rapide des données (technologie spark) avec la sécurité nécessaire et les contraintes en matière de gouvernance et privacy. Plusieurs chantiers sont conduits pour mener à bien le projet datalake à usage groupe. Mon intervention consiste accompagner lors du passage du PoC fonctionnel à la vie réelle en environnement de production : Projet Cloudera scale-up : horizontale. * Etude et migration de Cloudera 5.9 vers la version 5.13 Projet Supervision Datalake : InfluxDB. * Développement des pluies de métriques en exploitant les données Web HDFS JMX, Python. * Création des scenario de test fonctionnelles des notebook executé sur Zeppelin et Dataiku Projet Pilotage de la Migration vers le datacenter Groupe : par les mises en production. * Mise en place des procédures pour la migration des données KAFKA, HDFS, Couchbase et ES. * Animation des ateliers best practice de production en environnement DATALAKE . * Sécurisation et migration des données HDFS,Kafka, Elasticsearch entre deux data center. Projet Big Data pour la détection de fraude : de la Banque Postale. * Etudes des normes bancaires française et compliance européenne afin d'établir la capacité de rétention et la durée d'archivage nécessaire des données pour la plateforme cible. * Ajustement des niveaux de sécurité nécessaire (Hardening system Linux et HDFS) et des habilitations via HDFS, Kerberos, ACL Kafka ,SSO et SearchGuard. * Etude de migration Mesos vers la solution groupe Openshift / Kubernetes CentOS 7.2/7.4, CDH Cloudera, Mesos, Docker,Kubernetes,HDFS ,KAFKA, COUCHBASE,trafeak,Git , Jenkins, GitLab, Jira, Microsoft Teams, Python, Node.js, AngularJs, Java, Php, Elasticsearch, Kibana, Filebeat, Jenkins, Shinken,Grafana, InfluxDB, Nginx, Java, Kafka, Hadoop, Spark, Ansible, terraform, Dataiku, Zepplin, Tableau Environnement : 5 cluster Big data, 400 serveurs |
Formation |
|
Langues |
Anglais : Courant Espagnol : Notions |