Amélioration de l’architecture data actuelle
- Changement du partitionnement des données cooked, d’un partitionnement fonctionnel vers un partitionnement technique
- Mise en place d’un ordonnancement avec Nifi à la place de Oozie
- Création des templates NIFI pour le lancement des traitements de collecte, d’Ingestion et des algorithmes
- L’étude de l’utilisation de Drill comme connecteur aux données de la plateforme à partir des autres applications
- Etude et POC pour l’utilisation de Hbase sur la plateforme.
- Faire un POC sur Flume
Amélioration de la performance d’accès à la base de données Hive
- Etude d’utilisation de Drill comme connecteur et accélérateur pour la base Hive
- Elargir l’utilisation de LLAP
POC sur les outils dataviz
- Participation aux ateliers de travail sur le choix de l’outil de dataviz
Architecturer les traitements d’ingestion et d’indexation
- Mise en place d’une architecture pour le lancement des traitements d’ingestion et d’indexation en détectant dynamiquement les nouvelles données
- Rédaction du DAT
Participation à la mise en place des algorithmes
- Orientation de la conception et des développements pour respecter les normes internes et les bonnes pratiques
- Support aux concepteurs et développeurs