Déploiement Talend

Déploiement de l'ETL Talend : la démarche

L'ETL Talend est un outil très performant pour synchroniser des données sur des sources hétérogènes, par exemple différentes applications au sein du SILe SI désigne le système d'informations d'une organisation. qui souhaitent partager un certain nombre de données. TalendTalend est un logiciel ETL permettant de faire de l'Extract, de la Transformation et du chargement (Load) de données. est aussi souvent utilisé pour transférer de gros volumes de données en vue d'alimenter un entrepôt de données pouvant servir de support à une application de reporting ou de Data Mining.

Afin de déployer Talend dans son entreprise, il convient de respecter un certain nombre d'étapes. 

Phase de cadrage du déploiement Talend

La phase de cadrage s’appuie sur une série d’ateliers ayant pour but de modéliser les besoins des métiers ainsi que leurs impacts éventuels au niveau du système d’information.

Les ateliers portent sur :

• La description des processus à mettre en place dans la solution et de ceux déjà existants : dans la phase de nettoyage des données (Data Cleaning), on prendra soin de décrire les données existantes, la qualité de ces données, les transformations à opérer sur celles-ci.
• L’analyse des solutions logicielles et l’architecture existante pour chaque application qui intéragit
• Les méthodologies de gestion de projet à utiliser : méthode de communication, templates de spécifications, méthodes et fréquences de reporting, méthodologie employée, etc.
• L’organisation de l’accompagnement au changement : analyse de l’impact de la solution sur l’entreprise, le nombre de personnes et de processus concernés.
• Mesurer les impacts sur l'architecture existante des nouveaux flux à l'intérieur du SI.

Les ateliers demandent la mobilisation du plusieurs types d’acteurs, en fonction des sujets abordés :

• Experts métiers
• Architectes système d’information
• Responsables du référentiel données
• Chef de projet

A la fin de cette phase, les documents suivants sont restitués:

• Comptes rendus d’ateliers (aspects techniques et fonctionnels)
• Matrice des besoins
• Maquette des solutions, des interfaces et des jobs
• Plan projet
• Planning détaillé du projet

Conception / Spécification TALEND

La phase de conception et de spécification des jobs et interface TALEND permet de définir de manière précise chacun des points importants concernant la réalisation et le développement des Jobs Talend.

A l’issue de cette phase, sont fournis les documents suivants :

• Spécification générale des solutions (y compris Data cleaning et Data quality).
• Spécifications fonctionnelles détaillées des jobs et des interfaces.
• Plans de test (unitaire, intégration, recette).

Développement des Jobs Talend

Il s’agit de la réalisation des jobs. Les développements TALEND s’appuient sur les spécifications fonctionnelles détaillées qui décrivent les processus à mettre en oeuvre.

Etapes de cette phase : 

A la fin des développements, les documents suivants seront également fournis :

• Sources des solutions Jobs TALEND.
• Cahiers de recette et de tests.
• Documentation du processus de mise en recette / production.

Intégration et tests Talend

A chaque version des développements, une intégration sur un environnement de test a lieu afin de :

• Valider le processus de livraison
• Mettre à disposition la solution aux utilisateurs clés afin qu’ils puissent la tester
• Valider la cohérence des données en entrée et en sortie de chaque flux
• Valider les développements de jobs Talend
• Valider la performance des jobs Talend
• Simuler une véritable charge et un véritable déploiement pour valider les hypothèses de montée en charge

Durant cette phase, les utilisateurs clés (par exemple, les responsables des applications) émettent des retours sur les éléments à modifier. Les spécifications doivent alors être modifiées en conséquence. Après validation de ces modifications, les développements sont initiés.

Documents à fournir à la fin :

• PV de recette

Déploiement Talend

C’est le déploiement de la solution sur l’environnement de production. Il s’agit alors d’accompagner l’équipe en charge de l’exploitation pour réaliser ce déploiement.

Cette phase nécessite éventuellement un support important durant les premiers jours de démarrage afin de prévenir tout bug.

Accompagnement au changement

Il s’agit de la formation des utilisateurs finaux à la solution mais aussi de l’assistance au démarrage et à l’utilisation sur les premiers jours.

Déploiement de Talend : Les indispensables

• Expertiser les jobs Talend pour s'assurer de la qualité de la réalisation (souvent cause de problèmes lors de la mise en production)
• Vérifier si l'outil Talend a été utilisé correctement et en respectant la finalité de TALEND
• Mesurer les impacts des jobs Talend sur le SI, on peut citer par exemple:
  • Performance unitaire des jobs Talend
  • Saturation réseau
  • Temps de traitement
  • Impacts sur les applications existantes
  • ...
• Simuler une véritable mise en production
• Accompagner les responsables de la maintenance à la mise en production des jobs Talend