Utilisation des contextes dans le studio Talend

Cet article est le 4ème volet d'une suite de tutoriels dédiés aux débutants sur le studio Talend Data Intégration. Dans ce tutoriel, nos experts Talend vous expliquent comment utiliser correctement les contextes. Vous allez apprendre à créer et utiliser une variable de contexte dans un job, ajouter des contextes et utiliser les groupes de contextes. 

Utilisation d'une variable de contexte dans un job

Dans cette première partie du tutoriel, nos experts Talend vont vous expliquer comment utiliser une variable de contexte dans un job. L'objectif est d'afficher un message différent en fonction du contexte.

Pour cela, ouvrez le job 'premier job' (cf article Création et exécution d'un job simple).

Ouvrez l'onglet 'Contexts'.

Cliquez sur le « + » en bas de page (et pas celui de droite) pour créer une nouvelle variable de contexte. Appelez la « message » et donnez-lui la valeur « Mon message ».

Nous laissons la valeur par défaut pour le type qui est String (chaîne de caractères).

Ouvrez les propriétés du tMsgBox et remplacez le message à afficher par context.message. Cela indique d’utiliser la variable message de notre contexte.

Vous pouvez également taper context. puis faire « Ctrl + espace » pour afficher les variables de contexte disponibles.

Exécutez le job et voyez que votre message défini en variable s’affiche.

Cochez la case « Prompt » à côté de la variable.

Relancez le job. Vous êtes alors invité à saisir la valeur de la variable.

Ajout de contextes 

Nous allons maintenant voir comment ajouter un nouveau contexte et exécuter le job en choisissant le contexte.

Cliquez sur le « + » en haut à droite de l’onglet de contexte.

Cliquez sur « Nouveau » et ajoutez un contexte nommé « PROD ».

Votre contexte apparaît en dessous de celui par défaut. Ici nous garderons le contexte par défaut mais une bonne pratique consiste également à renommer le contexte par défaut (par exemple en « DEV ») ou de le supprimer.

Cliquez sur « OK » pour fermer la fenêtre.

Observez votre onglet de contextes, la colonne PROD a été ajoutée.

Décochez les cases de Prompt nous n’en aurons plus besoin.

Modifiez la valeur du message du contexte PROD, par exemple « Mon message de production ».

Dans l’onglet d’exécution du Job, à droite, vous pouvez choisir dans quel contexte exécuter votre Job.

Choisissez PROD. Vous avez d’ailleurs l’affichage des valeurs des variables spécifiques au contexte choisi.

Exécutez le Job et observez le résultat.

Le message est bien celui du contexte de production. Vous pouvez ainsi jongler entre les contextes pour exécuter vos Jobs avec différents paramètres.

Ajouter et utiliser des groupes de contexte

Vous savez maintenant utiliser une variable de contexte dans un Job et Ajouter de nouveaux contextes. A présent, nous allons voir comment créer des groupes de contextes dans le référentiel et les utiliser dans un Job.

Toujours sur votre « PremierJob », faîtes un clic droit sur votre variable de contexte message, puis cliquez sur « Ajouter au contexte du référentiel.

Une fenêtre s’ouvre avec vos groupes de contextes existants. Nous n’avons pour le moment aucun groupe, cochez donc la case pour créer un nouveau groupe et appelez-le « Variables ».

Observez votre onglet de contextes, vous pouvez voir que votre variable est désormais contenue dans le groupe Variables.

Double-cliquez sur la variable message pour l’éditer. Vous pouvez voir que la fenêtre d’édition du groupe de contexte s’ouvre. Vous retrouvez d’ailleurs les mêmes propriétés que pour un Job (Nom, Objectif, Description, etc.).

Cliquez sur suivant pour accéder à vos variables.

Ajoutez une variable nommée « nb_personnes » de type Integer et donnez-lui la valeur 100 par défaut et 1000 pour la PROD.

Modifiez également le nom de la variable message en le_message.

Cliquez sur Finish pour valider. Lisez attentivement la proposition qui vous est faîte par Talend.

Etant donné que nous avons renommé la variable message, nous avons le choix de renommer cette variable dans tous les Jobs où elle est utilisée ou bien de passer cette variable en mode « Built-in » c’est-à-dire de la rendre spécifique au Job (donc ne plus utiliser le groupe de contextes) en conservant l’ancien nom.

Nous souhaitons renommer la variable partout, sélectionnez donc « Oui ».

Une nouvelle fenêtre s’ouvre récapitulant les Jobs impactés par cette modification.

Laissez le Job coché et cliquez sur OK.

Observez à nouveau votre onglet de contextes.

La variable a bien été renommée.

Il nous manque cependant la variable nb_personnes que nous avons ajouté. En effet les variables crées par la suite dans le groupe de contextes ne sont pas immédiatement disponibles dans les Jobs utilisant le groupe.

Pour cela, cliquez sur l’icône de gestion des groupes de contexte en bas à gauche (à droite des flèches).

La fenêtre de gestion s’ouvre.

Vous pouvez voir que la case nb_personne n’est pas cochée. Cochez-la et cliquez sur OK.

Observez à nouveau vos contextes. La variable est cette fois-ci bien présente.

Notre but est maintenant de réutiliser ce groupe de contextes dans un autre Job.

Sauvegardez et fermez ce Job, puis ouvrez le Job Générateur (cf article 'Créer et exécuter un job Talend simple').

Nous allons inclure notre groupe de contextes précédemment créé.

Cliquez sur l’icône de gestion des groupes de contextes comme vu juste au-dessus.

Sélectionnez le groupe Variables et cliquez sur OK.

Sur la fenêtre suivante, recochez Variables pour confirmer que vous souhaitez ajouter ce groupe encore inexistant sur le Job puis cliquez sur OK.

Observez que le groupe a bien été ajouté dans l’onglet Contexts.

Cependant remarquez que notre contexte PROD n’est pas présent par défaut, il faut l’ajouter manuellement.

Cliquez sur le « + » à droite, puis cliquez sur Nouveau et remplissez PROD comme nom de contexte comme nous avons pu le faire précédemment.

Attention, pour utiliser un contexte déjà existant, il est impératif d’utiliser exactement le même nom (sensible à la casse) sinon cela sera considéré comme un autre contexte et nous ne retrouverons pas les bonnes valeurs.

Cliquez sur OK puis à nouveau sur OK lors de la détection des mises à jour. Vos valeurs de PROD ont bien été récupérées.

Ouvrez le composant tRowGenerator générant les personnes en double cliquant dessus.

Nous allons utiliser notre variable de contexte pour choisir le nombre de lignes à générer. Pour cela modifiez la valeur du champ par notre variable de contexte à savoir context.nb_personnes.

Cliquez sur OK puis modifiez également la génération de propriétaires pour prendre en compte votre nombre dynamique de personnes.

Remplacez votre « 105 » dans la valeur max du nombre d’id par context.nb_personnes + 5. Le « +5 » représentant obligatoirement des personnes que nous n’avons donc pas dans notre table personne.

Vous remarquerez que la variable étant de type Integer il est possible d’effectuer des calculs avec celle-ci.

Lancez votre Job en utilisant le contexte par défaut.

A priori le processus devrait être absolument identique à ce que vous aviez jusqu’à présent.

Nous allons à présent contextualiser notre base de données.

Rendez-vous dans les métadonnées de votre référentiel et faîtes un clic droit sur BDD_Talend puis sélectionnez « Editer une connexion ».

Cliquez sur suivant.

Sur la fenêtre récapitulant vos informations de connexion, cliquez sur « Exporter en tant que contexte ».

Il est possible d’ajouter ces valeurs à un contexte existant, mais dans notre cas nous souhaitons dédier un groupe uniquement à la base de données.

Cochez donc « Créer un nouveau contexte dans le référentiel » et cliquez sur suivant.

Vous pouvez laisser le nom BDD_Talend par défaut.

En cliquant sur suivant vous aurez un aperçu des variables créées et la possibilité d’en ajouter d’autres mais ce n’est pas notre cas. Cliquez sur Finish.

Vous pouvez à présent voir que votre connexion utilise maintenant votre groupe de contexte pour remplir ses paramètres.

Cliquer sur « Propager les modifications ». A priori seul le Job Metadata est impacté puisque rappelez-vous nous avions utilisé les métadonnées de connexion dans celui-ci.

Cliquez sur OK pour valider puis sur Oui lorsque l’on vous demande d’ajouter les paramètres de contexte au Job.

Réouvrez votre Job Metadata et regardez l’onglet Contexts.

Le groupe de contextes a été ajouté.

Observez à présent les propriétés de votre tDBInput personne.

Les paramètres utilisent automatiquement les variables de contextes définies.

Reprenez votre Job Generateur.

Cliquez sur l’icône de gestion des contextes et ajoutez votre nouveau contexte BDD_Talend au Job.

Cliquez sur OK.

Observez vos contextes, nous retrouvons notre groupe avec toutes ses variables.

A présent, double-cliquez sur le groupe BDD_Talend (ou sur une des variables qui le composent) pour accéder à sa modification.

Cliquez sur suivant pour accéder à la liste de ses variables puis grâce au « + » à droite, ajoutez le contexte PROD de la même manière que précédemment.

Les valeurs du contexte par défaut sont recopiées dans ce nouveau contexte.

Changez maintenant la valeur du nom de la base de données du contexte de production en talend_production.

Nous pourrions éventuellement changer les autres paramètres si la base était hébergée ailleurs ou si les identifiants étaient différents.

Cliquez sur Finish et acceptez de propager les modifications.

Vous pouvez remarquer que le nom de votre base a été modifié pour le contexte de production.

Nous allons enfin pouvoir utiliser notre contexte.

Rendez-vous dans le composant tDBOutput de la table personne et pour le champ « Type de propriété » choisissez « Référentiel » puis grâce aux « … » à coté, choisissez votre BDD_Talend.

Vos propriétés utilisent désormais vos variables de contexte. Il aurait également été possible de remplir un à un chaque paramètre en marquant à chaque fois context.[nom de la variable].

Effectuez la même manipulation pour vos 2 autres tables.

Lancez maintenant votre Job avec le contexte PROD.

Observez tout d’abord le sous-job de génération de personnes.

Comme vous pouvez le voir cette fois-ci nous avons 1000 lignes créées et non plus 100.

Rendez-vous ensuite dans votre gestionnaire de base de données et observez votre base talend_production, jusqu’à présent inutilisée.

Nos 3 tables ont bien été créées.

De même lorsque vous souhaiterez lire les données de votre base, il suffira de choisir un contexte ou l’autre lors de l’exécution pour choisir la bonne source.

Les contextes auraient par exemple également pu vous servir pour choisir l’emplacement de création de vos fichiers.