Mercri d'activer JavaScript Toturiel Talend pour l'utilisation des métadonnées du référentiel

Utilisation des métadonnées du référentiel Talend

Cet article s'inscrit dans une suite de tutoriels pour découvrir les principales fonctionnalités du studio Talend Data Intégration. Il est précédé de l'article sur la création d'un job Talend simple et la génération de contenu dans une base de données, l'extraction et le traitement des données et la création de jointures. Dans ce nouveau tutoriel, vous apprendrez à utiliser les métadonnées du référentiel Talend. 




Création et utilisation des métadonnées

 

L'objectif de ce tutoriel est de vous expliquer comment créer et utiliser des métadonnées pour un CVS et une base de données. 

Pour commencer, créez un nouveau job nommé « Metadata ».

Depuis votre Job « Générateur » (cf tutoriels précédents) , copiez (sans les liaisons) le composant tFileOutputDelimited écrivant dans le fichier personne.csv ainsi que le composant tDBOutput écrivant dans la table personne et collez les dans le nouveau job.


Copie du composant tFileOutputDelimited et du composant tDBOutput dans un nouveau job Talend

Rendez-vous sur le composant tFileOutputDelimited qui écrit le fichier personnes.csv.


Aperçu du composant le composant tFileOutputDelimited dans le studio Talend

Dans ses propriétés, cliquez sur l’icône de sauvegarde à côté du champ « Type de propriété ».

Dans la fenêtre qui s’ouvre ensuite, saisissez « Personne » dans le nom et cliquez sur suivant.

Vérifiez que le chemin de votre fichier est correct puis cliquez à nouveau sur suivant.

Vous apercevez alors le détail de votre fichier.


Apercu des propriétés du composant Aperçu du composant Talend tFileOutputDelimited

Les informations devraient être exactes, dans le cas contraire modifiez les informations (encodage, séparateur, etc.).

Dans notre cas, le fichier comporte des en-têtes, cochez donc la case « Définir les lignes d’en-tête comme nom de colonne » puis cliquez sur « Rafraichir l’aperçu » pour visualiser vos données.

Cliquez sur suivant.

Sur la nouvelle fenêtre vous pouvez voir que le schéma de votre fichier a été automatiquement détecté. Vous pouvez éventuellement corriger le type de données et nom des colonnes si nécessaire.

Modifiez le nom du schéma et appelez le « Schema_personne ».


Modifier le nom du schéma de fichier sous Talend Data Integration

Supprimez les valeurs contenues dans la colonne « Length » car si les données de notre fichier varient, ces valeurs pourraient être inexactes.

Cliquez ensuite sur « Finish » et acceptez de « récupérer le schéma en entrée » lorsque l’on vous le propose.

Observez à nouveau les propriétés de votre composant, le type de propriété est à présent en référentiel et utilise votre configuration pour les paramètres du fichier.


Type de propriété en référentiel dans le studio Talend Data Integration

Rendez-vous dans les métadonnées de votre référentiel et dépliez l’onglet « Fichier délimité ».

Vous pouvez voir que votre métadonnée « Personne » ainsi que son schéma sont présents.


Apercu des métadonnées du référentiel dans le studio Talend

Ces métadonnées permettent de réutiliser rapidement l’élément en cas de besoin.

Dans les métadonnées, cliquez sur le fichier « Personne » et faites-le glisser dans votre job puis relâchez la souris.

Vous voyez qu’à ce moment-là, le logiciel vous propose tous les composants capables d’utiliser votre métadonnée.


Utilisation des métadonnées par les composants du studio Talend

Choisissez le tFileInputDelimited. Le composant apparaît alors.

Regardez ses propriétés et voyez que tout est déjà configuré tel que vous l’avez enregistré auparavant.


Apercu des propriétés du composant tFileInputDelimited

D’ailleurs il est bien noté dans le « Type de propriété » et le « Schéma » que les informations proviennent du référentiel.

Sachez qu’il est également possible d'ajouter d'abord un composant puis de sélectionner « Référentiel » pour le type de composant ou le schéma et d’ensuite sélectionner la métadonnée voulue grâce aux « … ».

 

A présent nous allons effectuer la même démarche pour notre composant de base de données.

Ouvrez les propriétés du tDBOutput de la table personne et cliquez sur l’icône de sauvegarde.


Aperçu des propriétés du composant tDBOutput

Remplissez « BDD_Talend » comme nom puis cliquez sur suivant.


Connexion à une nouvelle base de données dans le studio Talend

Vous retrouvez tous vos paramètres de connexion.

Cliquez sur « Finish » puis rendez-vous dans les métadonnées pour voir que votre connexion est bien présente.

De la même façon que pour le fichier, il est possible de faire glisser la connexion dans le job pour avoir le choix du composant à utiliser.


Réutilisation des métadonnées pour la connexion à une base de données

Nous voulons cependant aller un peu plus loin, car il nous manque la possibilité d’avoir directement le schéma de la table personne en plus de la connexion.

Pour cela, dans les métadonnées faîtes un clic droit sur BDD_Talend puis « Récupérer le schéma ».


Récupérer d'un schéma depuis les métadonnées Talend

Dans la fenêtre qui s’ouvre, cliquez sur suivant. Si votre connexion à la base de données fonctionne, vos tables et vues seront automatiquement détectées et il suffira alors de choisir les schémas à récupérer dans le logiciel.

Cochez la case talend (notre base de données) pour récupérer les schémas de nos 3 tables puis cliquez sur suivant.

 


Récupération des schémas dans le studio Talend

Dans la fenêtre suivante vous pouvez visualiser les schémas récupérés et vous assurer de leur conformité. Cliquez ensuite sur « Finish ».

Vos schémas apparaissent désormais dans les métadonnées.

  


Apparition des schémas créés dans les métadonnées Talend

Sélectionnez le schéma personne depuis les métadonnées, faîtes le glisser dans le job et sélectionnez tDBInput comme choix de composant.

Observez ses propriétés.


Propriétés du composant tDBInput dans le studio Talend

Non seulement la connexion est automatiquement saisie, mais nous avons aussi le nom de la table et son schéma.

Nous sommes passés par l’enregistrement de paramètres existants pour créer nos métadonnées, sachez qu’il est également possible de créer des métadonnées de toute pièce en faisant un clic droit sur le type souhaité puis en remplissant les champs tels que nous l’avons vu.


Connexion automatique à la base de données et récupération automatique du nom de ma table et son schéma

Supprimez vos 2 anciens composants de sortie pour ne garder que les 2 nouveaux composants d’entrée puis ajoutez un tLogRow à droite de chacun d’eux et liez-les avec un flux Main.


Manipulation de plusieurs composants dans le studio Talend Data Integration

Lancez votre job et vérifiez dans la console que vos données s’affichent.

Sauvegardez et fermez votre job.


Découvrir le studio Talend : les 2 tutoriels précédant


Extraction et traitement des données et création de jointures sous Talend

Débuter sur le studio Talend : Génération de contenu dans une base de données, extraction et traitement des données et création de jointures

Découvrir

Création et exécution d’un job simple Talend et génération dans un fichier

Débuter sur le studio Talend : Création et exécution d’un job Talend simple et génération dans un fichier

Découvrir