Utilisation des métadonnées du référentiel Talend

Cet article s'inscrit dans une suite de tutoriels pour découvrir les principales fonctionnalités du studio Talend Data Intégration. Il est précédé de l'article sur la création d'un job Talend simple et la génération de contenu dans une base de données, l'extraction et le traitement des données et la création de jointures. Dans ce nouveau tutoriel, vous apprendrez à utiliser les métadonnées du référentiel Talend. 

Création et utilisation des métadonnées

L'objectif de ce tutoriel est de vous expliquer comment créer et utiliser des métadonnées pour un CVS et une base de données. 

Pour commencer, créez un nouveau job nommé « Metadata ».

Depuis votre Job « Générateur » (cf tutoriels précédents) , copiez (sans les liaisons) le composant tFileOutputDelimited écrivant dans le fichier personne.csv ainsi que le composant tDBOutput écrivant dans la table personne et collez les dans le nouveau job.

Rendez-vous sur le composant tFileOutputDelimited qui écrit le fichier personnes.csv.

Dans ses propriétés, cliquez sur l’icône de sauvegarde à côté du champ « Type de propriété ».

Dans la fenêtre qui s’ouvre ensuite, saisissez « Personne » dans le nom et cliquez sur suivant.

Vérifiez que le chemin de votre fichier est correct puis cliquez à nouveau sur suivant.

Vous apercevez alors le détail de votre fichier.

Les informations devraient être exactes, dans le cas contraire modifiez les informations (encodage, séparateur, etc.).

Dans notre cas, le fichier comporte des en-têtes, cochez donc la case « Définir les lignes d’en-tête comme nom de colonne » puis cliquez sur « Rafraichir l’aperçu » pour visualiser vos données.

Cliquez sur suivant.

Sur la nouvelle fenêtre vous pouvez voir que le schéma de votre fichier a été automatiquement détecté. Vous pouvez éventuellement corriger le type de données et nom des colonnes si nécessaire.

Modifiez le nom du schéma et appelez le « Schema_personne ».

Supprimez les valeurs contenues dans la colonne « Length » car si les données de notre fichier varient, ces valeurs pourraient être inexactes.

Cliquez ensuite sur « Finish » et acceptez de « récupérer le schéma en entrée » lorsque l’on vous le propose.

Observez à nouveau les propriétés de votre composant, le type de propriété est à présent en référentiel et utilise votre configuration pour les paramètres du fichier.

Rendez-vous dans les métadonnées de votre référentiel et dépliez l’onglet « Fichier délimité ».

Vous pouvez voir que votre métadonnée « Personne » ainsi que son schéma sont présents.

Ces métadonnées permettent de réutiliser rapidement l’élément en cas de besoin.

Dans les métadonnées, cliquez sur le fichier « Personne » et faites-le glisser dans votre job puis relâchez la souris.

Vous voyez qu’à ce moment-là, le logiciel vous propose tous les composants capables d’utiliser votre métadonnée.

Choisissez le tFileInputDelimited. Le composant apparaît alors.

Regardez ses propriétés et voyez que tout est déjà configuré tel que vous l’avez enregistré auparavant.

D’ailleurs il est bien noté dans le « Type de propriété » et le « Schéma » que les informations proviennent du référentiel.

Sachez qu’il est également possible d'ajouter d'abord un composant puis de sélectionner « Référentiel » pour le type de composant ou le schéma et d’ensuite sélectionner la métadonnée voulue grâce aux « … ».

A présent nous allons effectuer la même démarche pour notre composant de base de données.

Ouvrez les propriétés du tDBOutput de la table personne et cliquez sur l’icône de sauvegarde.

Remplissez « BDD_Talend » comme nom puis cliquez sur suivant.

Vous retrouvez tous vos paramètres de connexion.

Cliquez sur « Finish » puis rendez-vous dans les métadonnées pour voir que votre connexion est bien présente.

De la même façon que pour le fichier, il est possible de faire glisser la connexion dans le job pour avoir le choix du composant à utiliser.

Nous voulons cependant aller un peu plus loin, car il nous manque la possibilité d’avoir directement le schéma de la table personne en plus de la connexion.

Pour cela, dans les métadonnées faîtes un clic droit sur BDD_Talend puis « Récupérer le schéma ».

Dans la fenêtre qui s’ouvre, cliquez sur suivant. Si votre connexion à la base de données fonctionne, vos tables et vues seront automatiquement détectées et il suffira alors de choisir les schémas à récupérer dans le logiciel.

Cochez la case talend (notre base de données) pour récupérer les schémas de nos 3 tables puis cliquez sur suivant.

Dans la fenêtre suivante vous pouvez visualiser les schémas récupérés et vous assurer de leur conformité. Cliquez ensuite sur « Finish ».

Vos schémas apparaissent désormais dans les métadonnées.

Sélectionnez le schéma personne depuis les métadonnées, faîtes le glisser dans le job et sélectionnez tDBInput comme choix de composant.

Observez ses propriétés.

Non seulement la connexion est automatiquement saisie, mais nous avons aussi le nom de la table et son schéma.

Nous sommes passés par l’enregistrement de paramètres existants pour créer nos métadonnées, sachez qu’il est également possible de créer des métadonnées de toute pièce en faisant un clic droit sur le type souhaité puis en remplissant les champs tels que nous l’avons vu.

Supprimez vos 2 anciens composants de sortie pour ne garder que les 2 nouveaux composants d’entrée puis ajoutez un tLogRow à droite de chacun d’eux et liez-les avec un flux Main.

Lancez votre job et vérifiez dans la console que vos données s’affichent.

Sauvegardez et fermez votre job.