Utilisation avancée de Talend : code Java et traitement XML

Dans ce tutoriel, nos experts vous expliquent comment créer une routine personnalisée et l'utiliser dans un job Talend. Dans une seconde partie, vous découvrirez comment écrire et lire un fichier XML. Ce tutoriel vous montre des cas d'utilisation avancée de Talend Data Integration avec l'utilisation de code Java et le traitement XML. 

Création d'une routine personnalisée

Nos experts Talend vous d'abord vous expliquent comment écrire une routine et l’utiliser dans un Job.

Tout d'abord, créez un nouveau Job nommé « Routine ».

Dans votre référentiel, dépliez l’onglet Code, faites un clic droit sur Routines puis créez un nouveau dossier nommé « Custom ».

Faites un clic droit sur votre nouveau dossier puis créez une routine.

Appelez-la « MaLibrairie ».

En plus d’écrire le code en Java, vous pouvez voir qu’il y a une syntaxe spécifique pour définir une fonction. Vous avez d’ailleurs un exemple helloExample.

Dépliez le dossier system des Routines et ouvrez le fichier TalendDataGenerator.

Vous retrouvez ici les fonctions de génération de données que nous utilisons dans notre Job Generateur. Les autres fichiers correspondent aux autres librairies disponibles dans le studio et dont nous avons déjà utilisé quelques fonctions.

Copiez-collez la fonction getFirstName() depuis le fichier TalendDataGenerator vers votre fichier MaLibrairie. Attention, copiez-collez également les commentaires présents au-dessus de la fonction.

Renommez-la en getPrenomMasculin et modifiez la liste pour ne laisser que quelques prénoms masculins.

Ajoutez-lui une description (comme pour la fonction helloExample) et changez sa catégorie en MaLibrairie.

Copiez-collez la fonction et renommez-la pour faire de même avec les prénoms féminins.

Ecrivez maintenant une fonction getPrenom prenant en paramètre un type char et appelant la bonne fonction selon le paramètre.

Votre routine finale doit ressembler à ceci.

Rendez-vous dans votre Job Routine.

Ajoutez un composant tJavaFlex. Ce composant nous permet d’écrire du code Java pour générer des données.

Modifiez son schéma pour ajouter une colonne « sexe » de type Character.

Dans ses propriétés vous pouvez voir que l’écriture du code est divisée en 3 parties. Une première partie sert à initialiser nos variables et à démarrer la boucle, la seconde défini le traitement à appliquer pour chaque ligne, tandis que la dernière partie sert à fermer la boucle et éventuellement réaliser des opérations à la fin de celle-ci.

Ajoutez un tJavaRow à la suite du tJavaFlex et liez-le par un lien Main

Nous allons générer des lignes de caractères pour faire appel à notre fonction getPrenom.

Pour cela, remplissez le code du tJavaFlex de cette manière :

A présent, ouvrez les propriétés de votre tJavaRow. Nous avons vu dans les exercices sur les webserviceset l'API Trello que ce composant peut traiter ligne par ligne les données reçues pour éventuellement effectuer un traitement.

Appliquez votre fonction getPrenom en prenant en paramètre le caractère reçu par le tJavaFlex.

Sachant que l’on veut renvoyer une donnée en sortie du tJavaRow (contrairement aux autres fois ou nous stockions juste la ligne dans le contexte), il faut commencer par modifier son schéma pour ajouter une colonne « prenom » de type String.

Ensuite, vous devez définir dans son code que la variable prenom en sortie doit recevoir le résultat de la fonction getPrenom.

Ecrivez donc : output_row.prenom = MaLibrairie.getPrenom(input_row.sexe);

Remarquez que votre fonction s’appelle en passant par votre librairie et il est donc possible d’utiliser l’auto-complétions pour la retrouver facilement.

Enfin, ajoutez un tLogRow pour afficher vos lignes.

Lancez votre Job. La console devrait alors vous afficher vos prénoms en fonction des sexes définis dans la liste de départ.

Traitement d'un fichier XML

Dans cette deuxième partie, nous allons voir comment écrire et lire un fichier XML. 

Créez un nouveau Job nommé « XML ».

Copiez-collez le contenu de votre Job EtatComplet dans ce job (voir la partie sur l'utilisation de jointures multiples dans le tutoriel dédié au composant tMap). Vous pouvez aussi le recréez complètement de façon à avoir vos 3 tables personne, personne_voiture et voiture liés par un tMap et ayant une sortie avec les informations sur les personnes avec leurs voitures.

N’oubliez pas d’ajouter votre contexte de connexion à votre Job.

Pour rappel, voici le contenu du tMap.

Supprimez votre tLogRow pour le remplacer par un tFileOutputXML.

Configurez l’emplacement de création du fichier sur votre poste et précisez que vous souhaitez 'personne' comme Marqueur de ligne.

Lancez votre Job et ouvrez le fichier généré.

Nous retrouvons bien toutes nos lignes de la même façon que lors de l’affichage en console.

Désactivez votre sous-job de génération du fichier XML.

Pour lire un fichier XML, il existe le composant tFileInputXML : ajoutez-le à votre Job.

Dans ses propriétés, sélectionner le chemin jusqu’à votre fichier précédemment créé.

Modifiez son schéma pour ajouter une colonne nommée « document » de type Document.

Définissez '/' pour la Requête XPath boucle pour dire que nous prenons tout le document, puis définissez '.' dans le Mapping pour la colonne document.

Cochez également Obtenir les nœuds.

Pour lire correctement le fichier XML, ajoutez à sa droite un tXMLMap et reliez-le par un Main.

Double cliquez sur ce composant pour l’ouvrir. Son fonctionnement est similaire au tMap.

Observez votre entrée. Pour récupérer les données vous devez faire correspondre le schéma à celui de votre document généré. Vous avez déjà le document général et le nœud root.

Ajoutez donc un sous-élément « personne » pour le faire correspondre à notre document.

Ajoutez ensuite les sous-éléments id, nom, prenom, immat, marque et couleur dans personne.

Nous avons tous nos champs.

Il reste à définir que l’élément répété dans le document est le nœud personne. Faites un clic droit sur personne et choisissez As loop element.

La boucle est ainsi définie sur le nœud personne.

Créez une nouvelle sortie et faites glisser toutes vos propriétés.

Fermez le tXMLMap en cliquant sur OK et ajoutez un tLogRow pour visualiser les lignes.

Lancez votre Job et vérifiez dans la console que vos données sont bien lues.

Si nous avions voulu recréer un XML en sortie, il aurait suffi de redéfinir une colonne de type Document et de lui ajouter des éléments comme nous l’avons fait pour l’entrée.

Sachez également qu’il n’est pas possible nativement dans cette version du studio de créer des documents XML avec des boucles imbriquées (par exemple regrouper les voitures dans les personnes).