Création et exécution d’un job Talend simple et génération dans un fichier

Si vous débutez sur le studio Talend Data Integration cette série de tutoriels va vous être très utile. Dans ce premier tutoriel Talend, nos expert vous guident pour la création de votre premier Business Model. Ensuite, ils vous expliquent les étapes pour la création et l'exécution d'un job Talend. Vous apprendrez également à générer un fichier CSV. 

Création d'un Business Model

Dans cette première partie du tuoriel Talend, notre équipe va vous apprendre à créer un Business Model représentant une interaction simple entre un acteur et une source de données.

Pour créer un Business Model dans le studio Talend, faîtes un clic droit sur « Business Model » dans le référentiel, puis cliquez sur « Créer un Business Model ».

Donnez un nom à votre modèle puis cliquez sur Finish.

Cliquez sur l’élément graphique à ajouter depuis la palette puis cliquer dans le Designer pour ajouter l’élément.

Création d'un premier job

Nos experts Talend vont maintenant vous montrer comment créer un premier job affichant un message lors de l’exécution avec tMsgBox puis incrémenter sa version.

Créez un Job nommé « PremierJob » en faisant un clic droit sur « Jobs » dans le référentiel puis en cliquant sur « Créer un Job ».

Une fois le job créé, cherchez le composant tMsgBox dans la palette et déposez-le sur la grille. Il est également possible de faire apparaître le composant en se positionnant sur la grille et en tapant les premières lettre de son nom.

Modifiez ses propriétés depuis l’onglet « Composant » pour faire afficher un texte.

Attention : les chaines de caractères doivent être entre quottes pour être interprétées comme du texte (codification Java).

Exécutez le job Talend et assurez-vous de voir apparaître une fenêtre avec votre message.

Sauvegardez le job Talend (« Ctrl » + « S ») et fermez-le.

Rendez-vous dans ses propriétés en faisant un clic droit sur le nom du Job puis « Editer les propriétés ».

Cliquez sur le « m » en face de Version pour incrémenter sa version mineure, puis cliquez sur Finish.

Création de fichiers CSV

Aprés la création d'un Business Model et d'un Job notre équipe vous explique maintenant comment comprendre les schémas, les flux et générer un fichier personnes.csv ainsi qu’un fichier voitures.csv

Créez d'abrord un nouveau Job nommé « Generateur ».

Ajoutez un tFixedFlowInput puis cliquez sur « Modifier le schéma » dans l’onglet « Composant » pour accéder à son schéma.

Définissez une colonne de type String et une colonne de type Integer.

Cliquez sur OK.

Dans le « Composant », définissez le nombre de lignes à 3.

Ajoutez un composant tLogRow à côté du premier composant, puis reliez le tFixedFlowInput au tLogRow via un flux « Main » en faisant un clic droit sur le tFixedFlowInput puis « Row » puis « Main ».

Faîtes glisser le lien jusqu’au tLogRow puis cliquer sur celui-ci pour valider la liaison. Il est également possible de réaliser cette action en sélectionnant le premier composant et en faisant glisser le « O » de celui-ci jusqu’au 2^ème composant.

Sur le tLogRow, choisissez un affichage en « Tableau » pour plus de lisibilité.

Exécutez le job et observez la console, vous y retrouvez les informations définies.

Versionnez le Job.

Supprimez le tFixedFlowInput et ajoutez à la place un tRowGenerator.

Modifiez son schéma pour avoir les colonnes suivantes :

- Id : Integer (Clé)

- Nom : String / Lenght : 100

- Prenom : String / Lenght : 100

- Ville : String / Lenght : 100

- Date_de_naissance : Date

- Actif : boolean

Cliquez ensuite sur « Editeur RowGenerator » ou double-cliquez sur le composant pour ouvrir une nouvelle fenêtre.

Utilisez les fonctions de génération de Talend pour générer des données. Pour cela cliquez dans le champ « Fonctions » en face de chaque colonne et appliquez respectivement les fonctions suivantes :

- Id : Numeric.sequence

Paramètres :

• Sequence_identifier : 'personne'
• Start_value : 1
• Step : 1

- Nom : TalendDataGenerator.getLastName

- Prenom : TalendDataGenerator.getFirstName

- Ville : TalendDataGenerator.getUsCity

- Date_de_naissance : TalendDate.getRandomDate

Paramètres :

• Min : « 1930-01-01 »
• Max : « 2019-01-01 »

- Actif : …

Paramètres :

• Valeur : true, false

Définissez le nombre de lignes générées sur 100, puis cliquez sur « Ok » pour tout appliquer.

Reliez le tRowGenerator au tLogRow et exécutez le Job pour visualiser les données générées.

A la suite du tLogRow ajouter un composant tFileOutputDelimited. Puis de la même façon que précédemment, créez un flux « Main » partant du tLogRow pour rejoindre le tFileOutputDelimited.

Éditez le composant tFileOutputDelimited et vérifiez le schéma :

Le composant a automatiquement récupéré le schéma en sortie du tLogRow.

Lorsque vous reliez 2 composants, il peut arriver qu’une fenêtre apparaisse en vous proposant de récupérer le schéma.

Dans le tFileOutputDelimited, choisissez l’emplacement du fichier à créer (vous devez avoir les autorisations nécessaires en fonction du dossier, en cas de doute choisissez votre bureau comme emplacement) et nommez-le personnes.csv. Cochez également la case « inclure l’en-tête » puis exécutez le Job.

Vous devriez retrouver à l’emplacement souhaité un fichier contenant vos données.

Attention : Si vous exécutez plusieurs fois ce Job, rendez-vous dans les « paramètres avancés » du composant tFileOutputDelimited et décochez la case « Retourner une erreur si le fichier existe déjà ».

A la fin de cette partie, votre job devrait ressembler à ceci :

Nous allons ensuite créer un sous-job pour générer un fichier contenant des voitures. Un sous-job est un ensemble de composant reliés entre eux, par exemple vos 3 composants précédents.

Pour ajouter un nouveau sous-job dans un job existant il suffit d’ajouter un nouveau composant détaché du reste. Ce nouveau composant en lui-même signifie le début d’un sous-job.

Reproduisez les mêmes manœuvres que précédemment pour créer un sous-job générant un fichier voitures.csv avec le schéma suivant :

- Immat : Integer (Clé)

- Marque : String / Lenght : 100

- Couleur : String / Lenght : 100

Dans le tRowGenerator du nouveau sous-job, définissez les valeurs suivantes :

- Immat : Numeric.sequence

Paramètres :

• Sequence_identifier : 'voiture'
• Start_value : 1000
• Step : 1

- Marque : …

Paramètres :

• Valeur : 'BMW', 'Renault', 'Mercedes', 'Peugeot'

- Couleur : …

Paramètres :

• Valeur : 'noir', 'rouge', 'bleu', 'vert'

Exécutez le Job et vérifiez les fichiers créés. Si tout fonctionne correctement, versionnez votre Job.