Configurer un flux de données pour le traitement incrémentiel

Appliquez un traitement incrémentiel à un flux de données pour charger uniquement les enregistrements nouveaux ou mis à jour à partir d'une base de données.

L'application du traitement incrémentiel dans un flux de données vous permet de charger uniquement les nouvelles données, plutôt que d'effectuer un chargement complet à chaque fois, ce qui est inefficace et coûteux. En d'autres termes, chaque fois que vous chargez des données à l'aide d'un flux de données, seules les nouvelles données ajoutées depuis la dernière exécution sont traitées.
Avant de commencer, créez une connexion à l'une des bases de données prises en charge, par exemple Oracle, Oracle Autonomous Data Warehouse, Apache Hive, Hortonworks Hive ou Map R Hive. Ensuite, configurez un indicateur de nouvelles données pour cette base de données. Voir Spécifier un indicateur de nouvelles données pour une source de données.
  1. Créez ou ouvrez le flux de données dans lequel vous voulez appliquer le traitement incrémentiel.
  2. Dans l'éditeur Flux de données, sélectionnez l'étape Enregistrer les données pour afficher le volet Éditeur d'étape.
  3. Dans le champ Jeu de données, spécifiez le nom du jeu de données d'entrée spécifié à l'étape Ajouter des données.
  4. Dans l'option Enregistrer les données dans, sélectionnez Connexion à la base de données.
  5. Cliquez sur Sélectionner une connexion et sélectionnez une connexion à l'une des bases de données cibles prises en charge.
  6. Dans le champ Table, indiquez le nom de la table cible dans laquelle vous écrivez.
  7. Dans l'option Lors de l'exécution, sélectionnez Ajouter de nouvelles données aux données existantes.
  8. Cliquez sur Enregistrer.