Configuration d'un flux de données à des fins de traitement incrémentiel

Appliquez le traitement incrémentiel dans un flux de données pour charger uniquement des enregistrements nouveaux ou mis à jour à partir d'une base de données.

L'application du traitement incrémentiel dans un flux de données vous permet de charger uniquement les nouvelles données au lieu d'effectuer un chargement complet à chaque fois, ce qui est inefficace et coûteux. Autrement dit, chaque fois que vous chargez des données à l'aide d'un flux de données, vous traitez uniquement les nouvelles données ajoutées depuis la dernière exécution.
Avant de commencer, créez une connexion vers une base de données prise en charge, par exemple Oracle, Oracle Autonomous Data Warehouse, Apache Hive, Hortonworks Hive ou MapR Hive. Configurez ensuite un indicateur de nouvelles données pour la base de données. Reportez-vous à Définition d'un indicateur de nouvelles données pour une source de données.
  1. Créez ou ouvrez le flux de données dans lequel appliquer le traitement incrémentiel.
  2. Dans l'éditeur de flux de données, sélectionnez l'étape Enregistrer les données pour afficher le panneau de l'éditeur d'étape.
  3. Dans le champ Ensemble de données, indiquez le nom de l'ensemble de données d'entrée spécifié à l'étape Ajouter des données.
  4. Pour l'option Enregistrer les données dans, sélectionnez Connexion de base de données.
  5. Cliquez sur Sélectionner une connexion et sélectionnez une connexion à l'une des bases de données cible prises en charge.
  6. Dans le champ Table, indiquez le nom de la table cible dans laquelle vous écrivez.
  7. Pour l'option Lors de l'exécution, sélectionnez Ajouter de nouvelles données aux données existantes.
  8. Cliquez sur Enregistrer.