Créer et gérer des flux de données

Créer un flux de données à partir de l'interface utilisateur

Dans le panneau de navigation de gauche, sélectionnez Data Streams pour ouvrir la page Data Streams.
Cliquez sur le bouton Ajouter un flux de données. La boîte de dialogue Ajouter un flux de données s'affiche.
Sur la page Informations sur le flux de données, entrez un nom de ressource unique dans la zone Nom.

Le nom doit comporter entre 1 et 32 caractères. Commencer par une lettre. Utilisez un nom stable car les points de reprise sont ciblés sur le contrat de flux. Cliquez sur Suivant.
Ajoutez la description avec le propriétaire de l'entreprise, la trace source, les tables, le consommateur et l'objectif de récupération.
Sur la page Options source, indiquez les valeurs des options affichées dans l'image suivante :
- Nom de trace : nom du fichier trace source. Le nom de trace doit comporter deux caractères identifiant le préfixe de trace source ou l'adresse source accepté par le service.
- Sous-répertoire de trace : chemin du sous-répertoire dans lequel les fichiers trace sont stockés. Répertoire situé sous le déploiement GoldenGate dans lequel la trace source est stockée, lorsqu'elle ne se trouve pas à l'emplacement par défaut.
- Encodage : Cette option contrôle le codage des enregistrements pour le flux de données. Actuellement, l'encodage JSON est pris en charge. Utilisez l'éditeur YAML ou la configuration REST pour les options JSON avancées.
- Taille de tampon : cette valeur contrôle la taille de tampon de mémoire utilisée dans le service de transmission en continu de données. Le service de transmission en continu de données vide la file d'attente des messages en mémoire une fois que sa taille totale d'octets dépasse la valeur indiquée et transmet les enregistrements au client. Plage de 131 072 à 10 485 760 ; valeur par défaut : 1 048 576. Ce n'est pas une rétention durable.
- Qualité de service : cette option définit le comportement de suppression et de récupération des doublons de flux de données. exactlyOnce, atLeastOnce ou atMostOnce.
  
  Reportez-vous à Points de reprise, récupération et sémantique de livraison avant de sélectionner une valeur autre que celle par défaut.
  
  Trois niveaux de qualité de service sont pris en charge dans le service de transmission en continu de données :
  - Une seule fois : ce mode est le mode le plus restrictif dans lequel le service filtre les enregistrements en double lors de la récupération de l'affichage d'enregistrements RESTART OK/ABEND dans les traces source. Les clients ne verront pas les enregistrements en double. Si le service ne parvient pas à localiser l'enregistrement avec la dernière position traitée donnée, une erreur se produit.
  - Au moins une fois : ce mode ne supprime pas les enregistrements en double lors de la récupération ni n'affiche les enregistrements RESTART OK/ABEND dans la trace source. Les clients peuvent voir des enregistrements en double dans le flux de données. En outre, si le service ne parvient pas à localiser l'enregistrement avec la dernière position traitée donnée, une erreur se produit.
  - Au plus une fois : ce mode supprime les enregistrements en double lors de la récupération ou affiche un enregistrement RESTART OK/ABEND dans la trace source. Les clients ne verront pas les enregistrements en double dans le flux de données. Si le service ne parvient pas à localiser l'enregistrement avec la dernière position traitée donnée, il trouvera l'enregistrement disponible suivant et avancera.
- Format CloudEvents : le service de transmission en continu de données prend en charge la transmission des enregistrements de données au format CloudEvents. Elle encapsule les enregistrements GoldenGate au format JSON CloudEvents. Ce paramètre est désactivé par défaut. Par défaut, ce format est désactivé et peut être contrôlé en activant la propriété à l'aide du commutateur, lors de la création du canal de transmission en continu de données.
Sur la page Options de filtrage, les options pour les règles de filtrage d'inclusion et d'exclusion sont disponibles, comme illustré dans l'image suivante :

Indiquez les options de règle de filtrage, comme suit :
- Action sur règle : sélectionnez les options Exclure ou Inclure.
- Type de filtre : le type de filtre inclut les éléments suivants :
  
  Type d'objet : vous pouvez sélectionner plusieurs options dans la liste déroulante, notamment LMD, DDL, INSERT, UPDATE, UPSERT, DELETE.
  
  Noms d'objet : nom de l'objet de filtrage précédemment créé.

Cliquez sur Ajouter pour ajouter la règle de filtrage au processus de flux de données.

Cliquez sur Créer un flux de données. Vous revenez à la page d'accueil du service de distribution où le flux de données est répertorié.
Cliquez sur le flux de données créé pour visualiser les définitions AsyncAPI du flux de données du document YAML.

Modifier la configuration des flux de données à partir de l'interface utilisateur

Pour modifier la configuration Data Streams, procédez comme suit :

Dans le volet de navigation de gauche, cliquez sur Data Streams.
Sélectionnez le nom du flux de données à modifier.
Sur la page Flux de données, utilisez la colonne Action pour visualiser les détails du flux de données, supprimer un flux de données et modifier son filtrage.
Si vous cliquez sur l'option Modifier le filtrage dans le menu Action, la boîte de dialogue Modifier les règles de filtrage de flux de données apparaît. Dans cette zone, vous pouvez modifier l'action de règle (Inclure, Exclure) et le type de filtre (nom d'objet ou type d'objet).
Cliquez sur Ajouter pour appliquer le filtrage.
Cliquez sur Soumettre pour renvoyer la page Flux de données.

Pour modifier davantage le flux de données, cliquez sur le flux de données dans la colonne Nom. La configuration complète du flux de données s'affiche. Utilisez l'icône en forme de crayon en regard de chaque paramètre de configuration pour le modifier. Vous pouvez modifier le fichier trace source utilisé par un flux de données, ses règles de filtrage et sa qualité de service. Vous pouvez également utiliser l'éditeur YAML pour modifier la configuration du flux de données et télécharger les modifications à l'aide de l'icône Télécharger les modifications en regard de l'éditeur YAML.

Création d'un flux de données avec l'API REST

Utilisez POST /services/v2/stream/{streamName} avec un compte d'administrateur. La demande minimale identifie une trace source :

{
  "$schema": "ogg:dataStream",
  "source": {
    "trail": "ea",
    "path": "./dirdat"
  }
}

Une demande de production définit normalement explicitement la qualité de service, les filtres, l'émission de schéma JSON, les champs de métadonnées et les contrôles de taille. Le fichier de prise en charge data_stream_create_request.json contient un exemple complet de nettoyage.

{
  "$schema": "ogg:dataStream",
  "description": "Streams sales order changes",
  "source": {"trail": "ea", "path": "./dirdat"},
  "qualityOfService": "exactlyOnce",
  "bufferSize": 1048576,
  "tcpKeepAliveTimeout": 120,
  "cloudEventsFormat": false,
  "rules": [
    {
      "action": "include",
      "filter": {"objectNames": ["SALES.ORDERS", "SALES.ORDER_ITEMS"]}
    }
  ],
  "encoding": {
    "json": {
      "$schema": "ogg:outputFormatJson",
      "model": "op",
      "includeJSONSchemaRecord": true,
      "includeObjectMetadataRecords": true,
      "includeStreamMetadataRecord": true,
      "metaFields": {
        "qualifiedTable": true,
        "opType": true,
        "opTs": true,
        "pos": true,
        "xid": true,
        "csn": "csn",
        "opSeqno": "op_seqno",
        "transInd": "trans_ind"
      }
    }
  }
}

Propriétés de configuration de niveau supérieur

Le tableau suivant fournit les propriétés de configuration utilisées pour configurer le flux de données.

Propriété	Type/valeur par défaut	Description
`$schema`	Chaîne / `ogg:dataStream`	Identificateur de schéma de configuration.
`source`	Objet / requis	Trace source et chemin facultatif.
`description`	Chaîne/aucune	1 à 4 096 caractères décrivant le flux de données.
`qualityOfService`	Enumération / `exactlyOnce`	`atLeastOnce`, `exactlyOnce` ou `atMostOnce`.
`bufferSize`	Entier / 1 048 576	Seuil de vidage en octets. 131 072 minimum, 10 485 760 maximum.
`tcpKeepAliveTimeout`	Entier / 120	Délai d'expiration de la connexion persistante TCP en secondes. Minimum 1, maximum 10 800.
`cloudEventsFormat`	Booléen / `false`	Active les enveloppes JSON CloudEvents.
`rules`	Tableau / aucun	1 à 1 024 incluent ou excluent des règles.
`encoding`	Chaîne ou objet / `json`	Utilisez `"json"` pour les valeurs par défaut ou `{"json": {...}}` pour les paramètres de sortie avancés.

Extraire, mettre à jour, répertorier et supprimer le flux de données

Utilisez le tableau suivant pour gérer ou supprimer des flux de données :

Tâche	Méthode et chemin	Rôle
Liste des flux de données	`GET /services/v2/stream`	Utilisateur
Obtenir la configuration	`GET /services/v2/stream/{streamName}`	Opérateur
Obtenir le YAML généré	`GET /services/v2/stream/{streamName}/yaml`	Utilisateur
Mettre à jour la configuration	`PATCH /services/v2/stream/{streamName}`	Administrateur
Mettre à jour YAML	`PATCH /services/v2/stream/{streamName}/yaml`	Administrateur
Supprimer le flux de données	`DELETE /services/v2/stream/{streamName}`	Administrateur

Attention : La modification des noms de champ, des chaînes d'opération, du modèle d'enregistrement, des filtres ou des émissions de schéma modifie le contrat client. Coordonnez la modification, la version du contrat et le redémarrage du test à partir d'un point de reprise existant avant le déploiement de la production.

Utiliser le YAML généré comme contrat déployé

Le YAML généré inclut le serveur spécifique au déploiement, l'adresse du canal, le paramètre de requête begin, la charge utile du message et les schémas d'enregistrement pris en charge. Récupérez-le après la création et après chaque modification de configuration. Stockez une copie vérifiée avec la version du destinataire, mais comparez-la toujours avec la version d'exécution lors de la validation du déploiement.