Créer un pipeline de flux de fichiers

Voyez comment créer un pipeline simple dans Stream Analytics à l'aide d'un fichier, par exemple CSV ou JSON, pour créer rapidement des cas d'utilisation de prototypage, de test ou de démonstration de principe.

Rubriques connexes

Tâche 1 : Créer le déploiement de Stream Analytics

Pour créer un déploiement Stream Analytics :
  1. Dans le menu de navigation de la console, cliquez sur Oracle Database, puis sélectionnez GoldenGate.
  2. Dans la page Déploiements, cliquez sur Créer un déploiement.
  3. Dans le panneau Créer un déploiement, entrez un nom et éventuellement, une description.
  4. Dans la liste déroulante Compartment, sélectionnez le compartiment dans lequel créer le déploiement.
  5. Sélectionnez Analyse de flux pour le type de déploiement.
  6. Le type de technologie d'analyse de flux est automatiquement sélectionné pour vous.
  7. Pour Version, la dernière version est automatiquement sélectionnée. Cliquez sur Modifier la version pour sélectionner une autre version.

    Note :

    Pour plus d'informations sur les versions.
  8. Sélectionnez une des options suivantes :
    • Développement ou test : Configure un déploiement avec les valeurs par défaut recommandées pour un environnement de développement ou de test. Le nombre minimal d'OCPU est 1.
    • Production : Configure un déploiement avec la valeur par défaut recommandée de 4 OCPU avec ajustement automatique activé pour un environnement de production. Le nombre minimal d'OCPU requis est de 3, avec l'ajustement automatique activé.
  9. Pour Sélectionner une OCPU, entrez le nombre ou cliquez sur Modifier la forme pour utiliser le curseur pour choisir le nombre d'unités Oracle Compute (OCPU) à utiliser.
  10. (Facultatif) Sélectionnez Ajustement automatique.

    Note :

    L'ajustement automatique permet à OCI GoldenGate d'augmenter jusqu'à trois fois le nombre d'OCPU que vous avez spécifié pour le nombre d'OCPU, soit jusqu'à 24 OCPU. Par exemple, si vous indiquez 2 comme nombre d'OCPU et que vous activez l'ajustement automatique, votre déploiement peut utiliser jusqu'à 6 OCPU. Si vous indiquez 20 comme nombre d'OCPU et que vous activez l'ajustement automatique, le service GoldenGate pour OCI ne peut pas dépasser 24 OCPU.
  11. Dans la liste déroulante Sous-réseau dans <Compartment>, sélectionnez le sous-réseau vers lequel un point d'extrémité privé est créé à partir de la location du service OCI GoldenGate. Cela garantit que le déploiement est toujours disponible sur ce sous-réseau, tant que les politiques de ce dernier l'autorisent.

    Pour sélectionner un sous-réseau dans un autre compartiment, cliquez sur Modifier le compartiment.

    Note :

    Vous ne pouvez sélectionner un sous-réseau privé que lors de la création ou de la mise à jour d'un déploiement.
  12. Sélectionnez un type de licence.
  13. Pour Nom de l'instance GoldenGate, entrez un nom pour l'instance d'analyse de flux.
  14. Pour le magasin de données d'identification, sélectionnez l'une des options suivantes :
    • OCI Identity and Access Management (OCI IAM), pour permettre aux utilisateurs de se connecter à la console de déploiement à l'aide de leur compte Oracle Cloud (authentification unique) dans les locations activées pour IAM (Identity and Access Management).

      Note :

      • Une fois que vous avez sélectionné IAM, vous ne pourrez plus passer à GoldenGate lorsque vous modifierez les paramètres de déploiement ultérieurement.
      • Cette option est préférée pour un déploiement Db2 pour i, afin d'éviter les problèmes de connexion et de chemins de distribution.
      1. (Facultatif - S'applique uniquement aux déploiements de réplication de données) Sélectionnez Personnaliser les mappages groupe-rôle pour mapper des groupes d'utilisateurs à des rôles GoldenGate spécifiques. Au minimum, vous devez affecter le groupe de rôles de sécurité à un groupe d'utilisateurs. En savoir plus sur les rôles d'utilisateur et les privilèges d'Oracle GoldenGate.
    • GoldenGate, pour GoldenGate afin de gérer les utilisateurs.
      1. Entrez le nom d'utilisateur de l'administrateur
      2. Sélectionnez une clé secrète de mot de passe dans votre compartiment ou cliquez sur Changer de compartiment pour en sélectionner une dans un autre compartiment. Vous pouvez également créer une clé secrète de mot de passe.

        Pour créer une clé secrète de mot de passe :

        1. Cliquez sur Créer une clé secrète de mot de passe.
        2. Dans le panneau Créer une clé secrète, entrez un nom pour la clé secrète et éventuellement, une description.
        3. Sélectionnez un compartiment dans la liste déroulante Compartiment pour enregistrer votre clé secrète.
        4. Sélectionnez une chambre forte dans le compartiment courant ou cliquez sur Changer de compartiment pour sélectionner une chambre forte dans un autre compartiment.
        5. Sélectionner une clé de chiffrement.

          Note :

          Seules les clés AES, les clés protégées par logiciel et les clés de module de sécurité matériel sont prises en charge. Les clés RSA et ECDSA ne sont pas prises en charge pour les clés secrètes de mot de passe GoldenGate.
        6. Entrez un mot de passe de 8 à 30 caractères, contenant au moins 1 majuscule, 1 minuscule, 1 caractère numérique et 1 caractère spécial. Le caractère spécial ne doit pas être '$', '^' ni '?'.
        7. Confirmez le mot de passe.
        8. Cliquez sur Créer.

      Note :

      Vous pouvez gérer les utilisateurs GoldenGate dans la console de déploiement. En savoir plus.
  15. (Facultatif) Cliquez sur Afficher les options avancées pour les options de réseau et pour ajouter des marqueurs.
    1. Dans l'onglet Réseau,
      1. Sélectionnez Activer l'accès public à la console GoldenGate pour inclure un point d'extrémité public en plus d'un point d'extrémité privé et autoriser l'accès public à la console de déploiement pour les utilisateurs. Si cette option est sélectionnée, OCI GoldenGate crée un équilibreur de charge dans votre location pour créer une adresse IP publique. Sélectionnez un sous-réseau public dans le même VCN que ce déploiement dans lequel créer l'équilibreur de charge.

        Note :

        L'équilibreur de charge est une ressource qui entraîne des frais supplémentaires. Vous pouvez gérer cette ressource, mais assurez-vous de ne pas supprimer l'équilibreur de charge pendant que votre déploiement est encore en cours d'utilisation. En savoir plus sur les tarifs de l'équilibreur de charge.

      2. Sélectionnez Personnaliser le point d'extrémité pour fournir un préfixe de domaine complet privé que vous utiliserez pour accéder à l'URL de la console de service privée. Vous pouvez également charger un certificat SSL/TLS (.pem) et la clé privée correspondante. Toutefois, les certificats protégés par mot de passe ne sont pas pris en charge.

        • Il est de votre responsabilité de vous assurer que le nom de domaine complet est résolu en l'adresse IP privée du déploiement dans le sous-réseau que vous avez sélectionné précédemment.
        • Si le déploiement est public, il vous incombe de vous assurer que le nom de domaine complet est publiquement résolu en adresse IP publique du déploiement.

        Les services utilisent leur propre certificat, si vous n'en fournissez pas, et vous risquez de rencontrer un avertissement de sécurité lors du lancement de la console de déploiement.

        Note :

        Votre certificat SSL doit répondre aux exigences suivantes :
        • Son nom commun doit correspondre au nom de domaine complet du déploiement. Si ce n'est pas le cas, des avertissements s'afficheront lorsque vous accéderez à la console de déploiement.
        • Il doit être signé à l'aide d'un algorithme de hachage fort. arcfour, arcfour128, arcfour256, aucun type d'algorithme n'est autorisé.
        • Il ne doit pas être expiré.
        • Sa validité maximale ne doit pas dépasser 13 mois.
        • Il ne doit pas s'agir d'un certificat auto-signé.
        Si vous rencontrez des erreurs de clé privée non valide, vous pouvez vérifier l'exactitude de la clé à l'aide des commandes OpenSSL suivantes. Exécutez cette commande sur le certificat :
        openssl x509 --noout --modulus --in <cert>.pem |openssl md5

        Exécutez ensuite cette commande sur la clé privée :

        openssl rsa --noout --modulus --in <key>.pem |openssl md5

        La sortie des deux commandes doit retourner la même valeur md5. Si ce n'est pas le cas, le certificat et la clé privée ne correspondent pas.

    2. Dans la section Maintenance :
      1. Sélectionnez Personnaliser la fenêtre de maintenance pour définir le début de la fenêtre de maintenance pour mettre à niveau le déploiement.
      2. (Facultatif) Pour Période de mise à niveau automatique des versions majeures en jours, entrez le nombre de jours, compris entre 0 et 365.
      3. (Facultatif) Pour Période de mise à niveau automatique de lancement de l'offre groupée en jours, entrez le nombre de jours, compris entre 0 et 180 jours.
      4. (Facultatif) Pour Période de mise à niveau automatique des correctifs de sécurité en jours, entrez le nombre de jours, compris entre 0 et 14 jours.
      5. Sélectionnez Activer la mise à niveau automatique des versions mineures et, facultativement, entrez le nombre de jours.

      Note :

      En savoir plus sur la programmation des mises à niveau.
    3. Dans la section Programme de sauvegarde :
      1. Sélectionnez Configurer le programme de sauvegarde.
      2. Sélectionnez la date et l'heure pour commencer à créer des sauvegardes.
      3. Sélectionnez la fréquence pour la création de sauvegardes, quotidienne, hebdomadaire ou mensuelle.
      4. Sélectionnez Métadonnées de sauvegarde uniquement pour créer des sauvegardes sans fichiers de piste.
      5. Sélectionnez le compartiment dans lequel créer des sauvegardes.
      6. Sélectionnez le compartiment et le seau de stockage d'objets dans lesquels enregistrer les sauvegardes.
    4. Dans la section Marqueurs, ajoutez des marqueurs pour faciliter le suivi des ressources de votre location. Cliquez sur + marqueur supplémentaire pour ajouter d'autres marqueurs. En savoir plus sur le marquage.
  16. Cliquez sur Créer pour créer le déploiement ou cliquez sur Enregistrer en tant que pile pour enregistrer cette configuration dans le gestionnaire de ressources.

    Si vous sélectionnez Enregistrer en tant que pile, le panneau Enregistrer en tant que pile s'ouvre, où vous pouvez éventuellement fournir un nom et une description pour la pile et sélectionner le compartiment dans lequel l'enregistrer. En savoir plus sur le gestionnaire de ressources.

Tâche 2 : Créer et publier le pipeline

  1. Lancez le pipeline Stream Analytics.
    1. Dans la page des détails du déploiement de Stream Analytics, cliquez sur Lancer la console.
    2. Connectez-vous à la console de déploiement de Stream Analytics à l'aide du nom d'utilisateur et du mot de passe de l'administrateur indiqués lors de la création du déploiement dans la tâche 1, étapes 14 et 15.
  2. Dans la console de déploiement de Stream Analytics, cliquez sur Catalogue.
  3. Créez un flux de fichiers.
  4. Créez un pipeline à l'aide du flux de fichiers créé à l'étape 3.
    En savoir plus sur l'éditeur de pipeline. Voici quelques actions que vous pouvez effectuer sur votre pipeline de flux de fichiers :
  5. Publier le pipeline.