Création d'un pipeline de flux de données de fichier

Découvrez comment créer un pipeline simple dans Stream Analytics à l'aide d'un fichier (format CSV ou JSON, par exemple), pour des cas d'utilisation de prototypage rapide, de tests ou de cas d'emploi de preuve de concept.

Rubriques connexes

Tâche 1 : création du déploiement Stream Analytics

Pour créer un déploiement Stream Analytics, procédez comme suit :
  1. Dans le menu de navigation Console, cliquez sur Oracle Database, puis sélectionnez GoldenGate.
  2. Sur la page Déploiements, cliquez sur Créer le déploiement.
  3. Dans le panneau Créer un développement, saisissez un nom et éventuellement une description.
  4. Dans la liste déroulante Compartiment, sélectionnez le compartiment dans lequel le déploiement doit être créé.
  5. Sélectionnez Analyse de flux pour le type de déploiement.
  6. Le type de technologie Analyse de flux est automatiquement sélectionné pour vous.
  7. Dans Version, la dernière version est automatiquement sélectionnée. Cliquez sur Modifier la version pour sélectionner une autre version.

    Remarques :

    En savoir plus sur les versions.
  8. Sélectionnez l'une des options suivantes :
    • Développement ou test : permet de configurer un déploiement avec les valeurs par défaut recommandées pour un environnement de test ou en développement. Le nombre minimal d'OCPU est de 1.
    • Production : configure un déploiement avec une valeur par défaut recommandée de 4 OCPU, le redimensionnement automatique étant activé pour un environnement de production. Le nombre minimal d'OCPU nécessaires est de 3, le redimensionnement automatique étant activé.
  9. Dans Sélectionner une OCPU, entrez le nombre ou cliquez sur Modifier la forme pour utiliser le curseur afin de choisir le nombre d'unités Oracle Compute (OCPU) à utiliser.
  10. (Facultatif) Sélectionnez Redimensionnement automatique.

    Remarques :

    Le redimensionnement automatique permet à OCI GoldenGate de tripler le nombre d'OCPU indiqué, jusqu'à 24 OCPU. Par exemple, si vous indiquez deux OCPU et que vous activez le redimensionnement automatique, votre déploiement peut passer à 6 OCPU. Si vous indiquez 20 OCPU et que vous activez le redimensionnement automatique, OCI GoldenGate ne peut pas dépasser 24 OCPU.
  11. Dans la liste déroulante Sous-réseau de <Compartiment>, sélectionnez le sous-réseau sur lequel une adresse privée est créée à partir de la location de service OCI GoldenGate. Ainsi, le déploiement est toujours disponible sur ce sous-réseau, tant que les stratégies de ce sous-réseau l'autorisent.

    Pour sélectionner un sous-réseau dans un autre compartiment, cliquez sur Changer de compartiment.

    Remarques :

    Vous pouvez uniquement sélectionner un sous-réseau privé lors de la création ou de la mise à jour d'un déploiement.
  12. Sélectionnez un type de licence.
  13. Dans Nom d'instance GoldenGate, entrez le nom de l'instance d'analyse de flux.
  14. Pour la banque d'informations d'identification, sélectionnez l'une des options suivantes :
    • OCI Identity and Access Management (OCI IAM), pour permettre aux utilisateurs de se connecter à la console de déploiement à l'aide de leur compte Oracle Cloud (connexion unique) dans les locations activées pour IAM (Identity and Access Management).

      Remarques :

      • Une fois que vous avez sélectionné IAM, vous ne pourrez plus passer à GoldenGate lorsque vous modifierez les paramètres de déploiement ultérieurement.
      • Cette option est recommandée pour un déploiement Db2 pour i afin d'éviter les problèmes de connexion et de chemins de distribution.
      1. (Facultatif - s'applique uniquement aux déploiements de réplication de données) Sélectionnez Personnaliser les mises en correspondance de groupe et de rôle pour mettre en correspondance des groupes d'utilisateurs avec des rôles GoldenGate spécifiques. Vous devez au minimum affecter le groupe de rôles de sécurité à un groupe d'utilisateurs. En savoir plus sur les rôles et privilèges utilisateur Oracle GoldenGate.
    • GoldenGate, pour que GoldenGate gère les utilisateurs.
      1. Entrer le nom utilisateur de l'administrateur
      2. Sélectionnez une clé secrète de mot de passe dans votre compartiment ou cliquez sur Modifier le compartiment pour en sélectionner une dans un autre compartiment. Vous pouvez également créer une clé secrète de mot de passe.

        Pour créer une clé secrète de mot de passe, procédez comme suit :

        1. Cliquez sur Créer la clé secrète de mot de passe.
        2. Dans le panneau Créer une clé secrète, saisissez un nom et éventuellement une description pour la clé secrète.
        3. Sélectionnez le compartiment dans lequel enregistrer la clé secrète dans la liste déroulante Compartiment.
        4. Sélectionnez un coffre dans le compartiment en cours ou cliquez sur Modifier le compartiment pour sélectionner un coffre dans un autre compartiment.
        5. Sélectionnez une clé de cryptage.

          Remarques :

          Seules les clés AES, les clés protégées par logiciel et les clés HSM sont prises en charge. Les clés RSA et ECDSA ne sont pas prises en charge pour les clés secrètes de mot de passe GoldenGate.
        6. Entrez un mot de passe comportant entre 8 et 30 caractères, dont au moins 1 majuscule, 1 minuscule, 1 caractère numérique et 1 caractère particulier. Les caractères spéciaux ne doivent être ni "$", ni "^", ni "?".
        7. Confirmez le mot de passe.
        8. Cliquez sur Créer.

      Remarques :

      Vous pouvez gérer les utilisateurs GoldenGate dans la console de déploiement. En savoir plus.
  15. (Facultatif) Cliquez sur Afficher les options avancées pour les options de réseau et pour ajouter des balises.
    1. Dans l'onglet Réseau,
      1. Sélectionnez Activer l'accès public à la console GoldenGate pour inclure une adresse publique en plus d'une adresse privée et autoriser l'accès public à la console de déploiement pour les utilisateurs. Si cette option est sélectionnée, OCI GoldenGate crée un équilibreur de charge dans votre location pour créer une adresse IP publique. Sélectionnez un sous-réseau public dans le même VCN que ce déploiement dans lequel créer l'équilibreur de charge.

        Remarques :

        L'équilibreur de charge est une ressource qui entraîne des coûts supplémentaires. Vous pouvez gérer cette ressource, mais veillez à ne pas supprimer l'équilibreur de charge tant que votre déploiement est toujours en cours d'utilisation. En savoir plus sur la tarification de l'équilibreur de charge.

      2. Sélectionnez Personnaliser l'adresse pour fournir un préfixe d'adresse de domaine qualifié complet privé que vous utiliserez pour accéder à l'URL de la console du service privé. Vous pouvez également télécharger un certificat SSL/TLS (.pem) et la clé privée correspondante. Toutefois, les certificats protégés par mot de passe ne sont pas pris en charge.

        • Il vous incombe de vous assurer que le nom de domaine qualifié complet est résolu en adresse IP privée du déploiement dans le sous-réseau sélectionné précédemment.
        • Si le déploiement est public, il vous incombe de vous assurer que le nom de domaine qualifié complet est résolu publiquement sur l'adresse IP publique du déploiement.

        Les services utilisent leur propre certificat, si vous n'en fournissez pas, et vous risquez de rencontrer un avertissement de sécurité lors du lancement de la console de déploiement.

        Remarques :

        Votre certificat SSL doit répondre aux exigences suivantes :
        • Son nom commun doit correspondre au nom de domaine qualifié complet du déploiement. Si ce n'est pas le cas, des avertissements s'affichent lorsque vous accédez à la console de déploiement.
        • Il doit être signé à l'aide d'un algorithme de hachage fort. arcfour, arcfour128, arcfour256, aucun type d'algorithme n'est autorisé.
        • Il ne doit pas être expiré.
        • Sa validité maximale ne doit pas dépasser 13 mois.
        • Ce ne doit pas être un certificat auto-signé.
        Si vous rencontrez des erreurs "Clé privée non valide", vous pouvez vérifier l'exactitude de la clé à l'aide des commandes OpenSSL suivantes. Exécutez cette commande sur le certificat :
        openssl x509 --noout --modulus --in <cert>.pem |openssl md5

        Exécutez ensuite cette commande sur la clé privée :

        openssl rsa --noout --modulus --in <key>.pem |openssl md5

        La sortie des deux commandes doit renvoyer la même valeur md5. Si ce n'est pas le cas, le certificat et la clé privée ne correspondent pas.

    2. Dans la section Maintenance :
      1. Sélectionnez Personnaliser la fenêtre de maintenance pour définir le début de la fenêtre de maintenance afin de mettre à niveau le déploiement.
      2. (Facultatif) Pour Période de mise à niveau automatique de version majeure en jours, entrez le nombre de jours, compris entre 0 et 365.
      3. (Facultatif) Pour la période de mise à niveau automatique de version de bundle en jours, entrez le nombre de jours, compris entre 0 et 180 jours.
      4. (Facultatif) Pour Période de mise à niveau automatique du patch de sécurité en jours, entrez le nombre de jours, compris entre 0 et 14 jours.
      5. Sélectionnez Activer la mise à niveau automatique des versions mineures et, éventuellement, saisissez le nombre de jours.

      Remarques :

      En savoir plus sur la planification des mises à niveau.
    3. Dans la section Programmation de sauvegarde, procédez comme suit :
      1. Sélectionnez Configurer la programmation de sauvegarde.
      2. Sélectionnez la date et l'heure pour commencer à créer des sauvegardes.
      3. Sélectionnez la fréquence de création des sauvegardes, Quotidienne, Hebdomadaire ou Mensuelle.
      4. Sélectionnez Sauvegarder les métadonnées uniquement pour créer des sauvegardes sans fichiers de trace.
      5. Sélectionnez le compartiment dans lequel créer les sauvegardes.
      6. Sélectionnez le compartiment et le bucket Object Storage dans lequel enregistrer les sauvegardes.
    4. Dans la section Balises, ajoutez des balises pour aider à suivre les ressources dans votre location. Cliquez sur + Balise supplémentaire pour ajouter d'autres balises. En savoir plus sur le balisage.
  16. Cliquez sur Créer pour créer le déploiement, ou sur Enregistrer en tant que pile pour enregistrer cette configuration dans Resource Manager.

    Si vous sélectionnez Enregistrer en tant que pile, le panneau Enregistrer en tant que pile s'ouvre, dans lequel vous pouvez éventuellement fournir un nom et une description pour la pile et sélectionner le compartiment dans lequel l'enregistrer. En savoir plus sur Resource Manager.

Tâche 2 : créer et publier le pipeline

  1. Lancez le pipeline Stream Analytics.
    1. Sur la page de détails du déploiement Stream Analytics, cliquez sur Lancer la console.
    2. Connectez-vous à la console de déploiement Stream Analytics à l'aide du nom utilisateur et du mot de passe d'administrateur indiqués lors de la création du déploiement dans les étapes 14 et 15 de la tâche 1.
  2. Dans la console de déploiement Stream Analytics, cliquez sur Catalogue.
  3. Création d'un flux de fichiers.
  4. Créez un pipeline à l'aide du flux de données de fichier créé à l'étape 3.
    En savoir plus sur l'éditeur de pipeline. Voici quelques actions que vous pouvez effectuer sur le pipeline de flux de données File :
  5. Publier le pipeline.