Documentation sur Oracle Cloud Infrastructure

Création d'un connecteur avec une source de diffusion en continu

Créez un connecteur dans le centre de connecteurs pour transférer des données de flux du service de diffusion en continu vers un service cible.

Pour plus d'informations sur le service de diffusion en continu, voir Diffusion en continu.

Un connecteur défini avec une source de diffusion en continu et une tâche de fonction (facultative) prend en charge les cibles suivantes : Functions, Log Analytics, Object Storage et Streaming. La cible d'avis n'est prise en charge que si aucune tâche de fonction n'est utilisée.

Pour un exemple du flux de travail du centre de connecteurs, voir Aperçu du centre de connecteurs. Pour un exemple de connecteur qui utilise le service de surveillance comme source, voir Scénario : Envoi de mesures au service de stockage d'objets.

Note

  • Pour le schéma d'entrée de flux, voir Informations de référence sur les messages.
  • Pour une cible du service d'avis avec source de diffusion en continu, tous les messages sont envoyés en tant que grands livres JSON bruts.

Période de conservation : Source de diffusion en continu

La période de conservation de la source de diffusion en continu dans le centre de connecteurs est définie par le client. Voir Limites pour les ressources de flux. Pour plus d'informations sur la livraison, voir Détails de la livraison.

Avec la période de conservation, la position de lecture de la source de diffusion en continu détermine où dans le flux commencer à déplacer des données. Vous spécifiez la position de lecture lorsque vous spécifiez la connexion source.

Préalables pour le point d'extrémité privé pour les flux

Note

Il n'est pas possible de rajuster un connecteur existant pour utiliser un flux avec un point d'extrémité privé. Si le groupe de flux sélectionné pour la source ou la cible de flux est public, il ne peut pas être remplacé par privé et le connecteur ne peut pas être mis à jour pour référencer un flux privé. Pour modifier la source ou la cible afin d'utiliser un autre flux privé, ou pour utiliser une source ou une cible autre que le service de diffusion en continu, recréez le connecteur avec la source et la cible que vous voulez. Un exemple de la nécessité d'un autre flux privé est un flux qui a été déplacé vers un autre groupe de flux. Dans ce cas, recréez le connecteur à l'aide du flux déplacé. Assurez-vous de désactiver ou de supprimer l'ancien connecteur avec la source de flux ou la cible que vous ne voulez plus.

La configuration de point d'extrémité privé est prise en charge pour les flux source et cible. Voici les conditions requises pour accéder aux flux qui utilisent des points d'extrémité privés.

  • Assurez-vous que les autorisations vous sont accordées conformément aux politiques suivantes :
    allow group <group-name> to manage virtual-network-family in compartment id <compartment-ocid>
  where any {request.operation='CreatePrivateEndpoint',
    request.operation='UpdatePrivateEndpoint',
    request.operation='DeletePrivateEndpoint',
    request.operation='ChangePrivateEndpointCompartment',
    request.operation='EnableReverseConnection',
    request.operation='ModifyReverseConnection',
    request.operation='DisableReverseConnection' 
}
    allow group <group-name> to read stream-family in compartment id <compartment-ocid>
  • La meilleure pratique de sécurité consiste à localiser un flux privé et son connecteur dans la même location.

Après avoir créé le connecteur, configurez les règles de trafic entrant et sortant pour permettre au connecteur d'accéder à ce point d'extrémité privé. Voir Points d'extrémité privés : Configurer les règles de trafic entrant et sortant.

    1. Dans la page de liste Connecteurs, sélectionnez Créer un connecteur. Si vous avez besoin d'aide pour trouver la page de liste, voir Liste des connecteurs.
    2. Dans la page Créer un connecteur, entrez un nom convivial pour le nouveau connecteur et une description facultative. Évitez d'entrer des informations confidentielles.
    3. Sélectionnez le compartiment dans lequel vous voulez stocker le nouveau connecteur.
    4. Sous Configurer le connecteur, pour Source, sélectionnez Diffusion en continu.
    5. Pour Cible, sélectionnez le service vers lequel transférer les données de flux :
      • Fonctions : Envoyer des données de flux vers une fonction.
      • Logging Analytics : Envoyer des données de flux à un groupe de journaux.
      • Service d'avis : Envoyer des données de flux à un sujet. Les avis ne sont pris en charge que si aucune tâche de fonction n'est définie.
      • Service de stockage d'objets : Envoyer des données de flux à un seau.
      • Diffusion en continu : Envoyer des données de flux vers un flux.
    6. (Facultatif) Pour activer les journaux de service pour le nouveau connecteur, sélectionnez le commutateur Journaux et fournissez les valeurs suivantes :
      • Catégorie de journal : La valeur Suivi des connecteurs est automatiquement sélectionnée.
      • Compartiment : Sélectionnez le compartiment dans lequel stocker les journaux de service pour le connecteur.
      • Groupe de journaux : Sélectionnez le groupe de journaux à stocker pour les journaux du service. Pour créer un nouveau groupe de journaux, sélectionnez Créer un groupe, puis entrez un nom.
      • Nom du journal : Facultativement, entrez un nom pour le journal.
      • Afficher les options avancées :
        • Conservation des journaux : Facultativement, spécifiez la durée de conservation des journaux du service (par défaut : 30 jours).
    7. Sous Configurer la connexion source, sélectionnez le flux source :
      Note

      La configuration de point d'extrémité privé est prise en charge. Pour utiliser un point d'extrémité privé, voir Préalables pour le point d'extrémité privé pour les flux.
      • Compartiment : Sélectionnez le compartiment qui contient le flux souhaité.
      • Groupe de flux : Sélectionnez le groupe de flux qui contient le flux souhaité.
        Note

        Pour sélectionner un groupe de flux et un flux pour un connecteur, vous devez être autorisé à lire le groupe de flux et le flux. Voir Politiques IAM (sécurisation du centre de connecteurs).
      • Flux : Sélectionnez le nom du flux à partir duquel vous voulez recevoir des données.
      • position de lecture : Indiquez la position du curseur à partir de laquelle commencer la lecture du flux.
        • Latest : Lance la lecture des messages publiés après la création du connecteur.
          • Si la première exécution d'un nouveau connecteur avec cette configuration réussit, les données sont déplacées à partir de l'heure de création du connecteur. Si la première exécution échoue (par exemple, avec des politiques manquantes), le connecteur déplace les données à partir de l'heure de création du connecteur ou, si l'heure de création est en dehors de la période de conservation, les données les plus anciennes disponibles dans le flux. Par exemple, considérez un connecteur créé à 10 heures du matin pour un flux avec une période de conservation de deux heures. Si les exécutions en échec sont résolues à 11 heures, le connecteur déplace les données à partir de 10 heures. Si les exécutions en échec sont résolues à 1 heure du matin, le connecteur déplace les données les plus anciennes disponibles dans le flux.
          • Les exécutions ultérieures déplacent les données de la position suivante dans le flux. Si une exécution ultérieure échoue, le connecteur déplace les données à partir de la position suivante du flux ou des données disponibles les plus anciennes du flux, selon la période de conservation du flux.
        • Horizon de coupe : Commence la lecture à partir du plus ancien message disponible dans le flux.
          • Si la première exécution d'un nouveau connecteur avec cette configuration réussit, il déplace les données des données les plus anciennes disponibles dans le flux. Si la première exécution échoue (par exemple, avec des politiques manquantes), le connecteur déplace après résolution les données les plus anciennes disponibles dans le flux, quelle que soit la période de conservation du flux.
          • Les exécutions ultérieures déplacent les données de la position suivante dans le flux. Si une exécution ultérieure échoue, le connecteur déplace les données à partir de la position suivante du flux ou des données disponibles les plus anciennes du flux, selon la période de conservation du flux.
    8. (Facultatif) Sous Configurer une tâche de type fonction, configurez une tâche de type fonction pour traiter les données de flux à l'aide du service de fonctions) :
      • Sélectionner une tâche : Sélectionnez Fonction.
      • Compartiment : Sélectionnez le compartiment qui contient la fonction voulue.
      • Application de fonction : Sélectionnez le nom de l'application de fonction qui inclut la fonction souhaitée.
      • Fonction : Sélectionnez le nom de la fonction à utiliser pour traiter les données reçues de la source.

        Pour être utilisée par le connecteur en tant que tâche, la fonction doit être configurée de manière à retourner l'une des réponses suivantes :

        • Liste d'entrées JSON (l'en-tête de réponse doit être réglé à Content-Type=application/json)
        • Entrée JSON unique (l'en-tête de réponse doit être réglé à Content-Type=application/json)
        • Objet binaire unique (l'en-tête de réponse doit être réglé à Content-Type=application/octet-stream)
      • Afficher les options supplémentaires : Sélectionnez ce lien et spécifiez les limites pour chaque lot de données envoyé à la fonction. Pour utiliser des paramètres manuels, fournissez des valeurs pour la limite de taille de lot (Ko) et la limite de temps de lot (secondes).

      Considérations relatives aux tâches de fonction :

      • Le centre de connecteurs n'analyse pas la sortie de la tâche de fonction. La sortie de la tâche de type fonction est écrite telle quelle dans la cible. Par exemple, lors de l'utilisation du service d'avis comme cible avec une tâche de type fonction, tous les messages sont envoyés en tant que grands objets binaires (BLOB) JSON bruts.
      • Les fonctions sont appelées de manière synchrone avec 6 Mo de données par appel. Si les données dépassent 6 Mo, le connecteur appelle de nouveau la fonction pour déplacer les données qui dépassent la limite. Ces appels sont traités séquentiellement.
      • Les fonctions peuvent être exécutées pendant un maximum de cinq minutes. Voir Détails de la livraison.
      • Les tâches de fonction sont limitées aux fonctions scalaires.
    9. Si vous avez sélectionné Fonctions comme cible, sous Configurer la cible, configurez la fonction pour envoyer les données de journal. Passez ensuite à l'étape 15.
      • Compartiment : Sélectionnez le compartiment qui contient la fonction voulue.
      • Application de fonction : Sélectionnez le nom de l'application de fonction qui contient la fonction souhaitée.
      • Fonction : Sélectionnez le nom de la fonction à laquelle vous voulez envoyer les données.
      • Afficher les options supplémentaires : Sélectionnez ce lien et spécifiez les limites pour chaque lot de données envoyé à la fonction. Pour utiliser des paramètres manuels, fournissez des valeurs pour la limite de taille de lot (Ko ou nombre de messages) et la limite de temps de lot (secondes).

        Par exemple, limitez la taille du lot en sélectionnant 5 000 kilo-octets ou 10 messages. Un exemple de limite de durée de lot est de 5 secondes.

      Considérations relatives aux cibles Functions :

      • Le connecteur vide les données sources sous forme de liste JSON en lots. La taille maximale du lot ou des données utiles est de 6 Mo.
      • Les fonctions sont appelées de manière synchrone avec 6 Mo de données par appel. Si les données dépassent 6 Mo, le connecteur appelle de nouveau la fonction pour déplacer les données qui dépassent la limite. Ces appels sont traités séquentiellement.
      • Les fonctions peuvent être exécutées pendant un maximum de cinq minutes. Voir Détails de la livraison.
      • Ne retournez pas de données des cibles Functions aux connecteurs. Le centre de connecteurs ne lit pas les données retournées depuis les cibles du service des fonctions.
    10. Si vous avez sélectionné Logging Analytics comme cible, sous Configurer la cible, configurez le groupe de journaux auquel envoyer les données de journal. Passez ensuite à l'étape 15.
      • Compartiment : Sélectionnez le compartiment qui contient le groupe de journaux souhaité.
      • Groupe de journaux : Sélectionnez le groupe de journaux souhaité.
      • Identificateur de source de journaux (pour la source de diffusion en continu uniquement) : Sélectionnez la source de journaux.
    11. Si vous avez sélectionné Avis comme cible, sous Configurer la cible, configurez le sujet dans lequel envoyer les données de journal. Passez ensuite à l'étape 15.
      • Compartiment : Sélectionnez le compartiment qui contient le sujet souhaité.
      • Sujet : Sélectionnez le nom du sujet auquel vous voulez envoyer les données. Pour les cibles de diffusion en continu, les messages sont envoyés sous forme de grands objets binaires JSON bruts.

      Considérations relatives aux cibles du service d'avis :

      • La cible du service d'avis est prise en charge avec la source de diffusion en continu uniquement lorsqu'aucune tâche de fonction n'est utilisée.
      • La taille maximale des messages pour la cible du service d'avis est de 128 Ko. Tout message dépassant la taille maximale est supprimé.
      • Les messages SMS présentent des résultats inattendus pour certaines configurations de connecteur. Ce problème est limité aux sujets qui contiennent des abonnements SMS pour les configurations de connecteur indiquées. Pour plus d'informations, voir Plusieurs SMS pour un seul avis.
    12. Si vous avez sélectionné le service Stockage d'objets comme cible, sous Configurer la cible, configurez le seau auquel envoyer les données de journal. Passez ensuite à l'étape 15.
      • Compartiment : Sélectionnez le compartiment qui contient le seau souhaité.
      • Seau : Sélectionnez le nom du seau auquel vous voulez envoyer les données.
      • Préfixe de nom d'objet : Facultativement, entrez une valeur de préfixe.
      • Afficher les options supplémentaires : Sélectionnez ce lien et, facultativement, entrez des valeurs pour la taille de lot (en Mo) et le temps de lot (en millisecondes).

      Considérations relatives aux cibles du service de stockage d'objets :

      • Détails de substitution de lot :

        • Taille de substitution de lot : 100 Mo
        • Délai de substitution de lot : 7 minutes

      • Les fichiers enregistrés dans le stockage d'objets sont compressés à l'aide de gzip.

    13. Si vous avez sélectionné Diffusion en continu comme cible, sous Configurer la cible, configurez le flux vers lequel envoyer les données de journal.
      Note

      Pour sélectionner un groupe de flux et un flux pour un connecteur, vous devez être autorisé à lire le groupe de flux et le flux. Voir Politiques IAM (sécurisation du centre de connecteurs). La configuration de point d'extrémité privé est prise en charge. Pour utiliser un point d'extrémité privé, voir Préalables pour le point d'extrémité privé pour les flux.
      • Compartiment : Sélectionnez le compartiment qui contient le flux souhaité.
      • Flux : Sélectionnez le nom du flux vers lequel vous voulez envoyer les données.
    14. Pour accepter les politiques par défaut, sélectionnez le lien Créer fourni pour chaque politique par défaut.

      Des politiques par défaut sont proposées pour toute autorisation requise pour que ce connecteur puisse accéder aux services sources, aux tâches et aux services cibles.

      Vous pouvez obtenir cette autorisation au moyen de ces politiques par défaut ou au moyen de politiques basées sur un groupe. Les politiques par défaut sont offertes chaque fois que vous utilisez la console pour créer ou modifier un connecteur. La seule exception est lorsque la politique exacte existe déjà dans IAM, auquel cas la politique par défaut n'est pas offerte. Pour plus d'informations sur cette exigence d'autorisation, voir Authentification et autorisation.

      • Si vous n'êtes pas autorisé à accepter les politiques par défaut, communiquez avec l'administrateur.
      • Les politiques créées automatiquement demeurent lorsque des connecteurs sont supprimés. Il est recommandé de supprimer les politiques associées lors de la suppression du connecteur.

      Pour consulter une nouvelle politique, sélectionnez le lien de vue associé.

    15. (Facultatif) Ajoutez un ou plusieurs marqueurs au connecteur : Sélectionnez Afficher les options avancées pour afficher la section Ajouter des marqueurs.
      Si vous êtes autorisé à créer une ressource, vous pouvez également appliquer des marqueurs à structure libre à cette ressource. Pour appliquer un marqueur défini, vous devez être autorisé à utiliser l'espace de noms de marqueur. Pour plus d'informations sur le marquage, voir Marqueurs de ressource. Si vous ne savez pas si vous devez appliquer des marqueurs, ignorez cette option ou demandez à un administrateur. Vous pouvez appliquer des marqueurs plus tard.
    16. Sélectionnez Créer.
    Le processus de création commence et sa progression est affichée. À la fin, la page des détails du connecteur s'ouvre.

  • Utilisez la commande oci sch service-connector create et les paramètres requis pour créer un connecteur avec une source de diffusion en continu :

    oci sch service-connector create --display-name "<display_name>" --compartment-id <compartment_OCID> --source [<stream_source_in_JSON>] --target [<target_in_JSON>]

    Pour la liste complète des paramètres et valeurs des commandes de l'interface de ligne de commande, voir Informations de référence sur les commandes de l'interface.

  • Exécutez l'opération CreateServiceConnector pour créer un connecteur.

    Pour créer un connecteur avec une source de diffusion en continu, alimentez source dans la demande (CreateServiceConnectorDetails) avec les détails de la diffusion en continu. Pour un exemple, consultez StreamingSourceDetails.

Points d'extrémité privés : Configurer les règles entrantes et sortantes

Si vous avez créé un connecteur avec un flux qui utilise un point d'extrémité privé, configurez les règles de trafic entrant et sortant pour permettre au connecteur d'accéder à ce point d'extrémité privé.

  • Obtenir les adresses IP pour la configuration :
  • Autoriser le trafic principal : Ajoutez une règle de trafic entrant au groupe de sécurité de réseau ou à la liste de sécurité avec la configuration suivante.

    Console :

    • sans état : Non
    • Source : rceTrafficIpAddress (Exemple : 10.0.0.249/32)
    • Protocole IP : TCP
    • Intervalle de ports sources : Tous
    • Intervalle de ports de destination : Tout

    API - Exemple de règle dans la demande : 

    {
  "protocol": "6",
  "source": "10.0.0.249/32"
}
  • Ajoutez une règle de trafic sortant à la liste de sécurité avec la configuration suivante.

    Console :

    • sans état : Non
    • Source : streamPoolIpAddress (Exemple : 10.0.0.20/32)
    • Protocole IP : TCP
    • Intervalle de ports sources : Tous
    • Intervalle de ports de destination : Tout

    API - Exemple de règle dans la demande : 

    {
  "destination": "10.0.0.20/32",
  "protocol": "6"
}
Note

Il n'est pas possible de rajuster un connecteur existant pour utiliser un flux avec un point d'extrémité privé. Si le groupe de flux sélectionné pour la source ou la cible de flux est public, il ne peut pas être remplacé par privé et le connecteur ne peut pas être mis à jour pour référencer un flux privé. Pour modifier la source ou la cible afin d'utiliser un autre flux privé, ou pour utiliser une source ou une cible autre que le service de diffusion en continu, recréez le connecteur avec la source et la cible que vous voulez. Un exemple de la nécessité d'un autre flux privé est un flux qui a été déplacé vers un autre groupe de flux. Dans ce cas, recréez le connecteur à l'aide du flux déplacé. Assurez-vous de désactiver ou de supprimer l'ancien connecteur avec la source de flux ou la cible que vous ne voulez plus.

Confirmer que le nouveau connecteur déplace les données

Après avoir créé le connecteur, vérifiez qu'il déplace les données.

  • Activez les journaux pour le connecteur afin d'obtenir des détails sur le flux de données.
  • Vérifiez les résultats attendus pour le service cible.

La confirmation du déplacement des données vous permet d'éviter une désactivation automatique, qui se produit en cas de défaillance prolongée d'un connecteur.

Flux privés : Il n'est pas possible de mettre à niveau un connecteur existant pour utiliser un flux avec un point d'extrémité privé. Si le groupe de flux sélectionné pour la source ou la cible de flux est public, il ne peut pas être remplacé par privé et le connecteur ne peut pas être mis à jour pour référencer un flux privé. Pour modifier la source ou la cible afin d'utiliser un autre flux privé, ou pour utiliser une source ou une cible autre que le service de diffusion en continu, recréez le connecteur avec la source et la cible que vous voulez. Un exemple de la nécessité d'un autre flux privé est un flux qui a été déplacé vers un autre groupe de flux. Dans ce cas, recréez le connecteur à l'aide du flux déplacé. Assurez-vous de désactiver ou de supprimer l'ancien connecteur avec la source de flux ou la cible que vous ne voulez plus.