Intégration de l'IA externe avec @AISERVICE

Oracle GoldenGate fournit la fonction @AISERVICE pour appeler des services AI externes directement dans le pipeline de réplication. Cela permet un enrichissement en temps réel, tel que la génération, la classification ou la synthèse de l'intégration, sans nécessiter de middleware personnalisé. En appelant des points de terminaison d'IA gérés pendant le traitement de Replicat, les entreprises peuvent intégrer facilement des services d'IA basés sur le cloud ou personnalisés dans les workflows de déplacement de données.

@AISERVICE permet au processus de réplication d'appeler une adresse AI externe (par exemple, service d'intégration basé sur REST) et d'utiliser la réponse pour remplir les colonnes cible. Contrairement à @DBFUNCTION, qui exécute la logique dans la base de données, @AISERVICE décharge le calcul vers des services externes, ce qui le rend idéal pour les modèles soutenus par GPU ou les plates-formes d'IA centralisées.

L'exemple suivant illustre la génération d'intégrations à l'aide d'un service AI externe lors de la réplication :

MAP cust_addresses, TARGET cust_addresses_vector,
COLMAP (
  USEDEFAULTS,
  address_vector = @AISERVICE(
    SERVICE 'embedding_service_alias',
    PARAMS (
      'street' = @AFTER.street,
      'city'   = @AFTER.city,
      'zip'    = @AFTER.zip
    ),
    RETURN 'vector'
  )
);

Dans la configuration suivante :

@AISERVICE Meilleures pratiques

Pour exploiter efficacement @AISERVICE au sein d'Oracle GoldenGate, les entreprises doivent suivre un ensemble de bonnes pratiques afin de garantir les performances, la fiabilité et l'évolutivité des pipelines d'IA en temps réel. Etant donné que @AISERVICE introduit une dépendance externe dans le chemin de réplication, une conception minutieuse est nécessaire pour éviter les goulets d'étranglement et garantir un traitement cohérent des données.

Utilisez @AISERVICE pour les modèles à forte intensité de calcul afin d'éviter la surcharge des ressources de base de données.

@AISERVICE doit être utilisé pour les charges de travail d'IA gourmandes en calcul, telles que l'inférence de modèle de langage volumineux ou la génération d'intégration en haute dimension, où le déchargement vers des services d'IA gérés ou soutenus par GPU offre une meilleure évolutivité que l'exécution dans la base de données. Cela permet de préserver les ressources de base de données pour les workloads transactionnels et de requête de base.

Garantir des adresses d'IA à faible latence et hautement disponibles pour éviter le décalage de réplication

Le service d'IA externe doit être hautement disponible et à faible latence. Etant donné que le traitement de la réplication dépend de la réponse du service, les adresses lentes ou peu fiables peuvent introduire un décalage de réplication ou une contre-pression. Le déploiement de services d'IA à proximité immédiate du réseau (par exemple, la même région ou le même VCN) et l'utilisation de l'équilibrage de charge peuvent améliorer considérablement les performances.

Implémenter des stratégies d'expiration et de nouvelle tentative pour les appels de service

Des mécanismes robustes de gestion des erreurs et de relance doivent être implémentés. Les défaillances transitoires, telles que les délais d'attente réseau ou le ralentissement du service, ne doivent pas interrompre la réplication. Les configurations doivent inclure les délais d'attente, les stratégies de nouvelle tentative et la gestion des restaurations (par exemple, le routage des enregistrements en échec vers une file d'attente de lettres mortes pour un traitement ultérieur).

Mettre en cache ou dédupliquer les demandes lorsque cela est possible, afin de réduire les appels externes

Les entreprises doivent réduire les appels externes inutiles en implémentant des stratégies de déduplication ou de mise en cache, le cas échéant. Par exemple, un texte d'entrée identique peut réutiliser des incorporations précédemment générées, ce qui réduit le coût et la latence.

Surveillez la latence du service et les taux d'erreur avec les mesures GoldenGate pour vous assurer que les contrats de niveau de service sont respectés

Une surveillance complète est essentielle. Les équipes doivent suivre la latence du service d'IA, les taux d'erreur et le débit, ainsi que les mesures de réplication GoldenGate telles que le décalage et le taux d'application. La corrélation de ces mesures permet un dépannage plus rapide et garantit que l'intégration entre GoldenGate et les services d'IA externes reste performante et fiable.