Integrazione AI esterna con @AISERVICE

Oracle GoldenGate fornisce la funzione @AISERVICE per richiamare i servizi AI esterni direttamente all'interno della pipeline di replica. Ciò consente l'arricchimento in tempo reale, come l'integrazione di generazione, classificazione o riepilogo, senza richiedere middleware personalizzato. Chiamando gli endpoint AI gestiti durante l'elaborazione di Replicat, le organizzazioni possono integrare perfettamente i servizi AI basati su cloud o personalizzati nei flussi di lavoro di spostamento dei dati.

@AISERVICE consente a Replicat di chiamare un endpoint AI esterno (ad esempio, un servizio di incorporamento basato su REST) e di utilizzare la risposta per popolare le colonne di destinazione. A differenza di @DBFUNCTION, che esegue la logica all'interno del database, @AISERVICE scarica il calcolo nei servizi esterni, rendendolo ideale per modelli basati su GPU o piattaforme AI centralizzate.

L'esempio riportato di seguito illustra la generazione di incorporamenti mediante un servizio AI esterno durante la replica.

MAP cust_addresses, TARGET cust_addresses_vector,
COLMAP (
  USEDEFAULTS,
  address_vector = @AISERVICE(
    SERVICE 'embedding_service_alias',
    PARAMS (
      'street' = @AFTER.street,
      'city'   = @AFTER.city,
      'zip'    = @AFTER.zip
    ),
    RETURN 'vector'
  )
);

In questa configurazione:

• embedding_service_alias è un endpoint del servizio AI GoldenGate.
• Le colonne Street, City e Zip vengono passate come input in embedding_service_alias
• I dati vettoriali restituiti vengono memorizzati nel file address_vector column nella tabella di destinazione.

@AISERVICE Best practice

Per sfruttare in modo efficace @AISERVICE all'interno di Oracle GoldenGate, le organizzazioni devono seguire una serie di best practice per garantire prestazioni, affidabilità e scalabilità delle pipeline AI in tempo reale. Poiché @AISERVICE introduce una dipendenza esterna nel percorso di replica, è necessaria un'attenta progettazione per evitare i colli di bottiglia e garantire un'elaborazione coerente dei dati.

Utilizza @AISERVICE per modelli a uso intensivo di computazione per evitare di sovraccaricare le risorse del database.

@AISERVICE dovrebbe essere utilizzato per carichi di lavoro AI ad alta intensità di calcolo, come l'inferenza di modelli linguistici di grandi dimensioni o la generazione di incorporamenti ad alta dimensione, in cui l'offload a servizi AI gestiti o supportati dalla GPU offre una scalabilità migliore rispetto all'esecuzione nel database. Ciò consente di preservare le risorse del database per i carichi di lavoro transazionali e di query di base.

Garantisci endpoint AI a bassa latenza e ad alta disponibilità per evitare ritardi nella replica

Il servizio AI esterno deve essere ad alta disponibilità e a bassa latenza. Poiché l'elaborazione Replicat dipende dalla risposta del servizio, gli endpoint lenti o inaffidabili possono introdurre ritardo o backpressure di replica. La distribuzione dei servizi AI in prossimità della rete stretta (ad esempio, la stessa area o VCN) e l'utilizzo del bilanciamento del carico possono migliorare notevolmente le prestazioni.

Implementare i criteri di timeout e riprovare per le chiamate di servizio

Devono essere implementati solidi meccanismi di gestione degli errori e di nuovo tentativo. Gli errori transitori, come i timeout di rete o la limitazione del servizio, non dovrebbero interrompere la replica. Le configurazioni devono includere timeout, criteri di nuovi tentativi e gestione dei fallback (ad esempio, l'instradamento dei record non riusciti a una coda di dead-letter per l'elaborazione successiva).

Inserisci nella cache o deduplica le richieste quando possibile per ridurre le chiamate esterne

Le organizzazioni dovrebbero ridurre al minimo le chiamate esterne non necessarie implementando strategie di deduplicazione o inserimento nella cache, se applicabile. Ad esempio, lo stesso testo di input può riutilizzare incorporamenti generati in precedenza, riducendo costi e latenza.

Monitora la latenza del servizio e la frequenza degli errori insieme alle metriche GoldenGate per garantire il rispetto degli SLA

Un monitoraggio completo è essenziale. I team devono tenere traccia della latenza del servizio AI, della frequenza degli errori e del throughput insieme a metriche di replica GoldenGate come ritardo e frequenza di applicazione. La correlazione di queste metriche consente una risoluzione più rapida dei problemi e garantisce che l'integrazione tra GoldenGate e i servizi AI esterni rimanga performante e affidabile.