Casi d'uso del servizio AI
Oracle GoldenGate utilizza le funzionalità AI in vari aspetti della gestione dei dati vettoriali in diversi database e topologie.
È possibile utilizzare Oracle GoldenGate in vari scenari, ad esempio:
- Migrazione dei vettori esistenti
- Consolidamento degli incorporamenti distribuiti
- Streaming delle modifiche vettoriali alle piattaforme di ricerca
- Creazione di pipeline per lo streaming AI
Scopri alcuni di questi scenari in questa sezione.
Migrazione dei dati vettoriali nei database Oracle
La migrazione dei dati vettoriali in Oracle AI Database 26ai richiede un approccio attentamente orchestrato per garantire l'integrità dei dati e la coerenza semantica.
Le organizzazioni in genere iniziano utilizzando le funzionalità di caricamento iniziale di Oracle GoldenGate per trasferire incorporamenti cronologici da sistemi esterni come PostgreSQL pgvector, MySQL Heatwave o aree di memorizzazione vettoriali personalizzate, seguite dalla sincronizzazione continua Change Data Capture (CDC) per mantenere aggiornati i set di dati. Prima dell'inclusione, i dati vettoriali devono essere normalizzati in un formato coerente, ad esempio gli array float32, per allinearsi al tipo di dati VECTOR nativo di Oracle, che spesso può fornire lo storage ottimizzato con prestazioni di query avanzate.
È inoltre fondamentale mantenere la coerenza nel modello di incorporamento utilizzato durante la migrazione per evitare la deriva semantica, che può ridurre l'accuratezza della ricerca e i risultati dell'intelligenza artificiale. Per i set di dati su larga scala, la parallelizzazione del caricamento iniziale di GoldenGate Extract (SOURCEISTABLE o Scalabilità delle estrazioni di carico iniziale di GoldenGate SOURCEISTABLE) e dei processi Replicat migliora notevolmente il throughput e riduce i tempi di migrazione.
Un pattern di implementazione comune prevede la migrazione di incorporamenti generati nelle pipeline di machine learning basate su Python a monte nelle tabelle Oracle, dove vengono memorizzati come colonne VECTOR e resi disponibili per la ricerca di somiglianza in tempo reale e applicazioni basate sull'intelligenza artificiale.
Replica o consolidamento dei dati vettoriali
Oracle GoldenGate offre un solido framework per replicare e consolidare i dati vettoriali da origini distribuite in un database Oracle AI centralizzato, consentendo una base unificata per la ricerca semantica e i carichi di lavoro basati sull'intelligenza artificiale. Nelle architetture moderne, gli incorporamenti vengono spesso generati in più aree o microservizi, rendendo essenziale sincronizzare e aggregare questi dati in modo efficiente. I casi d'uso comuni includono la replica multi-regione per supportare applicazioni AI distribuite a livello globale con accesso a bassa latenza, nonché il consolidamento di integrazioni prodotte da servizi indipendenti in un unico sistema di recupero per una maggiore precisione e governance delle query. Se gli schemi di origine e di destinazione non sono identici, le regole di trasformazione devono essere implementate all'interno di GoldenGate per riconciliare le differenze di schema tra i sistemi di origine, garantendo la compatibilità con il modello dati di destinazione. Se l'origine dati contiene dati non elaborati o tabulari che devono essere incorporati nell'hub vettoriale di destinazione, utilizzare l'integrazione del servizio AI GoldenGate integrato o le funzioni di incorporamento del database nativo per eseguire l'incorporamento in tempo reale.
Streaming dei dati vettoriali nei motori di ricerca AI
Oracle GoldenGate consente lo streaming in tempo reale delle modifiche AI dati vettoriali AI motori di ricerca AI a valle e alle pipeline di elaborazione, formando un ponte critico tra sistemi transazionali e applicazioni basate sull'intelligenza artificiale. Poiché le integrazioni vengono create o aggiornate nei sistemi di origine, GoldenGate può acquisire queste modifiche e trasmetterle in streaming a destinazioni come database vettoriali come Pinecone, Milvus, piattaforme di ricerca come OpenSearch con funzionalità k-NN o pipeline AI basate sugli eventi basate su tecnologie come Apache Kafka. Questa architettura supporta la ricerca semantica a bassa latenza, i sistemi di raccomandazione e i casi d'uso di inferenza in tempo reale. Per implementarlo in modo efficace, le organizzazioni dovrebbero sfruttare GoldenGate per le applicazioni distribuite e l'analitica o sfruttare OCI GoldenGate per integrarsi perfettamente con Kafka e queste altre piattaforme di streaming. Una serializzazione efficiente dei dati vettoriali, che utilizza formati come gli array JSON per l'interoperabilità o formati binari compatti per le prestazioni, è essenziale per ridurre al minimo il sovraccarico della rete e la latenza di elaborazione.
Inoltre, garantire la consegna idempotente dei messaggi è fondamentale per mantenere la coerenza tra i sistemi a valle, in particolare negli ambienti distribuiti in cui possono verificarsi nuovi tentativi o eventi duplicati.
Pipeline di streaming AI
Oracle GoldenGate Stream Analytics (GGSA) 26ai estende le funzionalità di spostamento dei dati in tempo reale di GoldenGate con un potente livello di elaborazione degli eventi basato sull'intelligenza artificiale che consente un processo decisionale intelligente direttamente all'interno delle pipeline di streaming. Combinando l'elaborazione dei flussi esatta, ordinata e transazionalmente coerente con integrazioni di intelligenza artificiale, vettoriale e machine learning integrate, GGSA consente alle organizzazioni di andare oltre la logica basata su regole e applicare insight basati su modelli AI dati in tempo reale. Gli eventi acquisiti tramite la replica GoldenGate possono essere arricchiti ed elaborati utilizzando modelli di agenti AI basati su modelli di linguaggio di grandi dimensioni, consentendo una valutazione basata sulla lingua naturale, un ragionamento contestuale e una retrieval-augmented generation (RAG) rispetto AI dati aziendali. Inoltre, GGSA supporta la creazione e l'esecuzione di query di integrazioni vettoriali all'interno delle pipeline, consentendo ricerche di somiglianza in tempo reale e casi d'uso di corrispondenza semantica, come l'identificazione di problemi o contenuti correlati ai clienti. L'integrazione con Oracle Machine Learning e AutoML consente inoltre il punteggio e la classificazione predittivi degli eventi di streaming, consentendo casi d'uso come il rilevamento di frodi, il rilevamento delle anomalie e le previsioni.
GoldenGate Stream Analytics consente agli utenti di scegliere il giusto livello di intelligence per ogni decisione automatizzata. L'instradamento diretto o gli avvisi possono essere gestiti con filtri ed espressioni logiche, ad esempio contrassegnando transazioni di alto valore o dando la priorità agli eventi di servizio urgenti. Le decisioni predittive possono utilizzare modelli di machine learning per valutare gli eventi e ottenere risultati quali rischi di frode, guasti alle apparecchiature, abbandono o previsioni della domanda. Le pipeline possono anche creare ed eseguire query sulle integrazioni vettoriali, consentendo la corrispondenza semantica, ad esempio abbinando una nuova domanda del cliente alla risposta, al documento o al caso di supporto più pertinente. Per scenari più complessi, le pipeline possono richiamare agenti AI che utilizzano dati sugli eventi in tempo reale, contesto aziendale e retrieval-augmented generation per produrre un suggerimento o un'azione motivata.
Insieme, queste funzionalità posizionano GoldenGate Stream Analytics come piattaforma unificata per l'elaborazione di flussi di eventi ad alta velocità con intelligenza artificiale integrata, collegando perfettamente dati transazionali e analytics avanzati.