1. Modulare Low-Code-LLM-App-Engine mit Oracle Integration und OCI Generative AI aktivieren
  2. Modulare Low-Code-LLM-App-Engine mit Oracle Integration und OCI Generative AI aktivieren

Modulare Low-Code-LLM-App-Engine mit Oracle Integration und OCI Generative AI aktivieren

Oracle Integration ist ein vollständig verwalteter Service, der einen Low-Code- oder No-Code-Ansatz für Konnektivitäts-, Erweiterungs- und Automatisierungsfunktionen für Unternehmen ermöglicht, um Anwendungen, Geschäftsprozesse, APIs und Daten schnell zu modernisieren. Mit einer visuellen Entwicklungserfahrung, vordefinierten Integrationen und eingebetteten Best Practices kann Oracle Integration APIs, Apps, Systeme usw. orchestrieren und KI-gestützte und auf Menschen basierende benutzerdefinierte Anwendungen und Geschäftsabläufe ermöglichen.

Oracle Cloud Infrastructure Generative AI (OCI Generative AI) ist ein vollständig verwalteter Service, der eine Reihe hochmoderner, anpassbarer Large Language Models (LLMs) bereitstellt, die eine Vielzahl von Anwendungsfällen für Texterstellung, Zusammenfassung, Einbettung und Chatabschluss abdecken. Sie können den Spielplatz verwenden - eine Schnittstelle in der Konsole, mit der Sie die gehosteten vortrainierten und benutzerdefinierten Modelle erkunden können, ohne eine einzige Codezeile zu schreiben, oder Ihre eigenen fein abgestimmten benutzerdefinierten Modelle erstellen und hosten, die auf Ihren eigenen Daten in dedizierten KI-Clustern basieren.

Kombination von Oracle Integration- und OCI Generative AI-Services mit anderen OCI-Services wie Oracle Cloud Infrastructure Streaming (OCI Streaming, ein von Oracle verwalteter Kafka-Service), OCI Document Understanding (serverloser Service mit REST-API-Aufrufen für optische Zeichenerkennung (OCR), Textextraktion, Schlüssel/Wert-Extraktion, Tabellenextraktion und -klassifizierung von Dokumenten möglich), Oracle Cloud Infrastructure Language (serverloser Service mit REST-API-Aufrufen für Textsentimentanalyse, benannte Entityerkennung, Klassifizierung) und mehr), OCI Vision (serverloser Service mit REST-API-Aufrufen zur Objekterkennung und Imageklassifizierung verfügbar), Oracle Cloud Infrastructure Data Science (vollständig verwaltete, serverlose Plattform, mit der Data Science-Teams erstellen, trainieren und und verwalten Sie maschinelles Lernen - ML-Modelle ) und andere mit den nativen Adaptern und dem visuellen Entwicklungsansatz von Oracle Integration. So können Sie modulare, skalierbare, wartbare und gesicherte benutzerdefinierte LLM-basierte Anwendungen aktivieren.

Architektur

Diese Referenzarchitektur enthält die erforderlichen Überlegungen und Empfehlungen, um eine KI-basierte, modulare und ereignisgesteuerte LLM-App-Engine zu ermöglichen. Dazu werden verwendet:

  • Ein Low-Code- oder No-Code-Ansatz für die Data Loader- und Query Engine-Abläufe Ihrer LLM-Anwendung mit visuellen Oracle Integration-Orchestrierungstools und nativen Adaptern für verschiedene Social-, Produktivitäts- und Geschäftsdatenkanäle (Benutzer, die in die LLM-App-Engine eingegeben werden, entweder Dokumente, Bilder, Geschäftsdaten oder Abfragen) und Quellen (Quelle der von der LLM-App-Engine verwendeten Daten) sowie native Adapter zu den verschiedenen OCI-Services, die von der LLM-App-Engine verwendet werden (OCI Generative AI-REST-APIs, Vector Databases oder Stores, Oracle Cloud Infrastructure Language-REST-APIs, Oracle Cloud Infrastructure Data Science-REST-Endpunkte für benutzerdefinierte Modelle usw.). So können Sie schnell Geschäftsabläufe für LLM-Anwendungen einrichten
  • Ein ereignisgesteuertes Muster zum Entkoppeln der Dokument-, Image- und Geschäftsdatenkanäle und -quellen sowie der Abfragekanäle von den Data Loader- und Abfrage-Engine-Modulen der LLM-App-Engine mit dem OCI Streaming-Service (von Oracle verwalteter Kafka-Service) und dem nativen Adapter, den wir für diesen OCI-Service in Oracle Integration haben. Dadurch wird eine skalierbare und leistungsstarke LLM-Anwendung ermöglicht.
  • Eine private Verbindung zur 3rd-Party-Cloud, zu On-Premise-Apps, zu Systemen usw. mit dem Oracle Integration Connectivity Agent, dem Schlüsselfaktor für Hybrid- und Multicloud-Integrationsarchitekturen, speziell in einer LLM-Anwendung, in der Dokumente, Bilder, Geschäftsdaten, Abfragen von Benutzern aus diesen Systemen stammen können und Sie den Transit für Dokumente und Daten privat und gesichert halten möchten. Dies trägt dazu bei, die Sicherheit des End-to-End-LLM-Flusses zu verbessern und den Datenverkehr in privaten Netzwerken zu halten.
  • Die Möglichkeit, native LLM-Modelle oder benutzerdefinierte LLM-Modelle in Ihrer LLM-App als Services in OCI zu verwenden (Orchestrierung von OCI Generative AI-Modellendpunkten oder OCI Data Science-Modellendpunkten mit Oracle Integration-Cloud-nativen Adaptern).
  • Ein flexibler Ansatz, um Ihre eigene Benutzeroberfläche (UI) für Ihre LLM-Anwendung mit der LLM-APP-Engine zu integrieren oder zu trennen, oder ein Low-Code-Ansatz, um die UI mit Visual APP Builder unter Oracle Integration oder Oracle APEX zu erstellen.

Das folgende Diagramm veranschaulicht diese Referenzarchitektur.


Beschreibung von oci-lowcode-ai-arch.png:
Beschreibung der Abbildung oci-lowcode-ai-arch.png

oci-lowcode-ai-arch-oracle.zip

Die Low-Code LLM App Engine besteht aus 2 Hauptblöcken:

Dokument-, Image- und Business Data Loader
Beschreibung von oci-generative-ai-llm-data-loader-arch.png folgt
Beschreibung der Abbildung oci-generative-ai-llm-data-loader-arch.png

oci-generative-ai-llm-data-loader-arch-oracle.zip

  • Dieser Block empfängt zuerst die von einem Benutzer hinzugefügten Eingabedokumente, Bilder oder Geschäftsdaten über einen Social/Productivity Channel (z.B. WhatsApp, Outlook, Gmail, Twitter usw.), einen Geschäftsdatenkanal (z.B. 3rd Party On Premise oder Cloud Web Application, Content Management System, 3rd Party Cloud Storage wie Microsoft Azure Cloud Storage, AWS S3, Google Cloud Storage, FTP, Dateiserver, ERP, CX, HCM - On-Premise- oder SaaS-Anwendungen usw.), eine benutzerdefinierte Knowledge-Suchmaschinen-UI (z.B. benutzerdefinierte UI, die mit visuellen Low-Code-App-Tools wie Visual Builder unter Oracle Integration oder Oracle APEX unter Oracle Database erstellt wurde) oder direkt in einen OCI Object Storage-Bucket mit Oracle Integration Visual Orchestration Flows und nativen Adaptern.
  • Die Dokumente, Bilder oder Geschäftsdaten werden je nach Art der Eingabe extrahiert. Beispiel: Für Bildobjekte und Texterkennung können Sie den OCI AI Vision-Service verwenden. Für die Dokumentklassifizierung und -extraktion können Sie entweder den OCI AI Document Understanding-Service, für bestimmte Bildtypen, Dokumente, die Sie mit OCI Functions in Ihrer bevorzugten Programmiersprache verwenden können, verwenden.
  • Die Dokumente, Bilder oder Geschäftsdaten können verarbeitet werden durch:
    • Extrahieren der Metadaten mit dem OCI AI Language-Service (z.B. Entity, Schlüsselwortextraktion, Schlüsselphrasenextraktion, Sentimentanalyse, Persönlich identifizierbare Informationen/PII-Erkennung und Verschleierung usw.) für weitere relevante Kontextabrufe (z.B. zum Aktivieren von Retrieval Augmented Generation (RAG) usw.).
    • Einbetten der Daten in ein LLM-Modell mit dem OCI Generative AI-Service für weitere relevante Kontextabrufe (z.B. zum Aktivieren von Retrieval Augmented Generation (RAG) usw.).
    • Zusammenfassen der Daten mit einem LLM-Modell mit dem OCI Generative AI-Service für weitere relevante Kontextabrufe (z.B. um einen Übersichtsindex für die Suche nach mehreren Dokumenten zu aktivieren, der auch als strukturierter hierarchischer Abruf bezeichnet wird usw.).
    • Speichern der Daten in einem relationalen Speicher für die weitere Suche nach strukturierten Daten (z.B. Oracle Database, Oracle Database Cloud Service, Autonomous Database, MySQL, PostgreSQL usw.).
    • Indexieren der Daten in einem Vector Store für die weitere Suche nach unstrukturierten Daten (z.B. Vektor, Zusammenfassung, Stichwortindizes mit OCI AI Vector Search, OCI Search Service mit OpenSearch, Qdrant usw.).

      Hinweis: Das neue Suchfeature für AI-Vektorähnlichkeiten ist in Oracle Database 23.4c verfügbar.

Abfrage-Engine
Beschreibung von oci-generative-ai-llm-query-engine-arch.png folgt
Beschreibung der Abbildung oci-generative-ai-llm-query-engine-arch.png

oci-generative-ai-llm-query-engine-arch-oracle.zip

  • Dieser Block empfängt zuerst die Eingabeabfrage von einem Benutzer über einen Social Media-, Produktivitätskanal (z. B. Whatsapp, Outlook, Gmail usw.), einen Geschäftsdatenkanal (z. B. 3rd Party On Prem/Cloud Web Application, und so weiter) oder über eine benutzerdefinierte Knowledge-Suchmaschinen-UI (z.B. benutzerdefinierte UI, die mit visuellen Low-Code-App-Tools wie Visual Builder unter Oracle Integration oder Oracle APEX unter Oracle Database erstellt wurde) mit Oracle Integration Visual Orchestration Flows und nativen Adaptern.
  • Die Abfrage tritt mit Oracle Integration in die Abfragepipeline ein, wo sie von einer der folgenden Methoden verarbeitet werden kann:
    • Abfrage mit dem OCI Generative AI-Service filtern, um Prompt-Injection zu vermeiden.
    • Umschreiben oder Transformieren der Abfrage mit dem OCI Generative AI-Service, um einen besseren relevanten Kontextabruf zu erhalten.
    • Routing der Abfrage mit Abfrage-Engine-Selektoren mit OCI Generative AI, um zu bestimmen, wie die Abfrage über Ihre Daten entweder als Datenzusammenfassung oder als bestimmter Kontextabruf ausgeführt wird.
    • Extrahieren der Unterhaltungshistorie aus einem Chathistorienspeicher mit OCI-Cache mit Redis bei Anwendungsfällen zum Chatabschluss, bei denen Chatspeicher erforderlich ist.
    • Einbetten der Abfrage mit dem OCI Generative AI-Service für relevante Anwendungsfälle für den Kontextabruf (z.B. zum Aktivieren von Retrieval Augmented Generation (RAG) usw.).
    • Weiterleitung der relevanten Kontextabrufe mit dem OCI Generative AI-Service, um zu bestimmen, aus welchen Datenquellen Daten zur Beantwortung der Eingabeabfrage abgerufen werden sollen.
    • Abrufen der relevanten Kontextdaten zur Beantwortung der Abfrage aus Vektorspeichern (z.B. OCI AI Vector Search, OCI Search Service mit OpenSearch, Qdrant usw.) für Anwendungsfälle von Retrieval Augmented Generation (RAG), relationalen Speichern (z.B. Oracle Database, Oracle Database Cloud Service, Autonomous Database, MySQL, PostgreSQL) und usw.) für die Suche nach strukturierten Geschäftsdaten oder Social-, Produktivitäts- und Geschäftsdatenquellen (z.B. Twitter, Outlook, Gmail, ERP/HCM/CX Apps usw.) für die On-Demand-Suche nach Geschäftsdaten, die alle von Oracle Integration mit nativen Adaptern orchestriert werden, um eine Verbindung zu diesen Datenquellen herzustellen.
    • Die mit einem in OCI Data Science bereitgestellten und bereitgestellten Re-Rank-Modell abgerufenen relevanten Kontextdaten neu einstufen, um die Suche zu optimieren.
    • Generieren der endgültigen Antwort auf die Abfrage mit den OCI Generative AI-Servicefunktionen für Zusammenfassung, Generierung und Chatabschluss.

Die Architektur umfasst die folgenden Komponenten:

  • Oracle Integration

    Oracle Integration ist ein vollständig verwalteter Service und eine Low-Code-Plattform für Unternehmenskonnektivität, Erweiterung und Automatisierung, mit der Anwendungen, Geschäftsprozesse, APIs und Daten schnell modernisiert werden können. Entwickler und Cloud-Architekten können SaaS- und On-Premise-Anwendungen sechsmal schneller mit einer visuellen Entwicklungserfahrung, vordefinierten Integrationen und eingebetteten Best Practices verbinden. Mit Oracle Integration erhalten Sie nativen Zugriff auf Ereignisse in Oracle Cloud ERP, HCM und CX. Verbinden Sie app-spezifische Analysesilos, um die Prozesse von der Anforderung bis zum Wareneingang, von der Einstellung bis zur Zahlung, von der Lead-to-Invoice und anderen kritischen Prozessen zu vereinfachen. Geben Sie Ihren IT- und Führungskräften End-to-End-Visibilität.

  • OCI Generative AI

    Generative KI von Oracle Cloud Infrastructure (OCI) ist ein vollständig verwalteter Service, der über eine API verfügbar ist, um diese vielseitigen Sprachmodelle nahtlos in eine Vielzahl von Anwendungsfällen zu integrieren, einschließlich Schreibunterstützung, Zusammenfassung und Chat. Der OCI Generative AI-Service umfasst die folgenden grundlegenden Modelle:

    • Generierung: Geben Sie Anweisungen an, um Text zu generieren oder Informationen aus Ihrem Text zu extrahieren.
    • Zusammenfassung: Fassen Sie Text mit dem angegebenen Format, der Länge und dem angegebenen Ton zusammen.
    • Einbetten: Konvertieren Sie Text in Vektoreinbettungen, um ihn in Anwendungen für semantische Suchen, Textklassifizierungen oder Textclustering zu verwenden.
  • OCI Document Understanding

    OCI Document Understanding ist ein KI-Service, mit dem Entwickler Text, Tabellen und andere Schlüsseldaten über APIs und Befehlszeilentools aus Dokumentdateien extrahieren können. Mit OCI Document Understanding können Sie mühsame Geschäftsverarbeitungsaufgaben mit vordefinierten KI-Modellen automatisieren und die Dokumentenextraktion an Ihre branchenspezifischen Anforderungen anpassen.

  • Oracle Cloud Infrastructure Language

    OCI Language ist ein mehrmandantenfähiger Service mit Serverless-Architektur, auf den über REST-API-Aufrufe zugegriffen werden kann. Er stellt voreingestellte Modelle bereit, die häufig neu trainiert und überwacht werden, um Ihnen die besten Ergebnisse zu liefern. Language bietet Ihnen Funktionen für künstliche Intelligenz und maschinelles Lernen, um die Sprache in Ihrem unstrukturierten Text zu erkennen. Darüber hinaus bietet er weitere Tools, mit denen Sie weitere Einblicke in Ihren Text erhalten können.

  • OCI Vision

    OCI Vision ist ein KI-Service für die Durchführung von Deep-Learning-basierten Bildanalysen in großem Maßstab. Mit vorgefertigten Modellen, die sofort einsatzbereit sind, können Entwickler Bilderkennung und Texterkennung problemlos in ihre Anwendungen integrieren, ohne dass sie über maschinelles Lernen (ML) verfügen. Für branchenspezifische Anwendungsfälle können Entwickler benutzerdefinierte Vision-Modelle automatisch mit ihren eigenen Daten trainieren. Diese Modelle können verwendet werden, um visuelle Anomalien in der Fertigung zu erkennen, Text aus Dokumenten zu extrahieren, um Geschäftsworkflows zu automatisieren, und Artikel in Bildern zu kennzeichnen, um Produkte oder Lieferungen zu zählen. Neben dem Zugriff auf vortrainierte Modelle können Entwickler benutzerdefinierte Modelle ohne Data Science-Kenntnisse oder die Verwaltung einer benutzerdefinierten Modellinfrastruktur erstellen.

  • Object Storage

    Mit dem Objektspeicher können Sie schnell auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps zugreifen, darunter Datenbankbackups, Analysendaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und geschützt speichern und dann direkt aus dem Internet oder aus der Cloud-Plattform abrufen. Sie können den Speicher nahtlos skalieren, ohne die Performance oder Servicezuverlässigkeit zu beeinträchtigen. Verwenden Sie Standardspeicher für "Hot Storage", auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage, den Sie über lange Zeiträume beibehalten möchten und auf den Sie nur selten zugreifen.

  • Data Science

    Oracle Cloud Infrastructure Data Science ist eine vollständig verwaltete, serverlose Plattform, mit der Datenanalyseteams Modelle für maschinelles Lernen (ML) in Oracle Cloud Infrastructure (OCI) erstellen, trainieren und verwalten können. Sie kann problemlos in andere OCI-Services wie Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage und mehr integriert werden. Sie können hochwertige Modelle für maschinelles Lernen erstellen und bewerten, die Geschäftsflexibilität erhöhen, indem Sie unternehmensvertrauenswürdige Daten schnell einsetzen. Außerdem können Sie datengesteuerte Geschäftsziele mit einer einfacheren Bereitstellung von ML-Modellen unterstützen.

  • OCI Search-Service mit OpenSearch

    OCI Search Service mit OpenSearch ist eine Insight-Engine, die als verwalteter Oracle-Service angeboten wird. Ohne Ausfallzeiten automatisiert Oracle das Patchen, Aktualisieren, Upgraden, Sichern und Ändern der Servicegröße. Kunden können große Datenmengen schnell speichern, suchen und analysieren und Ergebnisse nahezu in Echtzeit anzeigen.

  • OCI-Cache mit Redis

    Oracle Cloud Infrastructure Cache with Redis ist eine umfassende, verwaltete In-Memory-Caching-Lösung, die auf der Grundlage von Open Source Redis entwickelt wurde. Dieser vollständig verwaltete Service beschleunigt Datenlese- und -schreibvorgänge und verbessert die Reaktionszeiten der Anwendung und die Datenbankperformance erheblich, um ein besseres Kundenerlebnis zu bieten.

  • APEX-Service

    Oracle APEX Application Development (APEX) ist eine Low-Code-Entwicklungsplattform, mit der Sie skalierbare, funktionsreiche, sichere Unternehmens-Apps entwickeln und überall dort bereitstellen können, wo Oracle Database installiert ist. Sie müssen kein Experte für eine Vielzahl von Technologien sein, um anspruchsvolle Lösungen bereitzustellen. Der APEX-Service umfasst integrierte Features, wie Benutzeroberflächen-Themes, Navigationskontrollen, Form Handler und flexible Berichte, die den Anwendungsentwicklungsprozess beschleunigen.

  • Oracle Database 23 (AI-Vektorsuche)

    Oracle Database 23c bietet die umfassendste und einfachste konvergierte Datenbank für Entwickler, die neue Microservice-, Diagramm-, Dokument- und relationale applications.Oracle erstellen möchten, und hat angekündigt, dass sie semantische Suchfunktionen mit KI-Vektoren zu Oracle Database 23c hinzufügen möchten. Die Sammlung von Features, die AI Vector Search genannt wird, umfasst einen neuen Vektordatentyp, Vektorindizes und Vektorsuch-SQL-Operatoren, mit denen Oracle Database den semantischen Inhalt von Dokumenten, Bildern und anderen unstrukturierten Daten als Vektoren speichern und diese verwenden kann, um schnelle Ähnlichkeitsabfragen auszuführen. Weitere Informationen finden Sie unter dem Link "Pressemitteilung" im Abschnitt "Weitere Informationen".

  • Streaming

    Oracle Cloud Infrastructure Streaming bietet eine vollständig verwaltete, skalierbare und dauerhafte Speicherlösung zum Aufnehmen kontinuierlicher hochvolumiger Datenstreams, die Sie in Echtzeit konsumieren und verarbeiten können. Sie können Streaming verwenden, um hochvolumige Daten wie Anwendungslogs, betriebliche Telemetrie, Web-Clickstream-Daten oder für andere Anwendungsfälle zu erfassen, bei denen kontinuierlich und sequentiell Daten erstellt und verarbeitet werden, in einem Publish-Subscribe-Nachrichtenmodell.

  • Ereignisse

    Oracle Cloud Infrastructure-Services geben Ereignisse aus. Dies sind strukturierte Nachrichten, mit denen die Änderungen an Ressourcen beschrieben werden. Ereignisse werden für CRUD-Vorgänge (Create, Read, Update oder Delete), Änderungen des Ressourcenlebenszyklusstatus und Systemereignisse ausgegeben, die sich auf Cloud-Ressourcen auswirken.

  • Functions

    Oracle Cloud Infrastructure Functions ist eine vollständig verwaltete, mehrmandantenige, hochskalierbare, On-Demand-Plattform mit Funktionen als Service (FaaS). Es wird von der Fn-Projekt-Open-Source-Engine angetrieben. Mit Funktionen können Sie Ihren Code bereitstellen und entweder direkt aufrufen oder als Antwort auf Ereignisse auslösen. Oracle Functions verwendet Docker-Container, die in Oracle Cloud Infrastructure Registry gehostet werden.

  • API Gateway

    Mit Oracle API Gateway können Sie APIs mit privaten Endpunkten veröffentlichen, auf die Sie über Ihr Netzwerk zugreifen können. Bei Bedarf können Sie diese aber auch für das öffentliche Internet freigeben. Die Endpunkte unterstützen API-Validierung, Anforderungs- und Reaktionstransformation, CORS, Authentifizierung und Autorisierung sowie Anforderungsbegrenzung.

  • Web Application Firewall (WAF)

    Oracle Cloud Infrastructure Web Application Firewall (WAF) ist ein PCI-kompatibler, regionaler und Edge-Enforcement-Service, der an einen Durchsetzungspunkt angehängt ist, wie einen Load Balancer oder einen Domainnamen einer Webanwendung. WAF schützt Anwendungen vor schädlichem und unerwünschtem Internettransport. WAF kann beliebige internetseitige Endpunkte schützen und bietet eine einheitliche Regeldurchsetzung über alle Anwendungen eines Kunden hinweg.

  • Region

    Eine Oracle Cloud Infrastructure-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center enthält, das als Availability-Domain bezeichnet wird. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie trennen (über Länder oder sogar Kontinente).

  • Virtuelles Cloud-Netzwerk (VCN) und Subnetz

    Ein VCN ist ein anpassbares, benutzerdefiniertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten können. Wie herkömmliche Data Center-Netzwerke erhalten Sie mit VCNs vollständige Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere sich nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem Bereich zusammenhängender Adressen, die sich nicht mit anderen Subnetzen im VCN überschneiden. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.

Empfehlungen

Verwenden Sie die folgenden Empfehlungen als Ausgangspunkt. Ihre Anforderungen können von der hier beschriebenen Architektur abweichen.
  • Wartung und High Availability

    Die Referenzarchitektur verwendet fast nur von Oracle verwaltete PaaS-Services. Die Software muss mit dieser Lösung nicht installiert, gepatcht, aktualisiert oder aktualisiert werden. Dies gilt für: Oracle Integration, OCI Generative AI, OCI Document Understanding, OCI Vision, Oracle Cloud Infrastructure Language, Oracle Cloud Infrastructure Data Science, OCI Object Storage, OCI-Ereignisse, OCI Streaming, OCI Functions, OCI API Gateway, Oracle Cloud Infrastructure Web Application Firewall.

    Die einzige Komponente, die Aufmerksamkeit erbitten könnte, ist der Oracle Integration Connectivity Agent, der in einer Compute-Instanz installiert ist, um auf die Ressourcen wie das OCI OpenSearch-Cluster, Autonomous Database usw., die sich in einem privaten Netzwerk befinden, zuzugreifen. Befolgen Sie die Richtlinien in der Oracle Integration-Dokumentation, um den Oracle Integration Connectivity-Agent einfach zu warten und hochverfügbar zu machen.

  • Skalierbarkeit und Größe

    Diese Referenzarchitektur verwendet PaaS-Services und ist für die meisten darin enthaltenen Services sofort skalierbar. Beachten Sie, dass das OCI-Cluster OpenSearch sowie das OCI-Cache mit Redis-Cluster nicht automatisch vertikal und horizontal skaliert werden (nur manuell). Daher ist eine richtige Skalierung der Lösung basierend auf Ihrem Anwendungsfall erforderlich.

  • Konnektivität

    Alle Verbindungen innerhalb von OCI müssen über ein privates Netzwerk hergestellt werden:

    • You can use either private endpoints option or connectivity agents in Oracle Integration to connect to private OCI Services like OCI Streaming, Oracle Autonomous Database, Oracle Database, Oracle Database Cloud Service, and so on.
    • Oracle Integration Connectivity Agent(s), die eine Verbindung zu privaten Services wie dem OCI-Cluster OpenSearch, dem OCI-Cache mit Redis-Cluster usw. herstellen, müssen in einer OCI-VM innerhalb desselben privaten Subnetzes installiert werden, in dem diese Services bereitgestellt sind.
    • Die von Ihnen erstellten OCI Streaming-Kafka-Streams oder -Themen müssen mit einem Streampool verknüpft sein, der mit einem privaten Endpunkt (mit einem privaten Subnetz in einem OCI-VCN verknüpft) bereitgestellt wird. Bei privaten Kafka-Streams von OCI Streaming oder Themen wie den Ergebnisthemen für die Dokument- und Bildextraktion (siehe logischer Block, Dokument-, Bild- und Geschäfts-Data-Loader oben), die Metadaten der OCI Document Understanding-Extraktionsergebnisdateien von OCI-Ereignissen erhalten, können Sie OCI Functions mit OCI-Ereignissen nutzen, um Nachrichten an private Streamingendpunkte zu übermitteln.
    • Konnektivitäts-Agent(s), die eine Verbindung zu On-Premise- oder Cloud-Services der 3. Partei herstellen (z.B. Azure SQL-Datenbanken), müssen in einer VM innerhalb desselben privaten Subnetzes installiert werden, in dem diese externen Services bereitgestellt werden.
  • Schränken Sie den Zugriff auf eine Oracle Integration-Instanz ein

    Schränken Sie die Netzwerke ein, die Zugriff auf Ihre Oracle Integration-Instanz haben, indem Sie die Oracle Integration-Ausnahmeliste (früher eine Ausnahmeliste) konfigurieren. Nur Benutzer, Systeme mit den spezifischen IP-Adressen, Classless Inter-Domain Routing-(CIDR-)Blöcken und von Ihnen angegebenen virtuellen Cloud-Netzwerken können auf die Oracle Integration-Instanz zugreifen.

    In dieser Referenzarchitektur könnte die Oracle Integration-Ausnahmeliste den Zugriff auf die Oracle Integration-Instanz einschränken und nur Anforderungen zulassen, die von Cloud-Anwendungen initiiert wurden, die auf OCI, Oracle SaaS-Apps, Nicht-Oracle Cloud, On-Premise-Web, Saas, Cloud-Anwendungen und VCN-OCID(s) bereitgestellt wurden, die mit den VMs verknüpft sind, auf denen die Oracle Integration Connectivity Agents gehostet werden.

Hinweise

Beachten Sie beim Deployment dieser Referenzarchitektur die folgenden Punkte.

  • Sicherheit

    Dedizierte KI-Cluster in OCI Generative AI sind Compute-Ressourcen, die Sie für die Feinabstimmung benutzerdefinierter LLM-Modelle oder für das Hosting von Endpunkten für benutzerdefinierte LLM-Modelle verwenden können. Die Cluster werden dediziert für Ihre Modelle bereitgestellt und nicht mit Benutzern in anderen Mandanten geteilt. Mit Custom Model OCI Generative AI können Sie die Modelle mit Ihren eigenen Daten verfeinern. Andernfalls können Sie Ihre eigenen Daten verwenden, indem Sie Retrieval Augmented Generation (RAG) implementieren, die Einbettung, Indexierung usw. mit OCI Generative AI-On-Demand-Modellen, Vector Stores (z.B. OCI Vector Search, Open Search usw.) kombiniert.

    Mit Oracle Cloud Infrastructure Identity and Access Management-(OCI IAM-)Policys können Sie kontrollieren, wer auf Ihre Cloud-Ressourcen zugreifen kann (Beispiel: Oracle Integration, OCI Language, OCI Vision, OCI Generative AI-Service, OCI Streaming, OCI Compute Instances usw.) und welche Vorgänge ausgeführt werden können. Um die Datenbankkennwörter oder andere Secrets zu schützen, sollten Sie den OCI Vault-Service verwenden.

    Die Dokumente und Bilder werden in privaten OCI Object Storage-Buckets gespeichert. Ein temporärer Link mit kurzer Lebensdauer wird erstellt, wenn ein Benutzer in der Knowledge-Suchmaschinen-UI auf das Dokument klickt. Verwenden Sie Oracle Cloud Infrastructure Web Application Firewall-(WAF-)Filter und -Regeln, um von REST ausgelöste Oracle Integration-Orchestrierungsflüsse zu schützen, die über OCI API Gateway vor böswilligen Angriffen wie DDOs-Angriffen, SQL-Injection-Threads usw. offengelegt werden.

  • Skalierbarkeit

    Beim Erstellen von OCI Streaming Streams oder Topics geben Administratoren die Anzahl der Streams an, die sie verwenden möchten. Streams können pro Geschäftsdomain erstellt werden (z.B. InvoiceStream, PurchaseOrderStream usw.). Administratoren geben auch Partitionen an, die sie pro Stream oder Topic verwenden möchten. Mit Partitionen können Sie einen Stream und ein Topic verteilen, indem Sie Nachrichten auf mehrere Knoten aufteilen, sodass mehrere Consumer parallel aus einem Stream und einem Topic lesen (in diesem Fall Sie können mehrere Klone desselben Consumer-Integrationsflusses in Oracle Integration haben, von denen jeder aus einer anderen Partition eines Streams oder Themas mit dem OCI Streaming-Adapter als Trigger liest).

    Administratoren geben beim Erstellen von Oracle Integration-Instanzen die Anzahl der Nachrichtenpakete an, die pro Instanz verwendet werden sollen.

  • Ressourcengrenzen

    Berücksichtigen Sie die Best Practices, Limits nach Service und Compartment Quotas für Ihren Mandanten.

Mehr erfahren

Sehen Sie sich diese zusätzlichen Ressourcen an, um mehr über die Features dieser Referenzarchitektur zu erfahren.

Generative OCI Generative AI

Oracle Integration

OCI AI-Dokumentenverständnis

OCI-KI-Sprache

OCI-KI-Vision

Oracle Cloud Infrastructure

Danksagungen

  • Author: Juan Carlos González Carrero
  • Contributors: Bob Peulen, Alexandru Negrea