Generative KI-Anwendungen mit dem Llama 2-Modell auf Oracle Cloud Infrastructure erstellen

Generative Oracle Cloud Infrastructure Generative AI (OCI Generative AI) ist ein vollständig verwalteter Service, der eine Reihe hochmoderner und anpassbarer großer Sprachmodelle (Large Language Models, LLMs) bereitstellt, die eine breite Palette an Anwendungsfällen für die Textgenerierung abdecken.

Meta Llama 2 ist ein großes Open-Source-Sprachmodell, das als vollständig verwaltetes vortrainiertes Basismodell (meta.llama-2-70b-Chat) mit 70B-Parametern auf Oracle Cloud Infrastructure (OCI) angeboten wird. Benutzer-Prompt und Antwort können bis zu 4096 Token pro Ausführung enthalten. Sie können Ihre generativen KI-Anwendungen schnell auf OCI erstellen und das Llama 2-Modell hosten, indem Sie ein dediziertes KI-Cluster auf OCI beschaffen.

Architektur

Sie können Llama 2 als vortrainierte Basismodelle verwenden, ohne sich um die zugrunde liegende Infrastruktur kümmern zu müssen. Sie können Ihre Prompts ausführen, die Parameter anpassen, Ihre Prompts aktualisieren und das Modell erneut ausführen, bis Sie mit den Ergebnissen zufrieden sind. Rufen Sie dann den Code aus der Konsole ab, und kopieren Sie ihn in Ihre Anwendungen. Sie können das Llama 2-Modell auch in einem dedizierten Cluster hosten und mit API-Endpunkten in Ihre Anwendung integrieren.

In dieser Referenzarchitektur wird Object Storage in OCI für Datenspeicherung, Data Integration für Transformationen, OCI Data Science Workspace für die Modellerstellung, Vektordatenbank zum Speichern von Einbettungen, OCI Generative AI-Service mit dediziertem KI-Cluster für das Hosting und OCI Developer-Tool - APEX für UI bereitgestellt.

Das folgende Diagramm veranschaulicht diese Referenzarchitektur.

Beschreibung von oci-generative-ai-llama-arch.png:

Beschreibung der Abbildung oci-generative-ai-llama-arch.png

oci-generative-ai-llama-arch-oracle.zip

Vorteile der Erstellung eines LLM auf OCI

Generativer KI-Service: OCI Generative AI ist ein vollständig verwalteter Service, der über eine API verfügbar ist, um diese vielseitigen Sprachmodelle nahtlos in eine Vielzahl von Anwendungsfällen zu integrieren, einschließlich Schreibunterstützung, Zusammenfassung und Chat.

Dedizierte KI-Cluster: Bei dedizierten KI-Clustern handelt es sich um Compute-Ressourcen, die Sie für die Optimierung benutzerdefinierter Modelle oder für das Hosting dedizierter KI-Endpunkte für Modelle verwenden können. Die Cluster werden dediziert für Ihre Modelle bereitgestellt und nicht mit Benutzern in anderen Mandanten geteilt.

Hinweis:

Eine neue KI-Vektorähnlichkeitssuchfunktion ist in Oracle Database 23ai verfügbar.

Die Architektur umfasst die folgenden Komponenten:

Object Storage
Der Objektspeicher bietet schnellen Zugriff auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps, einschließlich Datenbankbackups, Analysedaten und umfangreichen Inhalten, wie Bildern und Videos. Sie können Daten sicher und geschützt speichern und dann direkt aus dem Internet oder aus der Cloud-Plattform abrufen. Sie können den Speicher skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird. Verwenden Sie Standardspeicher für "Hot Storage", auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage", den Sie über lange Zeiträume beibehalten möchten und auf den Sie nur selten zugreifen.
OCI-Integration
Oracle Cloud Infrastructure-Integrationsservices verbinden alle Anwendungen und Datenquellen, einschließlich Salesforce, SAP, Shopify, Snowflake und Workday, um End-to-End-Prozesse zu automatisieren und das Management zu zentralisieren. Das breite Spektrum an Integrationen mit vordefinierten Adaptern und Low-Code-Anpassungen vereinfacht die Migration in die Cloud und optimiert gleichzeitig Hybrid- und Multicloud-Vorgänge.
OCI Data Science
Oracle Cloud Infrastructure (OCI) Data Science ist eine vollständig verwaltete und serverlose Plattform, auf der Datenanalyseteams Modelle für maschinelles Lernen erstellen, trainieren und verwalten können.
OCI Generative AI
Bei Oracle Cloud Infrastructure Generative AI handelt es sich um einen vollständig verwalteten Service mit einer Reihe hochmoderner, großer Sprachmodelle (Large Language Models, LLMs), die ein breites Spektrum an Anwendungsfällen für die Textgenerierung abdecken. Nutzen Sie den Spielplatz, um die vorkonfigurierten Modelle auszuprobieren oder Ihr eigenes dediziertes Llama2-Modell basierend auf Ihren Unternehmensdaten auf dedizierten KI-Clustern zu erstellen und zu hosten.

Empfehlungen

Verwenden Sie die folgenden Empfehlungen als Ausgangspunkt. Ihre Anforderungen können von der hier beschriebenen Architektur abweichen.

Wartung und High Availability
Diese Referenzarchitektur verwendet fast nur von Oracle verwaltete PaaS-Services. Die Software muss mit dieser Lösung nicht installiert, gepatcht, aktualisiert oder aktualisiert werden.
Skalierbarkeit und Größe
Diese Referenzarchitektur verwendet PaaS-Services und ist für die meisten darin enthaltenen Services sofort skalierbar.
Konnektivität
Alle Verbindungen innerhalb von OCI müssen über ein privates Netzwerk hergestellt werden. Mit der Option "Private Endpunkte" können Sie eine Verbindung zu OCI PaaS-Services herstellen.

Hinweise

Beachten Sie beim Deployment dieser Referenzarchitektur die folgenden Punkte.

Sicherheit
Dedizierte KI-Cluster in OCI Generative AI sind Compute-Ressourcen, die Sie zum Hosten von Endpunkten für Llama 2 LLM-Modelle verwenden können. Die Cluster werden dediziert für Ihre Modelle bereitgestellt und nicht mit Benutzern in anderen Mandanten geteilt.
Ressourcengrenzen
Berücksichtigen Sie die Best Practices, Limits nach Service und Compartment Quotas für Ihren Mandanten.

Mehr erfahren

Sehen Sie sich diese zusätzlichen Ressourcen an, um mehr über die Features dieser Referenzarchitektur zu erfahren.

Danksagungen

Autor: Pavan Kumar Manuguri