NVIDIA AI Enterprise auf OCI Compute

NVIDIA AI Enterprise (NVAIE) auf OCI Compute bietet ein nahtloses KI-Erlebnis der Unternehmensklasse, das die Bereitstellungsreibung minimiert, die Akzeptanz beschleunigt und die Lizenzierung und Abrechnung vereinfacht.

NVAIE-Artefakte erfordern einen bestimmten Satz von NVIDIA-GPU-Treibern und CUDA-Bibliotheken. Für Oracle Linux enthalten Plattformimages NVAIE-spezifische Treiber. Befolgen Sie für Ubuntu die Installationsschritte in der Dokumentation für OCI Ubuntu-Images. Darüber hinaus bietet OCI ein kuratiertes Set von ungefähr 90 NVIDIA-Containern mit hoher Priorität und Helm-Diagrammen für Oracle-Umgebungen. Diese Artefakte umfassen Open-Source-Modelle, NVIDIA NeMo-Container für RAG- und Agent-Workloads und BioNeMo-Modelle für das Gesundheitswesen. Sie können zusätzliche Artefakte anfordern, wenn Ihre Anwendungsfälle nicht in der aktuellen Optionsgruppe enthalten sind. OCI stellt die vollständige Versionsparität durch regelmäßige Synchronisierungen mit NVIDIAs NGC (Container- und Artefakt-Repository von NVIDIA) sicher, einschließlich aller Metadaten, Scanergebnisse und Artefaktdetails.

NVAIE-Bilder verwenden

NVIDIA AI Enterprise erfordert eine bestimmte Gruppe von GPU-Treibern, um seine Container auszuführen. OCI unterstützt Ubuntu- und Oracle Linux-GPU-Betriebssysteme. NVAIE-spezifische Treiber sind in den Basisimages für Oracle Linux enthalten.

NVAIE-Treiberanforderungen

NVIDIA-Treiber Release 560 oder höher.
Wenn Sie auf einer Data-Center-GPU ausgeführt werden, z.B. einer NVidia A100, können Sie NVIDIA-Treiberversion 470.57 oder höher, 535.86 oder höher oder 550.54 oder höher verwenden.
NVIDIA Docker 23.0.1 oder höher.
CUDA 12.6.1 oder höher.

NVAIE-Instanzen erstellen

Um eine Instanz zu erstellen, führen Sie die unter Instanz erstellen beschriebenen Schritte aus.

Wenn Sie zum Abschnitt Image und Ausprägung gelangen, führen Sie die folgenden Schritte aus.

Wählen Sie Image ändern aus.
Wählen Sie ein Oracle Linux- oder Ubuntu-Image aus. Wählen Sie Bild auswählen aus.
Wählen Sie unter Ausprägung die Option Ausprägung ändern.
Wählen Sie unter Instanztyp die Option Bare-Metal-Maschine.
Alle verfügbaren NVidia-GPU-Ausprägungen werden angezeigt
Wählen Sie eine beliebige verfügbare NVidia-Ausprägung basierend auf Ihren Deployment-Anforderungen aus. Wählen Sie Ausprägung auswählen aus.
Um NVidia AI Enterprise für diese Instanz zu aktivieren, wählen Sie NVIDIA AI Enterprise aktivieren aus.
Wählen Sie Weiter.
Fahren Sie mit den Schritten fort, die unter Instanz erstellen aufgeführt sind.
Wählen Sie Erstellen aus, um die Instanz zu erstellen.

NVAIE-Instanzkonfiguration erstellen

Erstellen Sie eine Instanzkonfiguration, um eine Instanzvorlage zu definieren, mit der Sie weitere Instanzen erstellen können. Zum Erstellen eines Instanzpools ist eine Instanzkonfiguration erforderlich.

Um eine Instanzkonfiguration zu erstellen, führen Sie die unter Instanzkonfiguration erstellen beschriebenen Schritte aus.

Wenn Sie zum Abschnitt Image und Ausprägung gelangen, führen Sie die folgenden Schritte aus.

Wählen Sie Image ändern aus.
Wählen Sie ein Oracle Linux- oder Ubuntu-Image aus. Wählen Sie Bild auswählen aus.
Wählen Sie unter Ausprägung die Option Ausprägung ändern.
Wählen Sie unter Instanztyp die Option Bare-Metal-Maschine.
Alle verfügbaren NVidia-GPU-Ausprägungen werden angezeigt
Wählen Sie eine beliebige verfügbare NVidia-Ausprägung basierend auf Ihren Deployment-Anforderungen aus. Wählen Sie Ausprägung auswählen aus.
Um NVidia AI Enterprise für diese Instanz zu aktivieren, wählen Sie NVIDIA AI Enterprise aktivieren aus.
Wählen Sie Weiter.
Fahren Sie mit den Schritten fort, die unter Instanzkonfiguration erstellen aufgeführt sind.
Wählen Sie Erstellen aus, um die Instanzkonfiguration zu erstellen.

NVAIE-Instanzpool erstellen

Um einen Instanzpool zu erstellen, führen Sie die unter Instanzpools erstellen beschriebenen Schritte aus.

Wählen Sie im Abschnitt mit den allgemeinen Details die Instanzkonfiguration aus, die Sie mit einer NVidia-Ausprägung erstellt haben.

Befolgen Sie die Schritte unter Instanzpools erstellen, bis der Instanzpool erstellt wurde.

NVAIE-Komponenten aus Marketplace verwenden

Sie können NVAIE-Container und Helm-Charts aus Marketplace importieren. Führen Sie die folgenden Schritte aus, um zum Marktplatz zu navigieren.

Wählen Sie im Hauptmenü die Option Marketplace.
Wählen Sie unter Marketplace die Option Alle Anwendungen aus. Die Hauptseite Marketplace wird angezeigt.
Verwenden Sie den Filter Typ, um Containerimages oder Helm-Diagramme auszuwählen.
Beispiel: Um NVAIE-Helm-Diagramme zu identifizieren, können Sie eine Zeichenfolge wie Llama-3.1-8B-Instruct-NIM-microservice eingeben, um Llama-3-Diagramme anzuzeigen.

Hinzufügen von NVAIE-Komponenten zu OCIR

Oracle Cloud Infrastructure Registry (OCIR), auch Container Registry genannt, ist eine von Oracle verwaltete Registry, mit der Sie Containerimages (wie Docker-Images) einfach speichern, freigeben und verwalten können. Führen Sie die folgenden Schritte aus, um Ihrem OCIR einen NVAIE-Marktplatzcontainer hinzuzufügen.

Wählen Sie im Hauptmenü die Option Marketplace.
Wählen Sie unter Marketplace die Option Alle Anwendungen aus. Die Hauptseite Marketplace wird angezeigt.
Verwenden Sie den Filter Typ, um Container-Images auszuwählen.
Container auswählen.
Wählen Sie Package exportieren aus.
Füllen Sie folgende Informationen aus:
- Compartment: Wählen Sie ein Compartment.
- OCI-Registry: Wählen Sie eine vorhandene Registry aus, oder erstellen Sie eine neue. Die folgenden Schritte dienen zum Erstellen einer neuen Registry.
- Registry-Name: Geben Sie einen Namen für die Registry ein.
- Zugriff: Wählen Sie Privat oder Öffentlich aus.
Akzeptieren Sie die Bedingungen für den Container.
Wählen Sie Exportieren aus. Die OCIR-Instanz wird erstellt, und die ausgewählte NVAIE-Komponente wird kopiert.

NVAIE-Image in Docker bereitstellen

Nachdem Sie ein NVAIE-Containerimage erstellt haben, können Sie es in einer Instanz bereitstellen. Die folgenden Schritte bieten ein Beispiel.

Container-Image aus OCIR abrufen:

docker pull {region}.ocir.io/{your_ocir_repo}/nvaie-multi-llm-nim:1.14.0

Lokalen Cache erstellen
Hinweis

Dies ist ein optionaler Schritt, aber das Ergebnis hält große Gewichtungen vom beschreibbaren Layer fern.
```
mkdir -p ~/.cache/nim
```

Starten Sie den Container.

docker run -d --gpus all -p 8000:8000 -v ~/.cache/nim:/opt/nim/.cache  {region}.ocir.io/{your_ocir_namespace}/nvaie-multi-llm-nim:1.14.0

Führen Sie einen schnellen Rauchtest durch.
```
curl http://localhost:8000/v1/models
```

Zugriff auf NVidia AI-Modelle aus regionalen S3-Buckets

Während der Ausführung benötigt der Multi-NIM-Container ein Modell für seine Rendering-Initialisierung. Bei OCI werden diese Modelle in jeder Region in OC1 (der kommerziellen Realm) in S3-Buckets gespeichert. Der Container verbraucht die folgenden Umgebungsvariablen:

        -e AWS_ACCESS_KEY_ID="$AWS_ACCESS_KEY_ID" \
        -e AWS_SECRET_ACCESS_KEY="$AWS_SECRET_ACCESS_KEY" \
        -e AWS_REGION="${region}" \
        -e AWS_ENDPOINT_URL="https://bmcinfraorch.compat.objectstorage.${region}.oraclecloud.com/" \
        -e NIM_MODEL_NAME="s3repo://nvaie/meta-llama/Llama-3.1-8B-Instruct"

Autorisierung

Um auf den NVIDIA AI-Bucket in jeder Region zugreifen zu können, müssen Sie über eine Zugriffsschlüssel-ID und einen Secret Access Key autorisiert sein. Diese Schlüssel müssen in Ihrem Mandanten gemäß dieser Anleitung eingerichtet werden: Kunden-Secret-Key erstellen. Speichern Sie die Schlüssel und Secrets in einem sicheren Vault- oder Secret-Service. Rufen Sie die Schlüssel bei Bedarf ab.

Region

Home-Regionen variieren je nach Mandant. Aus Performancegründen werden als Best Practice Modelle aus derselben Region abgerufen, in der der NVIDIA AI-Container ausgeführt wird. Identifizieren Sie dazu die Regions-ID, und legen Sie sie in den Umgebungsparametern fest. In der folgenden Anleitung werden die verschiedenen Regionen und zugehörigen Regions-IDs beschrieben: OCI-Regionen und -IDs.

Endpunkt-URL

Nachdem Sie Ihre Autorisierung und Region identifiziert haben, leiten Sie die Endpunkt-URL (AWS_ENDPOINT_URL) ab. Befolgen Sie diese Anleitung: Dedizierte Object Storage-Endpunkte.

S3-URLs folgen diesem Muster für die S3-Kompatibilität: <$namespace>.compat.objectstorage.<$region>.oraclecloud.com.

Der Wert <$namespace> für Nvidia AI-Modelle lautet immer bmcinfraorch.
Der Wert <$region> ist die Regions-ID.

Um mit der ID us-ashburn-1 auf den Bucket in Ashburn zuzugreifen, lautet die Endpunkt-URL: https://bmcinfraorch.compat.objectstorage.us-ashburn-1.oraclecloud.com/

Als Best Practice erstellen Sie eine Regionsvariable ähnlich dem folgenden Beispiel: https://bmcinfraorch.compat.objectstorage.${region}.oraclecloud.com/"

Modellnamen

Modelle sind in jeder Region über s3-Buckets zugänglich. Jedes Modell ist unter einem Root-Ordner mit der Bezeichnung nvaie organisiert.

Beispiel: s3repo://nvaie/

Um Meta's Llama zu laden, weisen Sie LLM an. Die Umgebungsvariable ist wie folgt festgelegt:

-e NIM_MODEL_NAME="s3repo://nvaie/meta-llama/Llama-3.1-8B-Instruct"

Nachbearbeitung

Das folgende Beispiel-Docker-Skript lädt die Multi-Nim-Container-Version 1.14.0 und injiziert Meta's Llama, um LLM in der Region Ashburn anzuweisen.


image='iad.ocir.io/imagegen/nvaie-multi-llm-nim:1.14.0'
region='us-ashburn-1'
docker run \
        --gpus all \
        --ipc=host \
        --ulimit memlock=-1 \
        --ulimit stack=67108864 \
        -p 8000:8000  \
        -e AWS_ACCESS_KEY_ID="$AWS_ACCESS_KEY_ID" \
        -e AWS_SECRET_ACCESS_KEY="$AWS_SECRET_ACCESS_KEY" \
        -e AWS_REGION="${region}" \
        -e AWS_ENDPOINT_URL="https://bmcinfraorch.compat.objectstorage.${region}.oraclecloud.com/" \
        -e NIM_MODEL_NAME="s3repo://nvaie/meta-llama/Llama-3.1-8B-Instruct" \
        $image

Oracle Cloud Infrastructure - Dokumentation