Oracle Cloud Infrastructure - Dokumentation

Umgebungsvariablen für das Modell-Deployment

Wenn Sie eine Modell-Deployment-Ressource erstellen, können Sie benutzerdefinierte Umgebungsvariablen als Teil der Standardkonfiguration angeben. Diese Umgebungsvariablen können zur Laufzeit im Container verwendet werden.

Formatbeschränkung

  • Schlüssel muss weniger als 32 Zeichen enthalten.
  • Der Schlüssel darf nur Buchstaben, Ziffern und Unterstriche (_) enthalten.
  • Schlüssel muss mit einem Buchstaben beginnen.
  • Schlüssel muss mindestens 2 Zeichen enthalten.
  • Schlüssel darf nicht mit Unterstrichen enden. Beispiel: TEST_.
  • Wenn der Schlüssel hinzugefügt wurde, darf er nicht leer sein. Wert kann leer sein.
  • Wert kann ein beliebiges Zeichen sein.
  • Schlüssel kann keine vom Service bereitgestellten Umgebungsvariablen sein.
  • Wenn Ports als Umgebungsvariable übergeben werden, begrenzen Sie sie zwischen 1024 und 65535 und schließen auch die Ports 24224, 8446, 8447 aus.

Größenbeschränkung

Einzelne Werte haben keine spezifischen Größenbeschränkungen. Die Gesamtumgebungsvariablen einschließlich Schlüsselwertpaaren sind auf 2048 Byte begrenzt. Wenn die Größe mehr als 2048 Byte beträgt, geben Sie die Umgebungsvariablen mit dem Modellartefakt an, oder rufen Sie die Daten mit OCI Object Storage ab.

Vom Service bereitgestellte Umgebungsvariablen

Der Service verfügt zur Laufzeit über reservierte Umgebungsvariablen im Container für Logging oder andere funktionale Verwendung. Diese Umgebungsvariablen können nicht überschrieben werden.

Name Benutzerdefinierter Container Standardcontainer
MODEL_DEPLOYMENT_OCID Modell-Deployment-Ressourcen-OCID. Modell-Deployment-Ressourcen-OCID.
MODEL_SERVING_PYTHON_VERSION Kein. Die Python-Version aus runtime.yaml für Model Serving.
TENANCY_OCID Mandanten-OCID. Mandanten-OCID.
CONTAINER_CUSTOM_IMAGE Containerimagepfad (mit Tag oder Digest), der über das API-Umgebungskonfigurationsobjekt bereitgestellt wird. Kein.

Anwendungsumgebungsvariablen

Diese Umgebungsvariablen steuern funktional, wie das Modell-Deployment erstellt wird. Sie können von den Kunden überschrieben oder konfiguriert werden, indem sie die Standardkonfiguration übergeben.

Name Benutzerdefinierter Container Verwalteter Container
WEB_CONCURRENCY Basierend auf dem verfügbaren Speicher und der Größe des Modellartefakts berechnet eine heuristische Methode die Anzahl der Worker, die innerhalb des benutzerdefinierten Containers ausgeführt werden müssen. Kunden können die Variable auch überschreiben oder bei Bedarf eine benutzerdefinierte Nebenläufigkeitsvariable übergeben. Basierend auf dem verfügbaren Speicher und der Größe des Modellartefakts berechnet eine heuristische Methode die Anzahl der Worker, die innerhalb des benutzerdefinierten Containers ausgeführt werden müssen. Kunden können die Variable auch überschreiben oder bei Bedarf eine benutzerdefinierte Nebenläufigkeitsvariable übergeben.
CONTAINER_TYPE Typ des Containers viz TRITON. Nur TRITON wird unterstützt. Kein.