Oracle Cloud Infrastructure - Dokumentation

Job erstellen

Erstellen und führen Sie einen Job in Data Science aus.

Stellen Sie sicher, dass Sie die erforderlichen Einstellungen für Policys, Authentifizierung und Autorisierung für Ihre Jobs eingerichtet haben.

Bevor Sie beginnen:

  • Erstellen Sie eine Jobartefaktdatei, oder erstellen Sie einen benutzerdefinierten Container.

  • Informationen zum Logging, um Joblogs zu speichern und zu verwalten.

  • Um Speichermounts zu verwenden, benötigen Sie einen Objektspeicher-Bucket oder ein OCI File Storage Service-(FSS-)Mountziel und einen Exportpfad.

    Um FSS verwenden zu können, müssen Sie zuerst das Dateisystem und den Einhängepunkt erstellen. Verwenden Sie die benutzerdefinierte Netzwerkoption, und stellen Sie sicher, dass das Mountziel und das Notizbuch mit demselben Subnetz konfiguriert sind. Konfigurieren Sie Sicherheitslistenregeln für das Subnetz mit den spezifischen Ports und Protokollen.

    Stellen Sie sicher, dass Servicelimits file-system-count und mount-target-count zugewiesen sind.

  • Um Speichermounts verwenden zu können, benötigen Sie einen Objektspeicher-Bucket oder einen OCI File Storage Service-(FSS-)Mount Point.

    1. Wählen Sie auf der Seite mit der Jobliste die Option Job erstellen aus. Wenn Sie Hilfe bei der Suche nach der Jobliste benötigen, finden Sie weitere Informationen unter Jobs auflisten.
    2. (Optional) Wählen Sie ein anderes Compartment für den Job aus.
    3. (Optional) Geben Sie einen eindeutigen Namen und eine Beschreibung für den Job ein (maximal 255 Zeichen). Wenn Sie keinen Namen angeben, wird automatisch ein Name generiert.

      Beispiel: job20210808222435.

    4. (Optional) Um Bring Your Own Container zu verwenden, wählen Sie in der Umgebungskonfiguration Auswählen aus.
      Führen Sie im Bereich BYOC-Umgebung festlegen die folgenden Schritte aus:
      1. Wählen Sie unter Repository ein Repository aus der Liste. Wenn sich das Repository in einem anderen Compartment befindet, wählen Sie Compartment ändern aus.
      2. Wählen Sie unter Image ein Image aus der Liste.
      3. (Optional) Geben Sie unter Entrypoint einen Einstiegspunkt ein. Um einen weiteren hinzuzufügen, wählen Sie Parameter +Add aus.
      4. (Optional) Geben Sie in CMD eine CMD ein. Um einen weiteren hinzuzufügen, wählen Sie Parameter +Add aus.
        Hinweis

        Verwenden Sie CMD als Argumente für ENTRYPOINT oder den einzigen Befehl, der ohne ENTRYPOINT ausgeführt wird.
      5. (Optional) Geben Sie unter Imagedigest einen Imagedigest ein.
      6. (Optional) Geben Sie unter Signatur-ID bei Verwendung der Signaturverifizierung die OCID der Imagesignatur ein. Beispiel: ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....
      7. Wählen Sie Auswählen aus.
    5. (Optional) Dieser Schritt ist nur optional, wenn BYOC konfiguriert ist. Laden Sie das Jobartefakt hoch, indem Sie die erforderliche Jobartefaktdatei in das Feld ziehen.
    6. (Optional) Erstellen Sie eine Standardjobkonfiguration, die bei Ausführung des Jobs mit diesen Optionen verwendet wird.

      Geben Sie einen der folgenden Werte ein, oder wählen Sie sie aus:

      Benutzerdefinierter Umgebungsvariablenschlüssel

      Die Umgebungsvariablen, die den Job steuern.

      Hinweis

      Wenn Sie eine ZIP-Datei oder eine komprimierte TAR-Datei hochgeladen haben, fügen Sie den JOB_RUN_ENTRYPOINT als benutzerdefinierte Umgebungsvariable hinzu, die auf die Datei verweist.

      Wert

      Der Wert für den Variablenschlüssel der benutzerdefinierten Umgebung.

      Sie können Zusätzlicher benutzerdefinierter Umgebungsschlüssel auswählen, um weitere Variablen anzugeben.

      Befehlszeilenargumente

      Die Befehlszeilenargumente, die Sie zum Ausführen des Jobs verwenden möchten.

      Maximale Laufzeit (in Minuten)

      Gibt in Minuten an, wie lange der Job maximal ausgeführt werden darf. Der Service bricht den Joblauf ab, wenn die Laufzeit den angegebenen Wert überschreitet. Die maximale Laufzeit beträgt 30 Tage (43.200 Minuten). Es wird empfohlen, eine maximale Laufzeit für alle Jobläufe zu konfigurieren, um langfristige Arbeitsspeicherbelegung durch Jobläufe zu verhindern.

    7. Wählen Sie eine Compute-Ausprägung aus.
    8. (Optional) Ändern Sie die Compute-Ausprägung, indem Sie Ausprägung ändern auswählen. Führen Sie dann die folgenden Schritte im Bereich Compute auswählen aus.
      1. Wählen Sie einen Instanztyp aus.
      2. Wählen Sie eine Ausprägungsreihe aus.
      3. Wählen Sie eine der unterstützten Compute-Ausprägungen in der Serie aus.
      4. Wählen Sie die Ausprägung aus, die am besten zur gewünschten Verwendung der Ressource passt.

        Wählen Sie für jede OCPU bis zu 64 GB Arbeitsspeicher und eine maximale Summe von 512 GB aus. Der zulässige Mindestarbeitsspeicher ist entweder 1 GB oder ein Wert, der mit der Anzahl der OCPUs übereinstimmt, je nachdem, welcher Wert größer ist.

      5. Wenn Sie burstfähige VMs verwenden, schalten Sie Burstable um.
        Wählen Sie unter Baselineauslastung pro OCPU den Prozentsatz der OCPUs aus, den Sie normalerweise verwenden möchten. Die unterstützten Werte lauten 12,5% und 50%.
      6. Wählen Sie Ausprägung auswählen aus.
    9. (Optional) Um Logging zu verwenden, wählen Sie Auswählen aus, und stellen Sie sicher, dass Logging aktivieren ausgewählt ist.
      1. Wählen Sie eine Loggruppe in der Liste aus. Sie können zu einem anderen Compartment wechseln, um eine Loggruppe in einem anderen Compartment als dem des Jobs anzugeben.
      2. Wählen Sie eine der folgenden Optionen aus, um alle stdout- und stderr-Meldungen zu speichern:
        Automatische Logerstellung aktivieren

        Data Science erstellt automatisch ein Log, wenn der Job gestartet wird.

        Log auswählen

        Wählen Sie das gewünschte Log aus.

      3. Wählen Sie Auswählen aus, um zur Erstellungsseite für den Joblauf zurückzukehren.
    10. Geben Sie unter Storage die Menge an Blockspeicher ein, die zwischen 50 GB und 10, 240 GB (10 TB) verwendet werden soll. Sie können den Wert in 1-GB-Inkrementen ändern. Der Standardwert ist 100 GB.
    11. Wählen Sie eine der folgenden Optionen, um den Netzwerktyp zu konfigurieren:

      • Standardmäßiges Networking: Die Workload wird mit einer sekundären VNIC an ein vorkonfiguriertes, serviceverwaltetes VCN und Subnetz angehängt. Mit diesem bereitgestellten Subnetz können Sie über ein NAT-Gateway E-Mails zum öffentlichen Internet und über ein Servicegateway auf andere Oracle Cloud-Services zugreifen.

        Wenn Sie nur Zugriff auf das öffentliche Internet und die OCI-Services benötigen, wird empfohlen, diese Option zu verwenden. Damit müssen Sie keine Netzwerkressourcen erstellen oder Policys für Netzwerkberechtigungen schreiben.

      • Benutzerdefiniertes Networking: Wählen Sie das VCN und das Subnetz aus, die Sie für die Ressource (Notebooksession oder Job) verwenden möchten.

        Verwenden Sie für den Egress-Zugriff auf das öffentliche Internet ein privates Subnetz mit einer Route zu einem NAT-Gateway.

        Wenn das zu verwendende VCN oder Subnetz nicht angezeigt wird, klicken Sie auf Compartment ändern, und wählen Sie das Compartment aus, das das VCN oder Subnetz enthält.

        Wichtig

        Benutzerdefiniertes Networking muss verwendet werden, um einen Dateispeicher-Mount zu verwenden.

    12. (Optional) Um Speicher-Mounts zu verwenden, wählen Sie +Add-Speicher-Mount aus.
      Stellen Sie sicher, dass Sie die Autorisierung zur Verwendung von Speichermounts haben.
      1. Wählen Sie einen Speicher-Mount-Typ aus: OCI Object Storage oder OCI File Storage.
      2. Wählen Sie ein Compartment mit der Speicherressource aus, die Sie mounten möchten.
      3. Wählen Sie eine der folgenden Optionen aus:
        Object Storage
        Wenn Sie benutzerdefiniertes Networking verwenden:
        1. Erstellen Sie das Servicegateway im VCN.
        2. Fügen Sie für die Routentabellenkonfigurationen im privaten Subnetz das Servicegateway hinzu.
        3. Ändern Sie die Egress-Regeln der Sicherheitsliste des erforderlichen Subnetzes, um Traffic zu allen Services im Netzwerk zuzulassen.

        Der Bucket, den Sie verwenden möchten.

        Sie können ein Objektnamenspräfix hinzufügen. Das Präfix muss mit einem alphanumerischen Zeichen beginnen. Die zulässigen Zeichen sind alphanumerische Zeichen, Schrägstrich ( / ), Bindestrich ( - ) und Unterstrich ( _ ).

        File Storage

        Das Mountziel und der Exportpfad, den Sie verwenden möchten. Sie müssen das Dateisystem erstellt haben. Geben Sie ein vorhandenes Mountziel an, oder erstellen Sie ein neues.

        Sie müssen ein benutzerdefiniertes Netzwerk verwenden, um Dateispeicher zu verwenden.

        Befolgen Sie die Sicherheitslistenregeln des Subnetzes.
        Hinweis

        Bevor Sie ein Dateisystem mounten, müssen Sie Sicherheitsregeln im VCN-Subnetz konfigurieren, damit der Netzwerktraffic zum und vom Mountziel zulässig ist. Sie können Sicherheitsregeln in Subnetzsicherheitslisten, Netzwerksicherheitsgruppen oder mit einer Kombination aus beidem einrichten. Weitere Informationen finden Sie unter VCN-Sicherheitsregeln für File Storage konfigurieren.
        • Zustandsbehafteter Ingress zu TCP-Ports 111, 2048, 2049 und 2050 sowie UDP-Ports 111 und 2048.
        • Zustandsbehafteter Egress-Traffic für TCP-Quellports 111, 2048, 2049 und 2050 sowie UDP-Quellport 111.
      4. Geben Sie den Pfad ein, unter dem der Speicher gemountet werden soll.

        Speicher ist unter dem angegebenen Mount-Pfad eingehängt. Der Pfad muss mit einem alphanumerischen Zeichen beginnen. Das Zielverzeichnis muss für alle angegebenen Speicher-Mounts eindeutig sein. Die zulässigen Zeichen sind alphanumerische Zeichen, Bindestriche ( - ) und Unterstriche ( _ ).

        Sie können den vollständigen Pfad angeben, z.B. /opc/storage-directory. Wenn nur ein Verzeichnis angegeben wird, z.B. /storage-directory, wird es unter dem Standardverzeichnis /mnt gemountet. Sie können keine BS-spezifischen Verzeichnisse angeben, wie /bin oder /etc.

      5. Klicken Sie auf Weiterleiten.

        Wiederholen Sie diese Schritte, um bis zu zwei Speichermounts für Notizbuchsessions hinzuzufügen.

    13. (Optional) Wählen Sie Erweiterte Optionen anzeigen aus, um dem Job Tags hinzuzufügen.
    14. (Optional) Fügen Sie im Abschnitt Tags dem <resourceType> mindestens ein Tag hinzu. Wenn Sie über Berechtigungen zum Erstellen einer Ressource verfügen, sind Sie auch berechtigt, Freiformtags auf diese Ressource anzuwenden. Um ein definiertes Tag anzuwenden, müssen Sie über die Berechtigungen verfügen, den Tag-Namespace zu verwenden. Weitere Informationen zu Tagging finden Sie unter Ressourcentags. Wenn Sie nicht sicher sind, ob Sie Tags anwenden sollen, überspringen Sie diese Option, oder fragen Sie einen Administrator. Sie können Tags später anwenden.
    15. Klicken Sie auf Erstellen.

      Wenn der Job aktiv ist, können Sie ihn mit Jobläufen wiederholt ausführen.

  • Diese Umgebungsvariablen steuern den Job.

    Mit der Data Science-CLI können Sie einen Job wie in diesem Beispiel erstellen:

    1. Erstellen Sie einen Job mit: 
      oci data-science job create \
--display-name <job_name>\
--compartment-id <compartment_ocid>\
--project-id <project_ocid> \
--configuration-details file://<jobs_configuration_json_file> \
--infrastructure-configuration-details file://<jobs_infrastructure_configuration_json_file> \
--log-configuration-details file://<optional_jobs_infrastructure_configuration_json_file>
    2. Verwenden Sie diese JSON-Datei für die Jobkonfiguration: 
      {
  "jobType": "DEFAULT",
  "maximumRuntimeInMinutes": 240,
  "commandLineArguments" : "test-arg",
  "environmentVariables": {
    "SOME_ENV_KEY": "some_env_value" 
  }
}
    3. Verwenden Sie die JSON-Datei für die Jobinfrastrukturkonfiguration: 
      {
  "jobInfrastructureType": "STANDALONE",
  "shapeName": "VM.Standard2.1",
  "blockStorageSizeInGBs": "50",
  "subnetId": "<subnet_ocid>"
}
    4. (Optional) Verwenden Sie diese JSON-Datei für die Jobloggingkonfiguration: 
      {
  "enableLogging": true,
  "enableAutoLogCreation": true,
  "logGroupId": "<log_group_ocid>"
}
    5. Laden Sie wie folgt eine Jobartefaktdatei für den erstellten Job hoch: 
      oci data-science job create-job-artifact \
--job-id <job_ocid> \
--job-artifact-file <job_artifact_file_path> \
--content-disposition "attachment; filename=<job_artifact_file_name>"

  • Das ADS-SDK ist auch eine öffentlich verfügbare Python-Library, die Sie mit diesem Befehl installieren können:

    pip install oracle-ads

    Es stellt den Wrapper zur Verfügung, der das Erstellen und Ausführen von Jobs aus Notizbüchern oder auf dem Clientrechner vereinfacht.

    Mit dem ADS-SDK können Sie Jobs erstellen und ausführen.