Pipeline erstellen
Erstellen Sie eine Data Science-Pipeline, um eine Aufgabe auszuführen.
Stellen Sie sicher, dass Sie die erforderlichen Einstellungen für Policys, Authentifizierung und Autorisierung für Pipelines eingerichtet haben.
Stellen Sie sicher, dass Sie die folgende Regel zu einer Policy für dynamische Gruppen hinzugefügt haben, um die Skriptschritte ordnungsgemäß auszuführen:
all {resource.type='datasciencepipelinerun', resource.compartment.id='<pipeline-run-compartment-ocid>
'}
Bevor Sie beginnen:
-
Prüfen Sie die Verwendung von Pipelines-Umgebungsvariablen.
-
Um Pipelinelogs zu speichern und zu verwalten, erfahren Sie mehr über das Logging.
-
Entscheiden Sie, welche Conda-Umgebung Sie verwenden möchten. Wenn Sie eine benutzerdefinierte Conda-Umgebung benötigen, erstellen und veröffentlichen Sie eine.
Sie können Pipelines mit dem ADS-SDK, der OCI-Konsole oder dem OCI-SDK erstellen.
Die Verwendung von ADS zum Erstellen von Pipelines kann die Entwicklung der Pipeline, der Schritte und der Abhängigkeiten vereinfachen. ADS unterstützt das Lesen und Schreiben der Pipeline in und aus einer YAML-Datei. Mit ADS können Sie eine visuelle Darstellung der Pipeline anzeigen. Es wird empfohlen, die Pipeline mit ADS mit Code zu erstellen und zu verwalten.
- Aus einem Job
Von einem Job
Der Pipelineschritt verwendet einen vorhandenen Job. Wählen Sie einen der Jobs im Mandanten aus.
Aus einem SkriptAus einem Skript
Der Schritt verwendet ein Skript zur Ausführung. Sie müssen das Artefakt hochladen, das den gesamten Code für den auszuführenden Schritt enthält.
Von ContainerAusgangscontainer
Optional können Sie bei der Definition von Pipelineschritten Eigenen Container bereitstellen verwenden. Diese Umgebungsvariablen steuern die Pipelineausführung.
Mit der OCI-CLI können Sie eine Pipeline wie in diesem Python-Beispiel erstellen:
Das ADS-SDK ist auch eine öffentlich verfügbare Python-Library, die Sie mit diesem Befehl installieren können:
pip install oracle-ads
Mit dem ADS-SDK können Sie Pipelines erstellen und ausführen.
Benutzerdefiniertes Networking
Verwenden Sie ein benutzerdefiniertes Netzwerk, das Sie bereits in der Pipeline erstellt haben, um Ihnen zusätzliche Flexibilität im Netzwerk zu bieten.
Pipelines mit benutzerdefiniertem Networking erstellen
Sie können festlegen, dass beim Erstellen einer Pipeline benutzerdefiniertes Networking verwendet wird.
Der Wechsel von benutzerdefiniertem Networking zu verwaltetem Networking wird nach dem Erstellen der Pipeline nicht unterstützt.
Wenn das Banner angezeigt wird:
The specified subnet is not accessible. Select a different subnet.
Erstellen Sie eine Netzwerkzugriffs-Policy, wie im Abschnitt Pipeline-Policys beschrieben.Konsole verwenden
Wählen Sie diese Option aus, um benutzerdefiniertes Networking im Bereich Pipeline erstellen zu verwenden.
Wenn Sie Standardnetzwerke auswählen, verwendet das System das vorhandene serviceverwaltete Netzwerk. Wenn Sie die benutzerdefinierte Networkingoption auswählen, werden Sie aufgefordert, ein VCN und ein Subnetz auszuwählen.
Wählen Sie das VCN und das Subnetz aus, die Sie für die Ressource verwenden möchten. Verwenden Sie für den Egress-Zugriff auf das öffentliche Internet ein privates Subnetz mit einer Route zu einem NAT-Gateway. Wenn das zu verwendende VCN oder Subnetz nicht angezeigt wird, wählen Sie Compartment ändern und dann das Compartment mit dem VCN oder Subnetz aus.
APIs verwenden
subnet-id
in infrastructure-configuration-details
an, um ein benutzerdefiniertes Subnetz auf Pipelineebene zu verwenden. Beispiel:"infrastructure-configuration-details": {
"block-storage-size-in-gbs": 50,
"shape-config-details": {
"memory-in-gbs": 16.0,
"ocpus": 1.0
},
"shape-name": "VM.Standard.E4.Flex",
"subnet-id": "ocid1.subnet.oc1.iad.aaaaaaaa5lzzq3fyypo6x5t5egplbfyxf2are6k6boop3vky5t4h7g35xkoa"
}
"step-infrastructure-configuration-details": {
"block-storage-size-in-gbs": 50,
"shape-config-details": {
"memory-in-gbs": 16.0,
"ocpus": 1.0
},
"shape-name": "VM.Standard.E4.Flex",
"subnet-id": "ocid1.subnet.oc1.iad.aaaaaaaa5lzzq3fyypo6x5t5egplbfyxf2are6k6boop3vky5t4h7g35xkoa"
},