12 Workflows

Workflows in Oracle AI Data Platform Workbench bieten eine leistungsstarke und flexible Möglichkeit, Datenverarbeitungsaufgaben zu automatisieren. Mit Workflows können Benutzer komplexe Datenpipelines definieren und orchestrieren, die On-Demand und basierend auf einem vordefinierten Zeitplan ausgeführt werden können. Workflows können aus mehreren Aufgaben bestehen, die jeweils eine bestimmte Aktion ausführen, und können erweiterte Funktionen wie Abhängigkeiten, Trigger und Fehlerbehandlung umfassen.

Themen:

Wichtige Features von AI Data Platform-Workflows

  • Automatisierung: Automatisieren Sie komplexe Datenaufgaben und -prozesse.
  • Orchestrierung: Definieren Sie die Reihenfolge und Abhängigkeiten von Aufgaben in einer Pipeline.
  • Planung: Führen Sie Workflows nach einem Zeitplan oder Trigger basierend auf bestimmten Ereignissen aus.
  • Überwachung: Verfolgen Sie den Workflowstatus, die Protokolle und die Ausführungshistorie.
  • Parameterisierung: Übergeben Sie Parameter, um das Verhalten von Workflows und Aufgaben anzupassen.

Kernkonzepte

  • Job: Eine Zusammenstellung von Aufgaben, die nacheinander oder parallel ausgeführt werden, um einen Datenverarbeitungsjob abzuschließen.
  • Aufgabe: Die einzelnen Schritte, aus denen ein Workflow besteht. Aufgaben können Aktionen wie die Ausführung von Python-Code, die Ausführung eines Notizbuchs, die If-else-Aufgabe oder die Ausführung einer anderen Jobaufgabe umfassen.
  • Joblauf: Eine Instanz einer Jobausführung. Ein Job kann mehrmals ausgelöst werden, jedes Mal, wenn er einen neuen Joblauf darstellt.
  • Trigger: Definiert die Bedingungen, unter denen ein Workflow ausgeführt wird, z.B. in einem Zeitplan oder wenn er manuell ausgelöst wird.
  • Abhängigkeiten: Definieren Sie die Reihenfolge der Aufgabenausführung, oder geben Sie Bedingungen an, unter denen bestimmte Aufgaben ausgeführt werden.
  • Parameter: Werte, die an Workflows oder Tasks übergeben werden, um deren Ausführung anzupassen. Parameter können auf Job-, Task- oder Laufzeitebene definiert werden.

Vorteile/Anwendungsfälle für die Verwendung von Workflows

  • Optimierte Automatisierung - Vereinfachen Sie die Ausführung wiederkehrender Datenaufgaben, indem Sie sie über Workflows automatisieren.
  • Parallele Verarbeitung - Beschleunigen Sie die Datenverarbeitung, indem Sie Aufgaben parallel ausführen.
  • Anpassbare Ausführung - Ändern Sie Workflows zur Laufzeit mit Parametern, um bestimmte Anforderungen zu erfüllen.
  • Verbesserte Effizienz – Reduzieren Sie manuelle Eingriffe und Fehler und ermöglichen Sie einen reibungsloseren Betrieb.

Workflows in einer AI Data Platform Workbench ermöglichen eine Vielzahl von Anwendungsfällen, darunter automatisierte ETL-Pipelines, Datenintegration aus mehreren Quellen und erweiterte Analysen. Benutzer können die Überwachung der Datenqualität, das Training von Modellen für maschinelles Lernen und das Deployment automatisieren. Diese Funktionen fördern Effizienz und Skalierbarkeit für moderne datengesteuerte Workflows.

Best Practices

  • Aufgabenmodularisierung - Unterteilen Sie Workflows in wiederverwendbare Aufgaben, um die Verwaltung zu vereinfachen und die Wartbarkeit zu verbessern.
  • Effiziente Ressourcenzuteilung – Optimieren Sie Workflows für eine bessere Performance, indem Sie Aufgaben gegebenenfalls parallel ausführen.
  • Fehlerbehandlung - Verwenden Sie Wiederholungen, Fehlerbenachrichtigungen und Fallback-Mechanismen, um sicherzustellen, dass Workflows zuverlässig ausgeführt werden.
  • Compute-Zuweisung - Weisen Sie jeder Aufgabe bestimmte Compute-Ressourcen basierend auf der Workload-Größe zu, und optimieren Sie Performance und Kosten.

Durch die Befolgung dieser Best Practices können Sie skalierbare, zuverlässige und effiziente Workflows entwerfen, die eine optimale Performance und ein einfacheres Management in Oracle AI Data Platform gewährleisten.