Oracle Cloud Infrastructure - Dokumentation

Auswertungen

Bewertung der Modellperformance mit KI-Schnellaktionen

Mit bereitgestellten Modellen können Sie eine Modellauswertung erstellen, um deren Performance zu bewerten. Sie können ein Dataset aus Object Storage auswählen oder eines aus dem Speicher des Notizbuchs hochladen, in dem Sie arbeiten. Um Datensets aus Ihrem Notizbuch hochzuladen, müssen Sie zuerst Policys einrichten, mit denen die Notizbuchsession Dateien in Object Storage schreiben kann. Sie können Ihre Modellbewertung mit einem Experimentnamen versehen. Sie können entweder aus einem vorhandenen Experiment auswählen oder ein neues Experiment erstellen. BERTScore, BLEU-Score, Perplexitätsscore, Textlesbarkeit und ROUGE sind die Bewertungsmetriken, die zur Messung der Modellperformance verfügbar sind. Sie können das Modellauswertungsergebnis in Object Storage speichern. Sie können die Parameter für die Modellauswertung festlegen. Unter den erweiterten Optionen können Sie die Compute-Instanzausprägung für die Bewertung auswählen und optional die Stoppsequenz eingeben. Darüber hinaus können Sie das Logging mit Ihrer Modellauswertung einrichten, um es zu überwachen. Logging ist optional, wird jedoch empfohlen, um Fehler bei der Auswertung zu beheben. Sie benötigen die erforderliche Policy, um das Logging zu aktivieren. Weitere Informationen zum Logging finden Sie im Abschnitt Logs. Sie können die Konfigurationen und Parameter Ihrer Bewertung prüfen, bevor Sie sie erstellen.

Wenn Sie zur Registerkarte "Bewertung" zurückkehren, wird der Lebenszyklusstatus der Bewertung Succeeded angezeigt, wenn die Modellauswertung abgeschlossen ist. Sie können das Bewertungsergebnis anzeigen und eine Kopie des Modellbewertungsberichts auf Ihren lokalen Rechner herunterladen.

Weitere Informationen und Tipps zu Beurteilungen finden Sie unter Bewertung auf GitHub.
Hinweis

Bewertungen können nicht auf ARM-basierten Ausprägungen ausgeführt werden.
    1. Klicken Sie unter KI-Schnellaktionen auf Bewertungen.
      Die Seite Bewertungen wird angezeigt.
    2. Wählen Sie Beurteilungen erstellen aus.
    3. Geben Sie den Namen der Auswertung ein.
    4. Wählen Sie den Modell-Deployment-Namen aus.
    5. (Optional) Geben Sie eine Beschreibung der Bewertung ein.
    6. Um ein Dataset anzugeben, wählen Sie Vorhandenes Dataset auswählen oder Dataset aus Notizbuchspeicher hochladen aus.
    7. (Optional) Wenn Sie in Schritt 6 die Option Vorhandenes Dataset auswählen ausgewählt haben, wählen Sie das Compartment aus.
    8. (Optional) Wenn Sie in Schritt 6 die Option Vorhandenes Dataset auswählen ausgewählt haben, wählen Sie den Object Storage-Speicherort des Datasets aus.
    9. (Optional) Wenn Sie in Schritt 6 die Option Vorhandenes Dataset auswählen ausgewählt haben, geben Sie den Object Storage-Pfad an.
    10. Um ein Experiment anzugeben, wählen Sie Vorhandenes Experiment auswählen oder Neues Experiment erstellen aus. Verwenden Sie Experimente, um ähnliche Modelle zur Bewertung zusammenzufassen.
    11. Optional: Wenn Sie Vorhandenes Experiment auswählen ausgewählt haben, wählen Sie das Experiment aus.
    12. Optional: Wenn Sie Neues Experiment erstellen ausgewählt haben:
      1. Geben Sie den Namen des Experiments ein.
      2. Optional: Geben Sie dem Experiment eine Beschreibung.
    13. Geben Sie den Objektspeicher-Bucket an, in dem die Ergebnisse gespeichert werden sollen.
      1. Compartment auswählen.
      2. Wählen Sie den Object Storage-Speicherort aus.
      3. Optional: Geben Sie den Object Storage-Pfad an.
    14. Wählen Sie Weiter aus.
    15. (Optional) Aktualisieren Sie unter Parameter die Modellauswertungsparameter aus den Standardwerten.
    16. Wählen Sie Erweiterte Optionen anzeigen.
    17. Geben Sie die zu verwendende Instanzausprägung und Stoppsequenz an.
    18. (Optional) Geben Sie unter Logging die zu verwendende Loggruppe und das zu verwendende Loglog an.
    19. Wählen Sie Weiter aus.
      Die Beurteilungsseite wird für die Beurteilung angezeigt, die Sie erstellen möchten.
    20. Wählen Sie Weiterleiten, um die Beurteilung zu starten.
    21. Wenn die Auswertung abgeschlossen ist und der Lebenszyklusstatus auf Erfolgreich gesetzt ist, wählen Sie den Pfeil neben der Auswertung.
      Die Bewertungsmetriken und Modellparameter werden angezeigt. Wählen Sie Herunterladen aus, um den Bericht im HTML-Format herunterzuladen.

  • Eine vollständige Liste der Parameter und Werte für AI Quick Actions-CLI-Befehle finden Sie unter AI Quick Actions-CLI.

  • Diese Aufgabe kann nicht mit der API ausgeführt werden.