Oracle Cloud Infrastructure-Dokumentation

Modellauswahl in Generative AI Agents

Der OCI Generative AI Agents-Service unterstützt die Modellauswahl, bei der Sie während der Erstellung oder Bearbeitung ein Large Language Model (LLM) als Routing-LLM für Ihren Agent auswählen können. Sie können aus On-Demand-Modellen auswählen, die im OCI Generative AI-Service gehostet werden, oder dedizierte KI-Clusterendpunkte für unterstützte Modelle erstellen und verwenden.

Die Modellauswahl bietet Flexibilität, um die Performance Ihres Agents basierend auf Ihrer Workload zu optimieren (z.B. für RAG- und SQL-Tools).

So wählen Sie ein Modell aus

Navigieren Sie beim Erstellen oder Bearbeiten eines Agent in der OCI-Konsole unter der Agent-Konfiguration zum Abschnitt Modellauswahl.

  1. Wählen Sie die LLM-Art des Arbeitsplans:

    • Wählen Sie unter folgenden Optionen:
      • Standard: Verwendet das Standardmodell, das vom Generative AI Agents-Service (Llama 3.3 70B) bereitgestellt wird. Dies eignet sich für Allzweckmittel ohne kundenspezifische Modellanforderungen.
      • Generatives KI-Modell: Wählen Sie aus On-Demand-Modellen aus, die direkt im OCI Generative AI-Service gehostet werden.
      • Endpunkt für generative KI: Wählen Sie aus Modellen aus, die auf dedizierten KI-Clusterendpunkten im OCI Generative AI-Service gehostet werden.

  2. Bestimmtes Modell oder Endpunkt auswählen:

    • Wenn Sie in der Liste Modell für generative KI oder Endpunkt für generative KI ausgewählt haben, zeigt die Konsole eine Liste der verfügbaren Optionen an. Durchsuchen und wählen Sie das bevorzugte Modell oder den bevorzugten Endpunkt aus.
    • Die Liste wird basierend auf den verfügbaren Modellen/Endpunkten und IAM-Berechtigungen des Mandanten aufgefüllt

  3. Standard-Hyperparameter aktualisieren:

    • Prüfen Sie die Standardwerte für die Modell-Hyperparameter.
    • Aktualisieren Sie optional einen dieser Hyperparameter.
Tipp

  • Sie können diese Modelle verwenden, wenn Sie RAG-, SQL- und Agent-Tools hinzufügen.
  • Um weitere Informationen zu diesen Modellen anzuzeigen, aktivieren Sie das Trace, wenn Sie einen Endpunkt erstellen für diesen Agent.
  • Wenn die Liste nicht aufgefüllt wird, sehen Sie anhand der Beispiele auf der Seite Benutzerzugriff auf Modellauswahl in Agents, welche Policy Sie hinzufügen müssen.

Unterstützte Models

Unterstützte Modelle und deren Hyperparameter
Modelle, die Sie auswählen können Zu aktualisierende Hyperparameter
  • Maximale Ausgabetoken
  • Temperatur
  • Top p
  • Top k
  • Frequency Penalty
  • Presence Penalty
  • Vordefinieren
  • Maximale Ausgabetoken
  • Temperatur
  • Top p
  • Wiederholungen steuern mit "Frequency Penalty"
  • Vielfältigere Inhalte mit "Presence Penalty"
  • Maximale Ausgabetoken
  • Temperatur
  • Top p
  • Frequency Penalty
  • Presence Penalty

Unterstützte Regionen

Die folgenden Regionen werden unterstützt:

  • Brazil East (Sao Paulo)
  • Germany Central (Frankfurt)
  • Japan Central (Osaka)
  • UK South (London)
  • US East (Ashburn)
  • US Midwest (Chicago)
  • US West (Phoenix)

Führen Sie die folgenden Aufgaben aus, um die verwendbaren Regionen eines Modells für die Agent-Modellauswahlfunktion zu bestätigen.

  1. Wählen Sie auf der Seite Modelle nach Region der Dokumentation für generative KI eines der unterstützten Modelle aus, die im Abschnitt Unterstützte Modelle aufgeführt sind.
  2. Wählen Sie eine Region für das Modell aus, die sowohl in den verfügbaren Regionen des Modells als auch in den vorhergehenden sieben unterstützten Regionen angezeigt wird.
  3. Prüfen Sie, ob das Modell in dem von Ihnen benötigten Modus verfügbar ist (On-Demand oder dediziert).

    Für den Zugriff auf Modelle im dedizierten Modus werden nur öffentliche Endpunkte unterstützt.