Oracle Cloud Infrastructure-Dokumentation

Chat in OCI Generative AI

Verwenden Sie die bereitgestellten großen Sprachchatmodelle in OCI Generative AI, um Fragen zu stellen und Gesprächsantworten über einen KI-Chatbot zu erhalten.

    1. Wählen Sie in der Navigationsleiste der Konsole eine Region mit generativer KI aus. Beispiel: US Midwest (Chicago). Siehe Welche Modelle in Ihrer Region angeboten werden.
    2. Öffnen Sie das Navigationsmenü , und wählen Sie Analysen und KI aus. Wählen Sie unter KI-Services die Option Generative KI aus.
    3. Wählen Sie ein Compartment aus, für das Sie die erforderliche Berechtigung haben. Wenn der Playground nicht angezeigt wird, bitten Sie einen Administrator, Ihnen Zugriff auf generative KI-Ressourcen zu erteilen, und kehren Sie dann zu den folgenden Schritten zurück.
    4. Wählen Sie Playground aus.
    5. Wählen Sie Chat aus.
    6. Wählen Sie ein Modell für die Chaterfahrung aus, indem Sie eine der folgenden Aktionen ausführen:
      • Wählen Sie in der Liste Modell ein vortrainiertes Modell aus, wie meta.llama-3.1-70b-instruct, cohere.command-r-08-2024, cohere.command-r-plus-08-2024 oder ein benutzerdefiniertes Modell. Die benutzerdefinierten Modelle werden als Modellname (Endpunktname) angezeigt.
      • Wählen Sie Modelldetails anzeigen, ein Modell aus, und wählen Sie Modell auswählen aus.
      Hinweis

      • Das Modell meta.llama-3.1-405b-instruct ist nicht für On-Demand-Zugriff in allen Regionen verfügbar. Um auf dieses Modell zuzugreifen, führen Sie eine der folgenden Optionen aus:

        • Dedizierten Zugriff einrichten: Wechseln Sie zu einer region, die für dedizierte Cluster unterstützt wird für das meta.llama-3.1-405b-instruct-Chatmodell. Erstellen Sie dann ein Hostcluster und einen Endpunkt für dieses Modell.
        • Zu einer On-Demand-Region wechseln: Wechseln Sie zur Region US Midwest (Chicago), die für On-Demand-Inferenzen für das Chatmodell meta.llama-3.1-405b-instruct unterstützt wird.

      • Das Modell meta.llama-3.2-11b-vision-instruct ist in keiner Region für On-Demand-Zugriff verfügbar. Um auf dieses Modell zuzugreifen, führen Sie die folgende Option aus:

      Erfahren Sie mehr über Kosten und Modellabgänge für On-Demand- und dedizierte Bereitstellungsmodi.

    7. Starten Sie eine Unterhaltung, indem Sie eine Eingabeaufforderung eingeben oder ein Beispiel aus der Liste Beispiel auswählen, das Sie als Basis-Prompt verwenden oder aus dem Sie lernen möchten.
      Bei Modellen, die Images wie meta.llama-3.2-90b-vision-instruct akzeptieren, können Sie ein .png- oder .jpg-Image mit einer Größe von 5 MB oder weniger hinzufügen.
    8. (Optional) Legen Sie neue Werte für die Parameter fest. Parameterdetails finden Sie unter Chatmodelle, und wählen Sie das Modell aus, das Sie verwenden.
    9. Klicken Sie auf Weiterleiten.
    10. Geben Sie einen neuen Prompt ein, oder um die Chatunterhaltung fortzusetzen, geben Sie einen Nachsorge-Prompt ein, und wählen Sie Weiterleiten aus.
      Wichtig

      Im Playground für die Vision-Modelle, die Bilder akzeptieren:
      • Das Einreichen eines Bildes ohne Eingabeaufforderung funktioniert nicht. Wenn Sie ein Bild weiterleiten, müssen Sie in derselben Anforderung eine Eingabeaufforderung zu diesem Bild senden. Anschließend können Sie Nachsorge-Prompts weiterleiten, und das Modell behält den Kontext der Unterhaltung bei.
      • Um das nächste Bild und den nächsten Text hinzuzufügen, müssen Sie den Chat löschen, was dazu führt, dass der Kontext der vorherigen Unterhaltung verloren geht, weil der Chat gelöscht wurde.
    11. (Optional) Um die Antworten zu ändern, wählen Sie Chat löschen aus, aktualisieren Sie die Prompts und Parameter, und wählen Sie Weiterleiten aus. Wiederholen Sie diesen Schritt, bis Sie mit der Ausgabe zufrieden sind.
    12. (Optional) Prüfen Sie nach den Ausgabestreams die angezeigten Eingabe- und Ausgabetoken für den Prompt.
      • Eingabetoken: Anzahl der Eingabetoken, die zum Generieren der Antwort verwendet werden, einschließlich Ihrer Prompt- und Chattemplate-Token (System, Rolle/Formatierung, Toolschemas).
      • Ausgabetoken: Anzahl der vom Modell generierten Ausgabetoken. Enthält Argumentationstoken, sofern gemeldet. Einige Modelle wie Gemini und xAI schließen Argumentationstoken aus diesem Feld aus.
    13. (Optional) Um den Code zu kopieren, der die Ausgabe generiert hat, wählen Sie Code anzeigen, wählen Sie eine Programmiersprache oder ein Framework aus, wählen Sie Code kopiert aus, fügen Sie den Code in eine Datei ein, und speichern Sie die Datei. Stellen Sie sicher, dass in der Datei das Format des eingefügten Codes beibehält.
      Tipp

      Wenn Sie den Code in einer Anwendung verwenden:

    14. (Optional) Um eine neue Unterhaltung zu starten, wählen Sie Chat löschen aus.
      Hinweis

      • Wenn Sie Chat löschen auswählen, wird die Chatunterhaltung gelöscht. Die Modellparameter bleiben jedoch unverändert, und Sie können die zuletzt angewendeten Einstellungen weiterhin verwenden.

        Wenn Sie zu einem anderen Feature wechseln, wie Generierung, und dann zum Chat-Playground zurückkehren, werden sowohl die Chatunterhaltungs- als auch die Modellparameter auf ihre Standardwerte zurückgesetzt.

      Weitere Informationen zu Cohere-Chatparametern.

  • Um zu chatten, verwenden Sie den Vorgang chat-result in der Generativen KI-Inferenz-CLI.

    Geben Sie den folgenden Befehl ein, um eine Liste der Optionen für den Vorgang chat-result anzuzeigen.

    oci generative-ai-inference chat-result -h

    Eine vollständige Liste der Parameter und Werte für die OCI Generative AI-CLI-Befehle finden Sie unter Generative AI Inference CLI und Generative AI Management CLI.

  • Führen Sie den Chatvorgang aus, um mit den großen Sprachmodellen zu chatten.

    Informationen zur Verwendung der API und Zu Signieranforderungen finden Sie unter REST-API-Dokumentation und Sicherheitszugangsdaten. Informationen zu SDKs finden Sie unter SDKs und die CLI.