Oracle Cloud Infrastructure-Dokumentation

Chat in OCI Generative AI

Verwenden Sie die bereitgestellten Chatmodelle für große Sprachen in OCI Generative AI, um Fragen zu stellen und Gesprächsantworten über einen KI-Chatbot zu erhalten.

    1. Wählen Sie in der Navigationsleiste der Konsole eine Region mit generativer KI aus. Beispiel: US Midwest (Chicago) oder UK South (London). Siehe Welche Modelle in Ihrer Region angeboten werden.
    2. Öffnen Sie das Navigationsmenü , und wählen Sie Analysen und KI aus. Wählen Sie unter KI-Services die Option Generative KI aus.
    3. Wählen Sie ein Compartment aus, für das Sie berechtigt sind. Wenn der Playground nicht angezeigt wird, bitten Sie einen Administrator, Ihnen Zugriff auf generative KI-Ressourcen zu erteilen, und kehren Sie dann zu den folgenden Schritten zurück.
    4. Wählen Sie Playground aus.
    5. Wählen Sie Chat aus.
    6. Wählen Sie ein Modell für die Chaterfahrung aus, indem Sie eine der folgenden Aktionen ausführen:
      • Wählen Sie in der Liste Modell ein vortrainiertes Modell aus, wie meta.llama-3.1-70b-instruct, cohere.command-r-08-2024, cohere.command-r-plus-08-2024 oder ein benutzerdefiniertes Modell. Die benutzerdefinierten Modelle werden als Modellname (Endpunktname) angezeigt.
      • Wählen Sie Modelldetails anzeigen, ein Modell aus, und wählen Sie Modell auswählen aus.
      Hinweis

      • Das Modell meta.llama-3.1-405b-instruct ist nicht für den On-Demand-Zugriff in allen Regionen verfügbar. Um auf dieses Modell zuzugreifen, führen Sie eine der folgenden Aktionen aus:

        • Dedizierten Zugriff einrichten: Wechseln Sie zu einer region, die für dedizierte Cluster unterstützt wird für das meta.llama-3.1-405b-instruct-Chatmodell. Erstellen Sie dann ein Hostcluster und einen Endpunkt für dieses Modell.
        • Zu einer On-Demand-Region wechseln: Wechseln Sie zur Region US Midwest (Chicago), die für On-Demand-Inferenzen für das meta.llama-3.1-405b-instruct-Chatmodell unterstützt wird.

      • Das Modell meta.llama-3.2-11b-vision-instruct ist in keiner Region für den On-Demand-Zugriff verfügbar. Um auf dieses Modell zuzugreifen, führen Sie die folgende Option aus:

      Erfahren Sie mehr über Kosten und Modellabgänge für On-Demand- und dedizierte Bereitstellungsmodi.

    7. Starten Sie eine Unterhaltung, indem Sie eine Eingabeaufforderung eingeben oder ein Beispiel aus der Liste Beispiel auswählen, das Sie als Basis-Prompt verwenden oder aus dem Sie lernen möchten.
      Bei Modellen, die Images wie meta.llama-3.2-90b-vision-instruct akzeptieren, können Sie ein .png- oder .jpg-Image mit einer Größe von maximal 5 MB hinzufügen.
    8. (Optional) Legen Sie neue Werte für die Parameter fest. Parameterdetails finden Sie unter Chatmodelle, und wählen Sie das Modell aus, das Sie verwenden.
    9. Klicken Sie auf Weiterleiten.
    10. Geben Sie eine neue Eingabeaufforderung ein, oder fahren Sie mit der Chatunterhaltung fort. Geben Sie eine Nachfassaufforderung ein, und wählen Sie Weiterleiten aus.
      Wichtig

      Im Playground für die Vision-Modelle, die Bilder akzeptieren:
      • Das Weiterleiten eines Bildes ohne Eingabeaufforderung funktioniert nicht. Wenn Sie ein Bild übermitteln, müssen Sie eine Eingabeaufforderung zu diesem Bild in derselben Anforderung übermitteln. Anschließend können Sie Nachsorgeaufforderungen weiterleiten, und das Modell behält den Kontext der Konversation bei.
      • Um das nächste Bild und den nächsten Text hinzuzufügen, müssen Sie den Chat löschen, wodurch der Kontext der vorherigen Unterhaltung aufgrund des Löschens des Chats verloren geht.
    11. (Optional) Um die Antworten zu ändern, wählen Sie Chat löschen aus, aktualisieren Sie die Prompts und Parameter, und wählen Sie Weiterleiten aus. Wiederholen Sie diesen Schritt, bis Sie mit der Ausgabe zufrieden sind.
    12. (Optional) Um den Code zu kopieren, der die Ausgabe generiert hat, wählen Sie Code anzeigen aus. Wählen Sie eine Programmiersprache oder ein Framework aus, wählen Sie Code kopieren aus, fügen Sie den Code in eine Datei ein, und speichern Sie die Datei. Stellen Sie sicher, dass die Datei das Format des eingefügten Codes behält.
      Tipp

      Wenn Sie den Code in einer Anwendung verwenden:

    13. (Optional) Um eine neue Unterhaltung zu starten, wählen Sie Chat löschen aus.
      Hinweis

      • Wenn Sie Chat löschen auswählen, wird die Chatunterhaltung gelöscht, die Modellparameter bleiben jedoch unverändert, und Sie können die zuletzt angewendeten Einstellungen weiterhin verwenden.

        Wenn Sie zu einem anderen Feature wechseln, z.B. Generation, und dann zum Playground Chat zurückkehren, werden sowohl die Chatunterhaltung als auch die Modellparameter auf ihre Standardwerte zurückgesetzt.

      Weitere Informationen zu Cohere-Chatparametern.

  • Verwenden Sie zum Chatten den Vorgang chat-result in der Generative AI-Inferenz-CLI.

    Geben Sie den folgenden Befehl ein, um eine Liste der Optionen anzuzeigen, die mit dem Vorgang chat-result verwendet werden sollen.

    oci generative-ai-inference chat-result -h

    Eine vollständige Liste der Parameter und Werte für die OCI Generative AI-CLI-Befehle finden Sie unter Generative AI Inference CLI und Generative AI Management CLI.

  • Führen Sie den Chatvorgang aus, um mit den großen Sprachmodellen zu chatten.

    Informationen zur Verwendung der API und zu Signieranforderungen finden Sie unter REST-API-Dokumentation und Sicherheitszugangsdaten. Informationen zu SDKs finden Sie unter SDKs und die CLI.