Oracle Cloud Infrastructure-Dokumentation

LangChain für generative KI einrichten

Richten Sie LangChain-Packages ein, einschließlich Packages für die Integration mit OCI Generative AI. Testen Sie anschließend die Installation, indem Sie mit einem auf OCI Generative AI gehosteten Modell chatten.

1. LangChain installieren

  1. Installieren Sie das Package langchain mit pip: 
    pip install -U langchain

    Dieser Befehl installiert oder aktualisiert das langchain-Package auf die neueste verfügbare Version. Wenn bereits eine ältere Version installiert ist, ersetzt pip das Paket durch die neueste.

  2. Prüfen Sie, ob das langchain-Package installiert ist. Geben Sie folgenden Befehl ein. 
    pip show langchain

    Der Befehl zeigt Details für das langchain-Package an, einschließlich der erforderlichen Packages für die Arbeit mit diesem Package. Beispiel:

    Requires: langchain-core, langchain-text-splitters, 
langsmith, pydantic, PyYAML, requests, SQLAlchemy
  3. Prüfen Sie, ob die erforderlichen Packages installiert sind. Geben Sie folgenden Befehl ein: 
    pip list

    Installieren Sie alle fehlenden Packages.

  4. Prüfen Sie, ob die Installation funktioniert. 
    python3 -c "import langchain; 
print(langchain.__version__)"

    Mit diesem Befehl wird die Packageversion langchain gedruckt.

2. OCI-Package LangChain installieren

  1. Installieren Sie das Package langchain-oci mit pip: 
    pip install -U langchain-oci
    Wichtig

    Die OCI-Integrationsfunktionen, die im langchain-community-Package verfügbar sind, sind jetzt veraltet. Stellen Sie sicher, dass Sie das langchain-oci-Package mit dem vorherigen Befehl installieren.
  2. Prüfen Sie, ob das langchain-oci-Package installiert ist. Geben Sie folgenden Befehl ein. 
    pip show langchain-oci

    Suchen Sie die erforderlichen Packages für die Arbeit mit dem Package langchain-oci. Beispiel:

    Requires: aiohttp, langchain, langchain-core, oci, pydantic
  3. Prüfen Sie, ob die erforderlichen Packages installiert sind. Geben Sie folgenden Befehl ein: 
    pip list

    Installieren Sie alle fehlenden Packages.

3. Erforderliche Informationen erfassen

Sammeln Sie alle Informationen, die Sie für die Fertigstellung dieses Tutorials brauchen. Kopieren Sie die erforderlichen Informationen in eine sichere Textdatei.

Kosten für Chat suchen (optional)

In diesem Tutorial wird eine Chatnachricht an das auf OCI Generative AI gehostete Meta Llama 4 Scout-Modell gesendet und eine Antwort erhalten. Die kosten für eine on-demand-chat-nachricht sind fast null dollar, aber es ist nicht kostenlos. Mit diesem Abschnitt möchten wir, dass Sie lernen, wie Sie Kosten berechnen und entscheiden, welches Modell Sie verwenden sollen, wenn Sie Tausende von Transaktionen haben.

  1. Navigieren Sie zur Preisseite, und wählen Sie ein Modell basierend auf dem Preis für 10.000 Transaktionen (10.000 Zeichen) aus. Anstelle von 10.000 Transaktionen werden einige Preise für 1.000.000 Token aufgeführt. Schätzen Sie 3 bis 4 Zeichen pro Token.

    Dieses Tutorial verwendet ungefähr 200 Zeichen oder 53 Token für die Eingabe und ungefähr den gleichen Betrag für seine Ausgabe, die ungefähr 400 Zeichen oder 106 Token addiert, also lassen Sie uns es auf ungefähr 500 Zeichen runden.

  2. Wenn Ihre Organisation die Kosten für Oracle Cloud Infrastructure Generative AI - Meta Llama 4 Scout für 500 Zeichen genehmigt, verwenden Sie die in diesem Tutorial bereitgestellten Informationen. Andernfalls ersetzen Sie in den Tutorialschritten das Meta Llama 4 Scout-Modell durch ein genehmigtes Modell.
  3. Bei größeren Transaktionen können Sie auch zum Kostenschätzer-Tool gehen, indem Sie die Kategorie KI und maschinelles Lernen auswählen und den Kostenschätzer für OCI Generative AI laden. Beispielwerte für dieses Tutorial:
    • Servicemetrik: On-Demand
    • Modellanbieter: Meta
    • Modell: Llama 4 Scout
    • Erwartete Anzahl von Anforderungen pro Monat: 5 (Angenommen, Sie führen die Python-Datei 5-mal aus)
    • Prompt-Länge (in Zeichen): 200 (für dieses Tutorial)
    • Antwortlänge (in Zeichen): 200 (für dieses Tutorial)

3.2 Compartment-Informationen abrufen

So rufen Sie die Compartment-OCID eines Compartments ab:

  1. Öffnen Sie das Navigationsmenü , und wählen Sie Identität und Sicherheit aus. Wählen Sie unter Identität die Option Compartments aus.
  2. Wählen Sie das Compartment aus, das Sie für das Tutorial Sandbox-Benutzer für Tutorials erstellen erstellt haben.
  3. Wählen Sie den Link Kopieren für das OCID-Feld aus.

    Speichern Sie die Compartment-OCID.

    Beispiel: ocid1.compartment.oc1..xxx

3.3 Pfad zur Konfigurationsdatei abrufen

Kopieren Sie im Tutorial API-Authentifizierung für OCI einrichten die folgenden Informationen:

  • Pfad zur Konfigurationsdatei wie <your-home-directory>/.oci/config
  • Authentifizierungsprofilname, der in der Konfigurationsdatei verwendet werden soll. Beispiel: Standard.

3.4 Inferenz-API-Endpunkt abrufen

  1. Gehen Sie zu API für generative KI-Inferenz.
  2. Kopieren Sie in den aufgeführten API-Endpunkten den Endpunkt für die Region Chicago: 
    https://inference.generativeai.us-chicago-1.oci.oraclecloud.com

3.5 Erfasste Informationen

Stellen Sie sicher, dass Sie die folgenden Informationen für das Tutorial notiert haben.

  • Compartment-ID: <sandbox-compartment>

    Beispiel: ocid1.compartment.oc1.aaaaaaa...

  • Modell-ID: meta.llama-4-scout-17b-16e-instruct
  • API-Endpunkt: https://inference.generativeai.us-chicago-1.oci.oraclecloud.com
  • Pfad der Konfigurationsdatei: <path-to-config-file

    Beispiel: <your-home-directory>/.oci/config

  • Authentifizierungsprofilname in Konfigurationsdatei: <auth-profile-name-in-config-file>

    Beispiel: Default

4. Chat

Chatten Sie mit einem in OCI Generative AI gehosteten Modell. Erreichen Sie dieses Modell mit dem Package langchain-oci.

Wichtig

Stellen Sie sicher, dass Sie die Schritte in Ihrer <sandbox-compartment> ausführen. Möglicherweise sind Sie nicht berechtigt, Ressourcen im Mandanten oder in anderen Compartments anzuzeigen oder zu erstellen.
  1. Erstellen Sie eine Datei mit dem Namen langchain-1-translate.py.
  2. Fügen Sie den folgenden Code zu langchain-1-translate.py hinzu. 
    from langchain.prompts import ChatPromptTemplate
from langchain_oci.chat_models import ChatOCIGenAI
from langchain.schema.output_parser import StrOutputParser

prompt = ChatPromptTemplate.from_template("""Translate the following text into French. 
If the text is a question, first translate the question 
and then answer the question in French.: {text}""")

llm = ChatOCIGenAI(
    model_id="meta.llama-4-scout-17b-16e-instruct",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="<sandbox-compartment>",
    model_kwargs={"temperature": 0, "max_tokens": 500},
    auth_profile="<auth-profile-name-in-config-file>",  
    auth_file_location="<path-to-config-file>",
    )

output_parser = StrOutputParser()

chain = prompt | llm | output_parser
input_data = {"text": "What are the four seasons in a year?"}

result = chain.invoke(input_data)
print(result)
  3. Führen Sie die Python-Datei langchain-1-translate.py mit dem folgenden Befehl aus. 
    python3 langchain-1-translate.py

    Beispielantwort:

    The translation of the question is:

Quelles sont les quatre saisons dans une année ?

And the answer is:

Les quatre saisons dans une année sont : le printemps, l'été, l'automne et l'hiver.