17 OCI Generative AI (vorgeschulte Foundation-Modelle)

Generative KI ist ein vollständig verwalteter Oracle Cloud Infrastructure-Service, der eine Reihe hochmoderner, anpassbarer Large Language Models (LLMs) bereitstellt, die eine breite Palette an Anwendungsfällen abdecken, einschließlich Chat, Texterstellung, Zusammenfassung und Texteinbettungen.

Oracle AI Data Platform Workbench-Benutzer können auf generative KI-Modelle zugreifen, wenn sie über die erforderlichen Berechtigungen verfügen und das vorab trainierte Modell in derselben Region wie der Data Lake gehostet wird. Weitere Informationen zu Berechtigungen finden Sie unter Zugriff auf generative KI erhalten. Weitere Informationen dazu, wo generative KI-Modelle gehostet werden, finden Sie unter Regionen mit generativer KI.

Sie können generative KI-Modelle in AI Data Platform Workbench für die folgenden Anwendungsfälle verwenden:
  • Verwenden Sie die vortrainierten Chatmodelle, um Text für jeden Zweck zu erstellen.
  • Extrahieren bestimmter Daten aus Text.
  • Generieren Sie Kurzübersichten für Dokumente, die zu lang zum Lesen sind, oder fassen Sie beliebige Texttypen zusammen.
  • Ordnen Sie Text in vordefinierte Kategorien ein.

Sie können auch Batchinferenzen auf Spark-Datenframes mit den vortrainierten Modellen in einer Sprache Ihrer Wahl ausführen, wie SQL oder Python. Weitere Informationen zu vortrainierten Modellen finden Sie unter Pretrained Foundational Models in Generative AI.

Voraussetzungen für generative KI

Um generative KI in AI Data Platform Workbench verwenden zu können, müssen Sie die folgenden Voraussetzungen erfüllen:
  • Benutzer muss über USE-Berechtigungen für die Basismodelle verfügen
  • AI Data Platform befindet sich in derselben Region, in der die generativen KI-Modelle gehostet werden

Wenn die Voraussetzungen erfüllt sind, werden die Modelle im Schema default.oci_ai_models aufgeführt. Anschließend können Sie die Modelle im Katalog-Explorer auflisten, während Sie in einem Notizbuch arbeiten, und die Modelle per Drag-Drop ablegen, um Beispielcode zu generieren, oder das Modell für die Batchinferenz verwenden. Alternativ können Sie den Code in ein AI Data Platform Workbench-Notizbuch schreiben, um das Modell aufzurufen.

Mit den folgenden Methoden können Sie ein Modell für generative KI aufrufen:

SQL
select *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>

Dabei gilt:

  • model_name ist das generative KI-Modell, das Sie aufrufen möchten: default.oci_ai_models.<model_name>
  • review ist der Spaltenname, der zum Erstellen der Eingabeaufforderung verwendet wird.
  • sentiment ist der Ausgabespaltenname
  • <<catalog_name>>.<<schema_name>>.<<table_name>> ist die Tabelle im 3-teiligen Namensmuster
PySpark
df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))
Dabei gilt:
  • model_name ist das generative KI-Modell, das Sie aufrufen möchten: default.oci_ai_models.<model_name>
  • review ist der Spaltenname, mit dem die Eingabeaufforderung erstellt wird.
  • sentiment ist der Ausgabespaltenname
  • df ist der Eingabedatenrahmen

Anforderungsgrenzwert

Beschreibung Limitname Servicelimit
Maximal zulässige Anzahl von Chatanforderungen pro Minute pro Compartment für On-Demand-Inferenzierung max-on-demand-chat-request-per-minute-count 500