Datenverarbeitung in OCI Generative AI

Importierte Models

Werden meine Inferenzanfragen an Hugging Face gesendet?

Ihre Inferenzanforderungen werden im dedizierten KI-Cluster ausgeführt, in dem das importierte Modell gehostet wird. Wenn Sie ein Modell aus Hugging Face importieren, werden Modellartefakte für das Deployment abgerufen. Es sendet keine Inferenzanfragen an Hugging Face. Siehe Kompatible Modelle für Import.

Werden meine Prompts und Antworten beibehalten oder für das Modelltraining verwendet?

Der Service behält Ihre Prompts und Antworten nicht als Teil der Modellinferenz bei. Modellanbieter verwenden sie nicht für ihr eigenes Modelltraining, ihre Modellverbesserung oder andere unabhängige Zwecke.

Sie können Antworten, Unterhaltungen, Dateien oder Speicher für Ihre Anwendung über OCI-Features speichern. Informationen zur Verwaltung dieses Inhalts finden Sie unter Gespeicherte Antworten, Unterhaltungen, Dateien und Arbeitsspeicher.

Muss ich beim Importieren eines Modells Trainingsdaten angeben?

Für den Importworkflow sind Modelldateien wie Gewichtungen, Konfiguration und Tokenizer-Dateien erforderlich. Das Dataset, mit dem das Modell trainiert wird, ist nicht erforderlich.

Sie können ein kompatibles Modell importieren, das Sie außerhalb des Service optimiert haben. OCI Generative AI optimiert importierte Modelle nicht. Siehe Optimierte Modelle importieren.

Kann ich mein importiertes Modell löschen?

Sie können die importierte Modellressource löschen. Sie verwalten diese Ressource getrennt von einzelnen Inferenzanforderungen. Siehe Importierte Modelle löschen.

Vorgeschulte und fein abgestimmte Modelle auf dedizierten KI-Clustern

Werden meine Prompts an einen externen Modellprovider gesendet?

Ihre Prompts werden vom Modell in Ihrem dedizierten KI-Cluster verarbeitet und nicht zur Inferenz an einen externen Provider gesendet. Das Cluster wird dediziert für Ihre Modelle und wird nicht mit anderen Kunden geteilt. Siehe Dedizierte KI-Cluster.

Werden meine Prompts und Antworten beibehalten oder für das Modelltraining verwendet?

Der Service behält Ihre Prompts und Antworten nicht als Teil der Modellinferenz bei. Modellanbieter verwenden sie nicht für ihr eigenes Modelltraining, ihre Modellverbesserung oder andere unabhängige Zwecke.

Sie können Antworten, Unterhaltungen, Dateien oder Speicher für Ihre Anwendung über OCI-Features speichern. Informationen zur Verwaltung dieses Inhalts finden Sie unter Gespeicherte Antworten, Unterhaltungen, Dateien und Arbeitsspeicher.

Welches Modell kann ich in OCI Generative AI optimieren?

Derzeit ist das einzige Modell für die Feinabstimmung im Service das Standardmodell Meta Llama 3.3 (70B) (meta.llama-3.3-70b-instruct). Die Feinabstimmung ist in unterstützten kommerziellen Regionen (OC1) verfügbar. Die dynamische Variante FP8 ist für die Feinabstimmung nicht verfügbar.

Behält der Service meine Trainingsdaten nach der Feinabstimmung bei?

Nach Abschluss des Trainingsjobs löscht der Service Schulungsdaten aus dem Optimierungscluster. Das Quelldatenset verbleibt im Objektspeicher-Bucket, in dem Sie es verwalten. Sie verwalten das resultierende benutzerdefinierte Modell auch als separate Ressource.

Werden meine Trainingsdaten oder mein benutzerdefiniertes Modell mit Modellanbietern geteilt?

Der Service teilt Ihre optimierten Trainingsdaten oder das optimierte benutzerdefinierte Modell nicht mit Drittanbietern. Es verwendet Ihre Trainingsdaten nur zum Erstellen Ihres benutzerdefinierten Modells und verwendet sie nicht zur Verbesserung allgemeiner OCI Generative AI-Modelle. Siehe Basismodelle in generativer KI optimieren.

Werden meine Trainingsdaten verschlüsselt?

Ihre optimierten Trainingsdaten werden im Ruhezustand und während der Übertragung verschlüsselt. Details zur Verschlüsselung und Schlüsselverwaltung finden Sie unter Verschlüsselung.

On Demand-Modelle

Woher weiß ich, ob mein Modell Anrufe bei einem externen Anbieter tätigt?

Suchen Sie Ihr Modell und die OCI-Region, die Ihre Anforderung erfüllt, unter Modelle nach Region. Wenn Sie ein Routingprofil verwenden, prüfen Sie die OCI-Zielregionen. Die Hinweise Externe Anrufe identifizieren Modelle, einschließlich Google Gemini und xAI Grok, deren Anforderungen zur Verarbeitung an einen externen Anbieter gesendet werden.

Google Gemini und xAI Grok

Werden meine Prompts an Google oder xAI gesendet?

Wenn Sie diese Modelle über OCI Generative AI aufrufen, sendet der Service Ihren Anforderungsinhalt zur Verarbeitung auf der Plattform des Anbieters an Google oder xAI und gibt die generierte Antwort an Sie zurück.

Kann Google oder xAI meine Prompts und Antworten behalten oder sie für das Modelltraining verwenden?

Oracle hat vertragliche Zero Data Retention-Vereinbarungen mit Google und xAI für Modelle, auf die über OCI Generative AI zugegriffen wird. Im Rahmen dieser Vereinbarungen verwenden die Anbieter Kundenaufforderungen und -antworten nur zur Verarbeitung von Anfragen und zur Zustellung von Antworten. Sie behalten diesen Inhalt nicht, nachdem sie die Anforderungen verarbeitet haben, oder verwenden ihn für ihr eigenes Modelltraining, die Modellverbesserung oder andere unabhängige Zwecke.

Behält OCI Generative AI meine Prompts und Antworten bei?

Der Service behält Ihre Prompts und Antworten nicht als Teil der Modellinferenz bei.

Sie können Antworten, Unterhaltungen, Dateien oder Speicher für Ihre Anwendung über OCI-Features speichern. Informationen zur Verwaltung dieses Inhalts finden Sie unter Gespeicherte Antworten, Unterhaltungen, Dateien und Arbeitsspeicher.

Wo verarbeiten Google und xAI meine Anfragen?

Der Verarbeitungsort hängt vom Modell und der OCI-Region ab, die Ihre Anforderung erfüllt. Wenn Sie ein Routingprofil verwenden, verwenden Sie die Notizen für die OCI-Zielregion, die der Anforderung dient. Dies kann sich von der Region unterscheiden, in der Sie das Profil erstellen oder aufrufen. Informationen zu den modellspezifischen Routing- und Verarbeitungsstandorten finden Sie unter Hinweise für externe Anrufe.

Cohere, Meta Llama und OpenAI gpt-oss

Werden meine Inferenzanforderungen an einen externen Modellprovider gesendet?

Cohere-, Meta Llama- und OpenAI-gpt-oss-Modelle, die im On-Demand-Modus angeboten werden, werden von OCI Generative AI gehostet. Der Service verarbeitet Ihre Anfragen, ohne sie zur Inferenz an einen externen Provider zu senden. Unterstützte Modelle und Regionen finden Sie unter Modelle nach Region.

Werden meine Prompts und Antworten beibehalten oder für das Modelltraining verwendet?

Der Service behält Ihre Prompts und Antworten nicht als Teil der Modellinferenz bei. Modellanbieter verwenden sie nicht für ihr eigenes Modelltraining, ihre Modellverbesserung oder andere unabhängige Zwecke.

Sie können Antworten, Unterhaltungen, Dateien oder Speicher für Ihre Anwendung über OCI-Features speichern. Informationen zur Verwaltung dieses Inhalts finden Sie unter Gespeicherte Antworten, Unterhaltungen, Dateien und Arbeitsspeicher.

On-Demand-Modelle über Routingprofile

Welche Datenverarbeitungsregeln gelten, wenn ich ein On-Demand-Modell aus einer Region ohne lokale Modellverarbeitung aufrufe?

Es gelten die On-Demand-Datenbearbeitungsregeln für das in Ihrem Routingprofil ausgewählte Modell. Das Profil leitet Ihre Anforderung an eine der ausgewählten OCI-Zielregionen weiter. Bei Modellen, die Aufrufe an einen externen Provider tätigen, lesen Sie die Hinweise unter Externe Aufrufe für dieses Modell und die OCI-Zielregion, die der Anforderung dient.

Beispiel: Aus Australia East (Sydney) können Sie ein Routingprofil mit Japan Central (Osaka) als einziger Ziel-OCI-Region erstellen und eines der folgenden Modelle auswählen:

Unterstützte Modelle und OCI-Zielregionen finden Sie unter Modelle nach Region. Wenn Sie mehrere OCI-Zielregionen auswählen, prüfen Sie die Hinweise unter Externe Anrufe für jede Region. Routinganweisungen finden Sie unter Regionen ohne lokale Modellverarbeitung.

Gespeicherte Antworten, Unterhaltungen, Dateien und Speicher

Was geschieht, wenn ich Antworten, Unterhaltungen, Dateien oder Speicher speichere?

Sie erstellen ein Enterprise AI Agents-Projekt in einem Compartment in Ihrem OCI-Mandanten und wählen die Features aus, die Ihre Anwendung benötigt. Wenn Sie Funktionen zum Speichern von Antworten oder Unterhaltungen, zum Hochladen von Dateien oder zum Aktivieren des Langzeitspeichers verwenden, entscheiden Sie sich dafür, Inhalte für Ihre Anwendung beizubehalten. OCI speichert diesen Inhalt als Teil Ihres Projekts, damit Ihre Anwendung ihn abrufen oder wiederverwenden kann.

Sie konfigurieren, wie lange Antworten und Unterhaltungen beibehalten werden. Sie wählen aus, welche Dateien über die Datei-API hochgeladen und verwaltet werden sollen. Wenn Sie Langzeitgedächtnis aktivieren, speichert der Dienst Informationen aus Unterhaltungen, die in zukünftigen Interaktionen innerhalb des Projekts verwendet werden können. Siehe Projekt erstellen, Datenaufbewahrung, Agent-Arbeitsspeicher und Dateien-API.

Kann ich Inhalte in meinem Projekt speichern, wenn ich Google Gemini oder xAI Grok verwende?

Sie können Inhalte für Ihre Anwendung über OCI-Projektfeatures speichern. Die Zero Data Retention-Vereinbarungen von Oracle mit Google und xAI regeln den Inhalt, den diese Anbieter verarbeiten, wenn Sie ihre Modelle aufrufen. Der Inhalt, den Sie in OCI speichern möchten, wird als Ihre Projektdaten verwaltet und entspricht den anwendbaren OCI-Speicher- und -Aufbewahrungseinstellungen.

Verschlüsselung

Wie wird die Feinabstimmung von Trainingsdaten geschützt?

Trainingsdaten werden im Ruhezustand und bei der Übertragung verschlüsselt. Der Service löscht die Trainingsdaten aus dem Optimierungscluster, sobald der Schulungsjob abgeschlossen ist.

Trainingsdaten für die Feinabstimmung eines Modells werden standardmäßig immer doppelt verschlüsselt, durch die von Oracle verwaltete AES-256-Verschlüsselung und optional durch vom Kunden verwaltete private Schlüssel über den OCI Vault-Service. Sie können die Daten jederzeit löschen.

Oracle verschlüsselt Daten während der Übertragung mit TLS 1.2.