Dieses Thema enthält Antworten auf häufig gestellte Fragen zur Verwendung generativer KI mit Oracle Analytics.
Verwendet die generative KI von Oracle Analytics mehrere Modelle oder ein System von voneinander abhängigen Modellen?
Oracle Analytics implementiert keine verketteten oder voneinander abhängigen Modelle für generative KI. Jedes Modell fungiert als unabhängige Komponente, wodurch die Performancebewertung, Zugriffskontrollen und Risikomanagementprozesse vereinfacht werden. Oracle bewertet kontinuierlich die am besten geeigneten Modelle und Architekturen für eine Vielzahl von Analyseanwendungsfällen und kann seine bevorzugten Modelle und Architektur im Laufe der Zeit aktualisieren oder ändern.
Welche Modellkategorie wird im Produkt verwendet? Wird das Modell intern oder von einem Drittanbieter entwickelt?
Die Funktionen für generative KI von Oracle Analytics nutzen Basismodelle von etablierten KI-Providern, die für Unternehmens-Deployments konfiguriert sind. Eine aktuelle Liste unserer Modelle für generative KI finden Sie unter Vortrainierte Modelle für generative KI.
Wird das Modell kontinuierlich überwacht und getestet? Wie häufig?
Modelle werden mit jedem neuen Release erneut validiert, und identifizierte Performanceprobleme werden behoben. Während der Entwicklung verwendet Oracle Standardmetriken für maschinelles Lernen, einschließlich Präzision, Rückruf und F1-Scores, um KI-Modelle vor dem Deployment zu validieren. Oracle Analytics verwendet synthetische Daten für die Modellbewertung in Kombination mit einem Set von manuell kuratierten Daten. Schwerpunkt bei der Modellbewertung sind Genauigkeit und Abweichung. Dabei wird die Fähigkeit des Modells bewertet, Antworten zu generieren, die der etablierten Ground Truth entsprechen. Die Ergebnisse werden mit aufgestellten Benchmarks verglichen, um Unstimmigkeiten (bisher erfolgreiche Äußerungen, die jetzt nicht erfolgreich sind) und Übereinstimmungen (bisher nicht erfolgreiche Äußerungen, die jetzt erfolgreich sind) zu identifizieren. Jede Unstimmigkeit wird als Regression klassifiziert und dient als Steuerungs-Gate für Codeänderungen, Modellrevisionen oder Deployment-Änderungen.
Hat Oracle Prozesse aufgestellt, um Änderungen an den Modellen und der Ausgabe zu kommunizieren?
Im Rahmen des Oracle Analytics-Releaseprozesses benachrichtigen wir Sie mittels Neue Features in Oracle Analytics Cloud über Änderungen an KI-Modellen oder -Ausgaben. Mandantenadministratoren können auch Benutzerabonnements aktivieren und so sicherstellen, dass größere Teile der Organisation informiert werden. Darüber hinaus kann jeder Benutzer über neue Features und zukünftige Releases informiert bleiben, indem er die wöchentliche Oracle Analytics-E-Mail über die Oracle Analytics-Communitysite abonniert.
Oracle Analytics verwendet auch die standardmäßigen Oracle Cloud-Change-Management-Richtlinien, die unter Oracle Cloud Hosting and Delivery Policies (Oracle-Richtlinien für Cloud-Hosting und -Lieferung) dokumentiert sind.
Enthält die KI-Richtlinie von Oracle einen Überprüfungsprozess für Rechts- und Risikofunktionen?
Die Produktentwicklungsteams in Oracle befolgen die Richtlinien und obligatorischen Anweisungen von Global Product Security, die die Oracle Secure Coding Standards (SCS) pflegen. Ein Teil dieser Standards ist speziell für den KI/ML-Bereich vorgesehen, der wiederum mit einer Reihe von Sicherheitsanweisungen verbunden ist. Diese Anweisungen sind in die folgenden Kategorien unterteilt:
Im Rahmen der oben genannten vorgeschriebenen Secure Coding Standards bewerten Oracle-Produktentwicklungsteams ihre Projekte regelmäßig auf KI-spezifische Sicherheitsrisiken und Sicherheitslücken.
Die Sicherheit für das Modell, die KI-Architektur von Oracle Analytics und die Integration in Oracle Analytics wurde einer Cloud Security, Standards, and Architecture Program-(CSSAP-)Sicherheitsüberprüfung unterzogen. CSSAP ist ein umfassender Sicherheitsprüfungsprozess, der von Corporate Security Architecture, Global Information Security, Global Product Security, Oracle Global IT und den IT-Organisationen von Oracle entwickelt wurde, um eine gründliche Bewertung des Informationssicherheitsmanagements bereitzustellen. Weitere Informationen finden Sie unter Corporate Security-Architektur - Überblick.
Erfasst Oracle Benutzerdaten oder ähnliche Metriken, um Differenzen für Ein- und Ausgabedaten gegenüber Testumgebungen zu messen?
Derzeit erfasst oder sammelt Oracle Analytics kein explizites Benutzerfeedback zu diesem Zweck. Da das Modell nicht mit Kundendaten optimiert oder trainiert wird, ist das Testen auf Standardmodellbenchmarks wie oben angegeben beschränkt. Zusammenfassend: Modelle werden mit jedem neuen Release erneut validiert, und alle identifizierten Performanceprobleme werden entsprechend behoben. Während der Entwicklung wendet Oracle Standardmetriken für maschinelles Lernen an, z.B. Präzision, Rückruf und F1-Scores, um KI-Modelle vor dem Deployment zu validieren.
Integriert Oracle externe Eingaben oder Tools von Drittanbietern in sein Modell?
Oracle Analytics integriert keine externen Eingaben in seine Interaktionen mit dem Modell. Modellinteraktionen beschränken sich ausschließlich auf die direkte Kommunikation zwischen Oracle Analytics und dem Modell selbst.
Ist das Modell von Tools oder Lösungen von Drittanbietern abhängig, die eine Migration des Modells zu einer anderen Umgebung erschweren könnten?
Das Modell wird als Oracle Cloud Infrastructure-Service bereitgestellt, wobei dasselbe Basismodell für mehrere Serviceinstanzen verfügbar ist. Es ist keine Modellmigration zwischen Instanzen erforderlich.
Wie reagiert Oracle auf KI-Systemvorfälle?
Oracle Analytics verwendet die standardmäßigen Oracle Cloud-Richtlinien für die Reaktion auf Vorfälle, die im Abschnitt "Servicelevel-Vereinbarung" von Oracle Cloud Hosting and Delivery Policies (Oracle-Richtlinien für Cloud-Hosting und -Lieferung) dokumentiert sind.
Wie testet Oracle die Qualität von Systemerläuterungen?
Oracle Analytics unterzieht alle Codeänderungen, Modellrevisionen und Deployment-Änderungen einem Release-Gate, das eine Bewertung der generierten Antworten enthält, die der etablierten Ground Truth im Rahmen unserer Bewertungsbenchmark entsprechen. Die Ground Truth im Benchmark umfasst alle Systemerläuterungen, die im Rahmen der Antwort generiert werden. Jede Unstimmigkeit wird als Regression klassifiziert und dient als Steuerungs-Gate.
Wie bewertet Oracle die Systemausgaben im Hinblick auf Vertrauenswürdigkeit und Fairness?
Oracle Analytics stützt sich bei seinen Basismodellen auf die OCI Gen AI-Infrastruktur und trainiert die Modelle nicht explizit. OCI Gen AI nutzt Best Practices, um die Vertrauenswürdigkeit sicherzustellen und Bias in seinen Basismodellen zu verhindern.
Darüber hinaus bietet Oracle Analytics derzeit eine grobe Kontrolle über den Beitrag des Large Language Models (LLM) zu der Antwort, die den Endbenutzern angezeigt wird. Dieser Mechanismus stellt sicher, dass das LLM Informationen nicht direkt für Endbenutzer anzeigt. Dadurch wird sichergestellt, dass die generierten Antworten vollständig von Oracle Analytics erstellt wurden und daher vertrauenswürdig sind. Darüber hinaus kann der Oracle Analytics-Serviceadministrator beliebige oder alle KI-gestützten Features auf der Ebene der einzelnen Features deaktivieren. Weitere Informationen finden Sie unter Konfiguration für generative KI.
Gibt es einen Disaster-Recovery- und Notfallplan für Instanzen, wenn das Modell nicht verfügbar ist?
Oracle Analytics stützt sich bei seinen Basismodellen auf die OCI Gen AI-Infrastruktur. Resilienz und Fehlertoleranz der OCI-Infrastruktur sind unter Oracle Cloud Hosting and Delivery Policies (Oracle-Richtlinien für Cloud-Hosting und -Lieferung) dokumentiert. Weitere Details zu dedizierten OCI Gen AI-Clustern finden Sie unter Dediziertes KI-Cluster in OCI Generative AI zum Hosten von Modellen erstellen und Oracle PaaS und IaaS Public Cloud Services - Pillar-Dokument.
Wie testet Oracle das Modell auf Konsistenz in verschiedenen Umgebungen?
Alle Kunden- und Entwicklungsmodelle werden in demselben Oracle Cloud Infrastructure-Framework bereitgestellt. Interne Testumgebungen, einschließlich Vorproduktions- und Produktionstestumgebungen, erhalten denselben Konfigurationsstatus wie Kundenumgebungen.
Hat Oracle eine Governance-Richtlinie für das Modell aufgestellt?
Oracle Analytics nutzt Basismodelle, die über den Generative AI-Service von Oracle Cloud Infrastructure bereitgestellt werden. Diese Modelle werden in ihrem nativen Zustand ohne Änderung verwendet. Oracle Analytics führt kein Training, kein Fine-Tuning und keine Modellanpassung für die zugrunde liegenden Basismodelle durch. Dementsprechend gelten Modell-Governance-Policys, die von der OCI Gen AI-Infrastruktur verwendet werden, auch für Oracle Analytics.
Hat Oracle Richtlinien und Verfahren festgelegt, die Rollen und Verantwortlichkeiten für die menschliche Überwachung bereitgestellter Modelle definieren?
Oracle Analytics verfügt über einen robusten Prozess zur Modellbewertung mit synthetischen Daten, der als Steuerungs-Gate für Codeänderungen, Modellrevisionen oder Deployment-Änderungen dient. Modellbewertungsläufe werden durch eine Kombination aus Automatisierung und menschlicher Überwachung bewertet. Darüber hinaus führt Oracle Analytics keine menschliche Überwachung der bereitgestellten Modelle durch.