Veelgestelde vragen over generatieve AI van Oracle Analytics

Wordt voor generatieve AI van Oracle Analytics meer dan één model of een systeem van onderling afhankelijke modellen gebruikt?

Er worden door Oracle Analytics geen gekoppelde of onderling afhankelijke generatieve AI-modellen geïmplementeerd. Elk model werkt als een onafhankelijke component, waardoor prestatie-evaluatie, besturingselementen voor toegang en risicobeheerprocessen worden vereenvoudigd. De meest geschikte modellen en architecturen worden continu geëvalueerd voor een breed scala aan casussen voor analyse en worden voorkeursmodellen en architectuur in de loop van de tijd bijgewerkt of gewijzigd.

Welke categorie modellen wordt in het product gebruikt? Wordt het model intern of door een derde ontwikkeld?

Door de generatieve AI-mogelijkheden van Oracle Analytics wordt gebruikgemaakt van basismodellen van gevestigde AI-providers die zijn geconfigureerd voor bedrijfsimplementaties. Zie Vooraf getrainde generatieve AI-modellen voor een huidige lijst met de generatieve AI-modellen van Oracle.

Wordt het model voortdurend gecontroleerd en getest? Hoe vaak?

Bij elke nieuwe release met prestatieproblemen worden modellen opnieuw gevalideerd, zoals aangegeven. Tijdens de ontwikkeling wordt gebruikgemaakt van machine learning-standaardmetrics zoals precisie, het aantal treffers en F1-scores om AI-modellen vóór implementatie te valideren. Door Oracle Analytics wordt gebruikgemaakt van synthetische gegevens voor modelevaluatie in combinatie met een set handmatig beheerde gegevens. Modelevaluatie is gericht op nauwkeurigheid en afwijkingen door te beoordelen of het model in staat is om reacties te genereren die overeenkomen met de feitelijke waarheid. Resultaten worden vergeleken met bewezen benchmarks om mismatches (voorheen succesvolle uitingen die nu mislukken) en matches (voorheen mislukte uitingen die nu slagen) te identificeren. Elke mismatch wordt geclassificeerd als een regressie en dient als controlepoort voor codewijzigingen, modelrevisies of implementatiewijzigingen.

Heeft Oracle processen voor het communiceren van wijzigingen in zijn modellen en uitvoer?

Als onderdeel van het Oracle Analytics releaseproces informeren we u over wijzigingen in AI-modellen of -uitvoer via Nieuwe functies in Oracle Analytics Cloud. Tenancybeheerders kunnen ook gebruikersabonnementen activeren om een bredere bekendheid binnen de organisatie te garanderen. Bovendien kan iedereen op de hoogte blijven van nieuwe functies en aankomende releases door zich via de Oracle Analytics Community site te abonneren op de wekelijkse e-mail van Oracle Analytics.

Oracle Analytics maakt ook gebruik van de standaardbeleidsregels van Oracle Cloud voor wijzigingsbeheer die zijn gedocumenteerd in Beleid voor hosting en levering van Oracle Cloud.

Bevat de AI-policy van Oracle een beoordelingsproces voor juridische en risicofuncties?

Productontwikkelingsteams binnen Oracle volgen adviezen en verplichte richtlijnen van Global Product Security die voldoen aan de Oracle normen voor veilig programmeren (SCS). Een deel van deze normen is gewijd aan AI/ML, die op zijn beurt een aantal beveiligingsrichtlijnen kent. Deze richtlijnen zijn onderverdeeld in de volgende categorieën:

• AI-governance: in richtlijnen worden stappen beschreven voor teams om te zorgen voor de juiste toezichtsprocedures voor hun machine learning-modellen.
• AI-infrastructuur: richtlijnen zijn van toepassing op teams die de infrastructuur configureren en gebruiken die nodig is voor het bouwen en implementeren van machine learning-modellen.
• AI-ontwikkeling: richtlijnen zijn van toepassing op teams die betrokken zijn bij de ontwikkeling van machine learning-modellen en bieden advies voor de beste aanpak voor het ontwikkelen, testen en implementeren van modellen.
• AI-gegevens: richtlijnen hebben betrekking op beveiligingsstappen voor teams die betrokken zijn bij het verzamelen, verwerken en beheren van gegevens die in machine learning-modellen worden gebruikt.

Als onderdeel van de hierboven verplicht gestelde normen voor veilig programmeren worden projecten door de productontwikkelingsteams regelmatig beoordeeld op AI-specifieke beveiligingsrisico's en kwetsbaarheden.

Beveiliging voor het model, de AI-architectuur van Oracle Analytics en de integratie in Oracle Analytics voldoen aan de beveiligingsbeoordeling betreffende cloudbeveiliging, normen, en het architectuurprogramma (CSSAP). CSSAP is een uitgebreid beveiligingsbeoordelingsproces dat is ontwikkeld door Corporate Security Architecture, Global Information Security, Global Product Security, Oracle Global IT, de IT-organisaties van Oracle en de AI Review Board van Oracle om een grondige beoordeling van informatiebeveiligingsbeheer te bieden. Zie Toezicht bedrijfsbeveiligingsarchitectuur voor aanvullende informatie.

Verzamelt Oracle gebruikersgegevens of soortgelijke metrics om verschillen te meten tussen invoer- en uitvoergegevens met betrekking tot testomgevingen?

Momenteel wordt in Oracle Analytics geen expliciete gebruikersfeedback voor dit doel vastgelegd of verzameld. Omdat het model niet is afgestemd op of getraind op klantgegevens, is het testen beperkt tot standaardmodelbenchmarks, zoals hierboven vermeld. Samenvattend: modellen worden bij elke nieuwe release opnieuw gevalideerd en geïdentificeerde prestatieproblemen worden dienovereenkomstig aangepakt. Tijdens de ontwikkeling past Oracle standaardmetrics voor machine learning, zoals precisie, het aantal treffers en F1-scores, om AI-modellen vóór implementatie te valideren.

Neemt Oracle externe invoer of tools van derden op in zijn model?

Er wordt door Oracle Analytics geen externe invoer in de interacties met het model opgenomen. Modelinteracties zijn uitsluitend beperkt tot directe communicatie tussen Oracle Analytics en het model zelf.

Is het model afhankelijk van tools of oplossingen van derden die het moeilijk kunnen maken om het model naar een andere omgeving te migreren?

Het model wordt geïmplementeerd als Oracle Cloud Infrastructure (OCI) service, waarbij hetzelfde basismodel beschikbaar is voor meerdere service-instances. Er is geen modelmigratie tussen instances vereist.

Hoe reageert Oracle op AI-systeemincidenten?

Door Oracle Analytics wordt gebruikgemaakt van het standaardbeleid van Oracle Cloud Incident Response, dat is gedocumenteerd in de sectie 'Serviceniveau-overeenkomst' van Beleid voor hosting en levering van Oracle Cloud.

Hoe test Oracle de kwaliteit van de uitleg van systemen?

Als onderdeel van onze evaluatiebenchmark worden door Oracle Analytics alle codewijzigingen, modelrevisies en implementatiewijzigingen onderworpen aan een releasepoort die een beoordeling bevat van gegenereerde reacties die overeenkomen met de feitelijke waarheid. De benchmark omvat alle uitleg van de systemen die als onderdeel van het antwoord worden gegenereerd. Elke mismatch wordt geclassificeerd als een regressie en dient als een controlepoort.

Hoe beoordeelt Oracle de systeemuitvoer op betrouwbaarheid en billijkheid?

Door Oracle Analytics wordt vertrouwd op de OCI Generative AI infrastructuur voor de basismodellen en de modellen worden niet expliciet getraind. In OCI Generative AI wordt de beste aanpak gebruikt om de betrouwbaarheid te garanderen en afwijkingen in de basismodellen te voorkomen.

Daarnaast biedt Oracle Analytics momenteel minder gedetailleerde controle over de bijdrage van het grote taalmodel (LLM) aan de reactie die aan eindgebruikers wordt gegeven. Dit mechanisme zorgt ervoor dat de LLM geen directe informatie aan eindgebruikers geeft, zodat de gegenereerde antwoorden volledig door Oracle Analytics worden geproduceerd en daarom betrouwbaar zijn. Daarnaast heeft de servicebeheerder van Oracle Analytics de mogelijkheid om (alle) AI-gestuurde functies op het niveau van de afzonderlijke functies te deactiveren. Zie Configuratie generatieve AI voor meer informatie.

Is er een plan voor herstel na calamiteit en een noodplan voor instances wanneer het model niet beschikbaar is?

In Oracle Analytics wordt vertrouwd op de generatieve AI-service in OCI voor de basismodellen. De veerkracht en fouttolerantie van OCI worden gedocumenteerd in Beleid voor hosting en levering van Oracle Cloud. Meer details over OCI Generative AI vindt u in Een dedicated AI-cluster maken in generatieve AI voor het hosten van modellen en Pillar-document voor Oracle PaaS en IaaS Public Cloud Services.

Hoe wordt het model door Oracle getest op consistentie in verschillende omgevingen?

Alle klant- en ontwikkelingsmodellen worden geïmplementeerd op hetzelfde OCI-framework. Interne testomgevingen, zoals pre-productieomgevingen en omgevingen voor productietests, behouden dezelfde configuratiestatus als klantomgevingen.

Heeft Oracle een vastgestelde governancepolicy voor het model?

In Oracle Analytics wordt gebruikgemaakt van basismodellen die zijn geïmplementeerd via de generatieve AI-service in OCI. Deze modellen worden zonder wijzigingen in hun oorspronkelijke staat gebruikt. In Oracle Analytics wordt geen training, verfijning of modelaanpassing uitgevoerd op de onderliggende basismodellen. Daarom zijn de policy's voor modelbeheer die door de OCI Generative AI worden gebruikt, ook van toepassing op Oracle Analytics.

Heeft Oracle policy's en procedures opgesteld voor het definiëren van rollen en verantwoordelijkheden voor menselijk toezicht op geïmplementeerde modellen?

Oracle Analytics heeft een krachtig proces voor modelbeoordeling met behulp van synthetische gegevens voor modelevaluatie in combinatie met een handmatig beheerde gegevensset. Met dit proces worden wijzigingen in code, modellen en implementaties beheerd. Modelbeoordelingsruns worden geëvalueerd door een combinatie van automatisering en menselijk toezicht.