Veelgestelde vragen over generatieve AI van Oracle Analytics

Wordt voor generatieve AI van Oracle Analytics meer dan één model of een systeem van onderling afhankelijke modellen gebruikt?

In Oracle Analytics worden geen gekoppelde of onderling afhankelijke generatieve AI-modellen geïmplementeerd. Elk model werkt als een onafhankelijke component, waardoor prestatie-evaluatie, besturingselementen voor toegang en risicobeheerprocessen worden vereenvoudigd. De meest geschikte modellen en architecturen worden continu geëvalueerd voor een breed scala aan casussen voor analyse en worden voorkeursmodellen en architectuur in de loop van de tijd bijgewerkt of gewijzigd.

Welke categorie modellen wordt in het product gebruikt? Wordt het model intern of door een derde ontwikkeld?

Door de generatieve AI-mogelijkheden van Oracle Analytics wordt gebruikgemaakt van basismodellen van gevestigde AI-providers die zijn geconfigureerd voor bedrijfsimplementaties. Zie Vooraf getrainde generatieve AI-modellen voor een actuele lijst met onze generatieve AI-modellen.

Wordt het model voortdurend gecontroleerd en getest? Hoe vaak?

Bij elke nieuwe release met prestatieproblemen worden modellen opnieuw gevalideerd, zoals aangegeven. Tijdens de ontwikkeling wordt gebruikgemaakt van machine learning-standaardmetrics zoals precisie, het aantal treffers en F1-scores om AI-modellen vóór implementatie te valideren. Door Oracle Analytics wordt gebruikgemaakt van synthetische gegevens voor modelevaluatie in combinatie met een set handmatig beheerde gegevens. Modelevaluatie is gericht op nauwkeurigheid en afwijkingen door te beoordelen of het model in staat is om reacties te genereren die overeenkomen met de feitelijke waarheid. Resultaten worden vergeleken met bewezen benchmarks om mismatches (voorheen succesvolle uitingen die nu mislukken) en matches (voorheen mislukte uitingen die nu slagen) te identificeren. Elke mismatch wordt geclassificeerd als een regressie en dient als controlepoort voor codewijzigingen, modelrevisies of implementatiewijzigingen.

Heeft Oracle processen voor het communiceren van wijzigingen in zijn modellen en uitvoer?

Als onderdeel van het Oracle Analytics releaseproces informeren we u over wijzigingen in AI-modellen of -uitvoer via Nieuwe functies in Oracle Analytics Cloud. Tenancybeheerders kunnen ook gebruikersabonnementen activeren om een bredere bekendheid binnen de organisatie te garanderen. Bovendien kan iedereen op de hoogte blijven van nieuwe functies en aankomende releases door zich via de Oracle Analytics Community site te abonneren op de wekelijkse e-mail van Oracle Analytics.

Oracle Analytics maakt ook gebruik van de standaardbeleidsregels van Oracle Cloud voor wijzigingsbeheer die zijn gedocumenteerd in Beleid voor hosting en levering van Oracle Cloud.

Bevat de AI-policy van Oracle een beoordelingsproces voor juridische en risicofuncties?

Productontwikkelingsteams binnen Oracle volgen adviezen en verplichte richtlijnen van Global Product Security die voldoen aan de Oracle normen voor veilig programmeren (SCS). Een deel van deze normen is gewijd aan AI/ML, die op zijn beurt een aantal beveiligingsrichtlijnen kent. Deze richtlijnen zijn onderverdeeld in de volgende categorieën:

• AI-governance: in richtlijnen worden stappen beschreven voor teams om te zorgen voor de juiste toezichtsprocedures voor hun machine learning-modellen.
• AI-infrastructuur: richtlijnen zijn van toepassing op teams die de infrastructuur configureren en gebruiken die nodig is voor het bouwen en implementeren van machine learning-modellen.
• AI-ontwikkeling: richtlijnen zijn van toepassing op teams die betrokken zijn bij de ontwikkeling van machine learning-modellen en bieden advies voor de beste aanpak voor het ontwikkelen, testen en implementeren van modellen.
• AI-gegevens: richtlijnen hebben betrekking op beveiligingsstappen voor teams die betrokken zijn bij het verzamelen, verwerken en beheren van gegevens die in machine learning-modellen worden gebruikt.

Als onderdeel van de hierboven verplicht gestelde normen voor veilig programmeren worden projecten door de productontwikkelingsteams regelmatig beoordeeld op AI-specifieke beveiligingsrisico's en kwetsbaarheden.

Beveiliging voor het model, de AI-architectuur van Oracle Analytics en de integratie in Oracle Analytics hebben een beveiligingsbeoordeling ondergaan betreffende cloudbeveiliging, normen, en het architectuurprogramma (CSSAP). CSSAP is een uitgebreid beveiligingsbeoordelingsproces dat is ontwikkeld door Corporate Security Architecture, Global Information Security, Global Product Security, Oracle Global IT en de IT-organisaties van Oracle om een grondige beoordeling van informatiebeveiligingsbeheer te bieden. Zie Toezicht bedrijfsbeveiligingsarchitectuur voor aanvullende informatie.

Verzamelt Oracle gebruikersgegevens of soortgelijke metrics om verschillen te meten tussen invoer- en uitvoergegevens met betrekking tot testomgevingen?

Momenteel wordt in Oracle Analytics geen expliciete gebruikersfeedback voor dit doel vastgelegd of verzameld. Omdat het model niet is afgestemd op of getraind op klantgegevens, is het testen beperkt tot standaardmodelbenchmarks, zoals hierboven vermeld. Samenvattend: modellen worden bij elke nieuwe release opnieuw gevalideerd en eventuele geïdentificeerde prestatieproblemen worden dienovereenkomstig aangepakt. Tijdens de ontwikkeling past Oracle machine learning-standaardmetrics toe, zoals precisie, het aantal treffers en F1-scores, om AI-modellen vóór implementatie te valideren.

Neemt Oracle externe invoer of tools van derden op in zijn model?

Door Oracle Analytics wordt geen externe invoer in de interacties met het model opgenomen. Modelinteracties zijn uitsluitend beperkt tot directe communicatie tussen Oracle Analytics en het model zelf.

Is het model afhankelijk van tools of oplossingen van derden die het moeilijk kunnen maken om het model naar een andere omgeving te migreren?

Het model wordt geïmplementeerd als een Oracle Cloud Infrastructure service, waarbij hetzelfde basismodel beschikbaar is voor meerdere service-instances. Er is geen modelmigratie tussen instances vereist.

Hoe reageert Oracle op AI-systeemincidenten?

Door Oracle Analytics wordt gebruikgemaakt van het standaardbeleid van Oracle Cloud Incident Response, dat is gedocumenteerd in de sectie 'Serviceniveau-overeenkomst' van Beleid voor hosting en levering van Oracle Cloud.

Hoe test Oracle de kwaliteit van de uitleg van systemen?

Als onderdeel van onze evaluatiebenchmark worden door Oracle Analytics alle codewijzigingen, modelrevisies en implementatiewijzigingen onderworpen aan een releasepoort die een beoordeling bevat van gegenereerde reacties die overeenkomen met de feitelijke waarheid. De fundamentele waarheid in de benchmark omvat alle systeemverklaringen die als onderdeel van de reactie worden gegenereerd. Elke mismatch wordt geclassificeerd als een regressie en dient als een controlepoort.

Hoe beoordeelt Oracle de systeemuitvoer op betrouwbaarheid en billijkheid?

Door Oracle Analytics wordt vertrouwd op de OCI Gen AI-infrastructuur voor haar basismodellen en de modellen worden niet expliciet getraind. Door OCI Gen AI wordt gebruikgemaakt van de beste aanpak om de betrouwbaarheid te waarborgen en tendenzen in de basismodellen te voorkomen.

Daarnaast biedt Oracle Analytics momenteel minder gedetailleerde controle over de bijdrage van het grote taalmodel (LLM) aan de reactie die aan eindgebruikers wordt gegeven. Dit mechanisme zorgt ervoor dat het LLM geen directe informatie aan eindgebruikers geeft, zodat de gegenereerde reacties volledig door Oracle Analytics worden geproduceerd en dus betrouwbaar zijn. Daarnaast heeft de servicebeheerder van Oracle Analytics de mogelijkheid om (alle) AI-gestuurde functies op het niveau van de afzonderlijke functies te deactiveren. Zie Configuratie generatieve AI voor meer informatie.

Is er een plan voor herstel na calamiteit en een noodplan voor instances wanneer het model niet beschikbaar is?

Oracle Analytics vertrouwt voor haar basismodellen op de OCI Gen AI-infrastructuur. De veerkracht en fouttolerantie van de OCI-infrastructuur worden gedocumenteerd in Beleid voor hosting en levering van Oracle Cloud. Meer informatie over dedicated clusters van OCI Gen AI vindt u in Een dedicated AI-cluster maken in generatieve AI voor het hosten van modellen en Pillar-document voor Oracle PaaS en IaaS Public Cloud Services.

Hoe wordt het model door Oracle getest op consistentie in verschillende omgevingen?

Alle klant- en ontwikkelingsmodellen worden geïmplementeerd op hetzelfde Oracle Cloud Infrastructure framework. Interne testomgevingen, zoals pre-productieomgevingen en omgevingen voor productietests, behouden dezelfde configuratiestatus als klantomgevingen.

Heeft Oracle een vastgestelde governancepolicy voor het model?

Voor Oracle Analytics wordt gebruikgemaakt van basismodellen die zijn geïmplementeerd via de generatieve AI-service van Oracle Cloud Infrastructure. Deze modellen worden zonder aanpassing in hun native toestand gebruikt. Door Oracle Analytics wordt geen training, fine-tuning of modelaanpassing op de onderliggende basismodellen uitgevoerd. Daarom is beleid voor modelbeheer die door de OCI Gen AI-infrastructuur wordt gebruikt, ook van toepassing op Oracle Analytics.

Heeft Oracle policy's en procedures opgesteld voor het definiëren van rollen en verantwoordelijkheden voor menselijk toezicht op geïmplementeerde modellen?

Oracle Analytics bevat een robuust proces voor modelbeoordeling met behulp van synthetische gegevens dat dient als controlepoort voor eventuele codewijzigingen, modelrevisies of implementatiewijzigingen. Modelbeoordelingsruns worden geëvalueerd door een combinatie van automatisering en menselijk toezicht. Bovendien wordt door Oracle Analytics geen menselijk toezicht op geïmplementeerde modellen uitgevoerd.