Często zadawane pytania dotyczące generatywnej AI Oracle Analytics

Czy generatywna AI w Oracle Analytics wykorzystuje więcej niż jeden model lub system współzależnych modeli?

Oracle Analytics nie implementuje połączonych łańcuchowo ani współzależnych modeli generatywnej AI. Każdy model działa jako niezależny składnik, co upraszcza procesy oceny skuteczności, kontroli dostępu i zarządzania ryzykiem. Oracle stale ocenia najbardziej odpowiednie modele i architektury na potrzeby szerokiego zakresu zastosowań analitycznych i może z czasem aktualizować lub zmieniać preferowane modele i architekturę.

Jaka kategoria modeli jest wykorzystywana w produkcie? Czy model jest opracowywany wewnętrznie, czy przez stronę trzecią?

Funkcje generatywnej AI Oracle Analytics wykorzystują modele podstawowe od uznanych dostawców sztucznej inteligencji, które są skonfigurowane pod kątem wdrożeń w przedsiębiorstwach. Aby uzyskać aktualną listę naszych modeli generatywnej AI, zob. Wstępnie wytrenowane modele generatywnej AI.

Czy model jest monitorowany i testowany na bieżąco? Jak często?

Modele są ponownie weryfikowane wraz z każdym nowym wydaniem, a zidentyfikowane problemy z działaniem są rozwiązywane. Podczas tworzenia oprogramowania Oracle wykorzystuje standardowe miary uczenia maszynowego, w tym precyzję, czułość i wartość F1, aby weryfikować modele AI przed wdrożeniem. Oracle Analytics do oceny modeli używa danych syntetycznych w połączeniu z zestawem ręcznie przygotowanych danych. Ewaluacja modelu koncentruje się na dokładności i dryfie, oceniając zdolność modelu do generowania odpowiedzi zgodnych z ustalonymi wartościami faktycznymi. Wyniki są porównywane z ustalonymi punktami odniesienia w celu identyfikowania niezgodności (wypowiedzi poprzednio prawidłowych, które teraz są nieprawidłowe) oraz zgodności (wypowiedzi poprzednio nieprawidłowych, które teraz są prawidłowe). Wszelkie niezgodności są klasyfikowane jako regresja i służą jako tzw. "brama kontrolna" (control gate) dla wszystkich zmian w kodzie, rewizji modelu lub zmian we wdrożeniu.

Czy w Oracle są wdrożone procedury służące do powiadamiania o zmianach w używanych modelach i generowanych wynikach?

W ramach procesu publikowania wydań Oracle Analytics powiadamiamy użytkowników o zmianach dotyczących modeli AI lub generowanych przez nie wyników, opisując je w witrynie Oracle Analytics Cloud - nowości. Administratorzy dzierżawy mogą także włączać subskrypcje użytkowników, zapewniając szerszą świadomość w ramach organizacji. Ponadto każdy użytkownik może na bieżąco otrzymywać informacje o nowych funkcjach i nadchodzących wydaniach, jeśli zasubskrybuje wysyłany pocztą e-mail cotygodniowy przegląd Oracle Analytics za pośrednictwem strony Witryna Oracle Analytics Community.

Oracle Analytics używa także standardowych polityk Oracle Cloud dotyczących zarządzania zmianami, które opisano w dokumencie Oracle Cloud Hosting and Delivery Policies.

Czy w polityce firmy Oracle dotyczącej AI jest uwzględniony proces przeglądu funkcji związanych z przepisami prawa i ryzykiem?

Zespoły rozwoju produktów w Oracle postępują zgodnie z wytycznymi i obowiązkowymi dyrektywami wydawanymi przez dział Global Product Security, który utrzymuje standardy bezpiecznego kodowania Oracle Secure Coding Standards (SCS). Część tych standardów jest poświęcona zagadnieniom AI/ML i sama w sobie zawiera szereg dyrektyw z zakresu bezpieczeństwa. Dyrektywy te są podzielone na następujące kategorie:

• Zarządzanie AI - te dyrektywy określają kroki, jakie zespoły powinny podjąć w celu zapewnienia właściwych procedur nadzoru nad swoimi modelami uczenia maszynowego.
• Infrastruktura AI - te dyrektywy dotyczą zespołów konfigurujących infrastrukturę niezbędną do tworzenia i wdrażania modeli uczenia maszynowego oraz używających tej infrastruktury.
• Rozwój AI - te dyrektywy mają zastosowanie do zespołów zaangażowanych w opracowywanie modeli uczenia maszynowego, dostarczając wskazówek dotyczących najlepszych praktyk w zakresie tworzenia, testowania i wdrażania modeli.
• Dane AI - te dyrektywy obejmują środki bezpieczeństwa dla zespołów zaangażowanych w gromadzenie i przetwarzanie danych używanych w modelach uczenia maszynowego oraz zarządzanie tymi danymi.

W ramach wyżej wspomnianych obowiązkowych standardów bezpiecznego kodowania zespoły rozwoju produktów Oracle regularnie oceniają swoje projekty pod kątem specyficznych dla AI zagrożeń bezpieczeństwa i luk w zabezpieczeniach.

Bezpieczeństwo modelu, architektury AI Oracle Analytics oraz integracji z Oracle Analytics poddano ocenie bezpieczeństwa w ramach programu Cloud Security, Standards and Architecture Program (CSSAP). CSSAP to kompleksowy proces oceny bezpieczeństwa opracowany przez działy Corporate Security Architecture, Global Information Security, Global Product Security, Oracle Global IT oraz organizacje IT firmy Oracle w celu zapewnienia dokładnej oceny zarządzania bezpieczeństwem informacji. Więcej informacji można znaleźć na stronie Corporate Security Architecture Oversight.

Czy Oracle gromadzi dane użytkowników lub podobne wskaźniki w celu mierzenia różnic między danymi wejściowymi i wyjściowymi powiązanymi ze środowiskami testowymi?

Obecnie Oracle Analytics nie przechwytuje ani nie gromadzi jawnych informacji zwrotnych od użytkowników w tym celu. Ponieważ model nie jest dostrajany ani trenowany na danych klientów, testowanie jest ograniczone do domyślnych punktów odniesienia modelu, jak wspomniano powyżej. Podsumowując: modele są ponownie weryfikowane wraz z każdym nowym wydaniem, a wszelkie zidentyfikowane problemy z działaniem są odpowiednio rozwiązywane. Podczas tworzenia oprogramowania Oracle wykorzystuje standardowe miary uczenia maszynowego, takie jak precyzja, czułość i wartość F1, aby weryfikować modele AI przed wdrożeniem.

Czy Oracle włącza do swojego modelu jakiekolwiek zewnętrzne dane wejściowe lub narzędzia stron trzecich?

Oracle Analytics nie uwzględnia żadnych zewnętrznych danych wejściowych w swoich interakcjach z modelem. Interakcje z modelem są ściśle ograniczone do bezpośredniej komunikacji między Oracle Analytics a samym modelem.

Czy model jest zależny od jakichkolwiek narzędzi lub rozwiązań stron trzecich, które mogłyby utrudnić migrację modelu do innego środowiska?

Model jest wdrożony jako usługa Oracle Cloud Infrastructure, przy czym ten sam model podstawowy jest dostępny w wielu instancjach usługi. Nie jest wymagana migracja modelu między instancjami.

W jaki sposób Oracle reaguje na incydenty związane z systemami AI?

Oracle Analytics używa standardowych polityk reagowania na incydenty Oracle Cloud, które są przedstawione w sekcji "Service Level Agreement" w dokumencie Oracle Cloud Hosting and Delivery Policies.

W jaki sposób Oracle testuje jakość wyjaśnień systemów?

W Oracle Analytics wszystkie zmiany w kodzie, rewizje modelu i zmiany we wdrożeniu przechodzą przez tzw. "bramę wydania" (release gate), która obejmuje ocenę, czy wygenerowane odpowiedzi są zgodne z ustaloną wartością faktyczną, poprzez porównanie z naszym punktem odniesienia. Wartość faktyczna w punkcie odniesienia obejmuje wszystkie wyjaśnienia systemów wygenerowane w ramach odpowiedzi. Wszelkie niezgodności są klasyfikowane jako regresja i służą jako tzw. "brama kontrolna" (control gate).

W jaki sposób Oracle ocenia wyniki systemu pod kątem wiarygodności i rzetelności?

Oracle Analytics opiera się na infrastrukturze OCI Gen AI dla swoich modeli podstawowych i nie trenuje modeli w sposób jawny. OCI Gen AI wykorzystuje najlepsze praktyki w celu zapewnienia wiarygodności i zapobiegania stronniczości w swoich modelach podstawowych.

Ponadto Oracle Analytics oferuje obecnie szczegółową kontrolę nad wkładem dużego modelu językowego (LLM) w odpowiedź przekazywaną użytkownikom końcowym. Mechanizm ten zapewnia, że model LLM nie ujawnia bezpośrednio informacji użytkownikom końcowym, gwarantując w ten sposób, że generowane odpowiedzi są w całości konstruowane przez Oracle Analytics, a zatem wiarygodne. Ponadto administrator usługi Oracle Analytics może wyłączyć dowolne lub wszystkie funkcje oparte na AI na poziomie poszczególnych funkcji. Aby uzyskać więcej informacji, zob. Konfiguracja generatywnej AI - informacje podstawowe.

Czy istnieje plan przywracania awaryjnego i postępowania w przypadku nieprzewidzianych zdarzeń w sytuacji, gdy model jest niedostępny?

Oracle Analytics opiera się na infrastrukturze OCI Gen AI dla swoich modeli podstawowych. Odporność infrastruktury OCI na uszkodzenia i na błędy przedstawiono w dokumencie Oracle Cloud Hosting and Delivery Policies. Więcej informacji na temat dedykowanych klastrów OCI Gen AI można znaleźć w dokumentach Tworzenie dedykowanego klastra AI w Generative AI na potrzeby hostowania modeli i Oracle PaaS and IaaS Public Cloud Services - dokument uzupełniający.

W jaki sposób Oracle testuje model pod kątem spójności w różnych środowiskach?

Wszystkie modele klientów i modele w wersji wstępnej są wdrażane w tym samym środowisku Oracle Cloud Infrastructure. Wewnętrzne środowiska testowe, w tym środowiska przedprodukcyjne i produkcyjne, zachowują ten sam stan konfiguracji co środowiska klientów.

Czy Oracle ma dla modelu ustanowioną politykę zarządzania?

Oracle Analytics wykorzystuje modele podstawowe wdrożone za pośrednictwem usługi Generative AI z Oracle Cloud Infrastructure. Modele te są używane w swoim natywnym stanie, bez modyfikacji - Oracle Analytics nie przeprowadza trenowania, dostrajania ani dostosowywania używanych modeli podstawowych. W związku z tym polityki zarządzania modelami stosowane przez infrastrukturę OCI Gen AI mają również zastosowanie do Oracle Analytics.

Czy Oracle ma ustanowione polityki i procedury definiujące role i obowiązki w zakresie nadzoru nad wdrożonymi modelami przez człowieka?

W Oracle Analytics jest stosowany zaawansowany proces oceny modelu przy użyciu danych syntetycznych, który służy jako tzw. "brama kontrolna" (control gate) dla wszelkich zmian w kodzie, rewizji modelu lub zmian we wdrożeniu. Przebiegi oceny modelu są weryfikowane poprzez połączenie automatyzacji i nadzoru ludzkiego. Poza tym w Oracle Analytics nie jest stosowany ludzki nadzór nad wdrożonymi modelami.