Часто задаваемые вопросы о генеративном ИИ Oracle Analytics

Использует ли генеративный ИИ Oracle Analytics более одной модели или систему взаимозависимых моделей?

Oracle Analytics не применяет связанные или взаимозависимые генеративные модели ИИ. Каждая модель работает как независимый компонент, что упрощает оценку эффективности, контроль доступа и процессы управления рисками. Oracle постоянно оценивает наиболее подходящие модели и архитектуры для широкого спектра сценариев использования аналитики и может со временем обновлять или изменять предпочитаемые модели и архитектуру.

Какая категория моделей используется в продукте? Разработана ли модель собственными силами или третьей стороной?

Возможности генеративного ИИ в Oracle Analytics используют базовые модели от установленных поставщиков ИИ, настроенных для корпоративных развертываний. Текущий список наших моделей генеративного ИИ см. в разделе "Предварительно обученные модели генеративного ИИ".

Выполняется ли мониторинг и тестирование модели на постоянной основе? Как часто?

В каждом новом выпуске модели повторно проверяются, и устраняются проблемы производительности. В процессе разработки Oracle использует стандартные метрики машинного обучения, включая точность, отзыв и оценки F1, для проверки моделей ИИ перед развертыванием. Oracle Analytics использует синтетические данные для оценки модели в сочетании с набором отобранных вручную данных. Оценка модели сосредоточена на точности и отклонении, то есть на проверке способности модели генерировать ответы, которые соответствуют установленной основной истине. Результаты сравниваются с установленными критериями для выявления несоответствий (ранее успешные высказывания, которые теперь терпят неудачу) и соответствий (ранее неудачные высказывания, которые теперь преуспевают). Любое несоответствие классифицируется как регрессия и служит шлюзом управления для любых изменений кода, версий модели или изменений развертывания.

Имеются ли в Oracle процессы для передачи изменений в модели и результаты?

В рамках процесса выпуска Oracle Analytics мы уведомляем вас об изменениях в моделях ИИ или выводах через Новые возможности Oracle Analytics Cloud. Администраторы областей аренды также могут включать подписки пользователей, обеспечивая более широкую осведомленность в организации. Кроме того, любой желающий может оставаться в курсе новых функций и предстоящих выпусков, подписавшись на еженедельную рассылку Oracle Analytics через Сообщество Oracle Analytics.

В Oracle Analytics также используются стандартные политики управления изменениями Oracle Cloud, описанные в документе "Политика хостинга и предоставления услуг Oracle Cloud".

Включает ли политика ИИ Oracle процесс проверки юридических функций и функций управления рисками?

Команды по разработке продуктов в Oracle следуют указаниям и обязательным директивам Global Product Security, которые поддерживают стандарты программирования Oracle (SCS). Раздел этих стандартов посвящен ИИ и машинному обучению, который, в свою очередь, имеет ряд директив безопасности. Эти директивы разделены на следующие категории:

• Управление ИИ – директивы охватывают шаги для команд, чтобы обеспечить надлежащие процедуры надзора для их моделей машинного обучения.
• Инфраструктура ИИ – директивы применяются к командам, которые настраивают и используют инфраструктуру, необходимую для создания и развертывания моделей машинного обучения.
• Разработка ИИ – директивы применяются к командам, участвующим в разработке моделей машинного обучения, предоставляя рекомендации по лучшим практикам для разработки, тестирования и развертывания моделей.
• Данные ИИ – директивы охватывают этапы безопасности для команд, участвующих в сборе, обработке и управлении данными, используемыми в моделях машинного обучения.

В рамках вышеуказанных утвержденных стандартов безопасного программирования группы разработчиков продуктов Oracle регулярно оценивают свои проекты в отношении рисков и уязвимостей безопасности, связанных с ИИ.

Безопасность модели, архитектуры ИИ Oracle Analytics и интеграции с Oracle Analytics прошла проверку в рамках Программы безопасности, стандартов и архитектуры облака (CSSAP). CSSAP – это комплексный процесс проверки безопасности, разработанный подразделениями Corporate Security Architecture, Global Information Security, Global Product Security, Oracle Global IT и ИТ-организациями Oracle для проведения тщательной оценки управления информационной безопасностью. Дополнительную информацию см. в разделе Надзор за архитектурой корпоративной безопасности.

Собирает ли Oracle данные пользователей или аналогичные метрики для измерения различий входных и выходных данных относительно тестовых сред?

В настоящее время Oracle Analytics не фиксирует и не собирает явные отзывы пользователей для этой цели. Поскольку модель не настроена или не обучена на данных клиента, тестирование ограничено стандартными эталонными показателями модели, как указано выше. Подводя итог: модели повторно проверяются с каждым новым выпуском, и все выявленные проблемы производительности решаются соответствующим образом. Во время разработки Oracle применяет стандартные метрики машинного обучения, такие как точность, отзыв и оценки F1, для проверки моделей ИИ до развертывания.

Включает ли Oracle в свою модель внешние входные данные или сторонние инструменты?

Oracle Analytics не включает внешние входные данные во взаимодействия с моделью. Моделирование взаимодействий строго ограничено прямым взаимодействием между Oracle Analytics и самой моделью.

Зависит ли модель от сторонних инструментов или решений, которые могут затруднить миграцию модели в другую среду?

Модель развернута как сервис Oracle Cloud Infrastructure с одной и той же базовой моделью, доступной в нескольких экземплярах сервисов. Миграция модели между экземплярами не требуется.

Как Oracle реагирует на инциденты в системе ИИ?

Oracle Analytics использует стандартные политики реагирования на инциденты Oracle Cloud, описанные в разделе соглашения об уровне обслуживания (Политика хостинга и предоставления услуг Oracle Cloud).

Как Oracle проверяет качество пояснений к системам?

Oracle Analytics переносит все изменения кода, версии моделей и изменения развертывания в шлюз выпуска, который включает оценку сгенерированных ответов, соответствующих установленной истине, в рамках нашего эталонного теста оценки. Основная истина в контрольном показателе включает все системные объяснения, созданные как часть ответа. Любое несоответствие классифицируется как регрессия и служит шлюзом управления.

Как Oracle оценивает результаты работы системы на предмет их надежности и справедливости?

Oracle Analytics использует инфраструктуру генеративного ИИ OCI для своих базовых моделей и явно не обучает модели. Генеративный ИИ OCI использует лучшие практики для обеспечения надежности и предотвращения предвзятости в своих базовых моделях.

Кроме того, Oracle Analytics в настоящее время предлагает жесткий контроль над вкладом большой языковой модели (LLM) в ответ, переданный конечным пользователям. Этот механизм гарантирует, что LLM не будет напрямую передавать информацию конечным пользователям, тем самым гарантируя, что созданные ответы полностью созданы Oracle Analytics и, следовательно, заслуживают доверия. Кроме того, администратор сервиса Oracle Analytics может отключить любые или все функции, управляемые ИИ, на уровне отдельных функций. Дополнительную информацию см. в разделе Настройка генеративного ИИ.

Существует ли план аварийного восстановления и резервный план для экземпляров, когда модель недоступна?

Для своих базовых моделей Oracle Analytics использует инфраструктуру генеративного ИИ OCI. Устойчивость и отказоустойчивость инфраструктуры OCI описаны в документе "Политика хостинга и предоставления услуг Oracle Cloud". Дополнительные сведения о выделенных кластерах генеративного ИИ OCI можно найти в разделах "Создание выделенного ИИ-кластера в сервисе генеративного ИИ для хостинга моделей" и "Публичные облачные сервисы PaaS и IaaS компании Oracle – основополагающий документ".

Как Oracle тестирует модель на согласованность в разных средах?

Все модели клиента и разработки развернуты в одной и той же структуре Oracle Cloud Infrastructure. Внутренние среды тестирования, включая предпроизводственные и производственные, поддерживают такое же состояние конфигурации, как и среды клиента.

Имеет ли Oracle установленную политику управления для модели?

Oracle Analytics использует базовые модели, развернутые через сервис генеративного ИИ в Oracle Cloud Infrastructure. Эти модели используются в исходном состоянии без изменений – Oracle Analytics не выполняет обучение, точную настройку или настройку модели в базовых моделях фундамента. Соответственно, политики управления моделями, используемые инфраструктурой генеративного ИИ OCI, применимы и к Oracle Analytics.

Разработала ли компания Oracle политики и процедуры, определяющие роли и обязанности по контролю человека за развернутыми моделями?

В Oracle Analytics реализован надежный процесс оценки модели с использованием синтетических данных, которые служат шлюзом управления для любых изменений кода, версий модели или изменений развертывания. Модели оцениваются путем сочетания автоматизации и контроля со стороны человека. Кроме того, Oracle Analytics не осуществляет контроль со стороны человека за развернутыми моделями.