Este tópico fornece respostas às perguntas mais frequentes sobre como a IA generativa é usada com o Oracle Analytics.
A IA generativa do Oracle Analytics usa mais de um modelo ou um sistema de modelos interdependentes?
O Oracle Analytics não implementa modelos de IA generativa encadeados ou interdependentes. Cada modelo opera como um componente independente, que simplifica a avaliação de desempenho, os controles de acesso e os processos de gerenciamento de riscos. A Oracle avalia continuamente os modelos e arquiteturas mais adequados para uma ampla gama de casos de uso de análise e pode atualizar ou alterar seus modelos e arquitetura preferidos ao longo do tempo.
Que categoria de modelos é usada no produto? O modelo é desenvolvido internamente ou por terceiros?
Os recursos de IA generativa do Oracle Analytics aproveitam os modelos básicos de provedores de IA estabelecidos configurados para implementações empresariais. Para obter uma lista atual de nossos modelos de IA generativa, consulte Modelos de IA Generativa Pré-treinados.
O modelo é monitorado e testado continuamente? Com que frequência?
Os modelos são revalidados a cada nova versão e os problemas de desempenho são resolvidos à medida que são identificados. Durante o desenvolvimento, a Oracle usa métricas padrão de aprendizado de máquina, incluindo pontuações de precisão, rechamada e F1 para validar modelos de IA antes da implantação. O Oracle Analytics usa dados sintéticos para avaliação de modelo combinados com um conjunto de dados selecionados manualmente. A avaliação do modelo se concentra na precisão e na divergência, avaliando a capacidade do modelo de gerar respostas que correspondam à verdade fundamental estabelecida. Os resultados são comparados com benchmarks estabelecidos para identificar incompatibilidades (enunciados anteriores bem-sucedidos que agora falham) e correspondências (enunciados anteriores com falha que agora são bem-sucedidos). Qualquer incompatibilidade é classificada como uma regressão e serve como um portão de controle para quaisquer alterações de código, revisões de modelo ou alterações de implantação.
A Oracle tem processos para comunicar alterações em seus modelos e resultados?
Como parte do processo de lançamento do Oracle Analytics, notificamos você sobre alterações em modelos ou saídas de IA por meio do O Que Há de Novo no Oracle Analytics Cloud. Os administradores de tenancy também podem ativar assinaturas de usuários, garantindo um conhecimento mais amplo dentro da organização. Além disso, qualquer pessoa pode se manter informada sobre novos recursos e lançamentos futuros assinando o e-mail semanal do Oracle Analytics por meio do Site da Comunidade do Oracle Analytics.
O Oracle Analytics também usa as políticas padrão de gerenciamento de alterações do Oracle Cloud documentadas no Políticas de Hospedagem e Entrega do Oracle Cloud.
A Política de IA da Oracle inclui um processo de revisão para funções legais e de risco?
As equipes de desenvolvimento de produtos da Oracle seguem as orientações e as diretrizes obrigatórias da Global Product Security, que mantêm os Oracle Secure Coding Standards (SCS). Uma seção desses padrões é dedicada à AI/ML, que por sua vez tem várias diretivas de segurança. Estas diretivas dividem-se nas seguintes categorias:
Como parte dos Padrões de Codificação Segura obrigatórios acima, as equipes de desenvolvimento de produtos da Oracle avaliam regularmente seus projetos para ver se há riscos e vulnerabilidades de segurança específicos da IA.
A segurança do modelo, a arquitetura de IA do Oracle Analytics e a integração ao Oracle Analytics passaram por uma revisão de segurança do Cloud Security, Standards e Architecture Program (CSSAP). CSSAP é um processo abrangente de revisão de segurança desenvolvido pela Corporate Security Architecture, Global Information Security, Global Product Security, Oracle Global IT e pelas organizações de TI da Oracle para fornecer uma avaliação completa do gerenciamento de segurança da informação. Para obter informações adicionais, consulte Corporate Security Architecture Oversight.
A Oracle coleta dados do usuário ou métricas semelhantes para medir as diferenças de dados de entrada e saída em relação aos ambientes de teste?
Atualmente, o Oracle Analytics não captura nem coleta feedback explícito do usuário para essa finalidade. Como o modelo não é ajustado ou treinado nos dados do cliente, o teste se limita a benchmarks padrão do modelo, conforme observado acima. Resumindo: os modelos são revalidados com cada nova versão, e quaisquer problemas de desempenho identificados são resolvidos adequadamente. Durante o desenvolvimento, a Oracle aplica métricas padrão de aprendizado de máquina, como pontuações de precisão, rechamada e F1, para validar modelos de IA antes da implementação.
A Oracle incorpora alguma entrada externa ou ferramenta de terceiros ao seu modelo?
O Oracle Analytics não incorpora entradas externas em suas interações com o modelo. As interações de modelo se limitam estritamente à comunicação direta entre o Oracle Analytics e o próprio modelo.
O modelo depende de quaisquer ferramentas ou soluções de terceiros que possam dificultar a migração do modelo para um ambiente diferente?
O modelo é implantado como um serviço do Oracle Cloud Infrastructure, com o mesmo modelo básico disponível em várias instâncias de serviço. Nenhuma migração de modelo é necessária entre as instâncias.
Como a Oracle responde a incidentes do sistema de IA?
O Oracle Analytics usa as políticas padrão de Resposta a Incidentes do Oracle Cloud que são documentadas na seção Contrato de Nível de Serviço de Políticas de Hospedagem e Entrega do Oracle Cloud.
Como a Oracle testa a qualidade das explicações dos sistemas?
O Oracle Analytics submete todas as alterações de código, revisões de modelo e alterações de implantação a um portão de lançamento que inclui uma avaliação de respostas geradas que correspondem à verdade básica estabelecida como parte de nosso benchmark de avaliação. A verdade fundamental no benchmark inclui todas as explicações de sistemas geradas como parte da resposta. Qualquer incompatibilidade é classificada como uma regressão e serve como uma porta de controle.
Como a Oracle avalia as saídas do sistema em termos de confiabilidade e imparcialidade?
O Oracle Analytics conta com a infraestrutura do OCI Gen AI para seus modelos básicos e não treina explicitamente os modelos. O OCI Gen AI usa as melhores práticas para garantir a confiabilidade e evitar distorções em seus modelos básicos.
Além disso, o Oracle Analytics oferece atualmente um controle não refinado sobre a contribuição do LLM (Large Language Model) para a resposta apresentada aos usuários finais. Esse mecanismo garante que o LLM não apresente informações diretamente aos usuários finais, garantindo assim que as respostas geradas sejam totalmente produzidas pelo Oracle Analytics e, portanto, confiáveis. Além disso, o administrador de serviços do Oracle Analytics tem a capacidade de desativar qualquer um ou todos os recursos orientados por IA no nível de recurso individual. Para obter mais informações, consulte Sobre a Configuração de IA Generativa.
Há um plano de recuperação de desastres e contingência para instâncias quando o modelo está indisponível?
O Oracle Analytics conta com a infraestrutura do OCI Gen AI para seus modelos básicos. A resiliência e a tolerância a falhas da infraestrutura do OCI são documentadas em Políticas de Hospedagem e Entrega do Oracle Cloud. Mais detalhes sobre clusters do OCI Gen AI Dedicated podem ser encontrados em Criando um Cluster de IA Dedicado no Serviço Generative AI para Modelos de Hospedagem e Documento Pilar do Oracle PaaS e IaaS Public Cloud Services.
Como a Oracle testa o modelo quanto à consistência em diferentes ambientes?
Todos os modelos de cliente e desenvolvimento são implantados na mesma estrutura do Oracle Cloud Infrastructure. Os ambientes de teste internos, incluindo ambientes de teste de pré-produção e produção, mantêm o mesmo estado de configuração que os ambientes do cliente.
A Oracle tem uma política de governança estabelecida para o modelo?
O Oracle Analytics aproveita os modelos básicos implantados por meio do Oracle Cloud Infrastructure Generative AI Service Esses modelos são usados em seu estado nativo sem modificação — o Oracle Analytics não realiza treinamento, ajuste fino ou personalização de modelo nos modelos básicos subjacentes. Consequentemente, as políticas de governança de modelo usadas pela infraestrutura do OCI Gen AI também são aplicáveis ao Oracle Analytics.
A Oracle estabeleceu políticas e procedimentos que definem funções e responsabilidades para a supervisão humana dos modelos implantados?
O Oracle Analytics tem um processo robusto para avaliação de modelo usando dados sintéticos que servem como um ponto de controle para quaisquer alterações de código, revisões de modelo ou alterações de implantação. As execuções de avaliação de modelos são analisadas por uma combinação de automação e supervisão humana. Além disso, o Oracle Analytics não executa a supervisão humana dos modelos implantados.