18 OCI Generative AI (Modelos Básicos Pré-treinados)

A IA generativa é um serviço Oracle Cloud Infrastructure totalmente gerenciado que fornece um conjunto de grandes modelos de linguagem (LLMs) personalizáveis e de última geração que abrangem uma ampla variedade de casos de uso, incluindo chat, geração, resumo e criação de incorporações de texto.

Os usuários do Oracle AI Data Platform Workbench poderão acessar modelos de IA generativa se tiverem as permissões necessárias e o modelo pré-treinado for hospedado na mesma região que o data lake. Para obter mais informações sobre permissões, consulte Obtendo Acesso ao Serviço Generative AI.

Você pode usar modelos de IA Generativa no AI Data Platform Workbench para os seguintes casos de uso:
  • Use os modelos de chat pré-treinados para criar texto para qualquer finalidade.
  • Extraia partes específicas de dados do texto.
  • Gere resumos executivos para documentos que são longos demais para serem lidos ou resumam qualquer tipo de texto.
  • Classifique o texto em categorias predefinidas.

Você também pode executar inferências em batch em Frames de Dados do Spark usando os modelos pré-treinados em uma linguagem de sua escolha, como SQL ou Python. Para obter mais informações sobre modelos pré-treinados, consulte Modelos Básicos Pré-treinados no Serviço Generative AI.

Observação:

Verifique se o serviço de IA Generativa que você deseja usar está disponível na sua região. Os modelos são específicos da região e os scripts que se referem a um modelo em uma região sem suporte podem não funcionar. Para obter mais informações, consulte Regiões de IA Generativa.

Pré-requisitos para IA Generativa

Você deve atender aos seguintes pré-requisitos para usar o serviço Generative AI no AI Data Platform Workbench:
  • O usuário deve ter permissões de USO nos modelos base
  • A AI Data Platform está na mesma região em que os modelos de IA Generativa são hospedados

Se os pré-requisitos forem atendidos, os modelos serão listados no esquema default.oci_ai_models. Em seguida, você pode listar os modelos no explorador de catálogos enquanto trabalha em um notebook e arrastar e soltar os modelos para gerar o código de amostra ou usar o modelo para inferência em batch. Como alternativa, você pode optar por gravar seu código em um notebook do AI Data Platform Workbench para chamar o modelo.

Você pode usar os seguintes métodos para chamar um modelo de IA Generativa:

SQL 
select *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>

Onde:

  • model_name é o modelo de IA generativa que você deseja chamar: default.oci_ai_models.<model_name>
  • review é o nome da coluna que é usado para criar o prompt
  • sentiment é o nome da coluna de saída
  • <<catalog_name>>.<<schema_name>>.<<table_name>> é a tabela no padrão de nome de 3 partes
PySpark
df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))
Onde:
  • model_name é o modelo de IA generativa que você deseja chamar: default.oci_ai_models.<model_name>
  • review é o nome da coluna que é usado para criar o prompt
  • sentiment é o nome da coluna de saída
  • df é o quadro de dados de entrada

Limite de Solicitações

Descrição Nome do Limite Limite de Serviço
Número máximo de solicitações de chat por minuto permitido por compartimento para inferência sob demanda max-on-demand-chat-request-per-minute-count 500