13 OCI Generative AI (Modelos Básicos Pré-treinados)

O Oracle Cloud Infrastructure Generative AI é um serviço Oracle Cloud Infrastructure totalmente gerenciado que fornece um conjunto de grandes modelos de linguagem (LLMs) personalizáveis e de última geração que abrangem uma ampla variedade de casos de uso, incluindo chat, geração do texto, resumo e criação de incorporações de texto.

Os usuários da Oracle AI Data Platform poderão acessar os modelos da OCI Generative AI se tiverem as permissões necessárias e o modelo pré-treinado for hospedado na mesma região que o data lake. Para obter mais informações sobre permissões, consulte Obtendo Acesso ao Serviço Generative AI.

Você pode usar modelos do OCI Generative AI na AI Data Platform para os seguintes casos de uso:
  • Use os modelos de chat pré-treinados para criar texto para qualquer finalidade.
  • Extraia partes específicas de dados do texto.
  • Gere resumos executivos para documentos que são longos demais para serem lidos ou resumam qualquer tipo de texto.
  • Classifique o texto em categorias predefinidas.

Você também pode executar inferências em batch em Frames de Dados do Spark usando os modelos pré-treinados em uma linguagem de sua escolha, como SQL ou Python. Para obter mais informações sobre modelos pré-treinados, consulte Modelos Básicos Pré-treinados no Serviço Generative AI.

Observação:

Verifique se o serviço OCI Generative AI que você deseja usar está disponível na sua região. Os modelos são específicos da região e os scripts que se referem a um modelo em uma região sem suporte podem não funcionar. Para obter mais informações, consulte Regiões de IA Generativa.

Pré-requisitos para a OCI Generative AI

Você deve atender aos seguintes pré-requisitos para usar o OCI Generative AI na AI Data Platform:
  • O usuário deve ter permissões de USO nos modelos base
  • A AI Data Platform está na mesma região em que os modelos de OCI Generative AI são hospedados

Se os pré-requisitos forem atendidos, os modelos serão listados no esquema default.oci_ai_models. Em seguida, você pode listar os modelos no explorador de catálogos enquanto trabalha em um notebook e arrastar e soltar os modelos para gerar o código de amostra ou usar o modelo para inferência em batch. Como alternativa, você pode optar por gravar seu código em um notebook da AI Data Platform para chamar o modelo.

Você pode usar os seguintes métodos para chamar um modelo do OCI Generative AI:

SQL 
select *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>

Onde:

  • model_name é o modelo de IA generativa que você deseja chamar: default.oci_ai_models.<model_name>
  • review é o nome da coluna que é usado para criar o prompt
  • sentiment é o nome da coluna de saída
  • <<catalog_name>>.<<schema_name>>.<<table_name>> é a tabela no padrão de nome de 3 partes
PySpark
df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))
Onde:
  • model_name é o modelo de IA generativa que você deseja chamar: default.oci_ai_models.<model_name>
  • review é o nome da coluna que é usado para criar o prompt
  • sentiment é o nome da coluna de saída
  • df é o quadro de dados de entrada

Limite de Solicitações

Descrição Nome do Limite Limite de Serviço
Número máximo de solicitações de chat por minuto permitido por compartimento para inferência sob demanda max-on-demand-chat-request-per-minute-count 500