17 OCI Generative AI (modelos básicos previamente entrenados)

La IA generativa es un servicio de Oracle Cloud Infrastructure totalmente gestionado que proporciona un conjunto de modelos de lenguaje grandes (LLM) personalizables y de última generación que abarcan una amplia gama de casos de uso, incluidos el chat, la generación de texto, el resumen y la creación de incrustaciones de texto.

Los usuarios de Oracle AI Data Platform Workbench pueden acceder a los modelos de IA generativa si tienen los permisos necesarios y el modelo previamente entrenado se aloja en la misma región que el lago de datos. Para obtener más información sobre los permisos, consulte Obtención de acceso a IA generativa. Para obtener más información sobre dónde se alojan los modelos de IA generativa, consulte Regiones con IA generativa.

Puede utilizar modelos de IA generativa en AI Data Platform Workbench para los siguientes casos de uso:

• Utilice los modelos de chat entrenados previamente para crear texto para cualquier propósito.
• Extracción de datos específicos del texto.
• Genere resúmenes ejecutivos para documentos demasiado largos para leer o resuma cualquier tipo de texto.
• Clasifique el texto en categorías predefinidas.

También puede ejecutar inferencias por lotes en marcos de datos de Spark mediante los modelos entrenados previamente en el lenguaje que desee, como SQL o Python. Para obtener más información sobre los modelos preentrenados, consulte Modelos básicos preentrenados en IA generativa.

Requisitos previos para la IA generativa

Debe cumplir los siguientes requisitos previos para utilizar la IA generativa en AI Data Platform Workbench:

• El usuario debe tener permisos USE en los modelos base
• AI Data Platform se encuentra en la misma región en la que se alojan los modelos de IA generativa

Si se cumplen los requisitos, los modelos se muestran en el esquema default.oci_ai_models. A continuación, puede mostrar los modelos en el explorador de catálogos mientras trabaja en un bloc de notas y arrastrar los modelos para generar el código de muestra o utilizar el modelo para la inferencia por lotes. También puede elegir escribir el código en un bloc de notas de AI Data Platform Workbench para llamar al modelo.

Puede utilizar los siguientes métodos para llamar a un modelo de IA generativa:

SQL

select *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>

Dónde:

• model_name es el modelo de IA generativa que desea llamar: default.oci_ai_models.<model_name>
• review es el nombre de columna que se utiliza para crear la petición de datos
• sentiment es el nombre de columna de salida
• <<catalog_name>>.<<schema_name>>.<<table_name>> es la tabla en el patrón de nombre de 3 partes

PySpark

df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))

Dónde:

• model_name es el modelo de IA generativa que desea llamar: default.oci_ai_models.<model_name>
• review es el nombre de columna que se utiliza para crear la petición de datos
• sentiment es el nombre de columna de salida
• df es el marco de datos de entrada

Límite de Solicitudes

Descripción	Nombre de límite	Límite de servicio
Número máximo de solicitudes de chat por minuto permitido por compartimento para inferencia bajo demanda	max-on-demand-chat-request-per-minute-count	500