17 OCI Generative AI (modèles de base préentraînés)

Generative AI est un service Oracle Cloud Infrastructure entièrement géré qui fournit un ensemble de grands modèles (LLM) de langage de pointe personnalisables couvrant un large éventail de cas d'emploi, notamment la discussion, la génération de texte, la synthèse et la création d'intégrations de texte.

Les utilisateurs d'Oracle AI Data Platform Workbench peuvent accéder aux modèles d'IA générative s'ils disposent des autorisations requises et que le modèle préentraîné est hébergé dans la même région que le lac de données. Pour plus d'informations sur les autorisations, reportez-vous à Obtention de l'accès à l'IA générative. Pour plus d'informations sur l'emplacement d'hébergement des modèles d'IA générative, voir Régions avec l'IA générative.

Vous pouvez utiliser des modèles d'IA générative dans AI Data Platform Workbench pour les cas d'utilisation suivants :

• Utilisez les modèles de discussion préentraînés pour créer du texte à n'importe quelle fin.
• Extrayez des données spécifiques à partir de texte.
• Générez des synthèses opérationnelles pour des documents trop longs à lire ou synthétisez tout type de texte.
• Classez un texte en catégories prédéfinies.

Vous pouvez également exécuter des inférences par lots sur des cadres de données Spark à l'aide des modèles préentraînés dans le langage de votre choix, tel que SQL ou Python. Pour plus d'informations sur les modèles préentraînés, reportez-vous à Modèles fondamentaux préentraînés dans l'IA générative.

Prérequis pour l'IA générative

Vous devez satisfaire aux prérequis suivants pour utiliser l'IA générative dans AI Data Platform Workbench :

• L'utilisateur doit disposer des autorisations USE sur les modèles de base
• AI Data Platform se trouve dans la même région que celle où les modèles d'IA générative sont hébergés

Si les prérequis sont respectés, les modèles sont répertoriés dans le schéma default.oci_ai_models. Vous pouvez ensuite répertorier les modèles dans l'explorateur de catalogue tout en travaillant dans un bloc-notes et les faire glisser pour générer un exemple de code ou utiliser le modèle pour l'inférence de batch. Vous pouvez également choisir d'écrire votre code dans un bloc-notes AI Data Platform Workbench pour appeler le modèle.

Vous pouvez utiliser les méthodes suivantes pour appeler un modèle d'IA générative :

SQL

select *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>

Où :

• model_name est le modèle d'IA générative à appeler : default.oci_ai_models.<model_name>
• review est le nom de colonne utilisé pour créer l'invite.
• sentiment est le nom de la colonne de sortie.
• <<catalog_name>>.<<schema_name>>.<<table_name>> est la table dans un modèle de nom en 3 parties.

PySpark

df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))

Où :

• model_name est le modèle d'IA générative à appeler : default.oci_ai_models.<model_name>
• review est le nom de colonne utilisé pour créer l'invite.
• sentiment est le nom de la colonne de sortie.
• df est le cadre de données d'entrée.

Limite de demande

Description	Nom de la limite	Limite de service
Nombre maximal de demandes de discussion par minute autorisé par compartiment pour l'inférence à la demande	max-on-demand-chat-request-per-minute-count	500