13 OCI Generative AI (modèles de base préentraînés)

Oracle Cloud Infrastructure Generative AI est un service Oracle Cloud Infrastructure entièrement géré qui fournit un ensemble de grands modèles (LLM) de langage de pointe personnalisables couvrant un large éventail de cas d'emploi, notamment la discussion, la génération de texte, la synthèse et la création d'intégrations de texte.

Les utilisateurs d'Oracle AI Data Platform peuvent accéder aux modèles OCI Generative AI s'ils disposent des droits d'accès requis et que le modèle préentraîné est hébergé dans la même région que le lac de données. Pour plus d'informations sur les autorisations, reportez-vous à Obtention de l'accès à l'IA générative.

Vous pouvez utiliser des modèles OCI Generative AI dans AI Data Platform pour les cas d'utilisation suivants :

• Utilisez les modèles de discussion préentraînés pour créer du texte à n'importe quelle fin.
• Extrayez des données spécifiques à partir de texte.
• Générez des synthèses opérationnelles pour des documents trop longs à lire ou synthétisez tout type de texte.
• Classez un texte en catégories prédéfinies.

Vous pouvez également exécuter des inférences par lots sur des cadres de données Spark à l'aide des modèles préentraînés dans le langage de votre choix, tel que SQL ou Python. Pour plus d'informations sur les modèles préentraînés, reportez-vous à Modèles fondamentaux préentraînés dans l'IA générative.

Remarques :

Vérifiez si le service OCI Generative AI que vous souhaitez utiliser est disponible dans votre région. Les modèles sont propres à une région et les scripts qui font référence à un modèle dans une région non prise en charge peuvent ne pas fonctionner. Pour plus d'informations, reportez-vous à Régions d'IA générative.

Prérequis pour OCI Generative AI

Pour utiliser OCI Generative AI dans AI Data Platform, vous devez satisfaire aux prérequis suivants :

• L'utilisateur doit disposer des autorisations USE sur les modèles de base
• AI Data Platform se trouve dans la même région que celle où les modèles OCI Generative AI sont hébergés

Si les prérequis sont respectés, les modèles sont répertoriés dans le schéma default.oci_ai_models. Vous pouvez ensuite répertorier les modèles dans l'explorateur de catalogue tout en travaillant dans un bloc-notes et les faire glisser pour générer un exemple de code ou utiliser le modèle pour l'inférence de batch. Vous pouvez également choisir d'écrire votre code dans un bloc-notes de plate-forme de données d'IA pour appeler le modèle.

Vous pouvez utiliser les méthodes suivantes pour appeler un modèle OCI Generative AI :

SQL

select *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>

Où :

• model_name est le modèle d'IA générative à appeler : default.oci_ai_models.<model_name>
• review est le nom de colonne utilisé pour créer l'invite.
• sentiment est le nom de la colonne de sortie.
• <<catalog_name>>.<<schema_name>>.<<table_name>> est la table dans un modèle de nom en 3 parties.

PySpark

df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))

Où :

• model_name est le modèle d'IA générative à appeler : default.oci_ai_models.<model_name>
• review est le nom de colonne utilisé pour créer l'invite.
• sentiment est le nom de la colonne de sortie.
• df est le cadre de données d'entrée.

Limite de demande

Description	Nom de la limite	Limite de service
Nombre maximal de demandes de discussion par minute autorisé par compartiment pour l'inférence à la demande	max-on-demand-chat-request-per-minute-count	500