17 OCI Generative AI (Modèles de base préentraînés)

L'IA générative est un service Oracle Cloud Infrastructure entièrement géré qui fournit un jeu de grands modèles de langage (LLM) de pointe personnalisables qui couvrent un large éventail de cas d'utilisation, y compris le clavardage, la génération de texte, la récapitulation et la création d'intégrations de texte.

Les utilisateurs d'Oracle AI Data Platform Workbench peuvent accéder aux modèles d'IA générative s'ils disposent des autorisations requises et que le modèle préentraîné est hébergé dans la même région que le lac de données. Pour plus d'informations sur les autorisations, voir Obtention de l'accès au service d'intelligence artificielle générative. Pour plus d'informations sur l'emplacement d'hébergement des modèles d'IA générative, voir Régions avec l'IA générative.

Vous pouvez utiliser les modèles d'IA générative dans AI Data Platform Workbench pour les cas d'utilisation suivants :

• Utilisez les modèles de clavardage préentraînés pour créer du texte à n'importe quelle fin.
• Extraire des éléments de données spécifiques à partir d'un texte.
• Générer des sommaires de documents trop longs pour la direction ou résumer tout type de texte.
• Sert à classer du texte dans des catégories prédéfinies.

Vous pouvez également exécuter des inférences par lots sur des cadres de données Spark à l'aide des modèles préentraînés dans le langage de votre choix, par exemple SQL ou Python. Pour plus d'informations sur les modèles préentraînés, voir Modèles fondamentaux préentraînés dans l'IA générative.

Préalables pour l'IA générative

Vous devez respecter les préalables suivants pour utiliser l'intelligence artificielle générative dans AI Data Platform Workbench :

• L'utilisateur doit disposer des autorisations USE sur les modèles de base
• La plate-forme de données d'IA se trouve dans la même région que celle où sont hébergés les modèles d'IA générative

Si les préalables sont satisfaits, les modèles sont répertoriés dans le schéma default.oci_ai_models. Vous pouvez ensuite lister les modèles dans l'explorateur de catalogue tout en travaillant dans un carnet et glisser-déposer les modèles pour générer un exemple de code ou utiliser le modèle pour l'inférence par lots. Vous pouvez également choisir d'écrire votre code dans un carnet AI Data Platform Workbench pour appeler le modèle.

Vous pouvez utiliser les méthodes suivantes pour appeler un modèle d'intelligence artificielle générative :

SQL

select *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>

Où :

• model_name est le modèle d'IA générative à appeler : default.oci_ai_models.<model_name>
• review est le nom de colonne utilisé pour créer l'invite
• sentiment est le nom de la colonne de sortie
• <<catalog_name>>.<<schema_name>>.<<table_name>> est la table dans le modèle de nom en 3 parties

PySpark

df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))

Où :

• model_name est le modèle d'IA générative à appeler : default.oci_ai_models.<model_name>
• review est le nom de colonne utilisé pour créer l'invite
• sentiment est le nom de la colonne de sortie
• df est le cadre de données d'entrée

Limite de la demande

Description	Nom de la limite	Limite de service
Nombre maximal de demandes de clavardage par minute autorisées par compartiment pour l'inférence sur demande	max-on-demand-chat-request-per-minute-count	500