Déployer le modèle

Assurez-vous d'avoir accès à une location OCI et de disposer des privilèges d'administration nécessaires pour fournir suffisamment d'instances d'UC/GPU.

1. Installez une grappe OKE à l'aide du module Terraform ci-dessous. Une grappe OKE avec un seul groupe de noeuds sera créée avec 6 noeuds de travail.
   1. Cliquez sur Déployer vers Oracle Cloud ci-dessous.

      

      Si vous n'êtes pas déjà connecté, entrez les données d'identification de la location et de l'utilisateur.

   2. Donnez à votre pile un nom (par exemple, oke-stack).
   3. Sélectionnez le compartiment dans lequel vous voulez déployer les modèles d'intelligence artificielle pour OCI.
   4. Fournissez tous les paramètres supplémentaires (tels que la taille du noeud, le nombre de noeuds) en fonction de vos préférences.
   5. Cliquez sur Suivant, puis sur Créer, puis enfin sur Exécuter l'application pour provisionner votre grappe.
2. Connectez-vous à la console Oracle Cloud Infrastructure et, à partir de la page d'accueil, cliquez sur Stockage, puis, sous Stockage d'objets, cliquez sur Seaux. Indiquez le nom du seau que vous utiliserez dans le déploiement des modèles d'intelligence artificielle pour OCI.

   Cliquez sur le seau que vous avez créé et cliquez sur le lien Demandes préauthentifiées sous Ressources. Attribuez un nom à la demande préauthentifiée, remplacez le type d'accès PAR Autoriser les lectures et les écritures d'objet, puis cliquez sur Demandes préauthentifiées. Lorsque vous avez terminé, copiez l'URL de la demande préauthentifiée et enregistrez-la quelque part, car vous en aurez besoin lorsque vous déployerez le modèle de référencement d'UC.

3. Installez les modèles d'intelligence artificielle pour OCI dans la nouvelle grappe OKE. Une fois le déploiement réussi, vous aurez une URL pour accéder à la console des modèles d'intelligence artificielle pour OCI.

   

4. Dans la page principale Modèles d'intelligence artificielle pour OCI, plusieurs modèles sont disponibles pour déploiement sous Modèle binaire, faites défiler l'affichage vers le bas et cliquez sur Déployer sous Inférence d'UC.
   1. Sélectionnez Inférence d'UC avec mistral et VM-Standard.E4. Option flexible.

      Utilisez les paramètres par défaut et modifiez l'URL de la demande préauthentifiée créée ci-dessus. Ne modifiez aucune valeur dans la section Configurer les paramètres.

      Veuillez noter les paramètres suivants :

      "recipe_container_env": [
      {
      
      "key": "MODEL_NAME",
      
      "value": "mistral"
      
      },
      
      {
      
      "key": "PROMPT",
      
      "value": "What is the capital of Spain?"
      
      }
      

      Après le déploiement réussi du modèle de référencement d'UC, la sortie de l'invite ci-dessus sera affichée dans le journal du pod Kubernetes.

   2. Cliquez sur Déployer le modèle. Une fois le plan déployé, vous remarquerez un nom tel que cpu inference mistral E4Flex qui répertorie le statut de déploiement du service Surveillance avec la date de création et le nombre de noeuds et de formes E4.
   3. Dans la liste Déploiement, cliquez sur le lien cpu inference mistral E4Flex qui vous mènera aux détails du déploiement avec le point d'extrémité public. Cliquez sur le point d'extrémité public et vous verrez un message tel que "ollama est en cours d'exécution".
   4. Retournez à la page cpu inference mistral E4Flex et faites défiler l'affichage vers le bas jusqu'à Journaux de pod. Cliquez sur Voir et sur Détails du journal. Une page similaire à la suivante s'affiche pour vous fournir la sortie.