Note :

Exécuter le modèle LLM Mistral sur l'instance de calcul A10 pour OCI avec le gestionnaire de ressources Oracle à l'aide d'un déploiement en un clic

Présentation

Le service de calcul d'Oracle Cloud Infrastructure (OCI) vous permet de créer différents types de forme pour tester les modèles d'unité de traitement graphique pour l'intelligence artificielle (IA) déployés localement. Dans ce tutoriel, nous utiliserons la forme A10 avec des ressources de VCN et de sous-réseau préexistantes que vous pouvez sélectionner dans le gestionnaire de ressources Oracle.

Le code Terraform inclut également la configuration de l'instance pour exécuter un ou plusieurs modèles Mistral Virtual Large Language Model (vLLM) local pour les tâches de traitement du langage naturel.

Objectifs

Préalables

Tâche 1 : Télécharger le code Terraform pour un déploiement en un clic

Téléchargez le code Terraform ORM à partir d'ici : orm_stack_a10_gpu-main.zip, pour mettre en oeuvre les modèles vLLM Mistral localement, ce qui vous permettra de sélectionner un VCN existant et un sous-réseau pour tester le déploiement local des modèles vLLM Mistral dans une forme d'instance A10.

Une fois le code Terraform ORM téléchargé localement, procédez comme suit : Création d'une pile à partir d'un dossier pour charger la pile et exécuter l'application du code Terraform.

Note : Assurez-vous d'avoir créé un réseau en nuage virtuel (VCN) OCI et un sous-réseau où la machine virtuelle sera déployée.

Tâche 2 : Créer un VCN sur OCI (facultatif s'il n'est pas déjà créé)

Pour créer un VCN dans Oracle Cloud Infrastructure, voir : Vidéo expliquant comment créer un réseau en nuage virtuel sur OCI.

ou

Pour créer un VCN, procédez de la façon suivante :

  1. Connectez-vous à la console OCI, entrez Nom du locataire en nuage, Nom d'utilisateur et Mot de passe.

  2. Cliquez sur le menu hamburger (≡) dans le coin supérieur gauche.

  3. Allez à Réseau, Réseaux en nuage virtuels et sélectionnez le compartiment approprié dans la section Portée de la liste.

  4. Sélectionnez VCN avec connectivité Internet, et cliquez sur Démarrer l'Assistant VCN.

  5. Dans la page Créer un VCN avec connectivité Internet, entrez les informations suivantes et cliquez sur Suivant.

    • NOM du VCN : Entrez OCI_HOL_VCN.
    • COMPARTMENT : Sélectionnez le compartiment approprié.
    • BLOCK CIDR du VCN : Entrez 10.0.0.0/16.
    • Blocs CIDR de sous-réseau PUBLIC : Entrez 10.0.2.0/24.
    • Bloc CIDR de sous-réseau privé : Entrez 10.0.1.0/24.
    • Résolution DNS : Sélectionnez Utiliser les HOSTNAMES DNS dans ce VCN.

    Créer une configuration de réseau VCN

    Description de l'illustration setupVCN3.png

  6. Dans la page Vérifier, vérifiez vos paramètres et cliquez sur Créer.

    Réviser la configuration du CV

    Description de l'illustration setupVCN4.png

    La création du VCN prendra un moment et un écran de progression vous tiendra informé du flux de travail.

    Flux de travail

    Description de l'illustration workflow.png

  7. Une fois le VCN créé, cliquez sur Voir le réseau en nuage virtuel.

    Dans le monde réel, vous allez créer plusieurs réseaux en nuage virtuels en fonction de leur besoin d'accès (les ports à ouvrir) et de ceux auxquels ils peuvent accéder.

Tâche 3 : Voir les détails de la configuration cloud-init

Le script cloud-init installe toutes les dépendances nécessaires, démarre Docker, télécharge et démarre les modèles Mistral vLLM. Vous pouvez trouver le code suivant dans le fichier cloudinit.sh téléchargé dans la tâche 1.

dnf install -y dnf-utils zip unzip
dnf config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repo
dnf remove -y runc
dnf install -y docker-ce --nobest
systemctl enable docker.service
dnf install -y nvidia-container-toolkit
systemctl start docker.service
...

Cloud-init téléchargera tous les fichiers nécessaires à l'exécution du modèle Mistral en fonction de votre jeton d'API prédéfini dans Hugging Face.

La création de jeton d'API sélectionnera le modèle Mistral en fonction de votre entrée de l'interface utilisateur ORM, ce qui permettra l'authentification nécessaire pour télécharger les fichiers de modèle localement. Pour plus d'informations, voir Jetons d'accès d'utilisateur.

Tâche 4 : Surveiller le système

Suivez l'achèvement du script cloud-init et l'utilisation des ressources GPU avec les commandes suivantes (si nécessaire).

Tâche 5 : Tester l'intégration du modèle

Interagissez avec le modèle des façons suivantes à l'aide des commandes ou des détails du carnet Jupyter.

Tâche 6 : Déployer le modèle à l'aide de Docker (si nécessaire)

Vous pouvez également déployer le modèle à l'aide de Docker et d'une source externe.

docker run --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HUGGING_FACE_HUB_TOKEN=$ACCESS_TOKEN" \
    -p 8000:8000 \
    --ipc=host \
    --restart always \
    vllm/vllm-openai:latest \
    --model mistralai/$MODEL \
    --max-model-len 16384

Vous pouvez interroger le modèle de l'une des façons suivantes :

Confirmation

Autres ressources d'apprentissage

Explorez d'autres laboratoires sur la page docs.oracle.com/learn ou accédez à plus de contenu d'apprentissage gratuit sur le canal YouTube d'Oracle Learning. De plus, visitez education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour obtenir de la documentation sur le produit, visitez Oracle Help Center.