Payer pour l'inférence sur demande
Vous bénéficiez des avantages suivants en vous engageant à utiliser l'inférence sur demande dans le service d'intelligence artificielle générative pour OCI :
- Faible barrière pour commencer à utiliser l'IA générative.
- Accès à tous les modèles fondamentaux du service d'intelligence artificielle générative disponibles.
- Idéal pour expérimenter et évaluer les modèles.
- Pay as you go pour les transactions. Voir la note suivante pour plus de détails.
Avec l'inférence sur demande, vous payez à l'utilisation pour les longueurs de caractères suivantes :
- Clavardage : longueur de l'invite (en caractères) + longueur de la réponse (en caractères)
- Intégration de texte : Longueur d'entrée (en caractères)
Dans la page des tarifs, 1 character est calculé comme suit : 1 transaction.
Si vous hébergez des modèles fondamentaux ou que vous les réglez avec précision sur des grappes d'IA dédiées, vous êtes facturé en heure d'unité plutôt qu'en transaction. Dans ce cas, voir Paiement des grappes dédiées à l'IA pour savoir comment calculer les coûts des grappes dédiées à l'IA .
Rapprochement des modèles aux prix sur demande
La page de tarification répertorie le prix de 10 000 transactions sur demande ou de 1 000 000 jetons lors de l'utilisation du terrain de jeu, de l'API ou de l'interface de ligne de commande pour l'inférence.
Allez à la page Modèles préentraînés et sélectionnez le modèle avec lequel vous voulez travailler. Dans la section Mode sur demande, recherchez les informations sur la page de tarification pour le modèle. Ensuite, consultez les exemples de cette section pour apprendre à calculer le coût en fonction du nombre de caractères d'entrée et de sortie.
Exemple de clavardage
Paul appelle le modèle meta.llama-3.3-70b-instruct avec l'invite suivante, qui est longue de 220 characters :
Générez une présentation de produit pour un microphone compact connecté USB qui peut enregistrer le son surround. Le microphone est le plus utile pour enregistrer de la musique ou des conversations. Le microphone peut également être utile pour enregistrer des podcasts.
La réponse du modèle est longue de 2,205 characters. Paul veut connaître le coût de cet appel. Voici les étapes à suivre pour calculer le coût.
En plus de calculer le prix, vous pouvez estimer le coût en sélectionnant la catégorie IA et apprentissage automatique et en chargeant l'estimateur de coûts pour OCI Generative AI.
Exemple d'intégration de texte
Gina convertit les contrats de client en intégrations pour une nouvelle application de recherche sémantique. En moyenne, Gina ingère 16 documents toutes les heures. Chaque document est d'environ 1,000 characters long. Gina veut obtenir une estimation de la facture mensuelle pour la génération de ces plongements. Voici les étapes à suivre pour calculer le coût.