Paiement de l'inférence à la demande
Vous bénéficiez des avantages suivants avec la validation de l'inférence à la demande dans OCI Generative AI :
- Faible barrière pour commencer à utiliser l'IA générative.
- Accès à tous les modèles fondamentaux d'IA générative disponibles.
- Idéal pour expérimenter et évaluer les modèles.
- Paiement à l'utilisation des transactions Pay as you go. Pour plus d'informations, reportez-vous à la remarque suivante.
Avec l'inférence à la demande, vous payez au fur et à mesure que vous utilisez les longueurs de caractères suivantes :
- Discussion : longueur d'invite (en caractères) + longueur de réponse (en caractères)
- Incorporation de texte : longueur d'entrée (en caractères)
Sur la page Tarification, 1 character est calculé comme suit : 1 transaction.
Si vous hébergez des modèles fondamentaux ou que vous les affinez sur des clusters d'IA dédiés, vous êtes facturé par heure d'unité plutôt que par transaction. Dans ce cas, reportez-vous à Paiement pour les clusters d'IA dédiés pour savoir comment calculer les coûts des clusters d'IA dédiés.
Mise en correspondance des modèles avec les prix à la demande
La page de tarification indique le prix de 10 000 transactions à la demande ou de 1 000 000 jetons lors de l'utilisation de la zone de lecture, de l'API ou de l'interface de ligne de commande pour l'inférence.
Accédez à la page Modèles préentraînés et sélectionnez le modèle que vous souhaitez utiliser. Dans la section Mode à la demande, recherchez les informations de page de tarification du modèle. Consultez ensuite les exemples de cette section pour savoir comment calculer le coût en fonction du nombre de caractères d'entrée et de sortie.
Exemple de discussion
Paul appelle le modèle meta.llama-3.3-70b-instruct avec l'invite suivante, longue de 220 characters :
Générez un pitch de produit pour un microphone compact connecté USB qui peut enregistrer le son surround. Le microphone est plus utile pour enregistrer de la musique ou des conversations. Le microphone peut également être utile pour enregistrer des podcasts.
La réponse du modèle est de 2,205 characters. Paul veut connaître le coût de cet appel. Voici les étapes pour calculer le coût.
Outre le calcul du prix, vous pouvez estimer le coût en sélectionnant la catégorie IA et apprentissage automatique et en chargeant l'évaluateur de coûts pour OCI Generative AI.
Exemple d'incorporation de texte
Gina convertit les contrats clients en intégrations pour une nouvelle application de recherche sémantique. En moyenne, Gina ingère 16 documents par heure. Chaque document est d'environ 1,000 characters. Gina veut obtenir une estimation de la facture mensuelle pour la génération de ces incorporations. Voici les étapes pour calculer le coût.