Paiement de l'inférence à la demande
Vous bénéficiez des avantages suivants avec la validation de l'inférence à la demande dans OCI IA générative :
- Faible barrière pour commencer à utiliser l'IA générative.
- Accès à tous les modèles de base de l'IA générative disponibles.
- Idéal pour expérimenter et évaluer les modèles.
- Pay as you go pour les transactions. Pour plus d'informations, reportez-vous à la remarque suivante.
Avec la déduction à la demande, vous payez au fur et à mesure pour les longueurs de caractères suivantes :
- Discussion : longueur d'invite (en caractères) + longueur de réponse (en caractères)
- Génération de texte : longueur d'invite (en caractères) + longueur de réponse (en caractères)
- Résumé : longueur d'invite (en caractères) + longueur de réponse (en caractères)
- Intégrations de texte : longueur d'entrée (en caractères)
Les exemples suivants calculent le coût d'inférence à la demande pour la génération de texte et les intégrations de texte dans l'IA générative OCI. Pour calculer le coût du cluster d'IA dédié, reportez-vous à Paiement pour les clusters d'IA dédiés.
Correspondance d'un modèle de base avec un produit
Pour trouver le prix unitaire de 10 000 transactions d'inférence à la demande, faites correspondre le modèle de base que vous utilisez pour inférer au produit dans le tableau suivant.
Fonction | Modèle de base fondamental | Produit pour l'inférence à la demande sur la page Tarification |
---|---|---|
Chat | meta.llama-3-70b-instruct |
Oracle Cloud Infrastructure IA générative - Grand méta |
Chat | cohere.command-r-plus |
Oracle Cloud Infrastructure IA générative - Large Cohere V2 |
Chat | cohere.command-r-16k |
Oracle Cloud Infrastructure IA générative - Petite sphère V2 |
Génération de texte | cohere.command |
Oracle Cloud Infrastructure IA générative - Grande sphère |
Génération de texte | cohere.command-light |
Oracle Cloud Infrastructure IA générative - Petite sphère |
Génération de texte | meta.llama2_70b-chat |
Oracle Cloud Infrastructure IA générative - Grand méta |
Synthétisation | cohere.command |
Oracle Cloud Infrastructure IA générative - Grande sphère |
Plongement | cohere.embed |
Oracle Cloud Infrastructure IA générative - Intégrer Cohere |
Les exemples suivants calculent le coût d'inférence à la demande pour la génération de texte et les intégrations de texte dans l'IA générative OCI. Pour calculer le coût du cluster d'IA dédié, reportez-vous à Paiement pour les clusters d'IA dédiés.
Exemple de discussion
Paul appelle le modèle meta.llama-3-70b-instruct
avec l'invite suivante, qui est 220 characters
long :
Générez une hauteur de produit pour un microphone compact connecté par USB qui peut enregistrer le son surround. Le microphone est le plus utile pour enregistrer de la musique ou des conversations. Le microphone peut également être utile pour enregistrer des podcasts.
La réponse du modèle est 1,618 characters
long. Paul veut connaître le coût de cet appel. Voici les étapes à suivre pour calculer le coût.
Exemple de génération de texte
Paul appelle le modèle cohere.command
avec l'invite suivante, qui est 220 characters
long :
Générez une hauteur de produit pour un microphone compact connecté par USB qui peut enregistrer le son surround. Le microphone est le plus utile pour enregistrer de la musique ou des conversations. Le microphone peut également être utile pour enregistrer des podcasts.
La réponse du modèle est 1,618 characters
long. Paul veut connaître le coût de cet appel. Voici les étapes à suivre pour calculer le coût.
Exemple d'inclusion de texte
Gina convertit les contrats clients en intégrations pour une nouvelle application de recherche sémantique. En moyenne, Gina ingère 16 documents toutes les heures. Chaque document est d'environ 1,000 characters
long. Gina veut obtenir une estimation de la facture mensuelle pour la génération de ces incorporations. Voici les étapes à suivre pour calculer le coût.