Documentation Oracle Cloud Infrastructure

Paiement de l'inférence à la demande

Vous bénéficiez des avantages suivants avec la validation de l'inférence à la demande dans OCI IA générative :

  • Faible barrière pour commencer à utiliser l'IA générative.
  • Accès à tous les modèles de base de l'IA générative disponibles.
  • Idéal pour expérimenter et évaluer les modèles.
  • Pay as you go pour les transactions. Pour plus d'informations, reportez-vous à la remarque suivante.
Remarque

Avec la déduction à la demande, vous payez au fur et à mesure pour les longueurs de caractères suivantes :

  • Discussion : longueur d'invite (en caractères) + longueur de réponse (en caractères)
  • Génération de texte : longueur d'invite (en caractères) + longueur de réponse (en caractères)
  • Résumé : longueur d'invite (en caractères) + longueur de réponse (en caractères)
  • Intégrations de texte : longueur d'entrée (en caractères)

Les exemples suivants calculent le coût d'inférence à la demande pour la génération de texte et les intégrations de texte dans l'IA générative OCI. Pour calculer le coût du cluster d'IA dédié, reportez-vous à Paiement pour les clusters d'IA dédiés.

Correspondance d'un modèle de base avec un produit

Pour trouver le prix unitaire de 10 000 transactions d'inférence à la demande, faites correspondre le modèle de base que vous utilisez pour inférer au produit dans le tableau suivant.

Fonction Modèle de base fondamental Produit pour l'inférence à la demande sur la page Tarification
Chat meta.llama-3-70b-instruct Oracle Cloud Infrastructure IA générative - Grand méta
Chat cohere.command-r-plus Oracle Cloud Infrastructure IA générative - Large Cohere V2
Chat cohere.command-r-16k Oracle Cloud Infrastructure IA générative - Petite sphère V2
Génération de texte cohere.command Oracle Cloud Infrastructure IA générative - Grande sphère
Génération de texte cohere.command-light Oracle Cloud Infrastructure IA générative - Petite sphère
Génération de texte meta.llama2_70b-chat Oracle Cloud Infrastructure IA générative - Grand méta
Synthétisation cohere.command Oracle Cloud Infrastructure IA générative - Grande sphère
Plongement cohere.embed Oracle Cloud Infrastructure IA générative - Intégrer Cohere

Les exemples suivants calculent le coût d'inférence à la demande pour la génération de texte et les intégrations de texte dans l'IA générative OCI. Pour calculer le coût du cluster d'IA dédié, reportez-vous à Paiement pour les clusters d'IA dédiés.

Exemple de discussion

Paul appelle le modèle meta.llama-3-70b-instruct avec l'invite suivante, qui est 220 characters long :

Générez une hauteur de produit pour un microphone compact connecté par USB qui peut enregistrer le son surround. Le microphone est le plus utile pour enregistrer de la musique ou des conversations. Le microphone peut également être utile pour enregistrer des podcasts.

La réponse du modèle est 1,618 characters long. Paul veut connaître le coût de cet appel. Voici les étapes à suivre pour calculer le coût.

  1. Calculez l'invite + longueur de réponse (en caractères).

    Additionnons la longueur de l'invite (220 caractères) et la longueur de la réponse du modèle (1 618 caractères).

    prompt + response length = 220 + 1,618 = 1,838 characters
  2. Calculer le nombre de transactions.

    Les prix sont répertoriés pour 10 000 transactions.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
1,838 characters = 1,838 transactions
  3. Accédez à Tarification de l'IA et sous OCI Generative AI, pour Oracle Cloud Infrastructure Generative AI - Large Meta, recherchez <Large-Meta-unit-price> pour 10 000 transactions.
    Paul utilise le modèle meta.llama-3-70b-instruct qui correspond au produit, Oracle Cloud Infrastructure IA générative - Méta volumineux sur la page Tarification de l'IA pour l'IA générative.
  4. Calculez le prix pour 1 838 caractères. 
    price = (1,838 transactions )/ (10,000 transactions) x $<Large-Meta-unit-price>

Exemple de génération de texte

Paul appelle le modèle cohere.command avec l'invite suivante, qui est 220 characters long :

Générez une hauteur de produit pour un microphone compact connecté par USB qui peut enregistrer le son surround. Le microphone est le plus utile pour enregistrer de la musique ou des conversations. Le microphone peut également être utile pour enregistrer des podcasts.

La réponse du modèle est 1,618 characters long. Paul veut connaître le coût de cet appel. Voici les étapes à suivre pour calculer le coût.

  1. Calculez l'invite + longueur de réponse (en caractères).

    Additionnons la longueur de l'invite (220 caractères) et la longueur de la réponse du modèle (1 618 caractères).

    prompt + response length = 220 + 1,618 = 1,838 characters
  2. Calculer le nombre de transactions.

    Les prix sont répertoriés pour 10 000 transactions.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
1,838 characters = 1,838 transactions
  3. Accédez à Tarification de l'IA et sous OCI Generative AI, pour Oracle Cloud Infrastructure Generative AI - Large Cohere, recherchez <Large-Cohere-unit-price> pour 10 000 transactions.
    Paul utilise le modèle cohere.command qui correspond au produit, Oracle Cloud Infrastructure IA générative - Large Cohere sur la page Tarification de l'IA pour l'IA générative.
  4. Calculez le prix pour 1 838 caractères. 
    price = (1,838 transactions )/ (10,000 transactions) x $<Large-Cohere-unit-price>

Exemple d'inclusion de texte

Gina convertit les contrats clients en intégrations pour une nouvelle application de recherche sémantique. En moyenne, Gina ingère 16 documents toutes les heures. Chaque document est d'environ 1,000 characters long. Gina veut obtenir une estimation de la facture mensuelle pour la génération de ces incorporations. Voici les étapes à suivre pour calculer le coût.

  1. Calculez la longueur d'entrée (en caractères).

    Additionnons la longueur du caractère d'entrée pour chaque heure.

    input character length for 16 documents = 16 x 1,000 = 16,000 characters per hour
  2. Accédez à Tarification de l'IA et sous OCI Generative AI, pour Oracle Cloud Infrastructure Generative AI - Embed Cohere, recherchez <Embed-Cohere-unit-price> pour 10 000 transactions.
    Gina utilise le modèle cohere.embed qui correspond au produit, Oracle Cloud Infrastructure IA générative - Intégrer la cohérence sur la page Tarification de l'IA pour l'IA générative.
  3. Calculez le nombre de transactions par heure.

    Gina ingère 16 000 caractères par heure. Les prix sont répertoriés pour 10 000 transactions.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
16,000 characters = 16,000 transactions
  4. Recherchez le prix horaire des 16 000 caractères que Gina ingère toutes les heures. 
    hourly price = 
(16,000 transactions )/ (10,000 transactions) x $<Embed-Cohere-unit-price>
  5. Trouvez le prix mensuel pour le mois le plus long de l'année. 
    One month = 31 x 24 hours = 744 hours
monthly price = 744 hours x hourly price