Documentazione dell'infrastruttura Oracle Cloud

Pagamento per inferenza su richiesta

Ottieni i seguenti vantaggi adottando l'inferenza on-demand nell'AI generativa OCI:

  • Barriera bassa per iniziare a utilizzare l'intelligenza artificiale generativa.
  • Accesso a tutti i modelli fondamentali di intelligenza artificiale generativa disponibili.
  • Ottimo per sperimentare e valutare i modelli.
  • Pay as you go per le transazioni. Per i dettagli, vedere la nota seguente.
Nota

Con l'inferenza on-demand si paga man mano che si utilizzano le seguenti lunghezze di caratteri:

  • Chat: lunghezza richiesta (in caratteri) + lunghezza risposta (in caratteri)
  • Incorporazioni testo: lunghezza di input (in caratteri)

Nella pagina Determinazione prezzi, 1 character viene calcolato come 1 transaction.

Se stai ospitando modelli di base o ottimizzandoli su cluster AI dedicati, ti viene addebitato l'ora dell'unità piuttosto che la transazione. In questo caso, consulta la sezione Pagamento per cluster AI dedicati per scoprire come calcolare i costi del cluster AI dedicato.

Modelli corrispondenti ai prezzi su richiesta

La pagina di determinazione prezzi elenca il prezzo per 10.000 transazioni su richiesta o 1.000.000 di token quando si utilizza l'area di gioco, l'API o l'interfaccia CLI per l'inferenza.

Andare alla pagina Modelli pre-addestrati e selezionare il modello da utilizzare. Nella sezione Modalità su richiesta, trovare le informazioni sulla pagina Determinazione prezzi per il modello. Quindi, esaminare gli esempi in questa sezione per imparare a calcolare il costo in base al numero di caratteri di input e output.

Esempio di chat

Paul chiama il modello meta.llama-3.3-70b-instruct con il prompt seguente, che è lungo 220 characters:

Genera un pitch del prodotto per un microfono compatto connesso tramite USB in grado di registrare il suono surround. Il microfono è più utile nella registrazione di musica o conversazioni. Il microfono può essere utile anche per registrare podcast.

La risposta del modello è lunga 2,205 characters. Paolo vuole sapere il costo di questa chiamata. Ecco i passaggi per calcolare il costo.

  1. Calcolare la lunghezza richiesta + risposta (in caratteri).

    Aggiungiamo la lunghezza del prompt (220 caratteri) e la lunghezza della risposta del modello (2.205 caratteri).

    
                                    prompt + response length = 220 + 2,205 = 2,425 characters
  2. Calcolare il numero di transazioni.

    I prezzi sono indicati per 10.000 transazioni.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
2,425 characters = 2,425 transactions
  3. Vai a Prezzi AI e all'interno di OCI Generative AI, per Oracle Cloud Infrastructure Generative AI - Large Meta, trova <Large-Meta-unit-price> .
    Paul utilizza il modello meta.llama-3.3-70b-instruct che corrisponde al prodotto, Generative AI OCI - Large Meta nella pagina Prezzi AI per l'AI generativa.
  4. Calcola il prezzo per 1.838 caratteri. 
    price = (2,425 transactions )/ (10,000 transactions) x $<Large-Meta-unit-price>
Suggerimento

Oltre a calcolare il prezzo, è possibile stimare il costo selezionando la categoria AI e Machine Learning e caricando la stima dei costi per OCI Generative AI.

Esempio di incorporamenti testo

Gina sta convertendo i contratti dei clienti in integrazioni per una nuova applicazione di ricerca semantica. In media, Gina ingerisce 16 documenti ogni ora. Ogni documento è lungo circa 1,000 characters. Gina vuole ottenere una stima della fattura mensile per la generazione di tali integrazioni. Ecco i passaggi per calcolare il costo.

  1. Calcolare la lunghezza di input (in caratteri).

    Aggiungiamo la lunghezza del carattere di input per ogni ora.

    
                                    input character length for 16 documents = 16 x 1,000 = 16,000 characters per hour
  2. Vai AI prezzi dell'AI e all'interno di OCI Generative AI, per Oracle Cloud Infrastructure Generative AI - Embed Cohere, trova <Embed-Cohere-unit-price>.
    Gina utilizza il modello cohere.embed-v4.0 che corrisponde al prodotto, Oracle Cloud Infrastructure Generative AI - Embed Cohere nella pagina dei prezzi dell'AI per l'AI generativa.
  3. Calcola il numero di transazioni all'ora.

    Gina ingerisce 16.000 caratteri all'ora. I prezzi sono indicati per 10.000 transazioni.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
16,000 characters = 16,000 transactions
  4. Trova il prezzo orario per i 16.000 caratteri che Gina include ogni ora. 
    hourly price = 
(16,000 transactions ) / (10,000 transactions) x $<Embed-Cohere-unit-price>
  5. Trova il prezzo mensile per il mese più lungo dell'anno. 
    One month = 31 x 24 hours = 744 hours
monthly price = 744 hours x hourly price