Documentazione di Oracle Cloud Infrastructure

Pagamento per inferenze su richiesta

Con l'impegno nell'inferenza on-demand nell'AI generativa OCI puoi ottenere i seguenti vantaggi:

  • Bassa barriera per iniziare a utilizzare l'intelligenza artificiale generativa.
  • Accesso a tutti i modelli fondamentali di intelligenza artificiale generativa disponibili.
  • Ottimo per sperimentare e valutare i modelli.
  • Pay as you go per le transazioni. Per informazioni dettagliate, vedere la nota riportata di seguito.
Nota

Con l'inferenza on-demand si ottengono le lunghezze di carattere seguenti:

  • Chat: lunghezza del prompt (in caratteri) + lunghezza della risposta (in caratteri)
  • Incorporazioni testo: lunghezza di input (in caratteri)

Nella pagina Determinazione prezzi, 1 character viene calcolato come 1 transaction.

Se stai ospitando modelli di base o ottimizzandoli su cluster AI dedicati, ti viene addebitato l'ora dell'unità piuttosto che la transazione. In questo caso, consulta la sezione Pagamento per cluster AI dedicati per scoprire come calcolare i costi del cluster AI dedicato.

Confronto tra modelli e prezzi su richiesta

La pagina di determinazione prezzi elenca il prezzo per 10.000 transazioni su richiesta o 1.000.000 di token quando si utilizza l'area di gioco, l'API o l'interfaccia CLI per l'inferenza.

Andare alla pagina Modelli pre-addestrati e selezionare il modello da utilizzare. Nella sezione Modalità su richiesta, trovare le informazioni sulla pagina Determinazione prezzi per il modello. Quindi, esaminare gli esempi in questa sezione per imparare a calcolare il costo in base al numero di caratteri di input e output.

Esempio di chat

Paul chiama il modello meta.llama-3.3-70b-instruct con il seguente prompt, che è lungo 220 characters:

Generare un passo del prodotto per un microfono compatto collegato tramite USB in grado di registrare il suono surround. Il microfono è più utile per registrare musica o conversazioni. Il microfono può essere utile anche per la registrazione di podcast.

La risposta del modello è lunga 2,205 characters. Paul vuole sapere il costo di questa chiamata. Ecco i passaggi per calcolare il costo.

  1. Calcolare la lunghezza richiesta + risposta (in caratteri).

    Aggiungiamo la lunghezza del prompt (220 caratteri) e la lunghezza della risposta del modello (2.205 caratteri).

    
                                    prompt + response length = 220 + 2,205 = 2,425 characters
  2. Calcolare il numero di transazioni.

    I prezzi sono elencati per 10.000 transazioni.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
2,425 characters = 2,425 transactions
  3. Vai a Prezzi AI e all'interno di OCI Generative AI, per Oracle Cloud Infrastructure Generative AI - Large Meta, trova <Large-Meta-unit-price> .
    Paul utilizza il modello meta.llama-3.3-70b-instruct che corrisponde al prodotto, Generative AI OCI - Large Meta nella pagina Prezzi AI per l'AI generativa.
  4. Calcolare il prezzo per 1.838 caratteri. 
    price = (2,425 transactions )/ (10,000 transactions) x $<Large-Meta-unit-price>
Suggerimento

Oltre a calcolare il prezzo, è possibile stimare il costo selezionando la categoria AI e Machine Learning e caricando il valutatore dei costi per l'AI generativa OCI.

Esempio di incorporazione del testo

Gina sta convertendo i contratti dei clienti in embeddings per una nuova applicazione di ricerca semantica. In media, Gina ingerisce 16 documenti ogni ora. Ogni documento ha una lunghezza di circa 1,000 characters. Gina vuole ottenere una stima della fattura mensile per la generazione di tali embeddings. Ecco i passaggi per calcolare il costo.

  1. Calcolare la lunghezza di input (in caratteri).

    Aggiungiamo la lunghezza del carattere di input per ogni ora.

    
                                    input character length for 16 documents = 16 x 1,000 = 16,000 characters per hour
  2. Vai su Prezzi AI e in AI generativa OCI, per Oracle Cloud Infrastructure Generative AI - Embed Cohere, trova <Embed-Cohere-unit-price>.
    Gina utilizza il modello cohere.embed-v4.0 che corrisponde al prodotto, Oracle Cloud Infrastructure Generative AI - Embed Cohere nella pagina dei prezzi dell'AI per l'AI generativa.
  3. Calcolare il numero di transazioni all'ora.

    Gina ingerisce 16.000 caratteri all'ora. I prezzi sono elencati per 10.000 transazioni.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
16,000 characters = 16,000 transactions
  4. Trova il prezzo orario dei 16.000 caratteri che Gina include ogni ora. 
    hourly price = 
(16,000 transactions ) / (10,000 transactions) x $<Embed-Cohere-unit-price>
  5. Trova il prezzo mensile per il mese più lungo dell'anno. 
    One month = 31 x 24 hours = 744 hours
monthly price = 744 hours x hourly price