Cohere Embed 4
cohere.embed-v4.0 è un modello multimodale in grado di creare incorporamenti di testo da input di testo o da un'immagine. L'input immagine non è disponibile nella console ed è necessario utilizzare l'API. Per l'API, inserire un'immagine con codifica base64 in ogni esecuzione. Ad esempio, un'immagine 512 x 512 viene convertita in circa 1.610 token.
Aree per questo modello
Per le aree supportate, i tipi di endpoint (cluster AI su richiesta o dedicati) e l'hosting (AI generativa OCI o chiamate esterne) per questo modello, vedere la pagina Modelli per area. Per informazioni dettagliate sulle aree, vedere la pagina Aree AI generative.
Accesso a questo modello
Gli endpoint API per tutte le region commerciali, sovrane e governative supportate sono elencati nei collegamenti API di gestione e API di inferenza. È possibile accedere a ciascun modello solo tramite le aree supportate.
Caratteristiche principali
- Modalità
- Inserire testo o immagine, ma non entrambi.
- Per ottenere incorporamenti per un'immagine, è consentita una sola immagine. Impossibile combinare testo e immagine per la stessa incorporazione. Input immagine solo tramite API.
- Input e output
- Nella console, ogni input di testo deve essere inferiore a 512 token e al massimo 96 input per esecuzione.
- Nell'SDK e nell'API, tutti gli input possono sommare fino a 128.000 token per incorporamento per esecuzione.
- Il modello produce un vettore di 1.536 dimensioni per ogni incorporamento.
- Supporto della lingua
- Testo: inglese o multilingue.
- Immagine: solo in inglese.
Modalità su richiesta
Vedere la tabella riportata di seguito per il nome del prodotto su richiesta di questo modello nella pagina relativa alla determinazione prezzi.
| Nome modello | Nome modello OCI | Nome prodotto pagina determinazione prezzi |
|---|---|---|
| Cohere Cohere Embed 4 | cohere.embed-v4.0 |
Embed Cohere |
-
È possibile pagare man mano per ogni chiamata di inferenza quando si utilizzano i modelli nell'area di gioco o quando si chiamano i modelli tramite l'API.
- Barriera bassa per iniziare a utilizzare l'intelligenza artificiale generativa.
- Ottimo per la sperimentazione, la prova di concetto e la valutazione del modello.
- Disponibile per i modelli pre-addestrati in aree non elencate come (solo cluster AI dedicato).
Modifica del limite di limitazione dinamica per la modalità su richiesta
OCI Generative AI regola in modo dinamico il limite di limitazione delle richieste per ogni tenancy attiva in base alla domanda del modello e alla capacità del sistema per ottimizzare l'allocazione delle risorse e garantire un accesso equo.
Questa modifica dipende dai fattori indicati di seguito.
- Throughput massimo corrente supportato dal modello di destinazione.
- Capacità del sistema non utilizzata al momento della modifica.
- Uso del throughput cronologico di ciascuna tenancy e qualsiasi limite di sostituzione specificato impostato per tale tenancy.
Nota: a causa della limitazione dinamica, i limiti di frequenza non sono documentati e possono cambiare per soddisfare la domanda a livello di sistema.
A causa della modifica del limite di limitazione dinamica, si consiglia di implementare una strategia di back-off, che prevede il ritardo delle richieste dopo un rifiuto. Senza una richiesta, le ripetute richieste rapide possono portare a ulteriori rifiuti nel tempo, a una maggiore latenza e a un potenziale blocco temporaneo del client da parte del servizio di intelligenza artificiale generativa. Utilizzando una strategia di back-off, come una strategia di back-off esponenziale, puoi distribuire le richieste in modo più uniforme, ridurre il carico e migliorare il successo dei nuovi tentativi, seguendo le best practice del settore e migliorando la stabilità e le prestazioni complessive dell'integrazione nel servizio.
Cluster AI dedicato per il modello
Per raggiungere un modello tramite un cluster AI dedicato in qualsiasi area elencata, devi creare un endpoint per tale modello su un cluster AI dedicato. Per le dimensioni dell'unità cluster corrispondenti a questo modello, vedere la tabella riportata di seguito.
| Modello base | Cluster di ottimizzazione | Cluster di hosting | Informazioni pagina determinazione prezzi | Richiedi aumento limite cluster |
|---|---|---|---|---|
|
Non disponibile per l'ottimizzazione |
|
|
|
Se non si dispone di limiti cluster sufficienti nella tenancy per l'hosting di un modello incorporato in un cluster AI dedicato, richiedere il limite dedicated-unit-embed-cohere-count da aumentare di 1.
Regole endpoint per i cluster
- Un cluster AI dedicato può contenere fino a 50 endpoint.
- Utilizzare questi endpoint per creare alias che puntano tutti allo stesso modello base o alla stessa versione di un modello personalizzato, ma non a entrambi i tipi.
- Diversi endpoint per lo stesso modello semplificano l'assegnazione a utenti o scopi diversi.
| Dimensione unità cluster di hosting | Regole endpoint |
|---|---|
| Embed Cohere |
|
-
Per aumentare il volume delle chiamate supportato da un cluster di hosting, aumentare il conteggio delle istanze modificando il cluster AI dedicato. Vedere Aggiornamento di un cluster AI dedicato.
-
Per più di 50 endpoint per cluster, richiedere un aumento del limite,
endpoint-per-dedicated-unit-count. Vedere Creazione di una richiesta di aumento del limite e Limiti del servizio per l'intelligenza artificiale generativa.
Benchmark sulle prestazioni del cluster
Esamina i benchmark delle prestazioni del cluster Cohere Embed 4 per i diversi casi d'uso.
Date di rilascio e ritiro OCI
Per le date di rilascio e ritiro e le opzioni del modello di sostituzione, vedere le seguenti pagine in base alla modalità (on-demand o dedicata):
Dati di input per incorporamenti testo
I dati di input per la creazione di integrazioni di testo hanno i seguenti requisiti:
- È possibile aggiungere frasi, frasi o paragrafi per incorporare una frase alla volta o caricando un file.
- Sono consentiti solo file con estensione
.txt. - Se si utilizza un file di input, ogni frase, frase o paragrafo di input nel file deve essere separato da un carattere di nuova riga.
- Sono consentiti al massimo 96 input per ogni esecuzione.
- Nella console, ogni input deve essere inferiore a 512 token per i modelli di solo testo.
- Se un input è troppo lungo, selezionare se interrompere l'inizio o la fine del testo per rientrare nel limite del token impostando il parametro Truncate su Start o End. Se un input supera il limite di 512 token e il parametro Truncate è impostato su Nessuno, viene visualizzato un messaggio di errore.
- Per i modelli di testo e immagine, è possibile disporre di file e input che sommano tutti fino a 128.000 token.
- Per i modelli incorporati di testo e immagine, ad esempio Cohere Embed English Image V3, è possibile aggiungere testo o aggiungere solo un'immagine. Per l'immagine, è possibile utilizzare l'API. Input immagine non disponibile nella console. Per l'API, inserire un'immagine con codifica base64 in ogni esecuzione. Ad esempio, un'immagine 512 x 512 viene convertita in circa 1.610 token.
Scopri di più sulla creazione di incorporamenti di testo in OCI Generative AI.
Incorporamento del parametro modello
Quando si utilizzano i modelli di incorporamento, è possibile ottenere un output diverso modificando il parametro seguente.
- Tronca
-
Indica se troncare i token iniziale o finale in una frase, quando tale frase supera il numero massimo di token consentiti. Ad esempio, una frase ha 516 token, ma la dimensione massima del token è 512. Se si sceglie di troncare la fine, gli ultimi 4 token di quella frase vengono tagliati.