Documentação do Oracle Cloud Infrastructure

Cohere Embed 4

Cohere Embed 4 (cohere.embed-v4.0) é um modelo de incorporação multimodal que gera incorporações de texto, uma imagem ou texto e uma imagem no mesmo payload da API. A entrada da imagem está disponível somente por meio da API.

Regiões para este Modelo

Importante

Para regiões suportadas, tipos de ponto final (clusters de IA sob demanda ou dedicados) e hospedagem (OCI Generative AI ou chamadas externas) para esse modelo, consulte a página Modelos por Região. Para obter detalhes sobre as regiões, consulte a página Regiões de IA Generativa.

Principais Recursos

  • Incorporações de matryoshka: Suporta dimensões de saída de 256, 512, 1.024 e 1.536. Este recurso não é suportado nos modelos Embed 3.
  • Limites de entrada:
    • Console: Até 96 entradas de texto por execução, com cada entrada de texto em 512 tokens. Esse limite se aplica ao modo sob demanda.
    • SDK e API: Até 128.000 tokens de entrada totais por execução.
  • Dimensões de saída:
    • Console:1,536
    • API: 1,536 por padrão; suporta 256, 512, 1,024 e 1,536
  • Modo de entrada:
    • API: Suporta somente texto, apenas uma imagem ou várias entradas de texto com uma imagem no mesmo payload.
    • Somente uma imagem é permitida por payload.
    • A entrada da imagem está disponível somente por meio da API.
  • Entrada da imagem:
    • Requer uma imagem codificada em base64.
    • Uma imagem 512 x 512 é sobre 1.610 tokens.
  • Suporte ao idioma:
    • Texto: Inglês e multilíngue
    • Imagem: Somente em inglês

Usar Texto e Imagem na API EmbedText

Para incluir uma imagem com texto, use o atributo embedContents no corpo da solicitação EmbedTextDetails para a API EmbedText.

O atributo embedContents é um array e só é suportado para modelos Incorporados 4. Cada item no array é um objeto EmbedContent. Um objeto EmbedContent pode conter conteúdo de texto ou conteúdo de imagem.

Use embedContents quando quiser enviar conteúdo de texto e imagem na mesma solicitação EmbedText. Você pode incluir várias entradas de texto e uma imagem, até o tamanho máximo de entrada.

Os outros parâmetros da API EmbedText permanecem os mesmos.

Importante

O atributo embedContents só é suportado pelos modelos Incorporar 4. Não use embedContents com modelos Embed 3.

Modo sob Demanda

O modo sob demanda é pay-as-you-go e é útil para experimentação, prova de conceito e avaliação de modelo. Na página de preços, esse modelo é listado como:

Nome do Modelo Nome do Modelo do OCI Nome do Produto da Página de Precificação
Cohere Cohere Embed 4 cohere.embed-v4.0 Embed Cohere
Importante

Alteração do limite de limitação dinâmica para o modo sob demanda

A OCI Generative AI ajusta dinamicamente o limite de limitação de solicitações para cada tenancy ativa com base na demanda do modelo e na capacidade do sistema para otimizar a alocação de recursos e garantir um acesso justo. Devido à limitação dinâmica, os limites de taxa não são documentados e podem mudar para atender à demanda em todo o sistema.

Dica

Como os limites de taxa podem mudar, recomendamos implementar uma estratégia de back-off, que envolve atrasar as solicitações após uma rejeição. Sem um, as solicitações rápidas repetidas podem levar a novas rejeições ao longo do tempo, maior latência e possível bloqueio temporário do cliente pelo serviço de IA generativa. Ao usar uma estratégia de back-off, como uma estratégia de back-off exponencial, você pode distribuir solicitações de forma mais uniforme, reduzir a carga e melhorar o sucesso de novas tentativas, seguindo as melhores práticas do setor e aprimorando a estabilidade e o desempenho gerais da integração ao serviço.

Cluster de IA Dedicado para o Modelo

Para usar esse modelo com um cluster de IA dedicado, crie um ponto de extremidade para o modelo em uma região suportada.

Modelo Base Cluster de Ajuste Cluster de Hosts Informações da Página de Preços Aumento do Limite do Cluster de Solicitações
  • Nome do Modelo: Cohere Embed 4
  • Nome do Modelo do OCI: cohere.embed-v4.0
 Não disponível para ajuste fino
  • Tamanho da Unidade: Embed Cohere
  • Unidades Obrigatórias: 1
  • Nome do produto da página de preços: Embed Cohere - Dedicated
  • Para Hospedagem, Multiplique o Preço Unitário: x1
  • Nome do Limite: dedicated-unit-embed-cohere-count
  • Para Hospedagem, Solicitar Aumento do Limite por: 1
Dica

Se você não tiver capacidade de hospedagem suficiente, solicite um aumento para o limite dedicated-unit-embed-cohere-count.

Regras de Ponto Final para Clusters

  • Um cluster de IA dedicado pode conter até 50 pontos finais.
  • Use esses pontos finais para criar aliases que todos apontam para o mesmo modelo base ou para a mesma versão de um modelo personalizado, mas não para os dois tipos.
  • Vários pontos finais para o mesmo modelo facilitam a designação a diferentes usuários ou propósitos.
Tamanho da Unidade do Cluster de Hospedagem Regras de Ponto Final
Embed Cohere
  • Modelo base: Para executar o modelo cohere.embed-v4.0 ⁇ em vários pontos finais, crie quantos pontos finais forem necessários em um cluster Embed Cohere (tamanho unitário).
  • Custom model (Modelo personalizado): não é possível ajustar cohere.embed-v4.0; portanto, não é possível criar e hospedar modelos personalizados criados nessa base.
Dica

Benchmarks de Desempenho do Cluster

Revise os benchmarks de desempenho do cluster do Cohere Embed 4 para diferentes casos de uso.

Dados de Entrada para Incorporações de Texto

Para incorporações de texto, você pode adicionar frases, frases ou parágrafos. Na Console, você pode digitar texto diretamente ou fazer upload de um arquivo .txt.

Se você usar um arquivo de entrada, separe cada frase de entrada, frase ou parágrafo com um caractere de nova linha.

Limites da console:

  • Máximo de 96 entradas de texto por execução
  • Cada entrada de texto deve estar abaixo de 512 tokens

Limites de SDK e API:

  • Até 128.000 tokens de entrada totais por execução
  • As entradas de texto e imagem juntas contam para o limite total do token de entrada
  • Somente uma imagem é permitida por payload
  • A entrada da imagem deve ser codificada com base64

Se uma entrada for muito longa, use o parâmetro truncate para truncar o início ou o fim da entrada. Se a entrada exceder o limite de token e truncate for definido como None, a solicitação retornará um erro.

Incorporando Parâmetros de Modelo

Você pode alterar os parâmetros a seguir ao usar modelos de incorporação.

Truncar (truncate)

Trunca tokens no início ou no fim quando a entrada excede o limite máximo de tokens.

Tipos de Incorporação (embeddingTypes)

Valores suportados:

  • float (Padrão)
  • int8
  • uint8
  • binary
  • ubinary
  • base64
Dimensões de Saída (outputDimensions)

Valores suportados:

  • 256
  • 512
  • 1024
  • 1536 (Padrão)

Migrando da Incorporação 3 para a Incorporação 4

Ao migrar da Incorporação 3 para a Incorporação 4, recomendamos alterar o tamanho do vetor de 1.024 para 1.536 dimensões e usar um novo índice para ajudar a evitar o tempo de inatividade.

  1. Criar um novo índice vetorial

    Crie um novo índice ou coleção no seu banco de dados vetorial configurado para 1.536 dimensões.

  2. Incorporar novamente os dados

    Reprocesse os documentos de origem com cohere.embed-v4.0 e defina outputDimensions=1536. Armazene as novas incorporações no novo índice.

  3. Atualizar lógica de consulta

    Atualize o aplicativo para usar a opção Incorporar 4 para consultas de pesquisa recebidas. Usar:
    • input_type="search_query" para consultas
    • input_type="search_document" para documentos armazenados

  4. Cortar

    Após o novo índice ser totalmente preenchido e testado, atualize o aplicativo para usar o novo índice de 1.536 dimensões.