Sobre a Incorporação de Modelos no Generative AI

Os modelos de incorporação da OCI Generative AI transformam cada frase, frase ou parágrafo inserido em uma matriz com 384 (modelos de luz) ou 1024 números, dependendo do modelo de incorporação selecionado.

Você pode usar essas incorporações para encontrar similaridade em frases semelhantes no contexto ou na categoria. Embeddings são normalmente armazenados em um banco de dados vetorial. As incorporações são usadas principalmente para pesquisas semânticas em que a função de pesquisa se concentra no significado do texto que está pesquisando, em vez de encontrar resultados com base em palavras-chave.

Escolha de um Modelo

• Use os modelos Cohere Embed English para gerar incorporações de texto a partir de documentos em inglês.
• Use os modelos multilíngues da Cohere Embed quando:
  • Em vez de inglês, os documentos são escritos em um dos idiomas suportados.
  • Os documentos são escritos em mais de um idioma e esses idiomas são um dos idiomas suportados.

Criar incorporações a partir de uma imagem

Para os modelos de incorporação de texto e imagem, como Cohere Embed English Image V3, você pode adicionar texto ou adicionar apenas uma imagem. Para a imagem, você pode usar a API. A entrada da imagem não está disponível na Console. Para API, insira uma imagem codificada em base64 em cada execução. Por exemplo, uma imagem de 512 x 512 é convertida em cerca de 1.610 tokens.

Tamanhos de entrada

• Você pode adicionar frases, frases ou parágrafos para incorporações de uma frase por vez ou fazendo upload de um arquivo.
• São permitidos somente arquivos com uma extensão .txt.
• Se você usar um arquivo de entrada, cada sentença, frase ou parágrafo de entrada no arquivo deverá ser separado por um caractere de nova linha.
• São permitidas no máximo 96 entradas para cada execução.
• Na Console, cada entrada deve ter menos de 512 tokens para os modelos somente de texto.
• Se uma entrada for muito longa, selecione se deseja cortar o início ou o final do texto para caber no limite do token definindo o parâmetro Truncar como Iniciar ou Final. Se uma entrada exceder o limite de token 512 e o parâmetro Truncate for definido como None, você receberá uma mensagem de erro.
• Para os modelos de texto e imagem, você pode ter arquivos e entradas que somam até 128.000 tokens.

Visualizando as Incorporações

Para visualizar as saídas com incorporações, os vetores de saída são projectados em duas dimensões e plotados como pontos na Console do Oracle Cloud. Os pontos próximos correspondem às frases que o modelo considera semelhantes. Selecione Exportar saída para obter um array de 1024 vetores para cada incorporação salva em um arquivo JSON.

Casos de Uso

Os casos de uso a seguir são ideais para incorporações de texto.

• Pesquisa semântica: Pesquise por meio de transcrições de chamadas, origens de conhecimento internas etc.

• Classificação de texto: Classifique a intenção nos logs de chat do cliente e nos tickets de suporte.
• Clusterização de texto: Identifique tópicos relevantes em avaliações de clientes ou novos dados.
• Sistemas de recomendação: representam descrições de podcast, por exemplo, como um recurso numérico a ser usado em um modelo de recomendação.