Luz de comando Cohere

O modelo cohere.command-light está obsoleto.

Importante

O modelo cohere.command-light suportado para o modo de serviço sob demanda agora é descontinuado e esse modelo está obsoleto para o modo de serviço dedicado. Se você estiver hospedando o cohere.command-light em um cluster de IA dedicado (modo de serviço dedicado), poderá continuar usando essa réplica de modelo hospedado com a API de geração e no playground até que o modelo cohere.command-light se retire do modo de serviço dedicado. Esse modelo, quando hospedado em um cluster de IA dedicado, só está disponível no US Midwest (Chicago). Consulte Desativando os Modelos para obter datas e definições de baixa. Recomendamos que você use os modelos de chat que oferecem os mesmos recursos de geração de texto, incluindo controle sobre o tamanho e o estilo do resumo.

Disponível nestas regiões

Centro-Oeste dos EUA (Chicago)

Principais Recursos

O modelo tem 6 bilhões de parâmetros.
O prompt e a resposta do usuário podem ter até 4.096 tokens para cada execução.
Você pode ajustar esse modelo com seu conjunto de dados.

Cluster de IA Dedicado para o Modelo

Na lista de regiões anterior, os modelos em regiões que não estão marcadas com (somente cluster de IA dedicado) têm opções de cluster de IA sob demanda e dedicadas. Para a opção sob demanda, você não precisa de clusters e pode acessar o modelo no playground da Console ou por meio da API.

Para acessar um modelo por meio de um cluster de IA dedicado em qualquer região listada, você deve criar um ponto final para esse modelo em um cluster de IA dedicado. Para o tamanho da unidade de cluster que corresponde a este modelo, consulte a tabela a seguir.


Modelo Base	Cluster de Ajuste	Cluster de Hosts	Informações da Página de Preços	Aumento do Limite do Cluster de Solicitações
Nome do Modelo: Cohere Command Light (6B) Nome do Modelo do OCI: `cohere.command-light` (obsoleto)	Tamanho da Unidade: Small Cohere Unidades Obrigatórias: 2	Tamanho da Unidade: Small Cohere Unidades Obrigatórias: 1	Nome do produto da página de preços: Small Cohere - Dedicated Para Hospedagem, Multiplique o Preço Unitário: x1 Para Ajuste Fino, Multiplique o Preço Unitário: x2	Nome do Limite: `dedicated-unit-small-cohere-count` Para Hospedagem, Solicitar Aumento do Limite por: 1 Para ajuste fino, solicite aumento de limite por: 2

Datas de Liberação e Baixa


Modelo	Data de Liberação	Data de Aposentadoria Sob Demanda	Data de Baixa do Modo Dedicado
`cohere.command`	2,024-2-7	`2,024-10-2`	`2,025-8-7`

Importante

Para obter uma lista de todas as linhas de tempo do modelo e detalhes de baixa, consulte Desativando os Modelos.

Parâmetros do Modelo de Geração

Ao usar os modelos de geração, você pode variar a saída alterando os parâmetros a seguir.

Máximo de tokens de saída: O número máximo de tokens que você deseja que o modelo gere para cada resposta. Estime quatro caracteres por token.
Temperatura: O nível de aleatoriedade usado para gerar o texto de saída.

Dica

Comece com a temperatura definida como 0 ou menos de um e aumente a temperatura conforme você gera novamente os prompts para uma saída mais criativa. As altas temperaturas podem introduzir alucinações e informações factualmente incorretas.
Top k: Um método de amostragem no qual o modelo escolhe o próximo token aleatoriamente dos tokens mais prováveis do top k. Um valor mais alto para k gera uma saída mais aleatória, o que torna o texto de saída mais natural. O valor padrão para k é 0 para os modelos command e -1 para os modelos Llama, o que significa que os modelos devem considerar todos os tokens e não usar esse método.
Top p: Um método de amostragem que controla a probabilidade cumulativa dos principais tokens a serem considerados para o próximo token. Atribua a p um número decimal entre 0 e 1 para a probabilidade. Por exemplo, insira 0,75 para os 75% principais a serem considerados. Defina p como 1 para considerar todos os tokens.
Sequências de parada: Uma sequência de caracteres — como uma palavra, uma frase, um (\n) de nova linha ou um período — que diz ao modelo quando interromper a saída gerada. Se houver mais de uma sequência de parada, o modelo será interrompido quando atingir qualquer uma dessas sequências.
Penalidade de frequência: Uma penalidade atribuída a um token quando esse token aparece com frequência. Altas penalidades incentivam menos tokens repetidos e produzem uma saída mais aleatória.
Penalidade de presença: Uma multa atribuída a cada token quando ele aparece na saída para incentivar a geração de saídas com tokens que não foram usados.
Mostrar probabilidades: Toda vez que um novo token deve ser gerado, um número entre -15 e 0 é designado a todos os tokens, em que os tokens com números mais altos têm mais probabilidade de seguir o token atual. Por exemplo, é mais provável que a palavra favorito seja seguida pela palavra alimento ou livro em vez da palavra zebra. Esse parâmetro só está disponível para os modelos cohere.