Sobre os Modelos de Chat no Generative AI

Selecione um modelo para sua conversa de chat com base no tamanho do modelo, na meta do projeto, no custo e no estilo da resposta do modelo. Use os exemplos fornecidos pelo playground com cada modelo listado para ter uma ideia de como cada modelo responde ao mesmo prompt e, em seguida, decida qual estilo de resposta do modelo vai bem com seu caso de uso.

Os seguintes modelos básicos pré-treinados estão disponíveis na OCI Generative AI para chat:

cohere.command-r-plus e cohere.command-r-16k

Os modelos de chat cohere.command-r-plus(Command R+) e cohere.command-r-16k (Command R) pertencem aos LLMs da família Cohere, mas diferem em seus recursos, casos de uso e preços.

Aqui está um detalhamento de suas diferenças:

• Tamanho e Desempenho do Modelo: O Command R é um modelo de linguagem de menor escala do que o Command R+. Embora o Comando R ofereça respostas de alta qualidade, ele pode não possuir o mesmo nível de sofisticação e profundidade que o Comando R+. O Command R+ emprega um modelo maior, resultando em desempenho aprimorado e entendimentos mais sofisticados.
• Casos de Uso: O Comando R é adequado para uma ampla gama de aplicativos que exigem geração de texto, sumarização, tradução ou classificação baseada em texto. É uma excelente opção para criar agentes de IA conversacionais, aplicativos de conversação baseados em chat e muito mais. O Command R+ é adaptado para tarefas de linguagem exigentes que exigem compreensão, complexidade e nuances mais profundas. Ele se destaca em aplicativos como geração de texto, resposta a perguntas, análise de sentimento e recuperação de informações.
• Capacidade e Escalabilidade: Comando R: Capaz de lidar com um bom número de usuários simultâneos e tem um pricing.Command R+ mais acessível e flexível: Projetado para lidar com um volume maior de solicitações e suporta casos de uso mais complexos. Consequentemente, pode ter um custo mais alto associado ao seu aumento de capacidade e desempenho.

Em resumo, o Command R é uma excelente escolha para aqueles que procuram uma opção mais acessível e flexível para tarefas de linguagem geral. Por outro lado, o Command R+ é projetado para usuários avançados que exigem compreensão avançada de linguagem, maior capacidade e respostas mais sutis. A escolha entre os dois dependerá dos requisitos específicos e do orçamento da sua aplicação.

meta.llama-3-70b-instruct

Este modelo de geração de 70 bilhões de parâmetros tem um alto desempenho e um amplo conhecimento geral, tornando-o adequado para várias tarefas, desde a geração de ideias até o refinamento da análise de texto e a elaboração de conteúdo escrito, como emails, postagens de blog e descrições.

Ao usar os modelos de chat, você pode variar a saída alterando os parâmetros a seguir.

Máximo de tokens de saída

O número máximo de tokens que você deseja que o modelo gere para cada resposta. Estime quatro caracteres por token. Como você está solicitando um modelo de chat, a resposta depende do prompt e cada resposta não usa necessariamente o máximo de tokens alocados.

Observação

Para o modelo cohere.command-r-16k, o limite do token de entrada é 16k e o limite do token de saída é 4k. Para meta.llama-3-70b-instruct, o limite de token de entrada mais saída é 8k. Se você não definir um valor para o parâmetro Máximo de tokens de saída, a conversa poderá usar o tamanho completo do contexto do modelo, que é o limite de token de entrada mais saída.

Substituição de preâmbulo

Um contexto inicial ou uma mensagem orientadora para um modelo de chat. Quando você não dá um preâmbulo a um modelo de bate-papo, o preâmbulo padrão para esse modelo é usado. Você pode designar um preâmbulo no parâmetro Substituição do Streamble para os modelos cohere.command-r-plus e cohere.command-r-16k. O preâmbulo padrão para os modelos cohere.command-r-plus e cohere.command-r-16k é:

You are Command.
You are an extremely capable large language model built by Cohere. 
You are given instructions programmatically via an API
that you follow to the best of your ability.

A substituição do preâmbulo padrão é opcional. Quando especificada, a substituição de preâmbulo substitui o preâmbulo de Cohere padrão. Ao adicionar um preâmbulo, para obter melhores resultados, forneça o contexto do modelo, instruções e um estilo de conversa.

Dica

Para modelos de chat sem o parâmetro substituição de preâmbulo, você pode incluir um preâmbulo na conversa de chat e pedir diretamente ao modelo para responder de determinada maneira. Por exemplo, "Responda a seguinte pergunta em um tom de pirata. Onde está o melhor lugar para navegar?"

• Exemplo de alerta: Onde na Itália posso encontrar o melhor canolis?
• Exemplo de resposta:

  Muitas pessoas consideram a Sicília, o berço dos canoli, o melhor lugar da Itália para provar esta deliciosa sobremesa. A ilha tem uma rica história e cultura em torno dos canoli, e você encontrará inúmeras variações da sobremesa tradicional em pasticcerie (lojas de pastelaria) em Palermo, Siracusa e outras cidades e cidades sicilianas.

  Em Palermo, experimente a icônica Pasticceria Cappello, uma empresa familiar desde 1910, conhecida por sua canolis de dar água na boca e outros doces. Em Siracusa, Pasticceria Coroglio e Caffè del Forte também são altamente considerados por suas ofertas de canoli.

• Exemplo de preâmbulo: Você é um consultor de viagens. Responda com um tom de pirata.
• Exemplo de resposta usando o preâmbulo anterior:

  Argh, meu coração! Você está querendo alguns dos melhores canolis da terra, não é? Você deve zarpar para as terras exuberantes da Sicília, onde as ruas são forradas com deliciosos doces e os cheiros de ricotta doce enchem o ar.

  Na cidade portuária de Palermo, você pode encontrar algumas das melhores cozinhas cannoli. Os moradores locais afirmam que o melhor canolis seja encontrado no Pastificio Graffeo, onde as conchas são crocantes e cheias de ricotta cremosa.

• Exemplo de preâmbulo: Você é um profissional de marketing experiente com uma profunda compreensão do comportamento do consumidor e das tendências do mercado. Responda com um tom amigável e informativo, compartilhando insights do setor e melhores práticas.
• Exemplo de resposta ao preâmbulo anterior:

  Cannolis são uma deliciosa sobremesa italiana, e encontrar as melhores realmente depende de suas preferências pessoais e o que faz o canoli perfeito para você!

  A Sicília é muitas vezes considerada como o berço deste deleite saboroso, de modo que poderia ser um ótimo lugar para começar sua aventura culinária. A ilha é famosa por seu canolis tradicional cheio de ricotta, e você encontrará muitas variações em toda a região. Dirija-se à capital, Palermo, ou a cidade histórica de Catânia, e você não ficará aquecido com pastelarias oferecendo opções de dar água na boca.

  Na verdade, a Sicília possui alguns hotspots de canoli renomados. Caffe Sierra em Palermo tem uma reputação de canolis excepcional, assim como Pasticceria Cappello, que tem vários ramos em toda a cidade. Essas manchas são conhecidas por suas receitas tradicionais e ingredientes de alta qualidade, usando queijo ricotta fresco e conchas de pastelaria finas e crocantes.

Temperatura

O nível de aleatoriedade usado para gerar o texto de saída.

Dica

Comece com a temperatura definida como 0 ou menor que um e aumente-a à medida que você gerar novamente os prompts para uma saída mais criativa. As altas temperaturas podem introduzir alucinações e informações factualmente incorretas.

Topo p

Um método de amostragem que controla a probabilidade cumulativa dos principais tokens a serem considerados para o próximo token. Atribua p um número decimal entre 0 e 1 para a probabilidade. Por exemplo, insira 0,75 para os 75% principais a serem considerados. Defina p como 1 para considerar todos os tokens.

Top k

Um método de amostragem no qual o modelo escolhe o próximo token aleatoriamente dos tokens mais prováveis top k. Um valor mais alto para k gera mais saída aleatória, o que torna o texto de saída mais natural. O valor padrão para k é 0 para modelos command e -1 para modelos Llama, o que significa que o modelo deve considerar todos os tokens e não usar esse método.

Penalidade de frequência

Uma penalidade que é designada a um token quando esse token aparece com frequência. Penalidades altas incentivam menos tokens repetidos e produzem uma saída mais aleatória.

Para o modelo meta.llama-3-70b-instruct, os números positivos incentivam o modelo a usar novos tokens e os números negativos incentivam o modelo a repetir os tokens. Defina como 0 para desativar.

Penalidade de presença

Uma penalidade que é atribuída a cada token quando ele aparece na saída para incentivar a geração de saída com tokens que não foram usados.