Sobre os Modelos de Geração no Generative AI

Selecione um modelo para gerar texto com base no tamanho do modelo, na meta do projeto, no custo e na resposta do modelo. Use os exemplos fornecidos pelo playground com cada modelo listado para ter uma ideia de como cada modelo responde ao mesmo prompt e, em seguida, decida qual estilo de resposta do modelo vai bem com seu caso de uso.

cohere.command

Um modelo de geração de alto desempenho com 50 bilhões de parâmetros e um grande conhecimento geral do mundo. Use este modelo de brainstorming para otimizar a precisão, como extração de texto e análise de sentimento, e para instruções complexas para elaborar suas cópias de marketing, emails, postagens de blog e descrições de produtos e, em seguida, revisá-los e usá-los.

cohere.command-light

Um modelo de geração rápido e leve. Use este modelo para tarefas que exigem um conhecimento básico do mundo e instruções simples, quando a velocidade e o custo são importantes. Para obter melhores resultados, você deve dar instruções claras ao modelo. Quanto mais específico for seu prompt, melhor será o desempenho desse. Por exemplo, em vez do prompt, "Qual é o tom a seguir?", escreva, "Qual é o tom da avaliação deste produto? Responda com a palavra positiva ou negativa.".

meta.llama-2-70b-chat

Este modelo de parâmetro de 70 bilhões foi treinado em um conjunto de dados de 1,2 trilhão de tokens, que inclui textos da internet, livros e outras fontes. Use este modelo para geração de texto, tradução de idioma, resumo, resposta a perguntas com base no conteúdo de um determinado texto ou tópico e geração de conteúdo, como artigos, postagens de blog e atualizações de mídia social.

Ao usar os modelos de geração, você pode variar a saída alterando os parâmetros a seguir.

Máximo de tokens de saída

O número máximo de tokens que você deseja que o modelo gere para cada resposta. Estime quatro caracteres por token.

Temperatura

O nível de aleatoriedade usado para gerar o texto de saída.

Dica

Comece com a temperatura definida como 0 ou menor que um e aumente-a à medida que você gerar novamente os prompts para uma saída mais criativa. As altas temperaturas podem introduzir alucinações e informações factualmente incorretas.

Top k

Um método de amostragem no qual o modelo escolhe o próximo token aleatoriamente dos tokens mais prováveis top k. Um valor mais alto para k gera mais saída aleatória, o que torna o texto de saída mais natural. O valor padrão para k é 0 para modelos command e -1 para modelos Llama, o que significa que os modelos devem considerar todos os tokens e não usar esse método.

Topo p

Um método de amostragem que controla a probabilidade cumulativa dos principais tokens a serem considerados para o próximo token. Atribua p um número decimal entre 0 e 1 para a probabilidade. Por exemplo, insira 0,75 para os 75% principais a serem considerados. Defina p como 1 para considerar todos os tokens.

Parar sequências

Uma sequência de caracteres - como uma palavra, uma frase, uma nova linha (\n) ou um ponto - que informa ao modelo quando interromper a saída gerada. Se houver mais de uma sequência de parada, o modelo será interrompido quando atingir qualquer uma dessas sequências.

Penalidade de frequência

Uma penalidade que é designada a um token quando esse token aparece com frequência. Penalidades altas incentivam menos tokens repetidos e produzem uma saída mais aleatória.

Penalidade de presença

Uma penalidade que é atribuída a cada token quando ele aparece na saída para incentivar a geração de saída com tokens que não foram usados.

Mostrar probabilidades

Toda vez que um novo token deve ser gerado, um número entre -15 e 0 é designado a todos os tokens, em que os tokens com números mais altos têm mais probabilidade de seguir o token atual. Por exemplo, é mais provável que a palavra favorite seja seguida pela palavra food ou book, em vez da palavra zebra. Esse parâmetro só está disponível para os modelos cohere.