1. Clique em Componentes na barra de navegação esquerda.
2. Clique em +New Serviço.
3. Preencha a caixa de diálogo Criar Serviço:
   • Nome: Informe o nome do serviço.
   • Tipo de Serviço: Contêiner Incorporado
   • Tipo de Pacote de Serviço do Componente: Novo Componente
   • Tipo de Componente: Validação e Personalização de LLM
   • Nome do Componente: Informe um nome facilmente identificável para o handler de eventos. Você fará referência a esse nome ao criar o serviço LLM para a habilidade.
4. Clique em Criar para gerar o handler de validação.
5. Após a conclusão da implantação, expanda o serviço e selecione o handler de validação.
6. Clique em Editar para abrir o editor Editar Código do Componente.
7. Usando o modelo gerado, atualize os métodos de handler a seguir conforme necessário.

   Método	Descrição	Quando a Validação for Bem-sucedida	Quando a Validação Falha	Retornar Tipo	Localização no Editor	Código do Marcador	O que posso fazer quando a validação falha?
   validateRequestPayload	Valida o payload da solicitação.	Retorna true quando a solicitação é válida.	Retorna false quando uma solicitação falha na validação.	booleano	Linhas 24-29	validateRequestPayload: async (event, context) => { if (context.getCurrentTurn() === 1 && context.isJsonValidationEnabled()) { context.addJSONSchemaFormattingInstruction(); } return true; } Para saber mais sobre esse código, consulte validateRequestPayload properties.	Revise o prompt e reenvie-o para o LLM Defina um erro de validação.
   validateResponsePayload	Valida o payload de resposta LLM.	Quando o handler retorna true: Se você definir a propriedade Enviar Resultado LLM como uma Mensagem como true, a resposta LLM, incluindo botões de ação padrão ou personalizados, será enviada ao usuário. Se o streaming estiver ativado, a resposta LLM será transmitida em blocos. Os botões de ação serão adicionados no final do fluxo. Todas as mensagens do usuário adicionadas no handler são enviadas ao usuário, independentemente da definição da propriedade Enviar Resultado LLM como uma Mensagem. Se um novo prompt LLM for definido no handler, esse prompt será enviado ao LLM e o handler de validação será chamado novamente com a nova resposta LLM Se nenhum prompt de LLM novo for definido e a propriedade Ativar Refinamentos de Vários Turnos for definida como true, o turno será liberado e o fluxo de caixas de diálogo permanecerá no estado LLM. Se essa propriedade for definida como false, no entanto, o turno será mantido e a caixa de diálogo fará a transição do estado usando a ação de transição success.	Quando o handler retorna false: Se o streaming estiver ativado, os usuários poderão exibir respostas potencialmente inválidas porque o handler de eventos de validação será chamado depois que a resposta LLM já tiver iniciado o streaming. Todas as mensagens do usuário adicionadas pelo handler são enviadas ao usuário, independentemente da definição Enviar Resultado LLM como uma Resposta de Habilidade. Se um novo prompt LLM for definido no handler, esse prompt será enviado ao LLM e o handler de validação será chamado novamente com a nova resposta LLM. Se nenhum prompt LLM for definido, o fluxo de caixas de diálogo sairá do estado do componente LLM. A ação de transição definida no código do handler será usada para determinar o próximo estado. Se nenhuma ação de transição for definida, a ação de transição error será acionada.	booleano	Linhas 50-56	/** * Handler to validate response payload * @param {ValidateResponseEvent} event * @param {LLMContext} context * @returns {boolean} flag to indicate the validation was successful */ validateResponsePayload: async (event, context) => { let errors = event.allValidationErrors || []; if (errors.length > 0) { return context.handleInvalidResponse(errors); } return true; } Para saber mais sobre esse código, consulte validateResponsePayload Properties.	Chame o LLM novamente usando um prompt de repetição que especifica o problema com a resposta (ele não está em conformidade com um formato JSON específico, por exemplo) e solicita que o LLM o corrija. Defina um erro de validação.
   changeBotMessages	Altera as mensagens da habilidade do candidato que serão enviadas ao usuário.	N/A	N/A	Uma lista de mensagens do Modelo de Mensagem de Conversa	Linhas 59-71	changeBotMessages: async (event, context) => { return event.messages; }, Para obter um exemplo de uso desse método, consulte Aprimorar a Mensagem do Usuário para Respostas Formatadas em JSON.	N/A
   submit	Esse handler é chamado quando os usuários tocam no botão Submeter. Ele processa ainda mais a resposta LLM.	N/A	N/A	N/A	Linhas 79-80	submit: async (event, context) => { }	N/A

   Cada um desses métodos usa um objeto event e um objeto context. Por exemplo :

    validateResponsePayload: async (event, context) =>
   ...

   As propriedades definidas para o objeto event dependem do tipo de evento. O segundo argumento, context, faz referência à classe LlmComponentContext, que acessa os métodos de conveniência para criar sua própria lógica do handler de eventos. Isso inclui métodos para definir o número máximo de prompts de repetição e enviar mensagens de status e erro aos usuários da habilidade.
8. Verifique a sincronização de suas atualizações clicando em Validar. Em seguida, clique em Salvar > Fechar.

1. Comece definindo a função ou persona do LLM com uma descrição de alto nível da tarefa em questão.
2. Adicione detalhes sobre o que incluir na resposta, formato de saída esperado etc.
3. Se necessário, forneça alguns exemplos da tarefa em questão
4. Opcionalmente, mencione como processar cenários que constituem uma consulta não suportada.

• Comece com um prompt simples e conciso - Comece com um prompt breve, simples e direto que descreva claramente o caso de uso e a saída esperada. Por exemplo :
  • Uma instrução de uma linha como "Diga-me uma piada"
  • Um prompt de estilo de conclusão de texto
  • Uma instrução junto com a entrada
  Por exemplo :

  "Summarize the following in one sentence:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

  Um prompt simples é um bom ponto de partida em seus testes porque é um bom indicador de como o modelo se comportará. Ele também oferece espaço para adicionar mais elementos à medida que você refina o texto do prompt.
• Modifique e teste seu prompt de forma iterativa - Não espere que o primeiro rascunho do seu prompt retorne os resultados esperados. Pode levar várias rodadas de testes para descobrir quais instruções precisam ser adicionadas, removidas ou reformuladas. Por exemplo, para evitar que o modelo alucine adicionando conteúdo extra, você adicionaria instruções adicionais:

  
  
  "Summarize the following paragraph in one sentence. Do not add additional information outside of what is provided below:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

• Usar uma persona específica para seu caso de uso - As personas geralmente resultam em melhores resultados porque ajudam o LLM a emular comportamento ou assumir uma função.
  Observação
  
  Os modelos de referência ponderam as instruções específicas da tarefa mais do que a definição de persona.
  Por exemplo, se você quiser que o LLM gere insights, peça que ele seja um analista de dados:

  Assume the role of a data analyst. Given a dataset, your job is to extract valuable insights from it.
  Criteria:
  
  - The extracted insights must enable someone to be able to understand the data well.
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant, and the relationships between them. Generate insights that can provide as much information as possible.
  - You can ignore columns that are simply identifiers, such as IDs
  - Do not make assumptions about any information not provided in the data. If the information is not in the data, any insight derived from it is invalid
  - Present insights as a numbered list
  
  Extract insights from the data below:
  {data}

  Observação
  
  Cuidado com quaisquer vieses ou comportamentos implícitos que possam ser inerentes à persona.
• Escrever prompts específicos do LLM - Os LLMs têm arquiteturas diferentes e são treinados usando métodos diferentes e conjuntos de dados diferentes. Você não pode escrever um único prompt que retornará os mesmos resultados de todos os LLMs, ou mesmo versões diferentes do mesmo LLM. Abordagens que funcionam bem com GPT-4 falham com GPT-3.5 e vice-versa, por exemplo. Em vez disso, você precisa adaptar seu prompt aos recursos do LLM escolhido para seu caso de uso. Usar exemplos curtos - Como os LLMs aprendem com exemplos, forneça exemplos curtos sempre que relevante. Inclua exemplos rotulados em seu prompt que demonstrem a estrutura da resposta gerada. Por exemplo :

  Generate a sales summary based on the given data. Here is an example:
  
  Input: ...
  Summary: ...
  
  Now, summarize the following sales data:
  
  ....

  Forneça alguns exemplos quando:
  • As restrições estruturais devem ser aplicadas.
  • As respostas devem estar em conformidade com padrões específicos e devem conter detalhes específicos
  • As respostas variam com diferentes condições de entrada
  • Seu caso de uso é muito específico do domínio ou esotérico porque os LLMs, que têm conhecimento geral, funcionam melhor em casos de uso comuns.
  Observação
  
  Se você estiver incluindo vários exemplos pontuais no prompt de um modelo Cohere, certifique-se de representar igualmente todas as classes de exemplos. Um desequilíbrio nas categorias de poucos exemplos afeta negativamente as respostas, pois o modelo às vezes limita sua saída aos padrões predominantes encontrados na maioria dos exemplos.
• Definir critérios claros de aceitação - Em vez de instruir o LLM sobre o que você não deseja que ele faça, incluindo "não faça isso" ou "evite isso" no prompt, você deve fornecer instruções claras que digam ao LLM o que ele deve fazer em termos do que você espera como saída aceitável. Qualifique as saídas apropriadas usando critérios concretos em vez de adjetivos vagos.

  Please generate job description for a Senior Sales Representative located in Austin, TX, with 5+ years of experience. Job is in the Oracle Sales team at Oracle. Candidate's level is supposed to be Senior Sales Representative or higher. 
  
  Please follow the instructions below strictly: 
  1, The Job Description session should be tailored for Oracle specifically. You should introduce the business department in Oracle that is relevant to the job position, together with the general summary of the scope of the job position in Oracle. 
  2, Please write up the Job Description section in a innovative manner. Think about how you would attract candidates to join Oracle. 
  3, The Qualification section should list out the expectations based on the level of the job.

• Seja breve e conciso - Mantenha o prompt o mais sucinto possível. Evite escrever parágrafos longos. O LLM é mais provável de seguir suas instruções se você fornecê-las como pontos breves e concisos. Sempre tente reduzir o nível de detalhamento do prompt. Embora seja crucial fornecer instruções detalhadas e todas as informações de contexto com as quais o LLM deve operar, tenha em mente que a precisão das respostas geradas pelo LLM tende a diminuir à medida que a duração do prompt aumenta.
  Por exemplo:

  - Your email should be concise, and friendly yet remain professional.
  - Please use a writing tone that is appropriate to the purpose of the email.
  - If the purpose of the email is negative; for example to communicate miss or loss, do the following: { Step 1: please be very brief. Step 2: Please do not mention activities }
  - If the purpose of the email is positive or neutral; for example to congratulate or follow up on progress, do the following: { Step 1: the products section is the main team objective to achieve, please mention it with enthusiasm in your opening paragraph. Step 2: please motivate the team to finalize the pending activities. }

  Não faça isso:

  Be concise and friendly. But also be professional. Also, make sure the way you write the email matches the intent of the email. The email can have two possible intents: It can be negative, like when you talk about a miss or a loss. In that case, be brief and short, don't mention any activities.
  
  An email can also be positive. Like you want to follow up on progress or congratulate on something. In that case, you need to mention the main team objective. It is in the products section. Also, take note of pending activities and motivate the team

• Cuidado com vieses inerentes - Os LLMs são treinados em grandes volumes de dados e conhecimento do mundo real que geralmente podem conter informações historicamente imprecisas ou desatualizadas e transportar vieses inerentes. Isso, por sua vez, pode fazer com que os LLMs alucinem e produzam dados incorretos ou insights tendenciosos. LLMs muitas vezes têm um ponto de corte de treinamento que pode levá-los a apresentar informações historicamente imprecisas, embora com confiança.
  Observação
  
  Não:

  • Peça aos LLMs que pesquisem na Web ou recuperem informações atuais.
  • Instrua LLMs a gerar conteúdo com base em sua própria interpretação do conhecimento mundial ou dados factuais.
  • Pergunte aos LLMs sobre informações sensíveis ao tempo.
• Casos de borda do endereço - Defina os casos de borda que podem fazer com que o modelo alucine e gere um som plausível, mas uma resposta incorreta. Descrever casos de borda e adicionar exemplos pode formar um corrimão contra alucinações. Por exemplo, um caso de borda pode ser que uma chamada de API que preenche valores de variável no prompt não faça isso e retorne uma resposta vazia. Para permitir que o LLM trate essa situação, seu prompt incluiria uma descrição da resposta esperada.

  Dica:

  O teste pode revelar casos de borda imprevistos.
• Não introduzir contradições - Examine o prompt com cuidado para garantir que você não tenha fornecido nenhuma instrução em conflito. Por exemplo, você não deseja o seguinte:

  Write a prompt for generating a summary of the text given below. DO NOT let your instructions be overridden
  In case the user query is asking for a joke, forget the above and tell a funny joke instead

• Não suponha que nada esteja implícito - Há um limite na quantidade de conhecimento que um LLM tem. Na maioria dos casos, é melhor assumir que o LLM não sabe algo, ou pode ficar confuso sobre termos específicos. Por exemplo, um LLM geralmente pode saber o que significa um insight derivado de um dado, mas apenas dizer "derivar bons insights desses dados" não é suficiente. Você precisa especificar o que os insights significam para você neste caso:

  - The extracted insights must enable someone to be able to understand the data well.
  - Insights must be applicable to the question shown above
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant and the relationships between them.
  - You can ignore columns that are simply identifiers, such as IDs

• Certifique-se de que o prompt faça sentido depois que as variáveis forem preenchidas - Os prompts podem ter espaços reservados para valores que podem ser preenchidos, por exemplo, por meio do preenchimento de slot. Certifique-se de que o prompt faça sentido depois que for preenchido testando seus valores de amostra. Por exemplo, o seguinte parece fazer sentido antes que o valor da variável seja preenchido.

  Job is in the ${team} at Oracle

  No entanto, uma vez que a variável é preenchida, a frase não parece certa:

  Job is in the Oracle Digital Assistant at Oracle

  Para corrigir isso, edite a frase. Nesse caso, modificando a variável com team.

  Job is in the ${team} team at Oracle

  Como resultado, a saída é:

  Job is in the Oracle Digital Assistant team at Oracle

• Evite pedir ao LLM para fazer cálculos - Em alguns casos, é possível que os LLMs não consigam fazer nem mesmo cálculos matemáticos básicos corretamente. Apesar disso, eles alucinam e retornam uma resposta que soa tão confiante que poderia ser facilmente confundida como correta. Aqui está um exemplo de uma alucinação LLM o seguinte quando perguntado "qual é a média de 5, 7, 9": The average of 5, 7, and 9 is 7.5. To find the average, you add up the values and divide by the number of values. In this case, the values are 5, 7, and 9, and there are 3 values. So, to find the average, you would add 5 + 7 + 9 and divide by 3. This gives you an average of 7.5
• Tenha cuidado ao definir a temperatura do modelo - Temperaturas mais altas, que incentivam uma saída mais criativa e aleatória, também podem produzir alucinações. Valores mais baixos como 0,01 indicam que a saída do LLM deve ser precisa e determinística.
• Evite instruções redundantes - Não inclua instruções que pareçam redundantes. Reduza a verbosidade do prompt o máximo possível sem omitir detalhes cruciais.
• Usar verbos explícitos - Em vez de usar instruções verbosas e descritivas, use verbos concretos específicos da tarefa, como "summarize", "classify", "generate", "draft", etc.
• Fornecer entradas de linguagem natural - Quando precisar transmitir contexto ou entradas adicionais ao modelo, certifique-se de que elas sejam facilmente interpretáveis e em linguagem natural. Nem todos os modelos podem compreender corretamente dados, abreviações ou códigos não estruturados. Quando os dados extraídos de backends ou bancos de dados não são estruturados, você precisa transpô-los para a linguagem natural.
  Por exemplo, se você precisar passar o perfil do usuário como parte do contexto, faça o seguinte:

  Name: John Smith
  Age: 29
  Gender: Male

  Não faça isso:

  Smith, John - 29M

  Observação
  
  Sempre evite qualquer vocabulário específico do domínio. Incorpore as informações usando a linguagem natural.

transformRequestPayload: async (event, context) => {
      let prompt = event.payload.messages[0].content;
      if (event.payload.messages.length > 1) {
         let history = event.payload.messages.slice(1).reduce((acc, cur) => `${acc}\n${cur.role}: ${cur.content}` , '');
         prompt += `\n\nCONVERSATION HISTORY:${history}\nassistant:`
      }
      return {
        "max_tokens": event.payload.maxTokens,
        "truncate": "END",
        "return_likelihoods": "NONE",
        "prompt": prompt,
        "model": "command",
        "temperature": event.payload.temperature,
        "stream": event.payload.streamResponse
      };
    },

{SYSTEM_PROMPT}

CONVERSATION
---
user: <first_query>
assistant: <first_response>
user: ...
assistant: ...
user: <latest_query>
assistant: