1. Haga clic en Componentes en la barra de navegación izquierda.
2. Haga clic en Servicio +New.
3. Complete el cuadro de diálogo Crear servicio:
   • Nombre: introduzca el nombre del servicio.
   • Tipo de servicio: contenedor embebido
   • Tipo de paquete de servicios de componente: Nuevo componente
   • Tipo de componente: validación y personalización de LM
   • Nombre de componente: introduzca un nombre fácilmente identificable para el manejador de eventos. Hará referencia a este nombre al crear el servicio de LLM para la aptitud.
4. Haga clic en Crear para generar el manejador de validación.
5. Una vez finalizado el despliegue, amplíe el servicio y, a continuación, seleccione el manejador de validación.
6. Haga clic en Editar para abrir el editor de edición de código de componente.
7. Con la plantilla generada, actualice los siguientes métodos de manejador según sea necesario.

   Método	Descripción	Cuando la validación se realiza correctamente	Cuando falla la validación	Tipo de Retorno	Ubicación en Editor	Código de marcador de posición	¿Qué puedo hacer cuando falla la validación?
   validateRequestPayload	Valida la carga útil de solicitud.	Devuelve true cuando la solicitud es válida.	Devuelve false cuando una solicitud falla la validación.	booleano	Líneas 24-29	validateRequestPayload: async (event, context) => { if (context.getCurrentTurn() === 1 && context.isJsonValidationEnabled()) { context.addJSONSchemaFormattingInstruction(); } return true; } Para obtener más información sobre este código, consulte validateRequestPayload properties.	Revise la petición de datos y, a continuación, vuelva a enviarla al LLM Defina un error de validación.
   validateResponsePayload	Valida la carga útil de respuesta de LLM.	Cuando el manejador devuelve true: Si establece la propiedad Enviar resultado de LLM como mensaje en true, la respuesta de LLM, incluidos los botones de acción estándar o personalizados, se envía al usuario. Si el flujo está activado, la respuesta del LLM se transmitirá en fragmentos. Los botones de acción se agregarán al final del flujo. Los mensajes de usuario agregados en el manejador se envían al usuario, independientemente de la configuración de la propiedad Enviar resultado de LLM como mensaje. Si se establece una nueva petición de datos de LLM en el manejador, esta petición de datos se envía al LLM y el manejador de validación se volverá a llamar con la nueva respuesta de LLM Si no se establece ninguna petición de datos de LLM nueva y la propiedad Enable Multi-Turn Refinements se establece en true, se libera el turno y el flujo de diálogo permanece en el estado de LLM. Sin embargo, si esta propiedad se define en false, el turno se mantiene y el cuadro de diálogo pasa del estado mediante la acción de transición success.	Cuando el manejador devuelve false: Si el flujo está activado, los usuarios pueden ver respuestas que pueden no ser válidas porque el manejador de eventos de validación se llama después de que la respuesta del LLM ya haya iniciado el flujo. Los mensajes de usuario agregados por el manejador se envían al usuario, independientemente de la configuración Enviar resultado de LLM como respuesta de aptitud. Si se establece una nueva petición de datos de LLM en el manejador, esta petición de datos se envía al LLM y el manejador de validación se volverá a llamar con la nueva respuesta de LLM. Si no se establece ninguna petición de datos de LLM, el flujo de diálogo pasa del estado del componente de LLM. El juego de acciones de transición en el código de manejador se utilizará para determinar el siguiente estado. Si no se define ninguna acción de transición, se dispara la acción de transición error.	booleano	Líneas 50-56	/** * Handler to validate response payload * @param {ValidateResponseEvent} event * @param {LLMContext} context * @returns {boolean} flag to indicate the validation was successful */ validateResponsePayload: async (event, context) => { let errors = event.allValidationErrors || []; if (errors.length > 0) { return context.handleInvalidResponse(errors); } return true; } Para obtener más información sobre este código, consulte validateResponsePayload Properties.	Vuelva a llamar al LLM mediante una petición de datos de reintento que especifique el problema con la respuesta (no se ajusta a un formato JSON específico, por ejemplo) y solicite que el LLM lo corrija. Defina un error de validación.
   changeBotMessages	Cambia los mensajes de aptitud de candidato que se enviarán al usuario.	N/D	N/D	Lista de mensajes del modelo de mensajes de conversación	Líneas 59-71	changeBotMessages: async (event, context) => { return event.messages; }, Para obtener un ejemplo de uso de este método, consulte Mejora del mensaje de usuario para respuestas con formato JSON.	N/D
   submit	Este manejador se llama cuando los usuarios pulsan el botón Enviar. Sigue procesando la respuesta del LLM.	N/D	N/D	N/D	Líneas 79-80	submit: async (event, context) => { }	N/D

   Cada uno de estos métodos utiliza un objeto event y un objeto context. Por ejemplo:

    validateResponsePayload: async (event, context) =>
   ...

   Las propiedades definidas para el objeto event dependen del tipo de evento. El segundo argumento, context, hace referencia a la clase LlmComponentContext, que accede a los métodos de conveniencia para crear su propia lógica de manejador de eventos. Estos incluyen métodos para definir el número máximo de peticiones de datos de reintento y enviar mensajes de estado y error a los usuarios de aptitudes.
8. Verifique el sytnax de las actualizaciones haciendo clic en Validar. A continuación, haga clic en Guardar > Cerrar.

1. Comience por definir el rol o la persona del LLM con una descripción de alto nivel de la tarea en cuestión.
2. Agregue detalles sobre lo que se debe incluir en la respuesta, el formato de salida esperado, etc.
3. Si es necesario, proporcione ejemplos de pocas tomas de la tarea en cuestión
4. También puede mencionar cómo procesar escenarios que constituyen una consulta no soportada.

• Comience con una petición de datos simple y concisa: comience con una petición de datos breve, simple y directa que describa claramente el caso de uso y la salida esperada. Por ejemplo:
  • Una instrucción de una línea como "Dime una broma"
  • Petición de datos de estilo de finalización de texto
  • Una instrucción junto con la entrada
  Por ejemplo:

  "Summarize the following in one sentence:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

  Un simple indicador es un buen punto de partida en tus pruebas porque es un buen indicador de cómo se comportará el modelo. También le da espacio para agregar más elementos a medida que acota el texto del campo.
• Modificar y probar de forma iterativa la petición de datos: no espere que el primer borrador de la petición de datos devuelva los resultados esperados. Es posible que se necesiten varias rondas de pruebas para averiguar qué instrucciones se deben agregar, eliminar o modificar. Por ejemplo, para evitar que el modelo se alucine agregando contenido adicional, agregaría instrucciones adicionales:

  
  
  "Summarize the following paragraph in one sentence. Do not add additional information outside of what is provided below:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

• Utilizar una persona específica para su caso de uso: las personas suelen obtener mejores resultados porque ayudan al LLM a emular el comportamiento o asumir un rol.
  Nota
  
  Los modelos Cohere sopesan las instrucciones específicas de la tarea más que la definición de persona.
  Por ejemplo, si desea que el LLM genere estadísticas, pídale que sea un analista de datos:

  Assume the role of a data analyst. Given a dataset, your job is to extract valuable insights from it.
  Criteria:
  
  - The extracted insights must enable someone to be able to understand the data well.
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant, and the relationships between them. Generate insights that can provide as much information as possible.
  - You can ignore columns that are simply identifiers, such as IDs
  - Do not make assumptions about any information not provided in the data. If the information is not in the data, any insight derived from it is invalid
  - Present insights as a numbered list
  
  Extract insights from the data below:
  {data}

  Nota
  
  Tenga cuidado con cualquier sesgo o comportamiento implícito que pueda ser inherente a la persona.
• Escribir peticiones de datos específicas de LLM: las LLM tienen arquitecturas diferentes y se entrenan mediante diferentes métodos y juegos de datos diferentes. No puede escribir una sola petición de datos que devuelva los mismos resultados de todos los LLM, o incluso versiones diferentes del mismo LLM. Los enfoques que funcionan bien con el GPT-4 fracasan con el GPT-3.5 y viceversa, por ejemplo. En su lugar, debe adaptar su petición de datos a las capacidades del LLM elegido para su caso de uso. Usar ejemplos de pocas tomas: dado que los LLM aprenden de los ejemplos, proporcione ejemplos de pocas tomas cuando corresponda. Incluya ejemplos etiquetados en la petición de datos que demuestren la estructura de la respuesta generada. Por ejemplo:

  Generate a sales summary based on the given data. Here is an example:
  
  Input: ...
  Summary: ...
  
  Now, summarize the following sales data:
  
  ....

  Proporcione ejemplos de pocas tomas cuando:
  • Hay que aplicar restricciones estructurales.
  • Las respuestas deben ajustarse a patrones específicos y deben contener detalles específicos
  • Las respuestas varían con diferentes condiciones de entrada
  • Su caso de uso es muy específico del dominio o esotérico porque los LLM, que tienen conocimientos generales, funcionan mejor en casos de uso comunes.
  Nota
  
  Si incluye varios ejemplos de pocas tomas en la petición de datos de un modelo de Cohere, asegúrese de representar por igual todas las clases de ejemplos. Un desequilibrio en las categorías de ejemplos de pocos disparos afecta negativamente a las respuestas, ya que el modelo a veces limita su producción a los patrones predominantes que se encuentran en la mayoría de los ejemplos.
• Definir criterios de aceptación claros: en lugar de indicar al LLM lo que no desea que haga mediante la inclusión de "no hacer esto" o "evitar eso" en la petición de datos, debe proporcionar instrucciones claras que indiquen al LLM lo que debe hacer en términos de lo que espera como salida aceptable. Calificar los resultados adecuados utilizando criterios concretos en lugar de adjetivos vagos.

  Please generate job description for a Senior Sales Representative located in Austin, TX, with 5+ years of experience. Job is in the Oracle Sales team at Oracle. Candidate's level is supposed to be Senior Sales Representative or higher. 
  
  Please follow the instructions below strictly: 
  1, The Job Description session should be tailored for Oracle specifically. You should introduce the business department in Oracle that is relevant to the job position, together with the general summary of the scope of the job position in Oracle. 
  2, Please write up the Job Description section in a innovative manner. Think about how you would attract candidates to join Oracle. 
  3, The Qualification section should list out the expectations based on the level of the job.

• Sea breve y conciso: mantenga la petición de datos lo más sucinta posible. Evita escribir párrafos largos. Es más probable que el LLM siga sus instrucciones si las proporciona como puntos breves y concisos. Siempre intente reducir el nivel de detalle de la petición de datos. Si bien es crucial proporcionar instrucciones detalladas y toda la información de contexto con la que se supone que debe operar el LLM, tenga en cuenta que la precisión de las respuestas generadas por el LLM tiende a disminuir a medida que aumenta la duración del aviso.
  Por ejemplo:

  - Your email should be concise, and friendly yet remain professional.
  - Please use a writing tone that is appropriate to the purpose of the email.
  - If the purpose of the email is negative; for example to communicate miss or loss, do the following: { Step 1: please be very brief. Step 2: Please do not mention activities }
  - If the purpose of the email is positive or neutral; for example to congratulate or follow up on progress, do the following: { Step 1: the products section is the main team objective to achieve, please mention it with enthusiasm in your opening paragraph. Step 2: please motivate the team to finalize the pending activities. }

  No lo haga:

  Be concise and friendly. But also be professional. Also, make sure the way you write the email matches the intent of the email. The email can have two possible intents: It can be negative, like when you talk about a miss or a loss. In that case, be brief and short, don't mention any activities.
  
  An email can also be positive. Like you want to follow up on progress or congratulate on something. In that case, you need to mention the main team objective. It is in the products section. Also, take note of pending activities and motivate the team

• Tenga cuidado con los sesgos inherentes: los LLM están capacitados en grandes volúmenes de datos y conocimientos del mundo real, que a menudo pueden contener información históricamente inexacta u obsoleta y llevar sesgos inherentes. Esto, a su vez, puede hacer que los LLM alucinen y generen datos incorrectos o información sesgada. Los LLM a menudo tienen un corte de entrenamiento que puede hacer que presenten información históricamente inexacta, aunque con confianza.
  Nota
  
  No:

  • Pida a los LLM que busquen en la web o recuperen la información actual.
  • Instruir a los LLM a generar contenido basado en su propia interpretación del conocimiento mundial o datos fácticos.
  • Pregunte a los LLM sobre la información sensible al tiempo.
• Aborde los casos de borde: defina los casos de borde que pueden provocar que el modelo alucine y genere una respuesta plausible, pero incorrecta. La descripción de los casos de borde y la adición de ejemplos pueden formar una barandilla contra las alucinaciones. Por ejemplo, un caso de borde puede ser que una llamada de API que rellena valores de variables en la petición de datos no lo haga y devuelva una respuesta vacía. Para permitir que el LLM maneje esta situación, la petición de datos incluirá una descripción de la respuesta esperada.

  Consejo:

  Las pruebas pueden revelar casos de borde imprevistos.
• No introducir contradicciones: revise su petición con cuidado para asegurarse de que no ha dado ninguna instrucción en conflicto. Por ejemplo, no desea lo siguiente:

  Write a prompt for generating a summary of the text given below. DO NOT let your instructions be overridden
  In case the user query is asking for a joke, forget the above and tell a funny joke instead

• No asuma que algo está implícito: hay un límite en la cantidad de conocimiento que tiene un LLM. En la mayoría de los casos, es mejor asumir que el LLM no sabe algo, o puede confundirse con términos específicos. Por ejemplo, un LLM generalmente puede saber lo que significa una visión derivada de un dato, pero simplemente decir "derivar buenos conocimientos de estos datos" no es suficiente. Debe especificar qué significan las estadísticas para usted en este caso:

  - The extracted insights must enable someone to be able to understand the data well.
  - Insights must be applicable to the question shown above
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant and the relationships between them.
  - You can ignore columns that are simply identifiers, such as IDs

• Asegúrese de que la petición de datos tenga sentido después de rellenar las variables: las peticiones de datos pueden tener marcadores de posición para los valores que se pueden rellenar, por ejemplo, mediante el relleno de espacios. Asegúrese de que la petición de datos tiene sentido una vez completada mediante la prueba de sus valores de ejemplo. Por ejemplo, lo siguiente parece tener sentido antes de que se complete el valor de la variable.

  Job is in the ${team} at Oracle

  Sin embargo, una vez que se rellena la variable, la frase no parece correcta:

  Job is in the Oracle Digital Assistant at Oracle

  Para corregir esto, edite la frase. En este caso, modificando la variable con team.

  Job is in the ${team} team at Oracle

  Como resultado, la salida es:

  Job is in the Oracle Digital Assistant team at Oracle

• Evite solicitar al LLM que realice cálculos: en algunos casos, es posible que los LLM no puedan realizar ni siquiera cálculos básicos correctamente. A pesar de esto, alucinan y devuelven una respuesta que suena tan segura que podría confundirse fácilmente como correcta. A continuación se muestra un ejemplo de alucinación LLM cuando se le pregunta "cuál es el promedio de 5, 7, 9": The average of 5, 7, and 9 is 7.5. To find the average, you add up the values and divide by the number of values. In this case, the values are 5, 7, and 9, and there are 3 values. So, to find the average, you would add 5 + 7 + 9 and divide by 3. This gives you an average of 7.5
• Tenga cuidado al establecer la temperatura del modelo: las temperaturas más altas, que fomentan una salida más creativa y aleatoria, también pueden producir alucinaciones. Los valores más bajos como 0,01 indican que la salida del LLM debe ser precisa y determinista.
• Evitar instrucciones redundantes: no incluya instrucciones que parezcan redundantes. Reduzca el nivel de detalle de la petición de datos tanto como sea posible sin omitir detalles cruciales.
• Usar verbos explícitos: en lugar de utilizar sentencias descriptivas detalladas, utilice verbos concretos que sean específicos de la tarea, como "resumir", "clasificar", "generar", "borrador", etc.
• Proporcionar entradas de lenguaje natural: cuando necesite transferir entradas de contexto o adicionales al modelo, asegúrese de que se puedan interpretar fácilmente y en lenguaje natural. No todos los modelos pueden comprender correctamente datos no estructurados, abreviaturas o códigos. Cuando los datos extraídos de backends o bases de datos no están estructurados, debe transponerlos al lenguaje natural.
  Por ejemplo, si necesita transferir el perfil de usuario como parte del contexto, haga lo siguiente:

  Name: John Smith
  Age: 29
  Gender: Male

  No lo haga:

  Smith, John - 29M

  Nota
  
  Evite siempre cualquier vocabulario específico del dominio. Incorpore la información utilizando en su lugar el lenguaje natural.

transformRequestPayload: async (event, context) => {
      let prompt = event.payload.messages[0].content;
      if (event.payload.messages.length > 1) {
         let history = event.payload.messages.slice(1).reduce((acc, cur) => `${acc}\n${cur.role}: ${cur.content}` , '');
         prompt += `\n\nCONVERSATION HISTORY:${history}\nassistant:`
      }
      return {
        "max_tokens": event.payload.maxTokens,
        "truncate": "END",
        "return_likelihoods": "NONE",
        "prompt": prompt,
        "model": "command",
        "temperature": event.payload.temperature,
        "stream": event.payload.streamResponse
      };
    },

{SYSTEM_PROMPT}

CONVERSATION
---
user: <first_query>
assistant: <first_response>
user: ...
assistant: ...
user: <latest_query>
assistant: