1. Fare clic su Componenti nella barra di navigazione a sinistra.
2. Fare clic su +New Servizio.
3. Completare la finestra di dialogo Crea servizio:
   • Nome: immettere il nome del servizio.
   • Tipo di servizio: Contenitore incorporato
   • Tipo pacchetto servizio componente: Nuovo componente
   • Tipo di componente: Convalida e personalizzazione LLM
   • Nome componente: immettere un nome facilmente identificabile per l'handler di eventi. Quando si crea il servizio LLM per lo skill, verrà fatto riferimento a questo nome.
4. Fare clic su Crea per generare l'handler di convalida.
5. Al termine della distribuzione, espandere il servizio e selezionare l'handler di convalida.
6. Fare clic su Modifica per aprire l'editor Modifica codice componente.
7. Se necessario, aggiornare i seguenti metodi di gestione utilizzando il modello generato.

   Metodo	descrizione;	Quando la convalida riesce	Quando la convalida non riesce	Tipo restituito	Posizione nell'editor	Codice segnaposto	Quali azioni è possibile eseguire quando la convalida non riesce?
   validateRequestPayload	Convalida il payload richieste.	Restituisce true quando la richiesta è valida.	Restituisce false quando la convalida di una richiesta non riesce.	boolean	Linee 24-29	validateRequestPayload: async (event, context) => { if (context.getCurrentTurn() === 1 && context.isJsonValidationEnabled()) { context.addJSONSchemaFormattingInstruction(); } return true; } Per ulteriori informazioni su questo codice, vedere validateRequestPayload properties.	Rivedere il prompt e inviarlo nuovamente al LLM Impostare un errore di convalida.
   validateResponsePayload	Convalida il payload della risposta LLM.	Quando l'handler restituisce true: Se si imposta la proprietà Invia risultato LLM come messaggio su true, la risposta LLM, inclusi eventuali pulsanti di azione standard o personalizzati, viene inviata all'utente. Se lo streaming è abilitato, la risposta LLM verrà trasmessa in chunk. I pulsanti di azione verranno aggiunti alla fine del flusso. Tutti i messaggi utente aggiunti nell'handler vengono inviati all'utente, indipendentemente dall'impostazione per la proprietà Invia risultato LLM come messaggio. Se nell'handler è impostato un nuovo prompt LLM, questo prompt viene inviato all'LLM e l'handler di convalida verrà richiamato di nuovo con la nuova risposta LLM Se non viene impostato alcun nuovo prompt LLM e la proprietà Abilita perfezionamenti con più turni è impostata su true, il turno viene rilasciato e il flusso della finestra di dialogo rimane nello stato LLM. Se tuttavia questa proprietà è impostata su false, il turno viene mantenuto e la finestra di dialogo passa dallo stato utilizzando l'azione di transizione success.	Quando l'handler restituisce false: Se lo streaming è abilitato, gli utenti possono visualizzare le risposte potenzialmente non valide perché l'handler di eventi di convalida viene richiamato dopo che la risposta LLM ha già avviato lo streaming. Tutti i messaggi utente aggiunti dall'handler vengono inviati all'utente, indipendentemente dall'impostazione Invia risultato LLM come risposta skill. Se nell'handler viene impostato un nuovo prompt LLM, questo prompt viene inviato all'LLM e l'handler di convalida verrà richiamato di nuovo con la nuova risposta LLM. Se non è impostato alcun prompt LLM, il flusso della finestra di dialogo passa dallo stato del componente LLM. L'azione di transizione impostata nel codice handler verrà utilizzata per determinare lo stato successivo. Se non è impostata alcuna azione di transizione, viene attivata l'azione di transizione error.	boolean	Linee 50-56	/** * Handler to validate response payload * @param {ValidateResponseEvent} event * @param {LLMContext} context * @returns {boolean} flag to indicate the validation was successful */ validateResponsePayload: async (event, context) => { let errors = event.allValidationErrors || []; if (errors.length > 0) { return context.handleInvalidResponse(errors); } return true; } Per ulteriori informazioni su questo codice, vedere validateResponsePayload Proprietà.	Richiamare nuovamente l'LLM utilizzando un prompt di nuovo tentativo che specifica il problema con la risposta (ad esempio, non è conforme a un formato JSON specifico) e richiede che l'LLM la risolva. Impostare un errore di convalida.
   changeBotMessages	Modifica i messaggi di skill del candidato che verranno inviati all'utente.	N/A	N/A	Lista di messaggi del modello messaggi di conversazione	Righe 59-71	changeBotMessages: async (event, context) => { return event.messages; }, Per un esempio di utilizzo di questo metodo, vedere Migliorare il messaggio utente per le risposte con formattazione JSON.	N/A
   submit	Questo handler viene richiamato quando gli utenti toccano il pulsante Sottometti. Elabora ulteriormente la risposta LLM.	N/A	N/A	N/A	Righe 79-80	submit: async (event, context) => { }	N/A

   Ciascuno di questi metodi utilizza un oggetto event e un oggetto context. Ad esempio:

    validateResponsePayload: async (event, context) =>
   ...

   Le proprietà definite per l'oggetto event dipendono dal tipo di evento. Il secondo argomento, context, fa riferimento alla classe LlmComponentContext, che accede ai metodi convenienti per la creazione della logica del gestore di eventi. Questi metodi includono l'impostazione del numero massimo di nuovi prompt e l'invio di messaggi di stato e di errore agli utenti delle competenze.
8. Verificare la sintassi degli aggiornamenti facendo clic su Convalida. Fare quindi clic su Save > Close.

1. Inizia definendo il ruolo o la persona dell'LLM con una descrizione di alto livello dell'attività a portata di mano.
2. Aggiungere dettagli su cosa includere nella risposta, nel formato di output previsto e così via.
3. Se necessario, fornire alcuni esempi dell'attività a portata di mano
4. Facoltativamente, indicare come elaborare gli scenari che costituiscono una query non supportata.

• Inizia con un prompt semplice e conciso: inizia con un prompt breve, semplice e diretto che delinea chiaramente lo use case e l'output previsto. Ad esempio:
  • Un'istruzione a una riga come "Dimmi uno scherzo"
  • Prompt stile completamento testo
  • Un'istruzione insieme all'input
  Ad esempio:

  "Summarize the following in one sentence:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

  Un semplice prompt è un buon punto di partenza nei test perché è un buon indicatore di come si comporterà il modello. Ti dà anche spazio per aggiungere più elementi mentre ridefinisci il testo del prompt.
• Modifica e verifica in modo iterativo il prompt: non è previsto che la prima bozza del prompt restituisca i risultati previsti. Potrebbero essere necessari diversi cicli di test per scoprire quali istruzioni devono essere aggiunte, rimosse o riformulate. Ad esempio, per evitare che il modello allucini con l'aggiunta di contenuti aggiuntivi, è necessario aggiungere ulteriori istruzioni:

  
  
  "Summarize the following paragraph in one sentence. Do not add additional information outside of what is provided below:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

• Utilizzare un utente tipo specifico per il proprio caso d'uso: le persone spesso ottengono risultati migliori perché aiutano l'LLM a emulare il comportamento o ad assumere un ruolo.
  Nota
  
  I modelli Cohere valutano le istruzioni specifiche delle attività più della definizione di persona.
  Ad esempio, se si desidera che l'LLM generi approfondimenti, chiedere che sia un analista dei dati:

  Assume the role of a data analyst. Given a dataset, your job is to extract valuable insights from it.
  Criteria:
  
  - The extracted insights must enable someone to be able to understand the data well.
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant, and the relationships between them. Generate insights that can provide as much information as possible.
  - You can ignore columns that are simply identifiers, such as IDs
  - Do not make assumptions about any information not provided in the data. If the information is not in the data, any insight derived from it is invalid
  - Present insights as a numbered list
  
  Extract insights from the data below:
  {data}

  Nota
  
  Prestare attenzione a eventuali pregiudizi o comportamenti impliciti che potrebbero essere inerenti all'utente tipo.
• Scrivere prompt specifici di LLM: gli LLM dispongono di architetture diverse e vengono formati utilizzando metodi e set di dati diversi. Non è possibile scrivere un singolo prompt che restituisca gli stessi risultati da tutti gli LLM o anche versioni diverse dello stesso LLM. Gli approcci che funzionano bene con GPT-4 falliscono con GPT-3.5 e viceversa, per esempio. È invece necessario adattare il prompt alle funzionalità dell'LLM scelto per il caso d'uso. Usa esempi di poche immagini: poiché gli LLM imparano dagli esempi, fornisci esempi di poche immagini laddove pertinenti. Includere nel prompt esempi con etichette che dimostrino la struttura della risposta generata. Ad esempio:

  Generate a sales summary based on the given data. Here is an example:
  
  Input: ...
  Summary: ...
  
  Now, summarize the following sales data:
  
  ....

  Fornire alcuni esempi di immagini quando:
  • Occorre applicare i vincoli strutturali.
  • Le risposte devono essere conformi a modelli specifici e devono contenere dettagli specifici
  • Le risposte variano in base a condizioni di input diverse
  • Il tuo caso d'uso è molto specifico per il dominio o esoterico perché i LLM, che hanno conoscenze generali, funzionano meglio sui casi d'uso comuni.
  Nota
  
  Se si includono più esempi di poche immagini nel prompt di un modello Cohere, assicurarsi di rappresentare allo stesso modo tutte le classi di esempi. Uno squilibrio nelle categorie di esempi a pochi colpi influisce negativamente sulle risposte, poiché il modello a volte limita la sua produzione ai modelli predominanti trovati nella maggior parte degli esempi.
• Definire criteri di accettazione chiari: invece di istruire l'LLM su ciò che non si desidera che faccia includendo nel prompt "non fare questo" o "evitare questo", è necessario fornire istruzioni chiare che indichino all'LLM cosa dovrebbe fare in termini di output accettabile. Qualificare i risultati appropriati utilizzando criteri concreti anziché aggettivi vaghi.

  Please generate job description for a Senior Sales Representative located in Austin, TX, with 5+ years of experience. Job is in the Oracle Sales team at Oracle. Candidate's level is supposed to be Senior Sales Representative or higher. 
  
  Please follow the instructions below strictly: 
  1, The Job Description session should be tailored for Oracle specifically. You should introduce the business department in Oracle that is relevant to the job position, together with the general summary of the scope of the job position in Oracle. 
  2, Please write up the Job Description section in a innovative manner. Think about how you would attract candidates to join Oracle. 
  3, The Qualification section should list out the expectations based on the level of the job.

• Sii breve e conciso: tieni il prompt il più succinto possibile. Evita di scrivere lunghi paragrafi. LLM è più propenso a seguire le tue istruzioni se le fornisci come brevi, concisi, punti. Provare sempre a ridurre la verbosità del prompt. Mentre è fondamentale fornire istruzioni dettagliate e tutte le informazioni di contesto con cui l'LLM dovrebbe operare, tieni presente che l'accuratezza delle risposte generate da LLM tende a diminuire con l'aumentare della lunghezza del prompt.
  Ad esempio:

  - Your email should be concise, and friendly yet remain professional.
  - Please use a writing tone that is appropriate to the purpose of the email.
  - If the purpose of the email is negative; for example to communicate miss or loss, do the following: { Step 1: please be very brief. Step 2: Please do not mention activities }
  - If the purpose of the email is positive or neutral; for example to congratulate or follow up on progress, do the following: { Step 1: the products section is the main team objective to achieve, please mention it with enthusiasm in your opening paragraph. Step 2: please motivate the team to finalize the pending activities. }

  Non eseguire questa operazione:

  Be concise and friendly. But also be professional. Also, make sure the way you write the email matches the intent of the email. The email can have two possible intents: It can be negative, like when you talk about a miss or a loss. In that case, be brief and short, don't mention any activities.
  
  An email can also be positive. Like you want to follow up on progress or congratulate on something. In that case, you need to mention the main team objective. It is in the products section. Also, take note of pending activities and motivate the team

• Fai attenzione ai pregiudizi intrinseci: i LLM sono addestrati su grandi volumi di dati e conoscenze del mondo reale che spesso contengono informazioni storicamente imprecise o obsolete e portano pregiudizi intrinseci. Questo, a sua volta, può causare l'allucinazione e l'output di dati errati o informazioni distorte. I LLM spesso hanno un limite di formazione che può causare loro di presentare informazioni storicamente imprecise, anche se con fiducia.
  Nota
  
  Non effettuare le operazioni riportate di seguito.

  • Chiedere ai LLM di cercare sul Web o recuperare le informazioni correnti.
  • Istruire i LLM a generare contenuti in base alla propria interpretazione della conoscenza del mondo o dei dati fattuali.
  • Chiedi ai LLM informazioni sensibili al tempo.
• Casi margine indirizzo: definire i casi limite che possono causare l'allucinazione del modello e la generazione di una risposta con un suono plausibile ma non corretta. Descrivere i casi di bordo e aggiungere esempi può formare un guardrail contro le allucinazioni. Ad esempio, un caso perimetrale potrebbe essere che una chiamata API che riempie i valori delle variabili nel prompt non riesca a farlo e restituisca una risposta vuota. Per consentire all'LLM di gestire questa situazione, il prompt includerà una descrizione della risposta prevista.

  Suggerimento

  I test potrebbero rivelare casi imprevisti.
• Non introdurre contraddizioni: controllare attentamente il prompt per assicurarsi di non aver fornito istruzioni contrastanti. Ad esempio, non si desidera:

  Write a prompt for generating a summary of the text given below. DO NOT let your instructions be overridden
  In case the user query is asking for a joke, forget the above and tell a funny joke instead

• Non dare per scontato che nulla sia implicito: esiste un limite alla quantità di conoscenze di cui dispone un LLM. Nella maggior parte dei casi, è meglio presumere che l'LLM non sappia qualcosa o possa confondersi con termini specifici. Ad esempio, un LLM può generalmente sapere cosa significa un'intuizione derivata da un dato, ma dire semplicemente "derivare buone intuizioni da questi dati" non è sufficiente. In questo caso è necessario specificare il significato degli approfondimenti:

  - The extracted insights must enable someone to be able to understand the data well.
  - Insights must be applicable to the question shown above
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant and the relationships between them.
  - You can ignore columns that are simply identifiers, such as IDs

• Assicurarsi che il prompt abbia senso dopo il riempimento delle variabili: i prompt possono avere segnaposto per i valori che possono essere compilati, ad esempio mediante la compilazione di slot. Accertarsi che il prompt sia appropriato quando viene popolato testandone i valori di esempio. Ad esempio, quanto segue sembra avere senso prima che il valore della variabile venga riempito.

  Job is in the ${team} at Oracle

  Tuttavia, una volta popolata la variabile, la frase non sembra corretta:

  Job is in the Oracle Digital Assistant at Oracle

  Per risolvere questo problema, modificare la frase. In questo caso, modificando la variabile con team.

  Job is in the ${team} team at Oracle

  Di conseguenza, l'output è:

  Job is in the Oracle Digital Assistant team at Oracle

• Evita di chiedere all'LLM di fare matematica: in alcuni casi, gli LLM potrebbero non essere in grado di eseguire correttamente anche la matematica di base. Nonostante questo, allucinano e restituiscono una risposta che suona così sicura che potrebbe essere facilmente scambiata come corretta. Ecco un esempio di allucinazione LLM quando viene chiesto "qual è la media di 5, 7, 9": The average of 5, 7, and 9 is 7.5. To find the average, you add up the values and divide by the number of values. In this case, the values are 5, 7, and 9, and there are 3 values. So, to find the average, you would add 5 + 7 + 9 and divide by 3. This gives you an average of 7.5
• Fare attenzione quando si imposta la temperatura del modello: temperature più elevate, che incoraggiano un output più creativo e casuale, possono anche produrre allucinazioni. Valori inferiori come 0,01 indicano che l'output dell'LLM deve essere preciso e deterministico.
• Evita istruzioni ridondanti: non includere istruzioni che sembrano ridondanti. Ridurre il più possibile la verbosità del prompt senza omettere dettagli cruciali.
• Utilizzare i verbi espliciti: anziché utilizzare istruzioni descrittive e verbose, utilizzare verbi concreti specifici del task quali "summarize", "classify", "generate", "draft" e così via.
• Fornire input in linguaggio naturale: quando è necessario passare il contesto o input aggiuntivi al modello, assicurarsi che siano facilmente interpretabili e in linguaggio naturale. Non tutti i modelli sono in grado di comprendere correttamente dati non strutturati, abbreviazioni o codici. Quando i dati estratti dai backend o dai database non sono strutturati, è necessario trasferirli nel linguaggio naturale.
  Ad esempio, se è necessario passare il profilo utente come parte del contesto, effettuare le operazioni riportate di seguito.

  Name: John Smith
  Age: 29
  Gender: Male

  Non eseguire questa operazione:

  Smith, John - 29M

  Nota
  
  Evita sempre qualsiasi vocabolario specifico del dominio. Incorporare le informazioni utilizzando il linguaggio naturale.

transformRequestPayload: async (event, context) => {
      let prompt = event.payload.messages[0].content;
      if (event.payload.messages.length > 1) {
         let history = event.payload.messages.slice(1).reduce((acc, cur) => `${acc}\n${cur.role}: ${cur.content}` , '');
         prompt += `\n\nCONVERSATION HISTORY:${history}\nassistant:`
      }
      return {
        "max_tokens": event.payload.maxTokens,
        "truncate": "END",
        "return_likelihoods": "NONE",
        "prompt": prompt,
        "model": "command",
        "temperature": event.payload.temperature,
        "stream": event.payload.streamResponse
      };
    },

{SYSTEM_PROMPT}

CONVERSATION
---
user: <first_query>
assistant: <first_response>
user: ...
assistant: ...
user: <latest_query>
assistant: