Produzione dati

In qualità di singolo sviluppatore, può essere difficile, o addirittura impossibile, creare un set ampio e variegato di espressioni, soprattutto quando è necessario fornire dati di formazione per più intenti o entità ML. Anziché cercare di creare dati di formazione personalizzati, puoi utilizzare Oracle Digital Assistant per eseguire questa attività. Assegnare questo alla folla può essere particolarmente utile quando hai bisogno di espressioni che solo gli esperti dell'applicazione o del dominio possono fornire.

Che cos'è un job di Data Manufacturing?

I job di data manufacturing sono raccolte di task assegnati ai lavoratori di massa. I lavori stessi si concentrano su vari modi per migliorare gli intenti e le entità ML.

Job annotazione

È possibile assegnare un job di annotazione quando si registrano dati che devono essere classificati in un intento o quando un singolo intento è troppo ampio e deve essere suddiviso in intenti separati. È inoltre possibile assegnare crowd worker per annotare le parole chiave e le frasi dai dati di formazione correlati a un'entità ML.

Job di convalida

Per i job di convalida, i crowd worker esaminano le espressioni per verificare se si adattano al task o all'azione descritta dall'intento o se è stata identificata l'entità ML corretta. Solo le espressioni giudicate valide dai crowd worker vengono aggiunte ai dati di formazione.

Job di parafrasi

Il lavoro di parafrasi è il modo in cui raccogli le espressioni dalla folla. Questo incarico descrive come dovrebbero creare le loro espressioni.

Flusso di lavoro job di Data Manufacturing

Per creare un job di data manufacturing, è innanzitutto necessario creare un job e monitorarne l'avanzamento. Se si desidera accedere ai dati prima che il job sia ufficialmente terminato (ad esempio, che i crowd worker non stiano più lavorando sul job), è possibile annullare il job. Infine, è possibile rivedere i risultati prima di aggiungerli ai dati di formazione accettandoli o escluderli dai dati di formazione rifiutandoli.

Creare il job

Fare clic su Produzione nella barra di navigazione a sinistra.
Nella pagina Job fare clic su Aggiungi job.

Descrizione dell'immagine create-job-landing-page.png
Selezionare il tipo di job (Anfafrasi, Convalida o Annotazione).

Descrizione dell'immagine new-job-dialog.png
Selezionare la lingua utilizzata dai crowd worker. La lingua predefinita è la lingua predominante dello skill, ma è possibile scegliere tra altre lingue supportate in modo nativo. Non è tuttavia possibile scegliere una lingua abilitata da un servizio di traduzione.
Fare clic su Avvia. Dopo aver avviato un job, il relativo stato viene indicato come In esecuzione nella pagina Job. Impossibile modificare un job quando è in esecuzione. Se è necessario apportare una modifica, è necessario prima annullare il job, duplicarlo e quindi modificarlo prima di riavviarlo.
Per inviare il job alla folla, fare clic su Copia collegamento. Quindi incollare il collegamento a un'e-mail che viene trasmessa alla folla.

Descrizione dell'immagine jobs-copy-link.png

I lavoratori affollati accettano il lavoro facendo clic su questo collegamento. Dopo che un crowd worker ha accettato il lavoro, esamina le regole generali per i lavori di parafrasi, annotazione o convalida.
Nota

I lavoratori della folla forniscono i nomi e gli indirizzi e-mail a scopo di tracciamento. I risultati vengono ordinati in base ai nomi per valutarne l'esito positivo nel completamento dei task.

Monitorare i progressi dei lavoratori della folla

È possibile monitorare l'avanzamento dei crowd worker per il job in esecuzione nella pagina Job, ma non è possibile accedere o visualizzare i risultati quando lo stato di un job è In esecuzione. È possibile accedere ai risultati solo dopo che i lavoratori hanno completato la mansione oppure se si è annullata una mansione perché si ritiene che sia il più completa possibile. In questo caso, fare clic su Annulla. I risultati del job conterranno tutti i record completati fino al momento dell'annullamento.

Descrizione dell'immagine jobs-cancel.png

I job terminati o annullati sono disponibili per il download nella pagina Risultati. In genere, è possibile utilizzare questa pagina per accedere e modificare i risultati scaricandoli come file CSV che è possibile modificare in un programma di foglio di calcolo come Excel.

Descrizione dell'immagine job-results.png

Con l'aumento del numero di job, è possibile filtrarli come Accettati, Rifiutati o Non decisi, ovvero per i job che non sono stati accettati o rifiutati.

Di seguito la descrizione dei risultati del filtro page.png

Descrizione dell'immagine filter-results-page.png

Suggerimento

Poiché lo stato Accettato o Rifiutato indica che il lavoro su un lavoro è terminato, è probabile che il filtro venga applicato più spesso da Non deciso.

Esamina i risultati

Fare clic su Visualizza per esaminare i risultati.

Descrizione dell'immagine view-job-results.png

Se la maggior parte dei risultati non è corretta, fare clic su Rifiuta. Potresti rifiutare un lavoro mal concepito che confonde o fuorvia i lavoratori della folla, o potresti rifiutare un lavoro perché era un test. Se i risultati sono corretti, è possibile aggiungerli al set di formazione facendo clic su Accetta. Prima di scegliere questa opzione, tenere presente che non è possibile annullare questa operazione, che aggiunge l'intero set di risultati ai dati di addestramento. Poiché è possibile inavvertitamente aggiungere espressioni errate che è possibile rimuovere solo modificando l'intento, si consiglia di scaricare i risultati e modificarli prima di accettarli nel corpus di addestramento.

Descrizione dell'immagine intent-page-edit-results.png

La modifica dei file CSV scaricati consente di eseguire il cleanup dei risultati. Per i job di parafrasi, la modifica dei risultati prima di eseguirne il commit nel set di addestramento consente di modificare le espressioni o di eliminare quelle errate.
Nota

Il contenuto della colonna result dipende dal tipo di job. Per un lavoro di parafrasi, le espressioni del crowd worker popolano questa colonna. Per un job di convalida, è la valutazione da parte del lavoratore dell'espressione rispetto al task (Correct, Incorrect, Not sure) e per un job di annotazione, è l'intento che corrisponde all'espressione.

Descrizione dell'immagine scaricata-paraphrasing-results-csv.png

Per scaricare il job, fare clic su Scarica nella pagina Risultati o nella finestra di dialogo Visualizza risultati. Salvare il job nel sistema locale, quindi aprire il file CSV con un programma foglio di calcolo.
Al termine delle modifiche, fare clic su Carica nella pagina Risultati.

Descrizione dell'immagine upload-results.png
Ritirate la vostra abilità.

Job di parafrasi

Raccogliete espressioni dai lavoratori della folla attraverso lavori di parafrasi. I lavoratori che accettano il lavoro di parafrasi producono espressioni valide utilizzando linee guida sotto forma di prompt e suggerimenti forniti. Un prompt cattura l'essenza di ciò che gli utenti si aspettano che l'abilità faccia per loro. Un suggerimento, facoltativo, fornisce al crowd worker ulteriori dettagli, ad esempio la formulazione e i valori di entità. Ad esempio, "Creare una spesa per un commerciante utilizzando un importo in dollari" è un prompt per l'intento Crea nota spese. Il suggerimento di accompagnamento è "Usa il nome del commerciante ACME e un importo in dollari inferiore a $ 50".

Raccogliere una raccolta di espressioni linguisticamente diverse, ma semanticamente corrette, inizia con il design del prompt e il suggerimento. Durante la composizione delle richieste tenere presente quanto riportato di seguito.

Un prompt non è un'espressione. I discorsi possono soffocare la creatività dei lavoratori della folla a causa della loro specificità. Piuttosto che servire da esempio, incoraggiano invece i lavoratori a produrre semplicemente lievi variazioni. Queste frasi ridondanti aggiungono rumore al tuo corpo di allenamento e non miglioreranno la cognizione della tua abilità.
Se si dispone di più richieste per un intento, modificarle. Ogni prompt in un lavoro di parafrasi è probabile che venga distribuito a diversi crowd worker. Anche se un crowd worker riceve più di un prompt dallo stesso job di Parafrasi, avere un prompt diverso cambierà la prospettiva del lavoratore.

Utilizzare i suggerimenti per incoraggiare la variazione. È possibile definire suggerimenti per qualsiasi elemento che si desidera includere le espressioni (o non includere). Poiché si modificano i prompt, è necessario modificare anche i suggerimenti corrispondenti.

Prompt	Suggerimento
Crea una spesa per il parcheggio aeroportuale	Includere il codice aeroportuale (SFO, LAX, ecc.), una data completa (dd/mm/yyyy) e un importo in dollari USA.
Crea una spesa per un pasto	Includere il nome del ristorante, una data completa (dd/mm/yyyy) e un importo in dollari USA.

Creazione del job di parafrasi

È possibile creare un'analisi da un file CSV contenente i nomi degli intenti e i relativi prompt e suggerimenti corrispondenti oppure aggiungendo singoli prompt e suggerimenti per un intento selezionato. È possibile utilizzare uno dei due metodi, ma non è possibile combinarli.

Se non sono ancora stati creati job, fare clic su Aggiungi job (nella pagina di arrivo, se non sono ancora stati creati job, oppure nella scheda Job, se sono presenti job esistenti).
Selezionare Parafrasi.
Immettere un nome job.
Selezionare la lingua utilizzata dai crowd worker. Per impostazione predefinita, viene visualizzata la lingua predominante dello skill, ma è possibile scegliere tra altre lingue supportate in modo nativo impostate per lo skill.
Aggiungere i prompt e i suggerimenti (facoltativi) per gli intenti. È possibile creare questi file non in linea in un file CSV con colonne denominate intentName, prompt e hint e aggiungerli come batch oppure è possibile aggiungerli uno per uno nella finestra di dialogo Nuovo job. È possibile aggiungere queste colonne in qualsiasi ordine nel file CSV.

Descrizione dell'immagine promts-csv.png

Nota

Se è stata selezionata una lingua diversa dalla lingua predominante della competenza, anche i prompt e i suggerimenti devono essere in tale lingua.
Se i prompt, i suggerimenti e i nomi degli intenti sono stati aggiunti a un file CSV, fare clic su Carica, quindi individuare e selezionare il file. Fare clic su Continua.
Se necessario, aggiungere ulteriori prompt , modificare o eliminare i prompt , se necessario, oppure modificare il numero di espressioni per prompt. Fare clic su Avvia.

Descrizione dell'immagine edit-prompts-hints-upload.png
Per creare manualmente un job di parafrasi, fare clic su Seleziona.
Fare clic sul campo Intenti per selezionare e intendere dal menu oppure fare clic sull'opzione Seleziona tutti... intenti se si desidera aggiungere prompt all'intero set di intenti.

Descrizione dell'immagine new-job-paraphrasing.png
Fare clic su Continua.
Fare clic all'interno del campo Prompt oppure fare clic su Modifica per immettere il prompt.
Fare clic nel campo Suggerimento oppure fare clic su Modifica per immettere il prompt.
- Fare clic su Aggiungi per creare un altro prompt. Tieni presente che ogni nuovo prompt è potenzialmente un lavoro separato, gestito da un crowd worker diverso.
- Se necessario, eliminare o rivedere i prompt o i suggerimenti.
Selezionare il numero di parafrasi per prompt.
Al termine, fare clic su Avvia.

Descrizione dell'immagine edit-promts-hints.png

Il job Parafrasi viene visualizzato come nuova riga nella pagina Job con il relativo stato indicato come In esecuzione.
Fare clic su Copia collegamento nella riga, quindi incollare il collegamento in un messaggio di posta elettronica trasmesso alla folla. I lavoratori affollati accettano il lavoro facendo clic su questo collegamento. Dopo che un operaio di massa accetta il lavoro, esamina le regole generali per i lavori di parafrasi.

Descrizione dell'immagine paraphrasing-help-page.png

Nota

Le impostazioni nazionali del browser del lavoratore vengono impostate sulla lingua selezionata nella finestra di dialogo Crea job.
I lavoratori poi sottopongono le loro parafrasi.

Descrizione dell'immagine worker-paraphrasing-page.png

È possibile monitorare l'avanzamento dell'esecuzione in tempo reale dalla pagina Job.

Descrizione dell'immagine paraphrasing-jobs-page.png

Suggerimenti per i lavori di parafrasi

Affinché i risultati di un lavoro di parafrasi migliorino veramente il corpus di allenamento, è importante impostarlo in modo da suscitare frasi diverse e reali per il caso d'uso. Ecco alcuni suggerimenti per rendere i tuoi lavori di parafrasi più efficaci:

Formulare con attenzione i casi d'uso che è possibile utilizzare come semi per le attività.
Utilizzando i "casi d'uso dei semi", descrivere scenari concreti per i quali l'utente dovrebbe fornire espressioni invece di chiedere semplicemente variazioni su una frase.
Fornire più scenari per lo stesso intento.
Utilizzare il campo Suggerimento per fornire suggerimenti che potrebbero ampliare la prospettiva. Ad esempio, per un intento di spesa, è possibile aggiungere il suggerimento "includere valute diverse come se si stesse viaggiando".

Esaminare il lavoro di parafrasi

Prima di aggiungere le espressioni al tuo set di allenamento, probabilmente vuoi rivederle per semantica, errori ortografici o spam.

Per rivedere il lavoro Parafrasi:

È possibile attendere il completamento di un job oppure, se si ritiene che siano stati apportati tutti i contributi a un job in esecuzione, fare clic su Annulla nella pagina Job.
Fare clic su Risultati. Nella pagina Risultati vengono visualizzati solo i job annullati o completati.

Descrizione dell'immagine paraphrase-job-results-page.png
Fare clic su Visualizza per una vista di sola lettura delle espressioni. Utilizzando le opzioni disponibili in questa finestra di dialogo, è possibile scaricare il job in formato CSV oppure accettarlo o rifiutarlo nella sua interezza.

Descrizione dell'immagine review-results-paraphrasing-job-dialog.png

Prima di impegnarti a rifiutare o accettare tutti i task di job contemporaneamente (che non possono essere annullati automaticamente), potresti invece voler scaricare il job ed eseguire il cleanup dei risultati prima di aggiungerli al set di formazione. Se si segue questo instradamento, fare clic su Scarica in questa finestra di dialogo o nella pagina Risultati.

Suggerimento
Prima di non poter rimuovere facilmente le espressioni dopo averle accettate, potresti voler creare una nuova versione della tua abilità o clonarla come precauzione.
Aprire il file CSV con il programma del foglio di calcolo.
Esaminare le espressioni nella colonna dei risultati in base alle colonne IntentName e prompt. Aggiornare le espressioni nella colonna dei risultati, se necessario, oppure eliminare un'intera riga (o righe). Se l'espressione non è più riparabile, è possibile eliminare l'intera riga. Se un crowd worker immette ripetutamente espressioni errate perché non ha compreso i prompt o non ha seguito le linee guida generali per la parafrasi, è possibile ordinare il foglio di lavoro in base alla colonna contributor ed eliminare le righe. Se si elimina una riga, assicurarsi di eliminarla completamente. In caso contrario, non sarà possibile caricare il file.

Suggerimento
È sufficiente concentrarsi sulle colonne intentName, prompt, result e contributor del foglio di calcolo. È possibile ignorare gli altri.

Descrizione dell'immagine review-paraphasing-results-csv.png
Al termine, fare clic su Carica nella pagina Risultati. Individuare, quindi selezionare, il file CSV. Selezionare Parafrasi intento, immettere un nome, quindi fare clic su Carica.

Descrizione dell'immagine upload-paraphrase-results.png
Se si desidera aggiungere le espressioni ai dati di formazione di un intento, fare clic su Accetta nella pagina Risultati. Fare clic su Rifiuta se non si desidera aggiungerli al set di formazione. È possibile rifiutare un job se si tratta di un test o se non può essere recuperato a causa di prompt e suggerimenti mal concepiti.

Descrizione dell'immagine accept-paraphrase-job-results.png

Job annotazione

Ogni volta che si dispone di dati di chat che devono essere mappati a un intento o annotati per le entità ML, è possibile creare un job di annotazione. I lavoratori completano i job di annotazione per gli intenti facendo corrispondere un'espressione a un intento. Per i job di annotazione entità, i lavoratori etichettano il testo nell'espressione per un'entità ML. È possibile creare questi job utilizzando un file CSV con una colonna utterance, processi di annotazione completati in precedenza o combinando i due approcci. È inoltre possibile creare un job di annotazione dell'intento dalle espressioni raccolte nel Retrainer.
Segue la descrizione dell'annotazione-csv.png
Descrizione dell'annotazione dell'illustrazione - csv.png

Crea job di annotazione intento

Fare clic su + Nuovo job nella pagina Job.
Selezionare Annotazione dell'intento.
Immettere un nome.
Immettere la lingua utilizzata dai crowd worker.
Caricare il file, fare clic su Continua, annotare il numero di elementi per il job, quindi fare clic su Avvia.
Fare clic su Copia collegamento, quindi incollare il collegamento in un messaggio di posta elettronica trasmesso ai crowd worker. I lavoratori accettano il lavoro facendo clic su questo collegamento. Dopo aver effettuato l'accesso, i crowd worker esaminano le regole di base su come classificare le espressioni.

Descrizione dell'immagine con annotazione-help.png

L'apprendimento attivo aiuta i lavoratori a uscire classificando tutti gli intenti dell'abilità in base alla loro probabilità di corrispondere all'espressione. L'intento che ha il più alto potenziale per abbinare l'espressione è il primo. Allo stesso modo, le espressioni che sono attualmente nel corpus, che i lavoratori della folla usano come guida, sono anche classificate in base alla loro probabilità di corrispondere all'espressione.

Descrizione dell'immagine worker-annotation-page.png

Nella pagina Job è possibile monitorare lo stato di avanzamento.

Esamina mansione annotazione

Al termine del job o dopo aver fatto clic su Annulla perché si ritiene che il job sia il più completo possibile, fare clic su Visualizza.

Descrizione dell'immagine review-annotation-job.png
Se non si è d'accordo con alcune decisioni del crowd worker, fare clic su Scarica per scaricare un file CSV dei risultati nel sistema locale.
Nel file CSV, immettere il nome dell'intento previsto nella colonna intentName.
Eseguire l'override dell'intento scelto dal crowd worker nella colonna result immettendo il nome della conversazione per l'intento immesso nella colonna intentName.
Al termine della revisione, fare clic su Carica nella pagina Risultati. Selezionare quindi il file, immettere un nome, quindi fare clic su Carica.
Nota

Non è possibile rimuovere una voce dai risultati. I risultati conservano tutte le voci, anche se si elimina una riga dal file CSV prima di eseguire il caricamento. Se si desidera rimuovere voci errate (perché non si desidera rifiutare l'intero job), è necessario creare un set separato di risultati che non appartengono ad alcun job rimuovendo i contenuti dalle colonne jobId e Id prima di caricare il file.
I risultati verranno uniti nel job corrente.
Ritirate l'abilità.
Nota

Ai dati di formazione vengono aggiunte solo le espressioni che corrispondono a un intento. Sono esclusi quelli classificati come Nessuno di questi intenti o Non sono sicuro.

Creare il job di annotazione entità

Lo skill richiede almeno un'entità ML per questo job. Impossibile creare un job di annotazione entità con entità non ML.

Fare clic su + Nuovo job nella pagina Job.
Selezionare Annotazione entità.
Immettere un nome.
Immettere la lingua utilizzata dai crowd worker.
Selezionare l'entità ML (o le entità ML) tra cui selezioneranno i crowd worker. Idealmente, queste entità avranno nomi utili e descrizioni sintetiche.

Se si tratta del primo job di annotazione entità, individuare e selezionare un file CSV. È possibile fornire ai lavoratori espressioni annotate o non concluse, a seconda del formato di questo file:

Per le espressioni non concluse, caricare un file CSV che organizzi le espressioni semplici sotto una singola colonna, utterance:

utterance
I want to order a family size pepperoni pizza with thin crust and mozzarella cheese
I want to order a large supreme pizza with regular crust and provolone cheese
I want to order a medium size meat-lover pizza with gluten-free crust and goat cheese

Per le espressioni annotate, caricare un file CSV con una singola colonna, annotation, con ogni espressione rappresentata come oggetto JSON. Le proprietà beginOffset e endOffset rappresentano l'inizio e la fine del testo con etichetta per l'entità ML. Crea entità ML descrive le altre proprietà di questo oggetto.

annotation
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""family"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":18,
               ""endOffset"":24
            },
            {
               ""entityValue"":""mozzarella"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":66,
               ""endOffset"":76
            },
            {
               ""entityValue"":""pepperoni"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":30,
               ""endOffset"":39
            }
         ]
      }
   }
]"
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a large supreme pizza with regular crust and provolone cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""supreme"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":24,
               ""endOffset"":31
            },
            {
               ""entityValue"":""provolone"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":61,
               ""endOffset"":70
            },
            {
               ""entityValue"":""regular"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":43,
               ""endOffset"":50
            },
            {
               ""entityValue"":""large"",
               ""entityName"":""MLPizzaSize"",
               ""beginOffset"":18,
               ""endOffset"":23
            }
         ]
      }
   }
]"

I lavoratori della folla esamineranno le etichette esistenti definite da questi offset e le modificheranno quando non sono corrette.

È possibile combinare i job di annotazione completati in precedenza in un singolo job, nonché combinare i file CSV con i job di annotazione completati. Se si aggiunge un job precedente, alcune espressioni verranno già annotate.

Descrizione di create-entity-annotation-job-dialog.png

Descrizione dell'immagine create-entity-annotation-job-dialog.png

Fare clic su Continua, verificare il numero di record, quindi su Avvia.
Copiare, quindi incollare il collegamento in un'e-mail trasmessa ai crowd worker. I lavoratori accettano il lavoro facendo clic su questo collegamento. Prima di iniziare ad etichettare le espressioni con le annotazioni, esaminano le regole di base su come etichettare il contenuto con le annotazioni. Se l'espressione include testo che corrisponde a una delle entità ML elencate nella pagina, un crowd worker evidenzia il testo applicabile e applica l'etichetta Entità ML. Se l'espressione è già annotata, i lavoratori possono rivedere le etichette e modificarle quando necessario.

Descrizione dell'immagine entity-annotation-worker-page.png
Al termine del job, ovvero perché i lavoratori hanno completato le annotazioni o perché è stato annullato, è possibile visualizzare i risultati e accettarli nel corpus di formazione dell'entità ML.

Descrizione dell'immagine view-entity-annotation-results.png

Prima di aggiungere i risultati, tuttavia, è possibile che i crowd worker li verifichino avviando un job di convalida entità. Solo i risultati corretti di un job di convalida vengono aggiunti al corpus. Se necessario, è possibile apportare ulteriori correzioni e aggiunte ai risultati del job nella scheda Data set dell'entità ML.

Job di convalida

Per i job di convalida, i crowd worker esaminano i risultati dei job di Parafrase, di Annotazione entità o di Job di convalida degli intenti generati dal Retrainer. Per convalidare un job di parafrasi, vengono confrontate le espressioni (i risultati di un job di parafrasi o da ) con un task, il prompt del job di parafrasi. Per i job di annotazione entità, esaminano le espressioni per assicurarsi che sia stata identificata l'entità ML corretta e che il testo sia stato etichettato completamente.

Crea un job di convalida parafrasi intento

Fare clic su Aggiungi job nella pagina Job.
Selezionare Convalida parafrasi intento.
Immettere un nome.
Immettere la lingua utilizzata dai crowd worker.
Aggiungere job di parafrasi non ancora accettati (ovvero i job completati o annullati). È possibile caricare un file CSV dal sistema locale, selezionare uno o più job di parafrasi o creare un job da entrambi.
Fare clic su Continua, verificare il numero di record, quindi su Avvia.

Descrizione dell'immagine new-validation-job.png
Dopo aver aggiunto la riga del job di convalida alla pagina Job (potrebbe essere necessario fare clic su Aggiorna), fare clic su Copia collegamento.

Descrizione dell'immagine running-validation-job.png
Incollare il collegamento in un'e-mail trasmessa ai lavoratori della folla. Dopo che i lavoratori della folla hanno accettato il lavoro, esaminano le regole di base per valutare le espressioni.

Descrizione dell'immagine Validation-help.png

Poi valutano un'espressione.

Descrizione dell'immagine worker-validation-page.png

È possibile monitorare l'avanzamento del lavoratore dalla pagina Mansioni.

Esamina un job di convalida

Dopo che i lavoratori hanno completato il processo di convalida (o se si annulla il processo perché è abbastanza vicino al completamento), è possibile visualizzarlo, accettarlo o rifiutarlo nella sua interezza. Anche se i job di convalida possono contenere migliaia di risultati (che è il motivo per cui li invii alla folla), potresti comunque volerli rivedere singolarmente. Ad esempio, è possibile visualizzare le risposte nella finestra di dialogo Visualizza risultati con cui non si è d'accordo. Sarà necessario modificarli o rimuoverli prima di eseguire il commit dei risultati nei dati di formazione.

Descrizione della convalida della revisione dell'immagine: job.png

Per modificare i risultati uno per uno:

Scaricare il job in formato CSV dalla finestra di dialogo Visualizza risultati oppure fare clic su Scarica nella pagina Risultati.
Aprire il file CSV in un programma foglio di calcolo.
Confrontare le voci nelle colonne IntentName e prompt, quindi modificare la voce dei risultati quando necessario. È possibile modificare solo questa colonna o rimuovere un'intera riga.

Descrizione dell'immagine review-validation-results-csv.png

In generale, è sufficiente concentrarsi su queste tre colonne. Detto questo, è possibile ordinare in base alla colonna contributore per isolare il lavoro di un particolare crowd worker. Se le decisioni di questo lavoratore sono costantemente inaffidabili, è possibile eliminare tutte le righe per questo collaboratore.
Nota

Se si elimina una riga, assicurarsi di eliminarla completamente. Impossibile caricare un file CSV con una riga parziale.
Al termine, fare clic su Carica nella pagina Risultati. Individuare, quindi selezionare, il file CSV. Selezionare Convalida, immettere un nome, quindi fare clic su Carica.
Fare clic su Accetta o su Rifiuta. Se si accetta il lavoro, al set di addestramento vengono aggiunte solo le espressioni "corrette". Questa operazione non può essere annullata. È solo possibile rimuovere manualmente queste espressioni.
Ritirate l'abilità.

Crea un job di convalida annotazione entità

Fare clic su Nuovo job nella pagina Job.
Selezionare Convalida entità.
Immettere un nome.
Immettere la lingua utilizzata dai crowd worker.

È possibile caricare un file CSV dal sistema locale, selezionare uno o più job di annotazione entità completati (che includono i job completati dai lavoratori o annullati) oppure combinarli per creare un singolo job. Il file CSV ha lo stesso formato utilizzato per aggiungere espressioni annotate a un job di annotazione entità: contiene la singola colonna annotation e gli oggetti JSON per le espressioni:

annotation
"[
   {
      ""Utterance"":{
         ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"",
         ""languageTag"":""en"",
         ""entities"":[
            {
               ""entityValue"":""family"",
               ""entityName"":""MLPizzaCrust"",
               ""beginOffset"":18,
               ""endOffset"":24
            },
            {
               ""entityValue"":""mozzarella"",
               ""entityName"":""MLCheeseType"",
               ""beginOffset"":66,
               ""endOffset"":76
            },
            {
               ""entityValue"":""pepperoni"",
               ""entityName"":""MLPizzaType"",
               ""beginOffset"":30,
               ""endOffset"":39
            }
         ]
      }
   }
]"
...

Fare clic su Continue, verificare il numero di record, quindi fare clic su Launch.

Descrizione dell'immagine entity-validation-job-dialog.png
Incollare il collegamento in un'e-mail trasmessa ai lavoratori della folla.

Descrizione dell'immagine entity-validation-help-page.png

Dopo che i crowd worker hanno accettato la mansione, rivedono le regole di base per la valutazione delle annotazioni. Da lì, esaminano le annotazioni classificandole come corrette, errate o non sicure.

Descrizione dell'immagine entity-validation-worker-page.png

È possibile monitorare l'avanzamento del lavoratore dalla pagina Mansioni. Al termine del job, è possibile rivedere i risultati prima di accettarli o rifiutarli.

Descrizione dell'immagine view-entity-validation-results.png

Facendo clic su Accetta, si aggiungono i risultati corretti al set di formazione dell'entità ML. Se necessario, è possibile modificarli ulteriormente nella scheda Set di dati.

Descrizione dell'illustrazione utteranaces-added-ml.png

Crea suite di test

È possibile creare casi di test dai risultati dei job Annotazione intento e Convalida intento.

Selezionare il report nella pagina Risultati, quindi fare clic su
selezionare Suite di test.
Completare la finestra di dialogo fornendo il nome e la suite di test e selezionando la lingua in cui verranno testate le espressioni. Fare quindi clic su Crea.
Aprire il tester Utterance per eseguire la suite di test.

Documentazione di Oracle Cloud Infrastructure

Produzione dati

Che cos'è un job di Data Manufacturing?

Job annotazione

Job di convalida

Job di parafrasi

Flusso di lavoro job di Data Manufacturing

Creare il job

Monitorare i progressi dei lavoratori della folla

Esamina i risultati

Job di parafrasi

Creazione del job di parafrasi

Suggerimenti per i lavori di parafrasi

Esaminare il lavoro di parafrasi

Job annotazione

Crea job di annotazione intento

Esamina mansione annotazione

Creare il job di annotazione entità

Job di convalida

Crea un job di convalida parafrasi intento

Esamina un job di convalida

Crea un job di convalida annotazione entità

Crea suite di test