Produzione dati
In qualità di singolo sviluppatore, può essere difficile, o addirittura impossibile, creare un set ampio e variegato di espressioni, soprattutto quando è necessario fornire dati di formazione per più intenti o entità ML. Anziché cercare di creare dati di formazione personalizzati, puoi utilizzare Oracle Digital Assistant per eseguire questa attività. Assegnare questo alla folla può essere particolarmente utile quando hai bisogno di espressioni che solo gli esperti dell'applicazione o del dominio possono fornire.
Che cos'è un job di Data Manufacturing?
I job di data manufacturing sono raccolte di task assegnati ai lavoratori di massa. I lavori stessi si concentrano su vari modi per migliorare gli intenti e le entità ML.
Job annotazione
È possibile assegnare un job di annotazione quando si registrano dati che devono essere classificati in un intento o quando un singolo intento è troppo ampio e deve essere suddiviso in intenti separati. È inoltre possibile assegnare crowd worker per annotare le parole chiave e le frasi dai dati di formazione correlati a un'entità ML.
Flusso di lavoro job di Data Manufacturing
Per creare un job di data manufacturing, è innanzitutto necessario creare un job e monitorarne l'avanzamento. Se si desidera accedere ai dati prima che il job sia ufficialmente terminato (ad esempio, che i crowd worker non stiano più lavorando sul job), è possibile annullare il job. Infine, è possibile rivedere i risultati prima di aggiungerli ai dati di formazione accettandoli o escluderli dai dati di formazione rifiutandoli.
Creare il job
- Fare clic su Produzione
nella barra di navigazione a sinistra.
- Nella pagina Job fare clic su Aggiungi job.
- Selezionare il tipo di job (Anfafrasi, Convalida o Annotazione).
- Selezionare la lingua utilizzata dai crowd worker. La lingua predefinita è la lingua predominante dello skill, ma è possibile scegliere tra altre lingue supportate in modo nativo. Non è tuttavia possibile scegliere una lingua abilitata da un servizio di traduzione.
- Fare clic su Avvia. Dopo aver avviato un job, il relativo stato viene indicato come In esecuzione nella pagina Job. Impossibile modificare un job quando è in esecuzione. Se è necessario apportare una modifica, è necessario prima annullare il job, duplicarlo e quindi modificarlo prima di riavviarlo.
- Per inviare il job alla folla, fare clic su Copia collegamento. Quindi incollare il collegamento a un'e-mail che viene trasmessa alla folla.
I lavoratori affollati accettano il lavoro facendo clic su questo collegamento. Dopo che un crowd worker ha accettato il lavoro, esamina le regole generali per i lavori di parafrasi, annotazione o convalida.Nota
I lavoratori della folla forniscono i nomi e gli indirizzi e-mail a scopo di tracciamento. I risultati vengono ordinati in base ai nomi per valutarne l'esito positivo nel completamento dei task.
Monitorare i progressi dei lavoratori della folla
I job terminati o annullati sono disponibili per il download nella pagina Risultati. In genere, è possibile utilizzare questa pagina per accedere e modificare i risultati scaricandoli come file CSV che è possibile modificare in un programma di foglio di calcolo come Excel.
Con l'aumento del numero di job, è possibile filtrarli come Accettati, Rifiutati o Non decisi, ovvero per i job che non sono stati accettati o rifiutati.
Suggerimento
Poiché lo stato Accettato o Rifiutato indica che il lavoro su un lavoro è terminato, è probabile che il filtro venga applicato più spesso da Non deciso.Esamina i risultati
- Fare clic su Visualizza per esaminare i risultati.
Se la maggior parte dei risultati non è corretta, fare clic su Rifiuta. Potresti rifiutare un lavoro mal concepito che confonde o fuorvia i lavoratori della folla, o potresti rifiutare un lavoro perché era un test. Se i risultati sono corretti, è possibile aggiungerli al set di formazione facendo clic su Accetta. Prima di scegliere questa opzione, tenere presente che non è possibile annullare questa operazione, che aggiunge l'intero set di risultati ai dati di addestramento. Poiché è possibile inavvertitamente aggiungere espressioni errate che è possibile rimuovere solo modificando l'intento, si consiglia di scaricare i risultati e modificarli prima di accettarli nel corpus di addestramento.
La modifica dei file CSV scaricati consente di eseguire il cleanup dei risultati. Per i job di parafrasi, la modifica dei risultati prima di eseguirne il commit nel set di addestramento consente di modificare le espressioni o di eliminare quelle errate.Nota
Il contenuto della colonnaresult
dipende dal tipo di job. Per un lavoro di parafrasi, le espressioni del crowd worker popolano questa colonna. Per un job di convalida, è la valutazione da parte del lavoratore dell'espressione rispetto al task (Correct, Incorrect, Not sure) e per un job di annotazione, è l'intento che corrisponde all'espressione.
Per scaricare il job, fare clic su Scaricanella pagina Risultati o nella finestra di dialogo Visualizza risultati. Salvare il job nel sistema locale, quindi aprire il file CSV con un programma foglio di calcolo.
- Al termine delle modifiche, fare clic su Carica nella pagina Risultati.
- Ritirate la vostra abilità.
Job di parafrasi
Raccogliete espressioni dai lavoratori della folla attraverso lavori di parafrasi. I lavoratori che accettano il lavoro di parafrasi producono espressioni valide utilizzando linee guida sotto forma di prompt e suggerimenti forniti. Un prompt cattura l'essenza di ciò che gli utenti si aspettano che l'abilità faccia per loro. Un suggerimento, facoltativo, fornisce al crowd worker ulteriori dettagli, ad esempio la formulazione e i valori di entità. Ad esempio, "Creare una spesa per un commerciante utilizzando un importo in dollari" è un prompt per l'intento Crea nota spese. Il suggerimento di accompagnamento è "Usa il nome del commerciante ACME e un importo in dollari inferiore a $ 50".
- Un prompt non è un'espressione. I discorsi possono soffocare la creatività dei lavoratori della folla a causa della loro specificità. Piuttosto che servire da esempio, incoraggiano invece i lavoratori a produrre semplicemente lievi variazioni. Queste frasi ridondanti aggiungono rumore al tuo corpo di allenamento e non miglioreranno la cognizione della tua abilità.
- Se si dispone di più richieste per un intento, modificarle. Ogni prompt in un lavoro di parafrasi è probabile che venga distribuito a diversi crowd worker. Anche se un crowd worker riceve più di un prompt dallo stesso job di Parafrasi, avere un prompt diverso cambierà la prospettiva del lavoratore.
- Utilizzare i suggerimenti per incoraggiare la variazione. È possibile definire suggerimenti per qualsiasi elemento che si desidera includere le espressioni (o non includere). Poiché si modificano i prompt, è necessario modificare anche i suggerimenti corrispondenti.
Prompt Suggerimento Crea una spesa per il parcheggio aeroportuale Includere il codice aeroportuale (SFO, LAX, ecc.), una data completa (dd/mm/yyyy) e un importo in dollari USA. Crea una spesa per un pasto Includere il nome del ristorante, una data completa (dd/mm/yyyy) e un importo in dollari USA.
Creazione del job di parafrasi
- Se non sono ancora stati creati job, fare clic su Aggiungi job (nella pagina di arrivo, se non sono ancora stati creati job, oppure nella scheda Job, se sono presenti job esistenti).
- Selezionare Parafrasi.
- Immettere un nome job.
- Selezionare la lingua utilizzata dai crowd worker. Per impostazione predefinita, viene visualizzata la lingua predominante dello skill, ma è possibile scegliere tra altre lingue supportate in modo nativo impostate per lo skill.
- Aggiungere i prompt e i suggerimenti (facoltativi) per gli intenti. È possibile creare questi file non in linea in un file CSV con colonne denominate
intentName
,prompt
ehint
e aggiungerli come batch oppure è possibile aggiungerli uno per uno nella finestra di dialogo Nuovo job. È possibile aggiungere queste colonne in qualsiasi ordine nel file CSV.Nota
Se è stata selezionata una lingua diversa dalla lingua predominante della competenza, anche i prompt e i suggerimenti devono essere in tale lingua. - Se i prompt, i suggerimenti e i nomi degli intenti sono stati aggiunti a un file CSV, fare clic su Carica, quindi individuare e selezionare il file. Fare clic su Continua.
- Se necessario, aggiungere ulteriori prompt
, modificare
o eliminare i prompt
, se necessario, oppure modificare il numero di espressioni per prompt. Fare clic su Avvia.
- Per creare manualmente un job di parafrasi, fare clic su Seleziona.
- Fare clic sul campo Intenti per selezionare e intendere dal menu oppure fare clic sull'opzione Seleziona tutti... intenti se si desidera aggiungere prompt all'intero set di intenti.
- Fare clic su Continua.
- Fare clic all'interno del campo Prompt oppure fare clic su Modifica
per immettere il prompt.
- Fare clic nel campo Suggerimento oppure fare clic su Modifica
per immettere il prompt.
- Fare clic su Aggiungi
per creare un altro prompt. Tieni presente che ogni nuovo prompt è potenzialmente un lavoro separato, gestito da un crowd worker diverso.
- Se necessario, eliminare o rivedere i prompt o i suggerimenti.
- Fare clic su Aggiungi
- Selezionare il numero di parafrasi per prompt.
- Al termine, fare clic su Avvia.
Il job Parafrasi viene visualizzato come nuova riga nella pagina Job con il relativo stato indicato come In esecuzione. - Fare clic su Copia collegamento nella riga, quindi incollare il collegamento in un messaggio di posta elettronica trasmesso alla folla. I lavoratori affollati accettano il lavoro facendo clic su questo collegamento. Dopo che un operaio di massa accetta il lavoro, esamina le regole generali per i lavori di parafrasi.NotaI lavoratori poi sottopongono le loro parafrasi.
Le impostazioni nazionali del browser del lavoratore vengono impostate sulla lingua selezionata nella finestra di dialogo Crea job.
È possibile monitorare l'avanzamento dell'esecuzione in tempo reale dalla pagina Job.
Suggerimenti per i lavori di parafrasi
Affinché i risultati di un lavoro di parafrasi migliorino veramente il corpus di allenamento, è importante impostarlo in modo da suscitare frasi diverse e reali per il caso d'uso. Ecco alcuni suggerimenti per rendere i tuoi lavori di parafrasi più efficaci:
- Formulare con attenzione i casi d'uso che è possibile utilizzare come semi per le attività.
- Utilizzando i "casi d'uso dei semi", descrivere scenari concreti per i quali l'utente dovrebbe fornire espressioni invece di chiedere semplicemente variazioni su una frase.
- Fornire più scenari per lo stesso intento.
- Utilizzare il campo Suggerimento per fornire suggerimenti che potrebbero ampliare la prospettiva. Ad esempio, per un intento di spesa, è possibile aggiungere il suggerimento "includere valute diverse come se si stesse viaggiando".
Esaminare il lavoro di parafrasi
Prima di aggiungere le espressioni al tuo set di allenamento, probabilmente vuoi rivederle per semantica, errori ortografici o spam.
- È possibile attendere il completamento di un job oppure, se si ritiene che siano stati apportati tutti i contributi a un job in esecuzione, fare clic su Annulla nella pagina Job.
- Fare clic su Risultati. Nella pagina Risultati vengono visualizzati solo i job annullati o completati.
- Fare clic su Visualizza per una vista di sola lettura delle espressioni. Utilizzando le opzioni disponibili in questa finestra di dialogo, è possibile scaricare il job in formato CSV oppure accettarlo o rifiutarlo nella sua interezza.
Prima di impegnarti a rifiutare o accettare tutti i task di job contemporaneamente (che non possono essere annullati automaticamente), potresti invece voler scaricare il job ed eseguire il cleanup dei risultati prima di aggiungerli al set di formazione. Se si segue questo instradamento, fare clic su Scarica in questa finestra di dialogo o nella pagina Risultati.Suggerimento
Prima di non poter rimuovere facilmente le espressioni dopo averle accettate, potresti voler creare una nuova versione della tua abilità o clonarla come precauzione. - Aprire il file CSV con il programma del foglio di calcolo.
Esaminare le espressioni nella colonna dei risultati in base alle colonne
IntentName
e prompt. Aggiornare le espressioni nella colonna dei risultati, se necessario, oppure eliminare un'intera riga (o righe). Se l'espressione non è più riparabile, è possibile eliminare l'intera riga. Se un crowd worker immette ripetutamente espressioni errate perché non ha compreso i prompt o non ha seguito le linee guida generali per la parafrasi, è possibile ordinare il foglio di lavoro in base alla colonna contributor ed eliminare le righe. Se si elimina una riga, assicurarsi di eliminarla completamente. In caso contrario, non sarà possibile caricare il file.Suggerimento
È sufficiente concentrarsi sulle colonneintentName
,prompt
,result
econtributor
del foglio di calcolo. È possibile ignorare gli altri. - Al termine, fare clic su Carica nella pagina Risultati. Individuare, quindi selezionare, il file CSV. Selezionare Parafrasi intento, immettere un nome, quindi fare clic su Carica.
- Se si desidera aggiungere le espressioni ai dati di formazione di un intento, fare clic su Accetta nella pagina Risultati. Fare clic su Rifiuta se non si desidera aggiungerli al set di formazione. È possibile rifiutare un job se si tratta di un test o se non può essere recuperato a causa di prompt e suggerimenti mal concepiti.
Job annotazione
Ogni volta che si dispone di dati di chat che devono essere mappati a un intento o annotati per le entità ML, è possibile creare un job di annotazione. I lavoratori completano i job di annotazione per gli intenti facendo corrispondere un'espressione a un intento. Per i job di annotazione entità, i lavoratori etichettano il testo nell'espressione per un'entità ML. È possibile creare questi job utilizzando un file CSV con una colonna utterance
, processi di annotazione completati in precedenza o combinando i due approcci. È inoltre possibile creare un job di annotazione dell'intento dalle espressioni raccolte nel Retrainer.
Descrizione dell'annotazione dell'illustrazione - csv.png
Crea job di annotazione intento
- Fare clic su + Nuovo job nella pagina Job.
- Selezionare Annotazione dell'intento.
- Immettere un nome.
- Immettere la lingua utilizzata dai crowd worker.
- Caricare il file, fare clic su Continua, annotare il numero di elementi per il job, quindi fare clic su Avvia.
- Fare clic su Copia collegamento, quindi incollare il collegamento in un messaggio di posta elettronica trasmesso ai crowd worker. I lavoratori accettano il lavoro facendo clic su questo collegamento. Dopo aver effettuato l'accesso, i crowd worker esaminano le regole di base su come classificare le espressioni.
L'apprendimento attivo aiuta i lavoratori a uscire classificando tutti gli intenti dell'abilità in base alla loro probabilità di corrispondere all'espressione. L'intento che ha il più alto potenziale per abbinare l'espressione è il primo. Allo stesso modo, le espressioni che sono attualmente nel corpus, che i lavoratori della folla usano come guida, sono anche classificate in base alla loro probabilità di corrispondere all'espressione.
Nella pagina Job è possibile monitorare lo stato di avanzamento.
Esamina mansione annotazione
- Al termine del job o dopo aver fatto clic su Annulla perché si ritiene che il job sia il più completo possibile, fare clic su Visualizza.
- Se non si è d'accordo con alcune decisioni del crowd worker, fare clic su Scarica per scaricare un file CSV dei risultati nel sistema locale.
- Nel file CSV, immettere il nome dell'intento previsto nella colonna
intentName
. - Eseguire l'override dell'intento scelto dal crowd worker nella colonna
result
immettendo il nome della conversazione per l'intento immesso nella colonnaintentName
. - Al termine della revisione, fare clic su Carica nella pagina Risultati. Selezionare quindi il file, immettere un nome, quindi fare clic su Carica.
NotaI risultati verranno uniti nel job corrente.
Non è possibile rimuovere una voce dai risultati. I risultati conservano tutte le voci, anche se si elimina una riga dal file CSV prima di eseguire il caricamento. Se si desidera rimuovere voci errate (perché non si desidera rifiutare l'intero job), è necessario creare un set separato di risultati che non appartengono ad alcun job rimuovendo i contenuti dalle colonnejobId
eId
prima di caricare il file. - Ritirate l'abilità.
Nota
Ai dati di formazione vengono aggiunte solo le espressioni che corrispondono a un intento. Sono esclusi quelli classificati come Nessuno di questi intenti o Non sono sicuro.
Creare il job di annotazione entità
Lo skill richiede almeno un'entità ML per questo job. Impossibile creare un job di annotazione entità con entità non ML.
- Fare clic su + Nuovo job nella pagina Job.
- Selezionare Annotazione entità.
- Immettere un nome.
- Immettere la lingua utilizzata dai crowd worker.
- Selezionare l'entità ML (o le entità ML) tra cui selezioneranno i crowd worker. Idealmente, queste entità avranno nomi utili e descrizioni sintetiche.
- Se si tratta del primo job di annotazione entità, individuare e selezionare un file CSV. È possibile fornire ai lavoratori espressioni annotate o non concluse, a seconda del formato di questo file:
- Per le espressioni non concluse, caricare un file CSV che organizzi le espressioni semplici sotto una singola colonna,
utterance
:utterance I want to order a family size pepperoni pizza with thin crust and mozzarella cheese I want to order a large supreme pizza with regular crust and provolone cheese I want to order a medium size meat-lover pizza with gluten-free crust and goat cheese
- Per le espressioni annotate, caricare un file CSV con una singola colonna,
annotation
, con ogni espressione rappresentata come oggetto JSON. Le proprietàbeginOffset
eendOffset
rappresentano l'inizio e la fine del testo con etichetta per l'entità ML. Crea entità ML descrive le altre proprietà di questo oggetto.
I lavoratori della folla esamineranno le etichette esistenti definite da questi offset e le modificheranno quando non sono corrette.annotation "[ { ""Utterance"":{ ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"", ""languageTag"":""en"", ""entities"":[ { ""entityValue"":""family"", ""entityName"":""MLPizzaCrust"", ""beginOffset"":18, ""endOffset"":24 }, { ""entityValue"":""mozzarella"", ""entityName"":""MLCheeseType"", ""beginOffset"":66, ""endOffset"":76 }, { ""entityValue"":""pepperoni"", ""entityName"":""MLPizzaType"", ""beginOffset"":30, ""endOffset"":39 } ] } } ]" "[ { ""Utterance"":{ ""utterance"":""I want to order a large supreme pizza with regular crust and provolone cheese"", ""languageTag"":""en"", ""entities"":[ { ""entityValue"":""supreme"", ""entityName"":""MLPizzaType"", ""beginOffset"":24, ""endOffset"":31 }, { ""entityValue"":""provolone"", ""entityName"":""MLCheeseType"", ""beginOffset"":61, ""endOffset"":70 }, { ""entityValue"":""regular"", ""entityName"":""MLPizzaCrust"", ""beginOffset"":43, ""endOffset"":50 }, { ""entityValue"":""large"", ""entityName"":""MLPizzaSize"", ""beginOffset"":18, ""endOffset"":23 } ] } } ]"
- Per le espressioni non concluse, caricare un file CSV che organizzi le espressioni semplici sotto una singola colonna,
- Fare clic su Continua, verificare il numero di record, quindi su Avvia.
- Copiare, quindi incollare il collegamento in un'e-mail trasmessa ai crowd worker. I lavoratori accettano il lavoro facendo clic su questo collegamento. Prima di iniziare ad etichettare le espressioni con le annotazioni, esaminano le regole di base su come etichettare il contenuto con le annotazioni. Se l'espressione include testo che corrisponde a una delle entità ML elencate nella pagina, un crowd worker evidenzia il testo applicabile e applica l'etichetta Entità ML. Se l'espressione è già annotata, i lavoratori possono rivedere le etichette e modificarle quando necessario.
- Al termine del job, ovvero perché i lavoratori hanno completato le annotazioni o perché è stato annullato, è possibile visualizzare i risultati e accettarli nel corpus di formazione dell'entità ML.
Prima di aggiungere i risultati, tuttavia, è possibile che i crowd worker li verifichino avviando un job di convalida entità. Solo i risultati corretti di un job di convalida vengono aggiunti al corpus. Se necessario, è possibile apportare ulteriori correzioni e aggiunte ai risultati del job nella scheda Data set dell'entità ML.
Job di convalida
Per i job di convalida, i crowd worker esaminano i risultati dei job di Parafrase, di Annotazione entità o di Job di convalida degli intenti generati dal Retrainer. Per convalidare un job di parafrasi, vengono confrontate le espressioni (i risultati di un job di parafrasi o da ) con un task, il prompt del job di parafrasi. Per i job di annotazione entità, esaminano le espressioni per assicurarsi che sia stata identificata l'entità ML corretta e che il testo sia stato etichettato completamente.
Crea un job di convalida parafrasi intento
- Fare clic su Aggiungi job nella pagina Job.
- Selezionare Convalida parafrasi intento.
- Immettere un nome.
- Immettere la lingua utilizzata dai crowd worker.
- Aggiungere job di parafrasi non ancora accettati (ovvero i job completati o annullati). È possibile caricare un file CSV dal sistema locale, selezionare uno o più job di parafrasi o creare un job da entrambi.
- Fare clic su Continua, verificare il numero di record, quindi su Avvia.
- Dopo aver aggiunto la riga del job di convalida alla pagina Job (potrebbe essere necessario fare clic su Aggiorna), fare clic su Copia collegamento.
- Incollare il collegamento in un'e-mail trasmessa ai lavoratori della folla. Dopo che i lavoratori della folla hanno accettato il lavoro, esaminano le regole di base per valutare le espressioni.
Poi valutano un'espressione.
È possibile monitorare l'avanzamento del lavoratore dalla pagina Mansioni.
Esamina un job di convalida
Dopo che i lavoratori hanno completato il processo di convalida (o se si annulla il processo perché è abbastanza vicino al completamento), è possibile visualizzarlo, accettarlo o rifiutarlo nella sua interezza. Anche se i job di convalida possono contenere migliaia di risultati (che è il motivo per cui li invii alla folla), potresti comunque volerli rivedere singolarmente. Ad esempio, è possibile visualizzare le risposte nella finestra di dialogo Visualizza risultati con cui non si è d'accordo. Sarà necessario modificarli o rimuoverli prima di eseguire il commit dei risultati nei dati di formazione.
Descrizione della convalida della revisione dell'immagine: job.png
- Scaricare il job in formato CSV dalla finestra di dialogo Visualizza risultati oppure fare clic su Scarica nella pagina Risultati.
- Aprire il file CSV in un programma foglio di calcolo.
- Confrontare le voci nelle colonne
IntentName
e prompt, quindi modificare la voce dei risultati quando necessario. È possibile modificare solo questa colonna o rimuovere un'intera riga.
In generale, è sufficiente concentrarsi su queste tre colonne. Detto questo, è possibile ordinare in base alla colonna contributore per isolare il lavoro di un particolare crowd worker. Se le decisioni di questo lavoratore sono costantemente inaffidabili, è possibile eliminare tutte le righe per questo collaboratore.Nota
Se si elimina una riga, assicurarsi di eliminarla completamente. Impossibile caricare un file CSV con una riga parziale. - Al termine, fare clic su Carica nella pagina Risultati. Individuare, quindi selezionare, il file CSV. Selezionare Convalida, immettere un nome, quindi fare clic su Carica.
- Fare clic su Accetta o su Rifiuta. Se si accetta il lavoro, al set di addestramento vengono aggiunte solo le espressioni "corrette". Questa operazione non può essere annullata. È solo possibile rimuovere manualmente queste espressioni.
- Ritirate l'abilità.
Crea un job di convalida annotazione entità
- Fare clic su Nuovo job nella pagina Job.
- Selezionare Convalida entità.
- Immettere un nome.
- Immettere la lingua utilizzata dai crowd worker.
- È possibile caricare un file CSV dal sistema locale, selezionare uno o più job di annotazione entità completati (che includono i job completati dai lavoratori o annullati) oppure combinarli per creare un singolo job. Il file CSV ha lo stesso formato utilizzato per aggiungere espressioni annotate a un job di annotazione entità: contiene la singola colonna
annotation
e gli oggetti JSON per le espressioni:annotation "[ { ""Utterance"":{ ""utterance"":""I want to order a family size pepperoni pizza with thin crust and mozzarella cheese"", ""languageTag"":""en"", ""entities"":[ { ""entityValue"":""family"", ""entityName"":""MLPizzaCrust"", ""beginOffset"":18, ""endOffset"":24 }, { ""entityValue"":""mozzarella"", ""entityName"":""MLCheeseType"", ""beginOffset"":66, ""endOffset"":76 }, { ""entityValue"":""pepperoni"", ""entityName"":""MLPizzaType"", ""beginOffset"":30, ""endOffset"":39 } ] } } ]" ...
- Fare clic su Continue, verificare il numero di record, quindi fare clic su Launch.
- Incollare il collegamento in un'e-mail trasmessa ai lavoratori della folla.
Dopo che i crowd worker hanno accettato la mansione, rivedono le regole di base per la valutazione delle annotazioni. Da lì, esaminano le annotazioni classificandole come corrette, errate o non sicure.
È possibile monitorare l'avanzamento del lavoratore dalla pagina Mansioni. Al termine del job, è possibile rivedere i risultati prima di accettarli o rifiutarli.
Facendo clic su Accetta, si aggiungono i risultati corretti al set di formazione dell'entità ML. Se necessario, è possibile modificarli ulteriormente nella scheda Set di dati.
Crea suite di test
- Selezionare il report nella pagina Risultati, quindi fare clic su
- selezionare Suite di test.
- Completare la finestra di dialogo fornendo il nome e la suite di test e selezionando la lingua in cui verranno testate le espressioni. Fare quindi clic su Crea.
- Aprire il tester Utterance per eseguire la suite di test.