Distribuzioni di modelli

Dopo aver creato una nuova distribuzione o aggiornato un impiego esistente, è possibile che venga visualizzato un errore. Di seguito viene descritto come eseguire il debug del problema.

1. Nella home page del progetto, selezionare Distribuzioni modello.
2. Selezionare il nome della distribuzione del modello oppure selezionare il menu Azioni (tre punti) per la distribuzione del modello e selezionare Visualizza dettagli. Successivamente, controllare le richieste di lavoro
3. In Risorse, selezionare Richiesta di lavoro.

   Le richieste di lavoro vengono visualizzate nella parte inferiore della pagina.

4. Nella pagina Informazioni richieste di lavoro, selezionare Messaggi di log.
5. Se si verificano errori nei passi di creazione, in Risorse selezionare Messaggi di errore.
6. Se la richiesta di lavoro mostra il successo, rivedere i log delle previsioni OCI per identificare eventuali errori.

   I log vengono collegati alla distribuzione del modello al momento della creazione.

7. Se i log sono collegati, selezionare il nome del log delle previsioni per visualizzare il log.
8. Selezionare Esplora con ricerca log.
9. Modificare l'ora del filtro per aumentare il periodo.

Assicurarsi che il percorso dell'ambiente Conda sia valido e che il criterio appropriato sia stato configurato per un ambiente Conda pubblicato. Il percorso dell'ambiente Conda deve rimanere valido e accessibile durante tutto il ciclo di vita della distribuzione del modello per garantire la disponibilità e il corretto funzionamento del modello distribuito.

Abilitare i log di previsione della distribuzione modello per facilitare il debug degli errori. In genere, ciò si verifica quando il codice presenta problemi o mancano le dipendenze richieste.

Quando una distribuzione modello si trova in un lifecycleState attivo, è possibile richiamare l'endpoint di previsione o streaming. La risposta alla previsione può restituire un errore per molti motivi. Utilizzare questi suggerimenti per provare a risolvere questi errori:

1. Assicurarsi che l'input passato nella richiesta sia in un formato JSON valido e corrisponda all'input previsto dal modello.

2. Esaminare i log di accesso allegati per individuare eventuali errori.

3. Accertarsi che l'utente disponga dei diritti di accesso corretti.

4. Assicurarsi che il file score.py non contenga errori.

5. Se le previsioni restituiscono risultati diversi (success, fail) ogni volta che la previsione viene richiamata per lo stesso input, è possibile che le risorse allocate non siano sufficienti per gestire la previsione del modello. Puoi modificare la larghezza di banda del load balancer per aumentarla e il conteggio delle memorie centrali di computazione per soddisfare un maggior numero di richieste in parallelo.

Se si riceve questo errore durante la chiamata dell'endpoint di inferenza, significa che le richieste vengono limitate.

La soluzione dipende dal tipo di errore: