Monitoramento de ML
Saiba mais sobre Monitoramento de ML no Data Science.
O Data Science ML Monitoring permite que você:
- Ler dados do Object Storage usando os leitores de dados incorporados.
- Estenda a biblioteca para criar um leitor de dados.
- Transforme dados usando Recursos Condicionais para adicionar mais profundidade aos dados.
Se você não quiser adicionar uma extensão de código, use a oferta gerenciada de serviço do contêiner do Aplicativo de Monitoramento de ML em execução em um Job de ML. Caso contrário, estenda o código do SDK da Biblioteca ML Insights para adicionar um leitor personalizado, métricas ou um pós-processador.
Insights de ML
Use o ML Insights para avaliar rapidamente os dados para decidir sobre os casos de uso do ML Monitoring. Você pode configurar um processo de monitoramento de longa execução para avaliar continuamente modelos e dados.
As métricas configuráveis para monitoramento incluem:
- Integridade de Dados
- Qualidade ou Resumo de Dados
- Detecção de Desvio de Recurso e Previsão
- Desempenho do Modelo para modelos de classificação e regressão
- Métricas personalizadas
- Recursos condicionais e transformadores
- Leitores de dados
- Pós-processamento
- Testes e Suítes de Testes
Aplicativo de Monitoramento de ML
O Aplicativo de Monitoramento de ML é um contêiner gerenciado pelo serviço que executa a biblioteca ML Insights dentro de um Job de ML. Forneça a configuração de monitoramento como uma configuração única e execute-a muitas vezes usando a Execução de Job de ML. As execuções também podem ser agendadas.
- É integrado ao ML Jobs.
- Ele usa um arquivo de configuração do ML Insights como entrada.
- Ele pode ser executado como uma linha de base (usando dados dourados ou de treinamento), como uma previsão (usando dados implantados ou de inferência) ou como uma validação.
- (Opcional) Ele pode operar em dados para um intervalo de datas especificado.
- Ele gera perfis contendo métricas dos dados.