Experiências (visualização)

Este capítulo fornece informações sobre como criar, gerenciar e desenvolver experimentos no seu espaço de trabalho.

Experimentos no Oracle AI Data Platform Workbench fornecem meios para cientistas de dados, engenheiros de machine learning e gerentes colaborarem no desenvolvimento de modelos. O AI Data Platform Workbench permite:

  • Rastreie experimentos para construir melhores modelos por meio de análise de desempenho, colaboração, análise de condições experimentais (hiperparâmetros, conjunto de dados de entrada, engenharia de recursos etc.)
  • Assegurar que experimentos antigos não sejam repetidos com as mesmas condições experimentais
  • Reexecutar experimentos antigos com diferentes condições experimentais para prováveis ganhos de desempenho
  • Reprodutibilidade de experimentos anteriores
  • Facilite o novo treinamento com conjuntos de dados mais recentes quando houver necessidade de degradações de desempenho ou novo treinamento
  • Carregue um modelo do Registro de Modelo no notebook e compare o desempenho do modelo com o novo modelo que está sendo desenvolvido

Observação:

Se você ainda não usou Experimentos ou Modelos no AI Data Platform Workbench, reinicie o cluster de computação associado ou crie um novo para usar com Experimentos e Modelos.

Limitações

No momento, as experiências não são suportadas por clusters de computação baseados em ARM. Certifique-se de que o cluster de computação anexado seja baseado em Intel ou AMD.

Create an Experiment (Visualizar)

Você pode criar experimentos diretamente na página Experimentos do Oracle AI Data Platform.

  1. Na home page, clique em Experiments.
  2. Clique em Criar.
  3. Forneça um nome e descrição para sua experiência.
  4. Opcional: Forneça metadados adicionais na forma de tags definidas ou de formato livre. Clique em Adicionar para criar tags adicionais.
  5. Clique em Criar.

Edit an Experiment (Visualizar)

Modifique os detalhes dos experimentos no espaço de trabalho do Oracle AI Data Platform Workbench.

  1. Na home page, clique em Experiments.
  2. Ao lado do experimento que deseja editar, clique em Editar.
  3. Modifique os detalhes do seu experimento.
  4. Clique em Salvar alterações.

Exibir Detalhes da Execução da Experiência (Visualização)

Você pode ver um histórico de execuções de experimentos anteriores, compará-las e ver os detalhes de execuções específicas para experimentos no espaço de trabalho do Oracle AI Data Platform Workbench.

  1. Na home page, clique em Experiments.
  2. Clique no nome do experimento cujos detalhes da execução você deseja exibir.
  3. Use as listas suspensas e a barra de pesquisa para filtrar as execuções de experimentos exibidas.
  4. Clique em Listar ou Comparar para alterar as execuções do experimento.
    • Lista exibe execuções de experimentos com base em seus filtros em linhas ordenadas com métricas sobre a execução de experimentos mostrada em cada coluna. Você pode classificar por métrica clicando no cabeçalho da coluna.
    • Comparar exibe comparações de gráficos de barras de métricas-chave para cada experimento executado atualmente exibido por seus filtros.
  5. Clique no nome de uma execução de experimento para exibir os detalhes dessa execução de experimento.

Criar uma Execução de Experiência em um Notebook com Código de Amostra (Visualização)

Você pode criar execuções para um experimento em um notebook modificando o código de amostra com detalhes do experimento existente.

  1. Navegue até o notebook no qual deseja criar uma execução para um experimento.
  2. Clique na guia Experimentos.
  3. Clique em Código de amostra.
  4. No bloco de código de amostra, substitua experiment name="Customer Churn Prediction" por experiment name="<your_experiment_name>". Você também pode copiar este código e modificá-lo com o nome do experimento:
    import mlflow 
experiment_name = "experiment name" #Replace this with your own experiment name 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  5. Os registros automáticos registram automaticamente um conjunto padrão de métricas, dependendo do modelo selecionado. Para especificar manualmente suas próprias métricas, você pode modificar esse código para chamar mlflow.log_metric(“<metric_name>”,<metric_variable>):
    import mlflow 
import numpy as np 
from sklearn.tree import DecisionTreeRegressor 
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score 

experiment_name = "Customer Churn Prediction" 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    model = DecisionTreeRegressor(random_state=42, max_depth=5) 
    model.fit(X_train, y_train) 

    preds = model.predict(X_test) 

    mse = mean_squared_error(y_test, preds) 
    rmse = float(np.sqrt(mse)) 

    mlflow.log_metric("test_rmse", rmse) 
    mlflow.log_metric("test_mae", float(mean_absolute_error(y_test, preds))) 
    mlflow.log_metric("test_r2", float(r2_score(y_test, preds))) 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  6. Execute o bloco de código do seu notebook. A execução agora está registrada para o experimento especificado.

    Observação:

    Várias execuções para um experimento são registradas automaticamente com nomes diferentes. Para cenários de varredura de parâmetros, o AI Data Platform Workbench captura automaticamente todas as execuções e métricas especificadas com nomes diferentes para o experimento especificado.

Registrar um Modelo nos Detalhes da Execução da Experiência (Visualizar)

Você pode registrar um modelo no espaço de trabalho do Oracle AI Data Platform Workbench em uma execução de experimento específica clicando nos detalhes dessa execução de experimento.

  1. Na home page, clique em Experiments.
  2. Clique no nome do experimento cujos detalhes da execução você deseja exibir.
  3. Clique no nome da execução do experimento da qual você deseja registrar um modelo.
  4. Clique em Registrar.
  5. Forneça um nome e descrição para o seu modelo.
  6. Escolha o local no catálogo mestre para criar o modelo.
  7. Na lista drop-down Modelos, selecione o modelo apropriado.
  8. Opcional: Forneça metadados adicionais na forma de tags definidas ou de formato livre. Clique em Adicionar para criar tags adicionais.
  9. Opcional: Forneça informações adicionais na forma de campos personalizados, como tipo de modelo ou casos de uso. Clique em Adicionar para criar campos personalizados adicionais.
  10. Clique em Registrar.

Excluir experiência (visualização)

Modifique os detalhes dos experimentos no espaço de trabalho do Oracle AI Data Platform Workbench.

Observação:

Não é possível excluir um experimento se houver um modelo registrado baseado em uma execução desse experimento.
  1. Na home page, clique em Experiments.
  2. Ao lado do experimento que você deseja excluir, clique em Excluir.
  3. Clique em Excluir.