Experimentos (vista previa)

En este capítulo se proporciona información sobre la creación, la gestión y el desarrollo de experimentos en el espacio de trabajo.

Los experimentos en Oracle AI Data Platform Workbench proporcionan medios para que los científicos de datos, los ingenieros de aprendizaje automático y los gerentes colaboren en el desarrollo de modelos. AI Data Platform Workbench le permite:

  • Realice un seguimiento de los experimentos para crear los mejores modelos mediante análisis de rendimiento, colaboración, análisis de condiciones experimentales (hiperparámetros, conjunto de datos de entrada, ingeniería de funciones, etc.).
  • Asegúrese de que los experimentos antiguos no se repitan con las mismas condiciones experimentales
  • Volver a ejecutar experimentos antiguos con diferentes condiciones experimentales para obtener ganancias de rendimiento probables
  • Reproducibilidad de experimentos anteriores
  • Facilite el reentrenamiento con conjuntos de datos más recientes cuando se garantice una degradación del rendimiento o un reentrenamiento
  • Cargar un modelo del registro de modelos en un bloc de notas y comparar el rendimiento del modelo con un nuevo modelo que se está desarrollando

Note:

Si no ha utilizado previamente Experiments o Models en su AI Data Platform Workbench, debe reiniciar el cluster de recursos informáticos asociado o crear uno nuevo para utilizarlo con Experiments y Models.

Limitaciones

Actualmente, los clusters de recursos informáticos basados en ARM no admiten experimentos. Asegúrese de que el cluster de recursos informáticos asociado esté basado en Intel o AMD.

Crear un experimento (vista previa)

Puedes crear experimentos directamente en la página Experimentos de Oracle AI Data Platform.

  1. En la página inicial, haga clic en Experimentos.
  2. Haga clic en Create.
  3. Proporcione un nombre y la descripción para su experimento.
  4. Opcional: proporcione metadatos adicionales en forma de etiquetas de formato libre o definidas. Haga clic en Agregar para crear etiquetas adicionales.
  5. Haga clic en Create.

Editar un experimento (vista previa)

Puede modificar los detalles de los experimentos en el espacio de trabajo de Oracle AI Data Platform Workbench.

  1. En la página inicial, haga clic en Experimentos.
  2. Junto al experimento que desea editar, haga clic en Editar.
  3. Modifique los detalles de su experimento.
  4. Haga clic en Guardar cambios.

Ver detalles de ejecución de experimento (vista previa)

Puede ver un historial de ejecuciones de experimentos anteriores, compararlas y ver los detalles de ejecuciones específicas para experimentos en el espacio de trabajo del área de trabajo de Oracle AI Data Platform.

  1. En la página de Inicio, haga clic en Experimentos.
  2. Haga clic en el nombre del experimento para el que desea ver los detalles de ejecución.
  3. Utilice las listas desplegables y la barra de búsqueda para filtrar las ejecuciones de experimentos mostradas.
  4. Haga clic en Lista o Comparar para cambiar las ejecuciones del experimento.
    • Lista muestra ejecuciones de experimentos basadas en los filtros de las filas ordenadas con métricas sobre la ejecución de experimentos que se muestran en cada columna. Puede ordenar por métrica haciendo clic en esa cabecera de columna.
    • Comparar muestra comparaciones de gráficos de barras de métricas clave para cada ejecución de experimento que muestran actualmente los filtros.
  5. Haga clic en el nombre de una ejecución de experimento para ver los detalles de esa ejecución de experimento.

Creación de una ejecución de experimento en un bloc de notas con código de ejemplo (vista previa)

Puede crear ejecuciones para un experimento en un bloc de notas modificando el código de ejemplo con los detalles del experimento existente.

  1. Vaya a su bloc de notas, donde desea crear una ejecución para un experimento.
  2. Haga clic en el separador Experimentos.
  3. Haga clic en Código de ejemplo.
  4. En el bloque de código de ejemplo, sustituya experiment name="Customer Churn Prediction" por experiment name="<your_experiment_name>". También puede copiar este código y modificarlo con el nombre del experimento:
    import mlflow 
experiment_name = "experiment name" #Replace this with your own experiment name 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  5. Los registros automáticos registran automáticamente un juego predeterminado de métricas, según el modelo seleccionado. Para especificar manualmente sus propias métricas, puede modificar este código para llamar a mlflow.log_metric(“<metric_name>”,<metric_variable>):
    import mlflow 
import numpy as np 
from sklearn.tree import DecisionTreeRegressor 
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score 

experiment_name = "Customer Churn Prediction" 
mlflow.set_experiment(experiment_name) 

mlflow.autolog() 

with mlflow.start_run(): 
    # training code goes here 
    model = DecisionTreeRegressor(random_state=42, max_depth=5) 
    model.fit(X_train, y_train) 

    preds = model.predict(X_test) 

    mse = mean_squared_error(y_test, preds) 
    rmse = float(np.sqrt(mse)) 

    mlflow.log_metric("test_rmse", rmse) 
    mlflow.log_metric("test_mae", float(mean_absolute_error(y_test, preds))) 
    mlflow.log_metric("test_r2", float(r2_score(y_test, preds))) 
    # OPTIONAL - Log additional items after training 
    mlflow.log_metric("custom_metric", 99.9)
  6. Ejecute el bloque de código desde el bloc de notas. La ejecución se ha registrado en el experimento especificado.

    Note:

    Varias ejecuciones para un experimento se registran automáticamente con nombres diferentes. En los escenarios de transferencia automática de parámetros, AI Data Platform Workbench captura automáticamente todas las ejecuciones y métricas especificadas con nombres diferentes al experimento especificado.

Registro de un modelo a partir de los detalles de ejecución del experimento (vista previa)

Puede registrar un modelo en el espacio de trabajo de Oracle AI Data Platform Workbench desde un experimento específico. Para ello, haga clic en los detalles de esa ejecución del experimento.

  1. En la página inicial, haga clic en Experimentos.
  2. Haga clic en el nombre del experimento para el que desea ver los detalles de ejecución.
  3. Haga clic en el nombre de la ejecución del experimento desde la que desea registrar un modelo.
  4. Haga clic en Registrar.
  5. Proporcione un nombre y Una descripción para su modelo.
  6. Seleccione la ubicación en el catálogo maestro para crear el modelo.
  7. En la lista desplegable Modelos, seleccione el modelo adecuado.
  8. Opcional: proporcione metadatos adicionales en forma de etiquetas de formato libre o definidas. Haga clic en Agregar para crear etiquetas adicionales.
  9. Opcional: proporcione información adicional en forma de campos personalizados, como el tipo de modelo o los casos de uso. Haga clic en Agregar para crear campos personalizados adicionales.
  10. Haga clic en Registrar.

Suprimir experimento (vista previa)

Puede modificar los detalles de los experimentos en el espacio de trabajo de Oracle AI Data Platform Workbench.

Note:

No puede suprimir un experimento si hay un modelo registrado basado en una ejecución de ese experimento.
  1. En la página de origen, haga clic en Experimentos.
  2. Junto al experimento que desea suprimir, haga clic en Suprimir.
  3. Haga clic en Suprimir.