Todos los modelos de AA comienzan con datos. Los científicos de datos que utilizan OCI Data Science pueden acceder y utilizar orígenes de datos en cualquier entorno en la nube o local, lo que permite que haya más funciones de datos y mejores modelos. Consulte la lista completa de orígenes de datos y formatos soportados por el SDK de ADS.

Al utilizar el servicio Data Science, recomendamos almacenar datos en la sesión de bloc de nota para obtener un acceso rápido. En la sesión de bloc de notas, puede acceder a los datos desde los siguientes orígenes:

• Object Storage: para recuperar datos, primero debe configurar una conexión a Object Storage. Después de esta configuración, puede utilizar el SDK de Python de OCI en una sesión de bloc de notas para recuperar los datos. Además, puede usar el SDK de ADS para extraer datos de Almacenamiento de objetos.
• Almacenamiento local: para cargar un marco de datos desde un origen local utilizando el SDK de ADS, utilice las funciones directamente desde pandas.
• Puntos finales HTTP y HTTPS: para cargar un marco de datos desde un origen de servidor web remoto, utilice pandas directamente.
• Bases de datos: puede conectarse a Autonomous Data Warehouse desde una sesión de bloc de notas. El bloc de notas de ejemplo de autonomous_database.ipynb muestra de forma interactiva este tipo de conexión.
• Orígenes de datos de Streaming: la biblioteca de cliente kafka-python está disponible en las sesiones de bloc de notas. La biblioteca de clientes de Python para el sistema de procesamiento de flujo distribuido de Apache Kafka permite a los científicos de datos conectarse al servicio Streaming mediante su API compatible con Kafka. Proporcionamos el ejemplo del bloc de notas streaming.ipynb en el entorno de sesión de bloc de notas.
• Bibliotecas de referencia: para abrir un juego de datos desde las bibliotecas de referencia, utilice DatasetBrowser. Para ver las bibliotecas admitidas, utilice DatasetBrowser.list().

Seguridad

Preparación

Los datos pueden estar incompletos, ser incoherentes o contener errores. Puede utilizar el SDK de ADS para realizar las siguientes tareas:

• Combinar y limpiar los datos mediante operaciones de fila y columna.
• Atribuir datos buscando y reemplazando valores nulos.
• Codificar categorías.

Transformación

Puede utilizar los siguientes métodos del SDK de ADS para transformar automáticamente un juego de datos:

• suggest_recommendations() muestra las incidencias problemas y recomienda cambios y código para solucionarlas
• auto_transform() devuelve un juego de datos transformado con todas las recomendaciones y optimizaciones aplicadas automáticamente
• visualize_transforms() visualiza la transformación que se ha realizado en un conjunto de datos

OCI Data Science también soporta herramientas de manipulación de datos de código abierto como pandas, Dask y NumPy.

Visualizar y explorar

La visualización es uno de los pasos iniciales utilizados para obtener valor de los datos. Permite a los analistas obtener información de forma eficaz a partir de los datos y guía el análisis exploratorio de datos. El SDK de ADS incluye una herramienta de visualización inteligente que detecta automáticamente el tipo de datos y presenta gráficos que representan de forma óptima las características de los datos. A continuación se muestran algunos métodos de visualización automática:

• show_in_notebook() proporciona una vista previa completa de la información básica de un conjunto de datos
• show_corr() incluye la relación de correlación, el método de Pearson y el método V de Cramer
  Consejo
  
  Lea una publicación del blog que muestra cómo utilizar estas técnicas para detectar relaciones en los datos.
• plot() utiliza el trazado automático para explorar la relación entre dos columnas
• feature_plot() utiliza trazados y visualizaciones personalizados utilizando tipos de funciones

También puede utilizar el método call() del SDK de ADS para trazar datos mediante las bibliotecas y los paquetes de su preferencia, como seaborn, Matplotlib, Plotly, Bokeh y Geographic Information System (GIS). Consulte los ejemplos de SDK de ADS.

AutoML

Crear un modelo de AA correcto requiere muchas iteraciones y experimentación, y rara vez se logra un modelo utilizando un juego óptimo de hiperparámetros en la primera iteración. AutoML automatiza cuatro pasos en el proceso de modelado de AA:

1. Selección de algoritmos identifica los mejores algoritmos para los datos y el problema, y es más rápida que una búsqueda exhaustiva.
2. Muestreo adaptativo identifica el tamaño de muestra correcto y se ajusta para los datos desequilibrados.
3. Selección de funciones identifica el subjuego de funciones óptimo y reduce el número de funciones.
4. Ajuste del modelo ajusta automáticamente los hiperparámetros para obtener la mejor precisión del modelo.

Para obtener más información, consulte la documentación del pipeline AutoML del SDK de ADS.

Evaluación automatizada mediante el SDK de ADS

La evaluación automatizada genera un conjunto completo de métricas y visualizaciones para medir el rendimiento del modelo con respecto a los nuevos datos y para comparar modelos candidatos. ADS ofrece una colección de herramientas, métricas y gráficos relacionados con la comparación de varios modelos. Los evaluadores son los siguientes:

• El clasificador binario se utiliza para los modelos en los que la salida es binaria, por ejemplo, Sí o No, Arriba o Abajo, 1 o 0. Estos modelos son un caso especial de clasificación de varias clases, por lo que tienen métricas específicas.
• El clasificador de varias clases se utiliza para los modelos en los que la salida es discreta. Estos modelos tienen un conjunto especializado de gráficos y métricas para su evaluación.
• La regresión se utiliza para los modelos en los que la salida es continua; por ejemplo, precio, altura, ventas o longitud. Estos modelos tienen sus propias métricas específicas que ayudan a comparar el modelo.

Validación, explicaciones e interpretación

El Machine Learning explicable (MLX) es el proceso de explicar e interpretar los modelos de aprendizaje profundo y AA. La capacidad de explicación permite explicar los motivos de la predicción de un modelo. La interpretabilidad es el nivel en el que una persona puede comprender esa explicación. El MLX le puede ayudar a realizar las siguientes tareas:

• Comprender mejor e interpretar el comportamiento del modelo
• Depurar y mejorar la calidad del modelo
• Incrementar la confianza en el modelo y en el despliegue del modelo

Obtenga más información sobre la capacidad de explicación de modelos para familiarizarse con los explicadores globales, los explicadores locales y los explicadores WhatIf.

Introducción al catálogo de modelos

Para poder desplegar un modelo, antes debe guardarlo en el catálogo de modelos. El catálogo de modelos es un repositorio centralizado y gestionado de artefactos de modelo. Los modelos almacenados en el catálogo se pueden compartir entre los miembros de un equipo y se pueden volver a cargar en una sesión de bloc de notas. Un artefacto de modelo es un archivo de almacenamiento que contiene los siguientes archivos y datos:

• score.py: script de Python que contiene la lógica personalizada para cargar objetos de modelo serializado en la memoria y define un punto final de inferencia (predict())
• runtime.yaml: entorno de tiempo de ejecución del modelo que proporciona la referencia de entorno Conda necesaria para fines de despliegue del modelo
• Cualquier archivo adicional que sea necesario para ejecutar el modelo en el artefacto
  Importante
  
  Cualquier código que se utilice para la inferencia debe archivarse en el mismo nivel que score.py o en un nivel inferior. Si hay archivos necesarios en niveles de carpeta por encima del archivo score.py, estos se ignorarán, lo cual puede provocar un fallo de despliegue.
• Metadatos sobre la procedencia del modelo, incluida cualquier información relacionada con Git
• Script o bloc de notas utilizado para transferir el modelo al catálogo

Preparación de metadatos y documentación del modelo

Los metadatos del modelo son opcionales pero se recomiendan. Consulte Preparación de metadatos de modelo y Trabajar con metadatos. Los metadatos incluyen la siguiente información:

• Esquemas de entrada y salida del modelo: descripción de las funciones necesarias para realizar una predicción de modelo correcta
• Procedencia: documentación que le ayuda a mejorar la reproducibilidad y auditabilidad del modelo
• Taxonomía: descripción del modelo que va a guardar en el catálogo de modelos
• Pruebas de introspección de modelo: se ejecuta una serie de pruebas y comprobaciones en un artefacto de modelo para probar todos los aspectos del estado operativo del modelo

Almacenamiento del modelo en el catálogo

Puede guardar un modelo en el catálogo mediante el API de ADS, el API de Python de OCI o la consola. Para obtener más información, consulte Almacenamiento de modelos en el catálogo de modelos.

Despliegue del modelo

La forma más común de desplegar modelos en producción es como puntos finales HTTP para servir predicciones en tiempo real. El servicio Ciencia de datos gestiona despliegues de modelos como recursos y gestiona todas las operaciones del infraestructura, incluido el aprovisionamiento de los recursos informáticos y el equilibro de carga. Puede desplegar un modelo mediante el SDK deADS o la consola.

Llamada al modelo

Después de desplegar y activar un modelo, su punto final puede recibir correctamente las solicitudes realizadas por los clientes. La llamada a un despliegue de modelo significa que puede transferir vectores de funciones o muestras de datos al punto final de predicción. A continuación, el modelo devuelve predicciones para esas muestras de datos. Para obtener más información, consulte Llamada a un despliegue de modelo y, a continuación, lea acerca de la edición, desactivación y gestión de cualquier otro modo de un modelo desplegado.

Trabajos

Los trabajos de Data Science permiten definir y ejecutar una tarea del AA repetible en una infraestructura totalmente gestionada. Mediante los trabajos, puede realizar las siguientes tareas:

• Ejecute tareas de AA o de ciencia de datos fuera de una sesión de bloc de notas.
• Ejecutar tareas discretas de ciencia de datos y AA, como las operaciones ejecutables reutilizables.
• Automatizar MLOps o el pipeline de integración y despliegue continuos
• Ejecutar trabajos por lotes o cargas de trabajo disparados por eventos o acciones.
• Realizar una inferencia de trabajo por lotes distribuidos, minilotes o lotes.
• En una sesión de bloc de notas de JupyterLab, puede crear tareas de larga ejecución o tareas de cálculos intensivos en un trabajo de Data Science para mantener el bloc de notas libre para que pueda seguir trabajando.

Supervisión

La supervisión y el registro son los últimos pasos del ciclo de vida del trabajo. Proporcionan estadísticas sobre el rendimiento y las métricas de un trabajo, además de un registro al que puede hacer referencia posteriormente para cada ejecución de trabajo. Para obtener más información sobre la supervisión, las alarmas y las métricas, consulte Métricas.

• Monitoring consta de métricas y alarmas, y permite comprobar el estado, la capacidad y el rendimiento de los recursos en la nube. Posteriormente, puede utilizar estos datos para determinar cuándo crear más instancias para gestionar una mayor carga, solucionar incidencias con una instancia o comprender mejor el comportamiento del sistema.
• Las alarmas se activan cuando una métrica infringe los umbrales establecidos.
• Las métricas realizan un seguimiento del uso de CPU o GPU, el porcentaje de uso de memoria del contenedor durante la ejecución del trabajo, el tráfico de red del contenedor y el uso del disco del contenedor. Cuando estos números alcanzan un umbral determinado, puede escalar verticalmente los recursos, como el almacenamiento de bloques y la unidad de computación, para adaptarlos a la carga de trabajo.
• Los eventos le permiten suscribirse a cambios en recursos, como eventos de trabajos y ejecución de trabajos y responder a ellos mediante funciones, notificaciones o flujos. Consulte Creación de automatización con eventos.

Registro

Puede utilizar logs de servicio o logs personalizados con ejecuciones de trabajos. Una ejecución del trabajo emite logs de servicio al servicio OCI Logging. Con los logs personalizados, puede especificar qué eventos de log se recopilan en un contexto determinado y la ubicación en la que se almacenan los logs. Puede utilizar el servicio Registro para activar, gestionar y examinar los logs de ejecución de trabajos para sus trabajos. Para obtener más información, consulte Registro y Acerca de los logs.