Todos os modelos de ML começam com os dados. Os cientistas de dados que usam o OCI Data Science podem acessar e usar origens de dados em qualquer ambiente na nuvem ou on-premises, o que permite mais recursos de dados e melhores modelos. Consulte a lista completa das origens de dados e formatos suportados pelo ADS SDK.

Quando você usa o serviço Data Science, recomendamos o armazenamento de dados na sessão de notebook para acesso rápido. Na sua sessão de notebook, você pode acessar dados das seguintes origens:

• Object Storage: Para recuperar dados, primeiro você deve configurar uma conexão com o serviço Object Storage. Após essa configuração, você pode usar o OCI Python SDK em uma sessão de notebook para recuperar os dados. Você também pode usar o ADS SDK para extrair dados do serviço Object Storage.
• Armazenamento local: Para carregar um dataframe de uma origem local com o ADS SDK, use funções de pandas diretamente.
• Pontos finais HTTP e HTTPS: Para carregar um dataframe de uma origem de servidor Web remoto, use pandas diretamente.
• Bancos de Dados: Você pode conectar-se ao Autonomous Data Warehouse de uma sessão de notebook. O notebook de exemplo autonomous_database.ipynb ilustra interativamente esse tipo de conexão.
• Origens de dados do serviço Streaming: A biblioteca do cliente kafka-python está disponível em sessões de notebook. A biblioteca cliente Python para o sistema de processamento de stream distribuído Apache Kafka permite que os cientistas de dados se conectem ao serviço Streaming usando sua API compatível com Kafka. Fornecemos o exemplo de notebook streaming.ipynb no ambiente de sessão de notebook.
• Bibliotecas de referência: Para abrir um conjunto de dados das bibliotecas de referência, use DatasetBrowser. Para ver as bibliotecas para as quais há suporte, use DatasetBrowser.list().

Segurança

Preparar

Os seus dados podem estar incompletos, inconsistentes ou conter erros. Você pode usar o ADS SDK para executar as seguintes tarefas:

• Combinar e limpar dados usando operações de linha e coluna.
• Imputar dados localizando e substituindo valores nulos.
• Codificar categorias.

Transformar

Você pode usar os seguintes métodos no ADS SDK para transformar automaticamente um conjunto de dados:

• suggest_recommendations() exibe problemas e recomenda alterações e código para corrigir os problemas
• auto_transform() retorna um conjunto de dados transformado com todas as recomendações e otimizações aplicadas automaticamente
• visualize_transforms() visualiza a transformação que foi executada em um conjunto de dados

O serviço OCI Data Science também suporta ferramentas de manipulação de dados de código-fonte aberto, como pandas, Dask e NumPy.

Visualizar e Explorar

A visualização é uma das etapas iniciais usadas para derivar valor dos dados. Ela permite que os analistas ganhem insights dos dados com eficiência e orienta a análise de dados exploratória. O ADS SDK inclui uma ferramenta de visualização inteligente que detecta automaticamente o tipo de dados e renderiza plotagens que representam de forma ideal as características dos dados. A seguir estão alguns métodos de visualização automática:

• show_in_notebook() fornece uma visualização abrangente das informações básicas de um conjunto de dados
• show_corr() inclui a proporção de correlação, o método de Pearson e o método Cramer V
  Dica
  
  Leia uma postagem no blog que mostra como usar essas técnicas para descobrir relacionamentos em seus dados.
• plot() usa plotagem automática para explorar o relacionamento entre duas colunas
• feature_plot() usa plotagem e visualizações personalizadas usando tipos de recursos

Você também pode usar o método call() do ADS SDK para plotar dados usando suas bibliotecas e pacotes preferidos, como seaborn, Matplotlib, Plotly, Bokeh e GIS (Geographic Information System, sistema de informação geográfica). Consulte os exemplos do ADS SDK.

AutoML

A construção de um modelo de ML bem-sucedido requer muitas iterações e experimentação, e um modelo raramente é obtido usando um conjunto ideal de hiperparâmetros na primeira iteração. AutoML automatiza quatro etapas no processo de modelagem de ML:

1. A seleção de algoritmos identifica os melhores algoritmos para os dados e o problema e é mais rápida do que uma pesquisa exaustiva.
2. A amostragem adaptável identifica o tamanho de amostra correto e ajusta-se para dados não balanceados.
3. A seleção de recursos identifica o subconjunto de recursos ideal e reduz o número de recursos.
4. O ajuste de modelo ajusta automaticamente os hiperparâmetros para obter a melhor precisão do modelo.

Para obter mais informações, consulte a documentação do pipeline AutoML do ADS SDK.

Avaliação Automatizada Usando o ADS SDK

A avaliação automatizada gera um conjunto abrangente de métricas e visualizações para medir o desempenho do modelo com relação a novos dados e comparar candidatos ao modelo. O ADS oferece uma coleção de ferramentas, métricas e gráficos voltados para a contradistinção de vários modelos. Os avaliadores são os seguintes:

• O classificador binário é usado para modelos em que a saída é binária, por exemplo, Sim ou Não, Para Cima ou Para Baixo, 1 ou 0. Esses modelos são um caso especial de classificação multiclasse; portanto, têm métricas atendidas de forma específica.
• O classificador multiclasse é usado para modelos em que a saída é discreta. Esses modelos têm um conjunto especializado de gráficos e métricas para a sua avaliação.
• A regressão é usada para modelos em que a saída é contínua, por exemplo, preço, altura, vendas ou comprimento. Esses modelos têm suas próprias métricas específicas que ajudam a fazer o benchmark do modelo.

Validação, Explicações e Interpretação

A explicabilidade do aprendizado de máquina (MLX) é o processo de explicar e interpretar ML e modelos de aprendizado profundo. Explicabilidade é a capacidade de explicar os motivos por trás da previsão de um modelo. Interpretabilidade é o nível no qual um ser humano pode entender essa explicação. A MLX pode ajudá-lo a executar as seguintes tarefas:

• Compreender e interpretar melhor o comportamento do modelo
• Depurar e melhorar a qualidade do modelo
• Aumentar a confiança no modelo e na implantação do modelo

Leia mais sobre explicabilidade de modelo para se familiarizar com as técnicas de explicações globais, explicações locais e explicações por simulação (WhatIf).

Introdução ao Catálogo de Modelos

Para poder implantar um modelo, você precisa salvar o modelo no catálogo de modelos. O catálogo de modelos é um repositório centralizado e gerenciado de artefatos de modelo. Os modelos armazenados no catálogo podem ser compartilhados entre membros de uma equipe e podem ser carregados de volta para uma sessão de notebook. Um artefato de modelo é um arquivo compactado que contém os seguintes arquivos e dados:

• score.py: Um script do Python que contém a sua lógica personalizada para carregar objetos de modelo serializados na memória e define um ponto final de inferência (predict())
• runtime.yaml: O ambiente de runtime do modelo, que fornece a referência do ambiente Conda necessária para fins de implantação do modelo
• Quaisquer arquivos adicionais necessários para executar seu modelo no artefato
  Importante
  
  Qualquer código usado para inferência deve ser arquivado no mesmo nível que score.py ou em um nível inferior. Se algum arquivo necessário estiver presente nos níveis de pasta acima do arquivo score.py, eles serão ignorados, o que pode resultar em falha na implantação.
• Metadados sobre a procedência do modelo, incluindo qualquer informação relacionada com o Git
• O script ou notebook usado para enviar por push o modelo ao catálogo

Preparar Metadados de Modelo e Documentação

Os metadados do modelo são opcionais, mas recomendados. Consulte Preparando Metadados do Modelo e Como Trabalhar com Metadados. Os metadados incluem as seguintes informações:

• Esquemas de entrada e saída do modelo: Uma descrição dos recursos necessários para fazer uma previsão bem-sucedida do modelo
• Procedência : Documentação que ajuda a melhorar a reprodutibilidade e a auditabilidade do modelo
• Taxonomia: Uma descrição do modelo que você está salvando no catálogo de modelos
• Testes de introspecção de modelo: Uma série de testes e verificações são executados em um artefato de modelo para testar todos os aspectos da integridade operacional do modelo

Salvar o Modelo no Catálogo

Você pode salvar um modelo no catálogo usando o ADS SDK, o OCI Python SDK ou a Console. Para obter detalhes, consulte Salvando Modelos no Catálogo de Modelos.

Implantar o Modelo

A forma mais comum de implantar modelos na produção é como pontos finais HTTP para atender às previsões em tempo real. O serviço Data Science gerencia as implantações do modelo como recursos e trata todas as operações da infraestrutura, incluindo provisionamento de computação e balanceamento de carga. Você pode implantar um modelo usando a ADS SDK ou a Console.

Chamar o Modelo

Depois que um modelo é implantado e ativado, o seu ponto final pode receber com sucesso solicitações feitas pelos clientes. Chamar uma implantação de modelo significa que você pode passar vetores de recursos ou amostras de dados para o ponto final de previsão. Em seguida, o modelo retorna previsões para essas amostras de dados. Para obter mais informações, consulte Chamando uma Implantação de Modelo e leia sobre edição, desativação e gerenciamento de um modelo implantado.

Jobs

Os jobs do serviço Data Science permitem definir e executar uma tarefa ML repetível em uma infraestrutura totalmente gerenciada. Usando jobs, é possível executar as tarefas a seguir:

• Executar tarefas de ML ou ciência de dados fora de uma sessão de notebook
• Operacionalizar tarefas discretas de ciência de dados e ML, como operações executáveis reutilizáveis
• Automatizar o MLOps ou o pipeline de CI/CD
• Executar jobs ou cargas de trabalho batch acionados por eventos ou ações
• Executar inferência de job em lote, mini lote ou lote distribuído
• Em uma sessão de notebook JupyterLab, crie tarefas de longa execução ou tarefas com uso intenso de computação em um job do serviço Data Science para manter o notebook livre para você continuar seu trabalho

Monitoramento

O monitoramento e o registro em log são as últimas etapas do ciclo de vida do job. Eles fornecem insights sobre o desempenho e as métricas de um job, além de um registro que você pode consultar posteriormente para cada execução de job. Para obter mais informações sobre monitoramento, alarmes e métricas, consulte Métricas.

• O serviço Monitoring consiste em métricas e alarmes e permite que você verifique a integridade, a capacidade e o desempenho dos recursos de nuvem. Em seguida, você pode usar esses dados para determinar quando criar mais instâncias para gerenciar o aumento de carga, diagnosticar e solucionar problemas com uma instância ou compreender melhor o comportamento do sistema.
• Os alarmes são acionados quando uma métrica viola os limites definidos.
• As métricas rastreiam o uso de CPU ou GPU, a porcentagem de uso da memória disponível do contêiner de processamento de job, o tráfego de rede do contêiner e o uso de disco do contêiner. Quando esses números atingem um determinado limite, você pode expandir recursos, como armazenamento em blocos e forma de computação, para acomodar a carga de trabalho.
• O serviço Events permite que você se inscreva em alterações nos recursos, como eventos de execução de job e de job, e responda a eles usando funções, notificações ou streams. Consulte Criando Automação com o Uso de Eventos.

Registro em Log

Você pode usar logs de serviço ou logs personalizados com processamentos de job. Um processamento de job emite logs de serviço para o serviço OCI Logging. Com logs personalizados, você pode especificar quais eventos de log são coletados em um contexto específico e o local onde os logs são armazenados. Você pode usar o serviço Logging para ativar, gerenciar e procurar logs de processamento de job para os seus jobs. Para obter informações completas, consulte Logging e Sobre os Logs.