6 Conceitos Básicos da Interface do Usuário do AutoML

A Interface do Usuário AutoML (UI AutoML) é uma interface do Oracle Machine Learning que fornece modelagem automatizada de machine learning sem código. Quando você cria e executa um experimento na interface do usuário AutoML, ele executa seleção automatizada de algoritmos, seleção de recursos e ajuste de modelos, aumentando assim a produtividade e potencialmente a precisão e o desempenho do modelo.

As etapas a seguir compreendem um workflow de modelagem de machine learning e são automatizadas pela interface do usuário AutoML:

1. Seleção de Algoritmos: Classifica os algoritmos que provavelmente produzirão um modelo mais preciso com base no conjunto de dados e suas características, e alguns recursos preditivos do conjunto de dados para cada algoritmo.
2. Amostragem Adaptativa: Encontra uma amostra de dados apropriada. O objetivo deste estágio é acelerar os estágios Seleção de Recursos e Ajuste de Modelos sem degradar a qualidade do modelo.
3. Seleção de Recursos: Seleciona um subconjunto de recursos que são mais previsíveis do alvo. O objetivo desse estágio é reduzir o número de recursos usados nos estágios posteriores do pipeline, especialmente durante o estágio de ajuste do modelo para acelerar o pipeline sem degradar a precisão preditiva.
4. Ajuste de Modelo: visa aumentar a qualidade individual do modelo de algoritmo com base na métrica selecionada para cada um dos algoritmos pré-selecionados.
5. Impacto da Previsão do Recurso: este é o estágio final no pipeline da IU AutoML. Aqui, o impacto de cada coluna de entrada nas previsões do modelo ajustado final é calculado. O impacto da previsão calculada fornece insights sobre o comportamento do modelo AutoML ajustado.

Os usuários de negócios sem extensa experiência em ciência de dados podem usar a interface do usuário AutoML para criar e implantar modelos de machine learning. O Oracle Machine Learning AutoML UI fornece dois recursos funcionais:

• Criar modelos de machine learning
• Implantar modelos de machine learning

AutoML Experiências de IU

Quando você cria um experimento na IU AutoML, ele executa automaticamente todas as etapas envolvidas no workflow de machine learning. Na página Experimentos, todos os experimentos criados são listados. Para exibir os detalhes do experimento, clique em um experimento. Além disso, você pode realizar as seguintes tarefas:

Figura 6-1 Página Experimentos

• Criar: Clique em Criar para criar um novo experimento da IU AutoML. O experimento da IU AutoML que você cria reside no projeto selecionado no Projeto no Espaço de Trabalho.
• Editar: Selecione qualquer experimento listado aqui e clique em Editar para editar a definição do experimento.
• Excluir: Selecione qualquer experimento listado aqui e clique em Excluir para excluí-lo. Não é possível excluir um experimento em execução. Primeiro você deve interromper o experimento para excluí-lo.
• Duplicar: Selecione um experimento e clique em Duplicar para criar uma cópia dele. O experimento é duplicado instantaneamente e está no status Pronto.
• Mover: Selecione um experimento e clique em Mover para mover o experimento para outro projeto no mesmo espaço de trabalho ou em outro. Você deve ter o privilégio Administrator ou Developer para mover experimentos entre projetos e espaços de trabalho.

  Observação:

  Um experimento não pode ser movido se estiver nos estados RUNNING, STOPPING ou STARTING ou se já existir um experimento no projeto de destino com o mesmo nome.
• Copiar: Selecione um experimento e clique em Copiar para copiar o experimento para outro projeto no mesmo espaço de trabalho ou em outro.
• Iniciar: se você tiver criado um experimento mas não o tiver executado, clique em Iniciar para executá-lo.
• Stop: selecione um experimento que está em execução e clique em Stop para interromper a execução do experimento.

• Acesse a Interface do Usuário AutoML
  Você pode acessar a Interface do Usuário AutoML no Oracle Machine Learning Notebooks.
• Criar Experiência da Interface do Usuário AutoML
  Para usar a Oracle Machine Learning AutoML UI, comece criando um experimento. Um experimento é uma unidade de trabalho que especifica minimamente a origem de dados, o destino de previsão e o tipo de previsão. Depois que um experimento é executado com sucesso, ele apresenta uma lista de modelos de machine learning em ordem de qualidade do modelo de acordo com a métrica selecionada. Você pode selecionar qualquer um desses modelos para implantação ou gerar um notebook. O notebook gerado contém o código Python usando OML4Py e as definições específicas AutoML usadas para produzir o modelo.
• Exiba um experimento
  Na página Experimentos da interface do usuário AutoML, todos os experimentos criados são listados. Cada experimento estará em um dos seguintes estágios: Concluído, Em Execução e Pronto.

6.1 Acesse a IU AutoML

Você pode acessar a IU AutoML no Oracle Machine Learning Notebooks.

Para acessar a IU AutoML, primeiro acesse o Oracle Machine Learning Notebooks no Autonomous Database:

1. Para acessar o Oracle Machine Learning Notebooks no Autonomous Database:
   1. Selecione uma instância do Autonomous Database e, na página de detalhes do Autonomous Database, clique em Database Actions.

      Figura 6-2 Ações de Banco de Dados

      
   2. Na página Database Actions, vá para a seção Desenvolvimento e clique em Oracle Machine Learning.

      Figura 6-3 Oracle Machine Learning

      
      A página de acesso do Oracle Machine Learning é aberta.
   3. Informe seu nome de usuário e senha e clique em Acessar.
   Isso abre a página inicial do Oracle Machine Learning Notebooks.
2. Na página inicial do Oracle Machine Learning Notebooks, clique em AutoML..

   Figura 6-4 Opções de AutoML

   

   Como alternativa, você pode clicar no menu de hambúrguer e clicar em AutoML em Projetos.

6.2 Criar Experiência da Interface do Usuário em AutoML

Para usar a Oracle Machine Learning AutoML UI, comece criando um experimento. Um experimento é uma unidade de trabalho que especifica minimamente a origem de dados, o destino de previsão e o tipo de previsão. Depois que um experimento é executado com sucesso, ele apresenta uma lista de modelos de machine learning em ordem de qualidade do modelo de acordo com a métrica selecionada. Você pode selecionar qualquer um desses modelos para implantação ou gerar um notebook. O notebook gerado contém o código Python usando OML4Py e as definições específicas AutoML usadas para produzir o modelo.

Para criar um experimento, especifique o seguinte:

1. No campo Nome, informe um nome para o experimento.

   Figura 6-5 Criar uma Experiência AutoML

   
   Descrição de "Figure 6-5 Create an AutoML Experiment"
2. No campo Comentários, informe os comentários, se houver.
3. No campo Origem de Dados, selecione o esquema e uma tabela ou view nesse esquema. Clique no ícone de pesquisa para abrir a caixa de diálogo Selecionar Tabela. Procure e selecione um esquema e, em seguida, selecione uma tabela na lista de esquemas, que é a origem de dados do experimento da IU AutoML.

   Figura 6-6 Caixa de diálogo Selecionar Tabela

   
   1. Na coluna Esquema, selecione um esquema.

      Observação:

      Enquanto você seleciona a origem de dados, as estatísticas são exibidas na grade Recursos na parte inferior da página do experimento. O status Ocupado é indicado até que o cálculo seja concluído. A coluna de destino selecionada em Previsão é destacada na grade Recursos.
   2. Dependendo do esquema selecionado, as tabelas disponíveis são listadas na coluna Tabela. Selecione a tabela e clique em OK.

   Observação:

   Para criar um experimento AutoML para uma tabela ou view presente no esquema de outro usuário, certifique-se de ter privilégios explícitos para acessar essa tabela ou view no esquema. Solicite que o Administrador do Banco de Dados ou o proprietário do esquema forneça a você os privilégios para acessar a tabela ou a view. Por exemplo:

   grant select on <table> to <user>

4. Na lista drop-down Prever, selecione a coluna na tabela selecionada. Esse é o alvo da sua previsão.
5. No campo Tipo de Previsão, o tipo de previsão é selecionado automaticamente com base em sua definição de dados. No entanto, você poderá substituir o tipo de previsão na lista suspensa, se o tipo de dados permitir. Os Tipos de Previsão Suportados são:
   • Classificação: Para o tipo de dados não numérico, a Classificação é selecionada por padrão.
   • Regressão: Para o tipo de dados numérico, a Regressão é selecionada por padrão.
6. O ID do Caso ajuda na amostragem de dados e na divisão do conjunto de dados para tornar os resultados reproduzíveis entre experimentos. Também ajuda a reduzir a aleatoriedade nos resultados. Esse campo é opcional.
7. Na seção Definições Adicionais, você pode definir o seguinte:

   Figura 6-7 Configurações Adicionais de um Experimento AutoML

   
   Descrição de "Figura 6-7 Configurações Adicionais de um Experimento AutoML"

   1. Reset: Clique em Reset para redefinir as configurações para os valores padrão.
   2. Máximo de Modelos Principais: Selecione o número máximo de modelos principais a serem criados. O padrão são modelos 5. Você pode reduzir o número de modelos principais para 2 ou 3, pois ajustar os modelos para obter o primeiro para cada algoritmo requer tempo adicional. Se você quiser obter os resultados iniciais ainda mais rápido, considere o principal algoritmo recomendado. Para isso, defina o Máximo de Modelos Principais como 1. Isso ajustará o modelo desse algoritmo.
   3. Duração Máxima da Execução: Este é o tempo máximo para o qual o experimento poderá ser executado. Se você não informar um horário, o experimento poderá ser executado até o padrão, que é 8 horas.
   4. Nível de Serviço do Banco de Dados: Este é o nível de serviço de conexão do banco de dados e o nível de paralelismo de consulta. O padrão é Low. Isso não resulta em paralelismo e define um limite alto de tempo de execução. Você pode criar muitas conexões com o nível de serviço de banco de dados Low. Você também pode alterar o nível de serviço do banco de dados para Medium ou High.
      • O nível High fornece o maior paralelismo, mas limita significativamente o número de jobs simultâneos.
      • O nível Medium permite algum paralelismo, mas permite maior simultaneidade para processamento de job.

      Observação:

      A alteração da definição de nível de serviço de banco de dados em Always Free Tier não terá efeito, pois há um limite de 1 OCPU. No entanto, se você aumentar as OCPUs alocadas para sua instância de banco de dados autônomo, poderá aumentar o Nível de Serviço de Banco de Dados para Medium ou High.

      Observação:

      A definição Nível de Serviço de Banco de Dados não tem efeito nos recursos de nível de contêiner AutoML.
   5. Métrica do Modelo: Selecione uma métrica para escolher os modelos vencedores. As seguintes métricas são suportadas pela IU AutoML:
      • Para Classificação, as métricas suportadas são:
        • Precisão Balanceada
        • ROC AUC
        • F1 (com opções ponderadas). As opções ponderadas são ponderadas, binárias, micro e macro.
          • Micro-média: Aqui, todas as amostras contribuem igualmente para a métrica média final
          • Macro-média: Aqui, todas as classes contribuem igualmente para a métrica média final
          • Média ponderada: Aqui, a contribuição de cada classe para a média é ponderada pelo seu tamanho
        • Precisão (com opções ponderadas)
        • Recuperar (com opções ponderadas)
      • Para Regressão, as métricas suportadas são:
        • R2 (padrão)
        • Erro quadrado médio negativo
        • Erro absoluto da média negativa
        • Erro absoluto da mediana negativa
   6. Algoritmo: Os algoritmos suportados dependem do Tipo de Previsão selecionado. Clique na caixa de seleção correspondente em relação aos algoritmos para selecioná-la. Por padrão, todos os algoritmos candidatos são selecionados para consideração à medida que o experimento é executado. Os algoritmos suportados para os dois Tipos de Previsão:
      • Para Classificação, os algoritmos suportados são:
        • Árvore de Decisão
        • Modelo Linear Generalizado
        • Modelo Linear Generalizado (Regressão Ridge)
        • Rede Neural
        • Previsão Aleatória
        • Support Vector Machine (Gaussiano)
        • Support Vector Machine (Linear)
      • Para Regressão, os algoritmos suportados são:
        • Modelo Linear Generalizado
        • Modelo Linear Generalizado (Regressão Ridge)
        • Rede Neural
        • Support Vector Machine (Gaussiano)
        • Support Vector Machine (Linear)

      Observação:

      É possível remover algoritmos de serem considerados se você tiver preferências para algoritmos específicos ou tiver requisitos específicos. Por exemplo, se a transparência do modelo for essencial, excluir modelos como Rede Neural faria sentido. Observe que alguns algoritmos são mais intensivos em computação do que outros. Por exemplo, Naïve Bayes e Decision Tree são normalmente mais rápidos que Support Vector Machine ou Neural Network.
8. Expanda a grade Recursos para exibir as estatísticas da tabela selecionada. As estatísticas suportadas são Valores Distintos, Mínimo, Máximo, Média e Desvio Padrão. As origens de dados suportadas para Recursos são tabelas, views e views analíticas. A coluna de destino selecionada em Previsão é destacada aqui. Depois que uma execução de experimento é concluída, a grade Recursos exibe uma coluna adicional Importância. A Importância do Recurso indica o nível geral de sensibilidade da previsão para um recurso específico.

   Figura 6-8 Recursos

   
   É possível executar estas tarefas:
   • Atualizar: Clique em Atualizar para extrair todas as colunas e estatísticas da origem de dados selecionada.
   • Exibir Importância: Passe o cursor sobre a barra horizontal em Importância para exibir o valor da Importância do Recurso para as variáveis. O valor é sempre representado no intervalo de 0 a 1, sendo os valores mais próximos de 1 mais importantes.
9. Quando você conclui a definição do experimento, os botões Iniciar e Salvar são ativados.

   Figura 6-9 Iniciar Opções de Experiência

   

   • Clique em Iniciar para executar o experimento e iniciar o workflow da IU AutoML, que é exibido na barra de andamento. Aqui, você tem a opção de selecionar:
     1. Resultados Mais Rápidos: Selecione essa opção se quiser obter modelos candidatos mais cedo, possivelmente em detrimento da precisão. Essa opção funciona com um conjunto menor de combinações de hiperparâmetros e, portanto, produz um resultado mais rápido.
     2. Melhor Precisão: Selecione essa opção se quiser que mais combinações de pipeline sejam tentadas para modelos possivelmente mais precisos. Um pipeline é definido como um algoritmo, um conjunto de recursos de dados selecionado e um conjunto de hiperparâmetros de algoritmo.

        Observação:

        Essa opção funciona com o conjunto mais amplo de opções de hiperparâmetro recomendadas pelo modelo de meta-aprendizado interno. A seleção de Melhor Precisão levará mais tempo para executar seu experimento, mas pode fornecer modelos com mais precisão.

     Depois que você inicia um experimento, a barra de progresso aparece exibindo ícones diferentes para indicar o status de cada estágio do workflow de aprendizado de máquina no experimento AutoML. A barra de progresso também exibe o tempo necessário para concluir a execução do experimento. Para exibir os detalhes da mensagem, clique nos respectivos ícones de mensagem.

   • Clique em Salvar para salvar o experimento e execute-o posteriormente.
   • Clique em Cancelar para cancelar a criação do experimento.

• Tipos de Dados Suportados para Experiências da Interface do Usuário AutoML
  Ao criar um experimento AutoML, você deve especificar a origem de dados e o destino do experimento. Este tópico lista os tipos de dados para Python e SQL suportados pelos experimentos AutoML.

6.2.1 Tipos de Dados Suportados para Experimentos da Interface do Usuário do AutoML

Ao criar um experimento AutoML, você deve especificar a origem de dados e o destino do experimento. Este tópico lista os tipos de dados para Python e SQL suportados pelos experimentos AutoML.

Tabela 6-1 Tipos de Dados Suportados por AutoML Experiments

Tipos de Dados	Tipos de Dados SQL	Tipos de Dados Python
Numérico	NUMBER, INTEGER, FLOAT, BINARY_DOUBLE, NUMBER, BINARY_FLOAT, DM_NESTED_NUMERICALS, DM_NESTED_BINARY_DOUBLES, DM_NESTED_BINARY_FLOATS	INTEGER, FLOAT(NUMBER, BINARY_DOUBLE, BINARY_FLOAT)
Categorizado	CHAR, VARCHAR2, DM_NESTED_CATEGORICALS	STRING(VARCHAR2, CHAR, CLOB)
Texto não estruturado	CHAR, VARCHAR2, CLOB, BLOB, BFILE	BYTES (RAW, BLOB)

6.3 Exibir uma Experiência

Na página AutoML UI Experiments, todos os experimentos criados são listados. Cada experimento estará em um dos seguintes estágios: Concluído, Em Execução e Pronto.

Para exibir um experimento, clique no nome do experimento. A página Experiência exibe os detalhes do experimento selecionado. Ele contém as seguintes seções:

Editar Experiência

Nesta seção, você pode editar o experimento selecionado. Clique em Editar para fazer edições no seu experimento.

Observação:

Não é possível editar um experimento em execução.

Gráfico de Métricas

O Gráfico de Métricas do Modelo representa o melhor valor de métrica ao longo do tempo à medida que o experimento é executado. Ele mostra melhora na precisão à medida que a execução do experimento progride. O nome para exibição depende da métrica do modelo selecionado quando você cria o experimento.

Painel do Líder

Quando um experimento é executado, ele começa a mostrar os resultados no Conselho de Líderes. O Quadro de Líderes exibe os modelos de melhor desempenho em relação à métrica de modelo selecionada juntamente com o algoritmo e a precisão. Você pode exibir os detalhes do modelo e executar as seguintes tarefas:

Figura 6-10 Quadro de Líderes

• Exibir Detalhes do Modelo: Clique no Nome do Modelo para exibir os detalhes. Os detalhes do modelo são exibidos na caixa de diálogo Detalhes do Modelo. Você pode clicar em vários modelos no Quadro de Líderes e exibir os detalhes do modelo simultaneamente. A janela Detalhes do Modelo ilustra o seguinte:
  • Impacto da Previsão: Exibe a importância dos atributos em termos da previsão de destino dos modelos.
  • Matriz de Confusão: Exibe a combinação diferente de valores reais e previstos pelo algoritmo em uma tabela. A Matriz de Confusão serve como uma medição de desempenho do algoritmo de aprendizado de máquina.
• Implantar: Selecione qualquer modelo no Quadro de Líderes e clique em Implantar para implantar o modelo selecionado. Disponibilizar Modelo.
• Renomear: Clique em Renomear para alterar o nome do modelo gerado pelo sistema. O nome deve ser alfanumérico (não exceder 123 caracteres) e não deve conter espaços em branco.
• Criar Notebook: Selecione qualquer modelo no Quadro de Líderes e clique em Criar Notebooks de Modelos de Interface do Usuário AutoML para recriar o modelo selecionado do código.
• Métricas: Clique em Métricas para selecionar métricas adicionais a serem exibidas no Quadro de Líderes. As métricas adicionais são:
  • Para Classificação
    • Precisão: Calcula a proporção de casos corretamente classificados - positivos e negativos. Por exemplo, se houver um total de casos classificados corretamente TP (Verdadeiros Positivos)+TN (Verdadeiros Negativos) de TP+TN+FP+FN (Verdadeiro Positives+True Negatives+False Positives+False Negativos), a fórmula será: Accuracy = (TP+TN)/(TP+TN+FP+FN)
    • Precisão equilibrada: Avalia o quão bom é um classificador binário. É especialmente útil quando as classes estão desequilibradas, ou seja, quando uma das duas classes aparece muito mais frequentemente do que a outra. Isso geralmente acontece em muitas configurações, como Detecção de Anomalias, etc.
    • Recall: Calcula a proporção de positivos reais que está corretamente classificada.
    • Precisão: Calcula a proporção de Positivos previstos que é Verdadeiro Positivo.
    • Pontuação F1: Combina precisão e recuperação em um único número. F1 - a pontuação é calculada usando a média harmônica que é calculada pela fórmula: F1-score = 2 × (precision × recall)/(precision + recall)
  • Para Regressão:
    • R2 (Padrão): Uma medida estatística que calcula a proximidade dos dados com a linha de regressão ajustada. Em geral, quanto maior o valor do R-quadrado, melhor o modelo se ajusta aos seus dados. O valor de R2 está sempre entre 0 e 1, em que:
      • 0 indica que o modelo não explica nenhuma variabilidade dos dados de resposta em torno de sua média.
      • 1 indica que o modelo explica toda a variabilidade dos dados de resposta em torno de sua média.
    • Erro quadrado médio negativo: esta é a média da diferença quadrada de alvos previstos e verdadeiros.
    • Erro Absoluto da Média Negativa: Esta é a média da diferença absoluta de alvos previstos e verdadeiros.
    • Erro Absoluto da Mediana Negativa: Esta é a mediana da diferença absoluta entre os alvos previstos e verdadeiros.

Funcionalidades

A grade Recursos exibe as estatísticas da tabela selecionada para as estatísticas suportadas pelo experiment.The: Valores Distintos, Mínimo, Máximo, Média e Desvio Padrão. As origens de dados suportadas para Recursos são tabelas, views e views analíticas. A coluna de destino selecionada em Previsão é destacada aqui. Depois que uma execução de experimento é concluída, a grade Recursos exibe uma coluna adicional Importância. A Importância do Recurso indica o nível geral de sensibilidade da previsão para um recurso específico. Passe o cursor sobre o gráfico para exibir o valor de Importância. O valor é sempre representado no intervalo de 0 a 1, com valores mais próximos de 1 sendo mais importantes.

Figura 6-11 Recursos

• Criar Notebooks com Base em Modelos de Interface do Usuário AutoML
  Você pode criar notebooks usando o código OML4Py que recriará o modelo selecionado usando as mesmas definições. Ele também ilustra como pontuar dados usando o modelo. Essa opção será útil se você quiser usar o código para recriar um modelo de aprendizado de máquina semelhante.

6.3.1 Criar Notebooks a partir de Modelos de Interface do Usuário AutoML

Você pode criar notebooks usando o código OML4Py que recriará o modelo selecionado usando as mesmas definições. Ele também ilustra como pontuar dados usando o modelo. Essa opção será útil se você quiser usar o código para recriar um modelo de aprendizado de máquina semelhante.

Para criar um notebook com base em um modelo de interface de usuário AutoML:

1. Selecione o modelo no Quadro de Líderes com base no qual você deseja criar seu notebook e clique em Criar Notebook. A caixa de diálogo Criar Notebook será aberta.

   Figura 6-12 Criar Notebook

   
2. No campo Nome do Notebook, informe um nome para o notebook.
   O ponto final da API REST deriva os metadados do experimento e determina as seguintes definições, conforme aplicável:

   • Fonte de dados do experimento (schema.table)
   • ID do Caso. Se o ID do caso do experimento não estiver disponível, a mensagem apropriada será exibida.
   • Um nome de modelo exclusivo com base no nome do modelo atual é gerado
   • Informações relacionadas ao parágrafo de pontuação:
     • ID do Caso: Se disponível, ele mesclará a coluna ID do Caso na tabela de saída de pontuação
     • Gerar nome exclusivo da tabela de saída de previsão com base na origem de dados do build e no sufixo exclusivo
     • Nome da coluna de previsão: PREDICTION
     • Nome da coluna de probabilidade de previsão: PROBABILITY (aplicável somente para Classificação)
3. Clique em OK. O notebook gerado é listado na página Notebook. Clique para abrir o notebook
   O bloco de anotações gerado exibe títulos de parágrafo para cada parágrafo junto com os códigos python. Depois que você executa o notebook, ele exibe informações relacionadas ao notebook, bem como a experiência AutoML, como o nome da experiência, o espaço de trabalho e o projeto em que o notebook está presente, o usuário, os dados, o tipo de previsão e o destino da previsão, o algoritmo e o carimbo de data e hora em que o notebook é gerado.