Azure Machine Learning e OpenAI

• Você pode selecionar + Criar na barra de ferramentas superior ou
• Selecione o botão + Criar no centro da página em Nenhum Azure OpenAI a ser exibido.

1. Na lista drop-down Assinatura, selecione sua assinatura do Azure.
2. Selecione um Grupo de recursos existente ou selecione Criar novo para criar um.
3. Informe um Nome de recurso exclusivo na assinatura selecionada. Somente caracteres alfanuméricos e hifens são permitidos. O valor deve ter de 2 a 64 caracteres e não pode começar ou terminar com um hífen.
4. Selecione a Camada de preços necessária para dimensionamento e capacidade. Para obter mais informações, consulte Exibir detalhes completos de preços.
5. Verifique as informações e os links da política na seção Política de revisão de conteúdo.
6. Selecione o botão Próximo para prosseguir.

1. Na seção Tipo, escolha a opção Redes selecionadas, configure a segurança de rede para seu recurso de serviços de IA do Azure para permitir acesso de Rede Virtual e Sub-rede específicas.
2. Selecione Rede Virtual na lista de redes virtuais existentes.
3. Selecione a sub-rede que você criou para o aplicativo na lista de Sub-redes.
4. Na seção Firewall, você pode deixar o campo Intervalo de endereços em branco, a menos que queira colocar o IP/CIDR de origem na lista de permissões.
5. Selecione o botão Próximo para prosseguir.

1. Adicione Nome e Valor para tags. Você pode adicionar várias tags.
2. Selecione o botão Próximo para prosseguir.

1. Informe um Nome da implantação descritivo e exclusivo para o modelo.
2. Selecione o Tipo de implantação como Padrão para permitir outras configurações
3. Versão do modelo, Recurso de IA e Filtro de conteúdo são definidos como padrão.
4. Defina o Limite de Taxa de Tokens por Minuto para essa implantação com base em seus requisitos. Por exemplo, ele é definido como 400K.
5. Ative a cota dinâmica.
6. Selecione Implantar para criar a implantação com as definições selecionadas.

1. As informações do ponto final, incluindo o URI de Destino e a Chave, são necessárias para maior integração.

1. Na lista drop-down Assinatura, selecione sua assinatura do Azure.
2. Selecione um Grupo de recursos existente ou selecione Criar novo para criar um.
3. Informe um Nome para o espaço de trabalho. O Nome deve ter entre 3 e 33 caracteres de extensão. Seu primeiro caractere deve ser alfanumérico, e o restante pode conter hifens e sublinhados. Nenhum espaço em branco é permitido.
4. Selecione Região para especificar o local físico em que o espaço de trabalho está implantado.
5. Crie uma nova Conta de armazenamento ou selecione uma existente em sua assinatura. Uma Conta de armazenamento é usada como o armazenamento de dados padrão para o espaço de trabalho.
6. Crie um novo recurso do vault de chaves do Azure ou selecione um existente em sua assinatura. Um vault de chaves armazena informações confidenciais de que o espaço de trabalho precisa.
7. Crie um novo recurso de insights de aplicativos do Azure ou selecione um existente em sua assinatura. O espaço de trabalho usa Insights de aplicativos do Azure para armazenar informações de monitoramento sobre seus modelos implantados.
8. Opcionalmente, crie o recurso de Registro de contêiner ou selecione um existente em sua assinatura. Um registro de contêiner armazena imagens do Docker que você usa para treinamento e implantações. Para minimizar custos, o Azure cria um novo recurso do Azure Container Registry somente depois que você cria sua primeira imagem.
9. Selecione o botão Próximo : Acesso de Entrada para continuar.

1. Escolha as opções Todas as redes como Acesso público à rede.
2. Selecione o botão Próximo : Acesso de Saída para continuar.

1. Escolha as opções Público como Isolamento de rede. Com essa opção, o serviço Compute pode acessar recursos públicos e a movimentação de dados de saída é irrestrita.
2. Selecione o botão Próximo : Criptografia para continuar.

1. Deixe a caixa de seleção Criptografar dados usando uma chave gerenciada pelo cliente desmarcada.
2. Selecione o botão Próximo : Identidade para continuar.

1. Role para baixo até a seção Acesso à conta de armazenamento e, em seguida, selecione a opção Acesso baseado em credencial como Tipo de acesso à conta de armazenamento.
2. Deixe a caixa de seleção Espaço de trabalho de alto impacto nos negócios desmarcada.
3. Selecione o botão Próximo : Tags para continuar.

1. Adicione Nome e Valor para tags. Você pode adicionar várias tags.
2. Selecione o botão Próximo: Verificar + criar para continuar.

1. Digite um nome exclusivo no campo Nome do serviço Compute da sua instância de computação.
   1. É um campo obrigatório e o nome do Compute deve ter entre 3 e 24 caracteres.
   2. Os caracteres válidos são letras maiúsculas e minúsculas, dígitos e hifens.
   3. O nome de computação deve começar com uma letra.
   4. O nome do Compute deve ser exclusivo em todos os cálculos existentes em uma região do Azure.
   5. Se um hífen for usado, ele deverá ser seguido por pelo menos uma letra no final do nome.
2. Escolha CPU como Tipo de máquina virtual para operações que consomem muita CPU.
3. Escolha Standard_E4ds_v4 como Tamanho da máquina virtual ou escolha um tamanho semelhante que seja adequado para manipulação de dados e treinamento em conjuntos de dados de médio a grande porte.
4. Selecione o botão Próximo para prosseguir.

1. Ative a alternância Fechar automaticamente após o timeout de inatividade.
2. Defina Fazer Shutdown após como 60 Minutos.
3. Selecione o botão Próximo para prosseguir.

1. Por padrão, as opções Designação do usuário, Identidade designada e SSH são desativadas.
2. Ative a alternância Rede virtual e, na lista drop-down, selecione sua Rede virtual e Sub-rede para configurar essa conexão de instância de computação na qual o acesso ao Oracle Database está configurado.
3. Ative o Acesso raiz e o SSO.
4. Selecione o botão Próximo para prosseguir.

1. Atualize o valor Conexão para a string de conexão do Oracle Database.

   Execute o seguinte código para instalar as bibliotecas Python necessárias:

   %pip install -U oracledb %pip install datasets==3.6.0

   Execute o seguinte código para configurar o ambiente com todas as bibliotecas necessárias:

   
   import json from datasets 
   import load_dataset
   import getpass
   import oracledb

Execute o seguinte código para testar a conectividade do banco de dados:

userpwd = getpass.getpass("Enter password: ")
connection = oracledb.connect(user="DEMO_USER", password=demo****password,
                              host="vm-*****-scan.ocidemoclients.ocidemovnet01.oraclevcn.com", port=1521, service_name="DEMOCDB1_DEMOPDB01.paas.oracle.com")
print("Successfully connected to Oracle Database")

Execute o seguinte código para carregar os dados do McAuley-Lab/Amazon-Reviews-2023 meta_Clothing_Shoes_and_Jewelry no Oracle Database usando esta abordagem:

dataset = load_dataset("McAuley-Lab/Amazon-Reviews-2023", "raw_meta_Amazon_Fashion", split="full", trust_remote_code=True)
# print(dataset[0])

userpwd = getpass.getpass("Enter password: ")
connection = oracledb.connect(user="DEMO_USER", password=demo****password,
                              host="vm-****-scan.ocidemoclients.ocidemovnet01.oraclevcn.com", port=1521, service_name="DEMOCDB1_DEMOPDB01.paas.oracle.com")
print("Successfully connected to Oracle Database")

cursor = connection.cursor()
insert_query = """
INSERT INTO product (main_category, title, average_rating, rating_number, features, description, price, images, videos, store, categories, details, parent_asin, bought_together) 
VALUES (:main_category, :title, :average_rating, :rating_number, :features, :description, :price, :images, :videos, :store, :categories, :details, :parent_asin, :bought_together)
"""

for record in dataset:   
    cursor.execute(insert_query, 
                    main_category=record['main_category'], 
                    title=record['title'], 
                    average_rating=record['average_rating'], 
                    rating_number=record['rating_number'],
                    features=json.dumps(record.get('features', [])), 
                    description=json.dumps(record.get('description', [])), 
                    price=record['price'], 
                    images=json.dumps(record.get('images', {})),
                    videos=json.dumps(record.get('videos', {})),
                    store=record['store'], 
                    categories=json.dumps(record.get('categories', [])), 
                    details=json.dumps(record.get('details', {})), 
                    parent_asin=record['parent_asin'], 
                    bought_together=record['bought_together']
    )


connection.commit()
cursor.close()
connection.close()

1. Atualize os valores api_key e azure_endpoint com os valores reais dos detalhes do Modelo de incorporação de texto.
2. Atualize o valor Conexão para a string de conexão do Oracle Database.
   Observação
   
   A geração de incorporação de vetores incorre em custos de computação com base no volume de dados. Limite o número de registros na tabela Produto para reduzir os custos de computação.
   Execute o seguinte código para instalar as bibliotecas necessárias:

   
   %pip install openai --upgrade
   %pip install oracledb --upgrade

   Execute o seguinte código para configurar o Azure OpenAI e gerar incorporação:

   import pandas as pd
   import json
   import os
   import getpass
   import oracledb
   import openai
   import array
   import time
   
   # Set your OpenAI API Key
   api_type = "azure"
   api_key = "Adw3Y1QIG5ueN6TPUD7**************************w3AAABACOGiX0G"
   azure_endpoint = "https://demo-azure-openai-service.openai.azure.com/" 
   api_version = "2024-02-01"
   
   client = openai.AzureOpenAI(
           azure_endpoint=azure_endpoint,
           api_key=api_key,
           api_version=api_version
       )
   
   
   # Function to Generate the Embeddings
   deployment = "text-embedding-3-large"
   
   def generate_embeddings(text):
       response = client.embeddings.create(
           input=text,
           model=deployment
       )
       return response.data[0].embedding
   
   
   # Batch Size
   batch_size = 100
   record_count = 826108
   start_id = 824101
   end_id = 0
   
   # Load your dataset
   userpwd = getpass.getpass("Enter password: ")
   connection = oracledb.connect(user="DEMO_USER", password=demo****password,
                                 host="vm-*****-scan.ocidemoclients.ocidemovnet01.oraclevcn.com", port=1521, service_name="DEMOCDB1_DEMOPDB01.paas.oracle.com")
   print("Successfully connected to Oracle Database")
   
   cursor = connection.cursor()
   
   select_query = """select product_id, title from product where product_id between :startid and :endid"""
   
   
   for i in range(start_id, record_count, batch_size):
       start_id = i
       end_id = i + batch_size
   
       # Generate embeddings for each row in the "title" column
       binds = []
       for product_id, title in cursor.execute(select_query, startid=start_id, endid=end_id):
           response = generate_embeddings(title)
   
           vec = array.array("f", response)
           binds.append([vec, product_id])
   
       print("Embedding completed for " + str(end_id))
   
       connection.autocommit = True
   
       # Update the database with Vector Embeddings
   
       cursor.executemany(
           """update product
           set title_embedding = :1
           where product_id = :2""",
           binds,     
       )
   
       time.sleep(2)
   
   # Close the connection
   connection.commit()
   cursor.close()
   connection.close()

1. Atualize os valores api_key e azure_endpoint com os valores reais dos detalhes do Modelo de incorporação de texto.
2. Atualize o valor Conexão para a string de conexão do Oracle Database.

   Execute o seguinte código para instalar as bibliotecas necessárias:

   %pip install openai --upgrade %pip install oracledb --upgrade

   Execute o seguinte código para gerar a incorporação na entrada e executar a pesquisa de banco de dados:

   import os
   import sys
   import getpass
   import array
   import oracledb
   import openai
   from skimage import io
   import matplotlib.pyplot as plt
   import requests
   
   
   # Set your OpenAI API Key
   api_type = "azure"
   api_key = "Adw3Y1QIG5ueN6TPUD7**************************w3AAABACOGiX0G"
   azure_endpoint = "https://demo-azure-openai-service.openai.azure.com/" 
   api_version = "2024-02-01"
   
   client = openai.AzureOpenAI(
           azure_endpoint=azure_endpoint,
           api_key=api_key,
           api_version=api_version
       )
   
   
   # Function to Generate the Embeddings
   deployment = "text-embedding-3-large"
   
   def generate_embeddings(text):
       response = client.embeddings.create(
           input=text,
           model=deployment
       )
       return response.data[0].embedding
   
   
   # Create a connection to the database
   userpwd = getpass.getpass("Enter password: ")
   connection = oracledb.connect(user="DEMO_USER", password=demo****password,
                                 host="vm-*****-scan.ocidemoclients.ocidemovnet01.oraclevcn.com", port=1521, service_name="DEMOCDB1_DEMOPDB01.paas.oracle.com")
   print("Successfully connected to Oracle Database")
   
   
   cursor = connection.cursor()
   
   search_query = """select product_id,
                     json_value(images, '$.hi_res[0]') as image_url,
                     title
                     from product
                     where json_value(images, '$.hi_res[0]') is not null
                     order by vector_distance(title_embedding, :1, EUCLIDEAN)                  
                     fetch first 5 rows only"""
   
   
   while True:
       # Get the input text to vectorize
   
       text = input("\Enter a phrase. Type quit to exit : ")
   
       if (text == "quit") or (text == "exit"):
           break
       
       if text == "":
           continue
       
       sentence = [text]
       response = generate_embeddings(sentence)
   
       vec = array.array("f", response)
   
       print("vector embedding generated")
   
       cursor.execute(search_query, [vec])
   
       result = cursor.fetchall()
   
       image_urls = []
       plt.rcParams["figure.figsize"] = [7.50, 3.50]
       plt.rcParams["figure.autolayout"] = True
   
       for record in result:
           image_url = record[1]
           urldata = requests.get(image_url).content
           print("Product Id: " + str(record[0]))
           a = io.imread(image_url)
           plt.imshow(a)
           plt.axis('off')
           plt.show()
   
       
   
   # Close the connection
   connection.commit()
   cursor.close()
   connection.close()

1. 01_Load_Data: Extrair dados de amostra do catálogo da loja de varejo do conjunto de dados público e inserir no Oracle Database.
2. 02_Generate_Vector_Embeeding: Gere dados vetoriais para o título do produto e atualize-os na coluna do vetor do produto.
3. 03_Semantic_Search: Gerar incorporação de vetor para texto de pesquisa do usuário e selecionar registros da tabela Produto com algoritmo de distância e exibir na saída para o resultado correspondente.