Apprentissage automatique Azure et OpenAI

• Vous pouvez sélectionner + Create (Créer) dans la barre d'outils supérieure, ou
• Select the + Create button in the center of the page under No Azure OpenAI to display.

1. Dans la liste déroulante Abonnement, sélectionnez votre abonnement Azure.
2. Sélectionnez un groupe de ressources existant ou sélectionnez Créer pour en créer un.
3. Entrez un nom de ressource unique dans l'abonnement sélectionné. Seuls les caractères alphanumériques et les tirets sont autorisés. La valeur doit comporter entre 2 et 64 caractères et ne peut pas commencer ni se terminer par un tiret.
4. Sélectionnez le niveau de tarification requis pour le dimensionnement et la capacité. Pour plus d'informations, voir Voir les détails complets des tarifs.
5. Vérifiez les informations et les liens de la politique dans la section Politique de révision de contenu.
6. Sélectionnez le bouton Suivant pour continuer.

1. Dans la section Type, sélectionnez l'option Réseaux sélectionnés, configurer la sécurité du réseau pour votre ressource des services d'intelligence artificielle Azure pour autoriser l'accès à partir d'un réseau virtuel et d'un sous-réseau spécifiques.
2. Sélectionnez Réseau virtuel dans la liste des réseaux virtuels existants.
3. Sélectionnez le sous-réseau que vous avez créé pour l'application dans la liste Sous-réseaux.
4. Sous la section Pare-feu, vous pouvez laisser le champ Intervalle d'adresses vide, sauf si vous souhaitez mettre en liste blanche l'adresse IP/CIDR source.
5. Sélectionnez le bouton Suivant pour continuer.

1. Ajoutez Nom et Valeur pour les marqueurs. Vous pouvez ajouter plusieurs marqueurs.
2. Sélectionnez le bouton Suivant pour continuer.

1. Entrez un nom de déploiement descriptif et unique pour le modèle.
2. Sélectionnez le type de déploiement Standard pour autoriser d'autres configurations
3. Les valeurs par défaut sont Version de modèle, Ressource IA et Filtre de contenu.
4. Définissez la limite de débit de jetons par minute pour ce déploiement en fonction de vos besoins. Par exemple, il est réglé à 400K.
5. Activer le quota dynamique.
6. Sélectionnez Déployer pour créer le déploiement avec les paramètres sélectionnés.

1. Les informations sur le point d'extrémité, notamment l'URI cible et la clé, sont requises pour une intégration ultérieure.

1. Dans la liste déroulante Abonnement, sélectionnez votre abonnement Azure.
2. Sélectionnez un groupe de ressources existant ou sélectionnez Créer pour en créer un.
3. Entrez un nom pour l'espace de travail. Le nom doit comporter entre 3 et 33 caractères. Son premier caractère doit être alphanumérique et le reste peut contenir des traits d'union et des traits de soulignement. Aucun blanc n'est autorisé.
4. Sélectionnez Région pour spécifier l'emplacement physique où l'espace de travail est déployé.
5. Créez un compte de stockage ou sélectionnez un compte existant dans votre abonnement. Un compte de stockage est utilisé comme magasin de données par défaut pour l'espace de travail.
6. Créez une nouvelle ressource Chambre forte de clés Azure ou sélectionnez une ressource existante dans votre abonnement. Une chambre forte de clés stocke les informations sensibles dont l'espace de travail a besoin.
7. Créez une nouvelle ressource Informations clés sur l'application Azure ou sélectionnez une ressource existante dans votre abonnement. L'espace de travail utilise les informations clés sur l'application Azure pour stocker des informations de surveillance sur vos modèles déployés.
8. Facultativement, créez la ressource Registre de conteneurs ou sélectionnez une ressource existante dans votre abonnement. Un registre de conteneurs stocke les images Docker que vous utilisez pour l'entraînement et les déploiements. Pour réduire les coûts, Azure crée une nouvelle ressource Azure Container Registry uniquement après avoir créé votre première image.
9. Sélectionnez le bouton Suivant : Accès entrant pour continuer.

1. Sélectionnez les options Tous les réseaux comme Accès au réseau public.
2. Sélectionnez le bouton Suivant : Accès sortant pour continuer.

1. Sélectionnez les options Public comme Isolement du réseau. Avec cette option, le service de calcul peut accéder aux ressources publiques et le déplacement des données sortantes n'est pas restreint.
2. Sélectionnez le bouton Suivant : Chiffrement pour continuer.

1. Laissez la case Chiffrer les données à l'aide d'une clé gérée par le client désélectionnée.
2. Sélectionnez le bouton Suivant : Identité pour continuer.

1. Faites défiler vers le bas jusqu'à la section Accès au compte de stockage, puis sélectionnez l'option Accès basé sur les données d'identification comme Type d'accès au compte de stockage.
2. Laissez la case Espace de travail à incidence commerciale élevée désélectionnée.
3. Sélectionnez le bouton Suivant : Marqueurs pour continuer.

1. Ajoutez Nom et Valeur pour les marqueurs. Vous pouvez ajouter plusieurs marqueurs.
2. Sélectionnez le bouton Suivant : Vérifier + créer pour continuer.

1. Entrez un nom unique dans le champ Nom du service de calcul pour votre instance de calcul.
   1. Il s'agit d'un champ obligatoire et le nom du service de calcul doit comporter entre 3 et 24 caractères.
   2. Les caractères valides sont les lettres majuscules et minuscules, les chiffres et les tirets.
   3. Le nom de calcul doit commencer par une lettre.
   4. Le nom de calcul doit être unique dans tous les calculs existants dans une région Azure.
   5. Si un tiret est utilisé, il doit être suivi d'au moins une lettre plus tard dans le nom.
2. Sélectionnez UC comme type de machine virtuelle pour les opérations intensives en UC.
3. Sélectionnez Standard_E4ds_v4 comme Taille de machine virtuelle ou choisissez une taille similaire qui convient à la manipulation de données et à l'entraînement sur des jeux de données de moyenne à grande taille.
4. Sélectionnez le bouton Suivant pour continuer.

1. Activez l'option Arrêt automatique après la temporisation d'inactivité.
2. Réglez Arrêter après à 60 Minutes.
3. Sélectionnez le bouton Suivant pour continuer.

1. Les options Affectation d'utilisateur, Identité affectée et SSH sont désactivées par défaut.
2. Activez le commutateur Réseau virtuel, puis, dans la liste déroulante, sélectionnez votre réseau virtuel et votre sous-réseau pour configurer cette connexion d'instance de calcul où l'accès à Oracle Database est configuré.
3. Activez l'accès racine et l'authentification unique.
4. Sélectionnez le bouton Suivant pour continuer.

1. Mettez à jour la valeur Connexion pour la chaîne de connexion Oracle Database.

   Exécutez le code suivant pour installer les bibliothèques Python requises :

   %pip install -U oracledb %pip install datasets==3.6.0

   Exécutez le code suivant pour configurer l'environnement avec toutes les bibliothèques requises :

   
   import json from datasets 
   import load_dataset
   import getpass
   import oracledb

Exécutez le code suivant pour tester la connectivité de la base de données :

userpwd = getpass.getpass("Enter password: ")
connection = oracledb.connect(user="DEMO_USER", password=demo****password,
                              host="vm-*****-scan.ocidemoclients.ocidemovnet01.oraclevcn.com", port=1521, service_name="DEMOCDB1_DEMOPDB01.paas.oracle.com")
print("Successfully connected to Oracle Database")

Exécutez le code suivant pour charger les données McAuley-Lab/Amazon-Reviews-2023 meta_Clothing_Shoes_and_Jewelry dans Oracle Database à l'aide de cette approche :

dataset = load_dataset("McAuley-Lab/Amazon-Reviews-2023", "raw_meta_Amazon_Fashion", split="full", trust_remote_code=True)
# print(dataset[0])

userpwd = getpass.getpass("Enter password: ")
connection = oracledb.connect(user="DEMO_USER", password=demo****password,
                              host="vm-****-scan.ocidemoclients.ocidemovnet01.oraclevcn.com", port=1521, service_name="DEMOCDB1_DEMOPDB01.paas.oracle.com")
print("Successfully connected to Oracle Database")

cursor = connection.cursor()
insert_query = """
INSERT INTO product (main_category, title, average_rating, rating_number, features, description, price, images, videos, store, categories, details, parent_asin, bought_together) 
VALUES (:main_category, :title, :average_rating, :rating_number, :features, :description, :price, :images, :videos, :store, :categories, :details, :parent_asin, :bought_together)
"""

for record in dataset:   
    cursor.execute(insert_query, 
                    main_category=record['main_category'], 
                    title=record['title'], 
                    average_rating=record['average_rating'], 
                    rating_number=record['rating_number'],
                    features=json.dumps(record.get('features', [])), 
                    description=json.dumps(record.get('description', [])), 
                    price=record['price'], 
                    images=json.dumps(record.get('images', {})),
                    videos=json.dumps(record.get('videos', {})),
                    store=record['store'], 
                    categories=json.dumps(record.get('categories', [])), 
                    details=json.dumps(record.get('details', {})), 
                    parent_asin=record['parent_asin'], 
                    bought_together=record['bought_together']
    )


connection.commit()
cursor.close()
connection.close()

1. Mettez à jour les valeurs api_key et azure_endpoint avec les valeurs réelles des détails du modèle d'intégration de texte.
2. Mettez à jour la valeur Connexion pour la chaîne de connexion Oracle Database.
   Note
   
   La génération de l'intégration vectorielle entraîne des coûts de calcul basés sur le volume de données. Limitez le nombre d'enregistrements dans la table Produit afin de réduire les coûts de calcul.
   Exécutez le code suivant pour installer les bibliothèques requises :

   
   %pip install openai --upgrade
   %pip install oracledb --upgrade

   Exécutez le code suivant pour configurer Azure OpenAI et générer l'intégration :

   import pandas as pd
   import json
   import os
   import getpass
   import oracledb
   import openai
   import array
   import time
   
   # Set your OpenAI API Key
   api_type = "azure"
   api_key = "Adw3Y1QIG5ueN6TPUD7**************************w3AAABACOGiX0G"
   azure_endpoint = "https://demo-azure-openai-service.openai.azure.com/" 
   api_version = "2024-02-01"
   
   client = openai.AzureOpenAI(
           azure_endpoint=azure_endpoint,
           api_key=api_key,
           api_version=api_version
       )
   
   
   # Function to Generate the Embeddings
   deployment = "text-embedding-3-large"
   
   def generate_embeddings(text):
       response = client.embeddings.create(
           input=text,
           model=deployment
       )
       return response.data[0].embedding
   
   
   # Batch Size
   batch_size = 100
   record_count = 826108
   start_id = 824101
   end_id = 0
   
   # Load your dataset
   userpwd = getpass.getpass("Enter password: ")
   connection = oracledb.connect(user="DEMO_USER", password=demo****password,
                                 host="vm-*****-scan.ocidemoclients.ocidemovnet01.oraclevcn.com", port=1521, service_name="DEMOCDB1_DEMOPDB01.paas.oracle.com")
   print("Successfully connected to Oracle Database")
   
   cursor = connection.cursor()
   
   select_query = """select product_id, title from product where product_id between :startid and :endid"""
   
   
   for i in range(start_id, record_count, batch_size):
       start_id = i
       end_id = i + batch_size
   
       # Generate embeddings for each row in the "title" column
       binds = []
       for product_id, title in cursor.execute(select_query, startid=start_id, endid=end_id):
           response = generate_embeddings(title)
   
           vec = array.array("f", response)
           binds.append([vec, product_id])
   
       print("Embedding completed for " + str(end_id))
   
       connection.autocommit = True
   
       # Update the database with Vector Embeddings
   
       cursor.executemany(
           """update product
           set title_embedding = :1
           where product_id = :2""",
           binds,     
       )
   
       time.sleep(2)
   
   # Close the connection
   connection.commit()
   cursor.close()
   connection.close()

1. Mettez à jour les valeurs api_key et azure_endpoint avec les valeurs réelles des détails du modèle d'intégration de texte.
2. Mettez à jour la valeur Connexion pour la chaîne de connexion Oracle Database.

   Exécutez le code suivant pour installer les bibliothèques requises :

   %pip install openai --upgrade %pip install oracledb --upgrade

   Exécutez le code suivant pour générer l'intégration sur l'entrée et effectuer la recherche dans la base de données :

   import os
   import sys
   import getpass
   import array
   import oracledb
   import openai
   from skimage import io
   import matplotlib.pyplot as plt
   import requests
   
   
   # Set your OpenAI API Key
   api_type = "azure"
   api_key = "Adw3Y1QIG5ueN6TPUD7**************************w3AAABACOGiX0G"
   azure_endpoint = "https://demo-azure-openai-service.openai.azure.com/" 
   api_version = "2024-02-01"
   
   client = openai.AzureOpenAI(
           azure_endpoint=azure_endpoint,
           api_key=api_key,
           api_version=api_version
       )
   
   
   # Function to Generate the Embeddings
   deployment = "text-embedding-3-large"
   
   def generate_embeddings(text):
       response = client.embeddings.create(
           input=text,
           model=deployment
       )
       return response.data[0].embedding
   
   
   # Create a connection to the database
   userpwd = getpass.getpass("Enter password: ")
   connection = oracledb.connect(user="DEMO_USER", password=demo****password,
                                 host="vm-*****-scan.ocidemoclients.ocidemovnet01.oraclevcn.com", port=1521, service_name="DEMOCDB1_DEMOPDB01.paas.oracle.com")
   print("Successfully connected to Oracle Database")
   
   
   cursor = connection.cursor()
   
   search_query = """select product_id,
                     json_value(images, '$.hi_res[0]') as image_url,
                     title
                     from product
                     where json_value(images, '$.hi_res[0]') is not null
                     order by vector_distance(title_embedding, :1, EUCLIDEAN)                  
                     fetch first 5 rows only"""
   
   
   while True:
       # Get the input text to vectorize
   
       text = input("\Enter a phrase. Type quit to exit : ")
   
       if (text == "quit") or (text == "exit"):
           break
       
       if text == "":
           continue
       
       sentence = [text]
       response = generate_embeddings(sentence)
   
       vec = array.array("f", response)
   
       print("vector embedding generated")
   
       cursor.execute(search_query, [vec])
   
       result = cursor.fetchall()
   
       image_urls = []
       plt.rcParams["figure.figsize"] = [7.50, 3.50]
       plt.rcParams["figure.autolayout"] = True
   
       for record in result:
           image_url = record[1]
           urldata = requests.get(image_url).content
           print("Product Id: " + str(record[0]))
           a = io.imread(image_url)
           plt.imshow(a)
           plt.axis('off')
           plt.show()
   
       
   
   # Close the connection
   connection.commit()
   cursor.close()
   connection.close()

1. 01_Load_Data : Extrayez des données-échantillons de catalogue de magasin de détail à partir d'un jeu de données public et insérez-les dans Oracle Database.
2. 02_Generate_Vector_Embeeding : Générer des données vectorielles pour le titre du produit et les mettre à jour dans la colonne de vecteur de produit.
3. 03_Semantic_Search : Générer l'intégration vectorielle pour le texte de recherche d'utilisateur et sélectionner des enregistrements dans la table Produit avec un algorithme de distance et les afficher en sortie pour le résultat correspondant.