Interroger des données partitionnées externes avec organisation de fichiers sources au format de dossier

Utilisez DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE pour créer une table partitionnée externe et générer les informations de partitionnement à partir du chemin d'accès au fichier du magasin d'objets en nuage.

Lorsque vous créez une table externe avec des fichiers de données de format de dossier, vous disposez de deux options pour spécifier les types des colonnes de partition :

  • Vous pouvez spécifier manuellement les colonnes et leurs types de données avec le paramètre column_list. Voir Interroger des données partitionnées externes avec organisation de fichiers sources au format Hive pour un exemple utilisant le paramètre column_list.

  • Vous pouvez laisser DBMS_CLOUD dériver les colonnes de fichier de données et leurs types à partir d'informations dans des fichiers de données structurés tels que les fichiers de données Avro, ORC et Parquet. Dans ce cas, vous utilisez l'option partition_columns avec le paramètre format pour fournir les noms de colonne et leurs types de données pour les colonnes de partition et vous n'avez pas besoin de fournir les paramètres column_list ou field_list.

Examinez les exemples de fichiers sources suivants dans le magasin d'objets :

.../sales/USA/2020/01/sales1.parquet

.../sales/USA/2020/02/sales2.parquet

Pour créer une table externe partitionnée avec le chemin d'accès au fichier du magasin d'objets en nuage définissant les partitions à partir de fichiers ayant ce format de dossier exemple, procédez comme suit :

  1. Stockez vos données d'identification de magasin d'objets à l'aide de la procédure DBMS_CLOUD.CREATE_CREDENTIAL.

    Exemple :

    BEGIN
      DBMS_CLOUD.CREATE_CREDENTIAL (
        credential_name => 'DEF_CRED_NAME',
        username => 'adb_user@example.com',
        password => 'password' );
    END;
    /
    

    La création de données d'identification pour accéder au magasin d'objets Oracle Cloud Infrastructure n'est pas requise si vous activez les données d'identification du principal de ressource. Pour plus d'informations, voir Utiliser un principal de ressource pour accéder aux ressources Oracle Cloud Infrastructure.

    Cette opération stocke les données d'identification dans la base de données dans un format chiffré. Vous pouvez utiliser n'importe quel nom pour le nom des données d'identification. Notez que cette étape n'est requise qu'une seule fois, sauf si les données d'identification du magasin d'objets changent. Une fois les données d'identification stockées, vous pouvez utiliser le même nom pour créer des tables externes.

    Voir Procédure CREATE_CREDENTIAL pour plus d'informations sur les paramètres username et password pour différents services de stockage d'objets.

  2. Créez une table partitionnée externe au-dessus de vos fichiers sources à l'aide de la procédure DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE.

    La procédure DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE prend en charge les fichiers partitionnés externes dans les services de stockage d'objets en nuage pris en charge. Les données d'identification sont une propriété de niveau table. Par conséquent, les fichiers externes doivent tous se trouver dans le même magasin d'objets en nuage.

    Exemple :

    BEGIN DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE(
        table_name => 'MYSALES',
        credential_name => 'DEF_CRED_NAME',
        file_uri_list => 'https://objectstorage.us-phoenix-1.oraclecloud.com/n/namespace-string/b/bucketname/o/sales/*.parquet',
        format =>
            json_object('type' value 'parquet', 'schema' value 'first',
                        'partition_columns' value
                              json_array(
                                    json_object('name' value 'country', 'type' value 'varchar2(100)'),
                                    json_object('name' value 'year', 'type' value 'number'),
                                    json_object('name' value 'month', 'type' value 'varchar2(2)')
                              )
             )
        );
    END;
    /

    Les paramètres DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE pour les fichiers de données structurés, par exemple pour un fichier de données Parquet, ne nécessitent pas les paramètres column_list ou field_list. Les noms de colonne et les types de données sont dérivés pour les colonnes à partir du premier fichier parquet balayé par la procédure (et donc tous les fichiers doivent avoir la même forme). La liste des colonnes générées inclut les colonnes dérivées du nom de l'objet et ces colonnes ont les types de données spécifiés avec le paramètre partition_columns format.

    Les paramètres sont les suivants :

    • table_name : Nom de la table externe.

    • credential_name : Nom des données d'identification créées à l'étape précédente.

    • file_uri_list : Il s'agit d'une liste délimitée par des virgules d'URI de fichier source. Deux options sont disponibles pour cette liste :

      • Indiquez une liste délimitée par des virgules d'URI de fichier individuels sans caractère générique.

      • Spécifiez un URI de fichier unique avec des caractères génériques, où les caractères génériques ne peuvent se trouver qu'après la dernière barre oblique "/". Le caractère "*" peut être utilisé comme caractère générique pour plusieurs caractères, "?" peut être utilisé pour un seul caractère.

    • column_list : Liste séparée par des virgules de noms de colonne et de types de données pour la table externe. La liste inclut les colonnes qui se trouvent dans le fichier ainsi que celles dérivées du nom de l'objet.

      La valeur column_list n'est pas requise lorsque les fichiers de données sont des fichiers structurés (Parquet, Avro ou ORC).

    • field_list : Identifie les champs des fichiers sources et leur type de données. La valeur par défaut est NULL, ce qui signifie que les champs et leur type de données sont déterminés par le paramètre column_list.

      La valeur field_list n'est pas requise lorsque les fichiers de données sont des fichiers structurés (Parquet, Avro ou ORC).

    • format : Définit les options que vous pouvez spécifier pour décrire le format du fichier source. Le paramètre partition_columns format spécifie les noms des colonnes de partition. Pour plus d'informations, voir Options de format d'ensemble DBMS_CLOUD.

      Si les données de votre fichier source sont chiffrées, déchiffrez les données en spécifiant l'option de format encryption. Voir Décrypter les données lors de l'importation à partir du stockage d'objets pour plus d'informations sur le déchiffrement des données.

    Dans cet exemple, namespace-string est l'espace de noms du stockage d'objets pour Oracle Cloud Infrastructure et bucketname est le nom du seau. Pour plus d'informations, voir Présentation des espaces de noms du stockage d'objets.

    Voir Procédure CREATE_EXTERNAL_PART_TABLE pour des informations détaillées sur les paramètres.

    Pour plus d'informations sur les services de stockage d'objets en nuage pris en charge, voir Formats d'URI DBMS_CLOUD.

    Si des rangées des fichiers sources ne correspondent pas aux options de format que vous avez spécifiées, l'interrogation signale une erreur. Vous pouvez utiliser les paramètres DBMS_CLOUD, tels que rejectlimit, pour supprimer ces erreurs. Vous pouvez également valider la table partitionnée externe que vous avez créée pour voir les messages d'erreur et les rangées rejetées afin de pouvoir modifier les options de format en conséquence. Voir Valider les données externes et Valider les données partitionnées externes pour plus d'informations.

  3. Vous pouvez maintenant exécuter des interrogations sur la table partitionnée externe que vous avez créée à l'étape précédente.

    Votre base de données Autonomous AI Database tire parti des informations de partitionnement de votre table partitionnée externe, en s'assurant que l'interrogation accède uniquement aux fichiers de données pertinents du magasin d'objets. Par exemple, l'interrogation suivante lit uniquement les fichiers de données d'une partition.

    Exemple :

    SELECT year, month, product, units 
    FROM SALES WHERE year='2020' AND month='02' AND country='USA'

    Les tables partitionnées externes que vous créez avec DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE incluent deux colonnes invisibles file$path et file$name. Ces colonnes permettent d'identifier le fichier d'où provient un enregistrement. Pour plus d'informations, voir Colonnes de métadonnées de table externe.