Format Hive - Données partitionnées dans la banque d'objets cloud

Hive offre un format de métadonnées standard pour les moteurs de traitement du Big Data. Les données partitionnées dans la banque d'objets cloud générées au format Hive sont représentées au format folder/subfolder. Par exemple, sur la banque d'objets cloud, un fichier de données au format Hive est stocké comme suit :

table/partition1=partition1_value/partition2=partition2_value/data_file.csv

Les fichiers enregistrés au format partitionné Hive fournissent des informations de partition dans le nom du chemin du fichier de données. Le nom du chemin du fichier de données inclut des informations sur le contenu de l'objet, y compris les noms de colonne de partition et les valeurs de colonne de partition (le fichier de données n'inclut pas les colonnes de partition et leurs valeurs associées).

Par exemple, prenons une table SALES partitionnée externe créée à partir de données au format Hive sur la banque d'objets cloud :

.../sales/country=USA/year=2020/month=01/file1.csv
.../sales/country=USA/year=2020/month=01/file2.csv
.../sales/country=USA/year=2020/month=02/file3.csv
.../sales/country=USA/year=2020/month=03/file1.csv
.../sales/country=FRA/year=2020/month=03/file1.csv

Les informations de partition au format Hive indiquent que les fichiers de données de la banque d'objets cloud sont partitionnés par country, year et month, et que les valeurs de ces colonnes de partition sont également indiquées dans le nom de chemin au format Hive de chaque fichier de données (le nom de chemin inclut les valeurs des colonnes partitionnées : country, year et month).

Les noms de colonne du chemin seront utilisés par l'API pour simplifier la définition de la table.

Format de dossier simple - Données partitionnées dans la banque d'objets cloud

Les données partitionnées dans la banque d'objets cloud générées au format dossier sont représentées au format folder/subfolder, comme les données partitionnées au format Hive, mais les informations du chemin indiquent les valeurs de colonne et n'incluent pas les noms de colonne. En outre, avec les données partitionnées au format dossier, l'ordre de partition spécifié dans le nom d'objet est significatif et doit correspondre à l'ordre dans les colonnes de la table.

Par exemple, sur la banque d'objets cloud, un fichier de données au format dossier est stocké comme suit :

table/partition1_value/partition2_value/*.parquet

Le chemin inclut les valeurs de colonne de partition, dans l'ordre des colonnes de partition, et les fichiers de données. Autonomous Database vous permet de créer une table partitionnée externe à partir de données de format de dossier et vous pouvez effectuer une requête à l'aide des partitions indiquées.

Les fichiers enregistrés au format partitionné par dossier fournissent les valeurs de colonne de partition de données dans le nom de fichier. Contrairement à Hive, les chemins d'accès n'incluent pas le nom de colonne. Par conséquent, les noms de colonne doivent être fournis. L'ordre des colonnes de partition est important et l'ordre du nom de fichier des noms de partition de colonne doit correspondre à l'ordre du paramètre partition_columns.

A propos de l'interrogation des données partitionnées dans la banque d'objets cloud

Lorsque vous interrogez des données partitionnées externes au format Hive, le moteur de requête comprend et utilise les informations de partitionnement du nom du chemin d'accès au fichier. Par exemple, considérons une table SALES partitionnée externe dans laquelle le fichier source sales/country=USA/year=2020/month=02/file3.csv sur la banque d'objets inclut les données de vente suivantes :

tents, 291
canoes, 22
backpacks, 378

Les valeurs country dans le nom de chemin et les valeurs de période pour month et year ne sont pas indiquées en tant que colonnes dans le fichier de données. Les valeurs de colonne de partition sont spécifiées uniquement dans le nom du chemin avec les valeurs affichées : USA, 2020 et 02. Une fois que vous avez créé une table partitionnée externe avec ce fichier de données, vous pouvez utiliser les colonnes de partition et leurs valeurs lorsque vous exécutez une requête sur la table partitionnée externe.

Par exemple :

SELECT year, month, product, units 
     FROM SALES WHERE year='2020' AND month='02' AND country='USA'

L'avantage de créer une table partitionnée externe avec des données générées en tant que données partitionnées au format Hive est que le moteur de requête est optimisé pour partitionner le nettoyage des données afin de sélectionner la partition correcte et que la requête sélectionne uniquement les données d'une partition et n'a besoin que de rechercher un seul fichier de données. Par conséquent, l'interrogation ne nécessite qu'un balayage du fichier file3.csv (/sales/country=USA/year=2020/month=02/file3.csv). Pour de grandes quantités de données, un tel élagage de partition peut améliorer considérablement les performances.

A l'aide de tables externes Oracle Database standard, la colonne de partition doit être disponible en tant que colonne dans le fichier de données pour être utilisée pour les requêtes ou les définitions de partition. Sans la gestion spéciale disponible avec les tables partitionnées externes sur Autonomous Database, cela peut poser problème si vous voulez utiliser les données stockées au format Hive sur la banque d'objets cloud, car vous devez régénérer les fichiers de données pour inclure la partition en tant que colonne dans le fichier de données.

A propos de la création de tables externes partitionnées

Lorsque vous utilisez des données non structurées stockées au format Hive sur la banque d'objets cloud et que vous créez une table partitionnée externe, les colonnes et leurs types ne peuvent pas être dérivés du fichier source. Par conséquent, les colonnes et leurs types de données doivent être indiqués avec le paramètre column_list. Pour créer les tables externes partitionnées, utilisez la procédure DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE pour indiquer les colonnes de partition et leurs types comme suit :

• La racine de la liste de fichiers est indiquée dans le nom du chemin avec le paramètre file_uri_list. Par exemple, http://.../sales/*

• Les noms de colonne et les types de données sont indiqués avec le paramètre column_list.

• L'option partition_columns du paramètre format indique les colonnes de partition.

• La DLL générée inclut les colonnes indiquées dans le nom du chemin.

Dans cet exemple, lorsque la table externe est créée, les colonnes country, year et month sont ajoutées dans le paramètre column_list. La table externe est créée avec les colonnes country, year et month, qui ne figurent pas dans les fichiers de données, et des partitions de liste sont créées pour permettre l'élagage des partitions.

Lorsque vous utilisez des données structurées, telles que des fichiers Parquet, Avro ou ORC stockés dans un format de dossier sur la banque d'objets cloud, les colonnes et leurs types de données sont connus. Vous n'avez pas besoin d'indiquer la liste des colonnes comme requis avec les données non structurées. Pour créer les tables externes partitionnées, utilisez la procédure DBMS_CLOUD.CREATE_EXTERNAL_PART_TABLE pour indiquer les colonnes de partition et leurs types comme suit :

• La racine de la liste de fichiers est indiquée dans le nom du chemin avec le paramètre file_uri_list. Par exemple, http://.../sales/*
• Le paramètre column_list n'est pas requis pour les fichiers structurés. Si vous n'indiquez pas de liste de colonnes, vous devez définir les colonnes de partition et leurs types de données lorsque vous créez la table partitionnée externe. Utilisez l'option partition_columns dans le paramètre format pour indiquer les colonnes de partition et leurs types de données.
• La DLL générée inclut les colonnes indiquées dans le nom du chemin.

Pour obtenir des exemples complets, reportez-vous à Interrogation des données partitionnées externes avec l'organisation du fichier source de format Hive et à Interrogation des données partitionnées externes avec l'organisation du fichier source de format de dossier.