Interroger les tables d'iceberg Apache

• Iceberg (REST) natif d'Unity : non pris en charge.

  Solution de contournement : utilisez Delta + UniForm pour publier une vue lisible par Iceberg via l'adresse REST Iceberg d'Unity Catalog.

• Catalogues REST certifiés : ADB est certifié avec les options Snowflake Polaris et Databricks Unity Catalog (UniForm uniquement) pour l'accès en lecture Iceberg.

• Distribution des informations d'identification de catalogue : non prise en charge.

  La distribution cloud native basée sur les rôles, telle que l'hypothèse de rôle automatique ou les informations d'identification temporaires émises par STS, n'est pas prise en charge. Utilisez des clés d'accès/secret explicites ou des jetons statiques.)

• Informations d'identification AWS ARN : non prises en charge. Les ARN de rôle IAM et AssumeRole via ARN ne sont pas acceptés.

• Les tables Iceberg partitionnées ne sont pas prises en charge ; seules les tables non partitionnées sont autorisées.
• Mises à jour de niveau ligne (fusion sur lecture) : non pris en charge. Si les métadonnées Iceberg font référence à des fichiers de suppression, les requêtes échoueront.

• Le schéma d'une table externe fixe est déterminé lors de la création et doit être aligné sur la version du schéma Iceberg dans les métadonnées. Si le schéma Iceberg est mis à jour, la table externe doit être recréée.

• Pas de temps de requête : l'interrogation par cliché, version ou horodatage n'est pas prise en charge.
• Non_catalog uniquement : les nouveaux instantanés ne sont pas récupérés automatiquement. Pour lire un instantané spécifique, ciblez la table externe metadata.json et recréez.

• Alignement des informations d'identification : les mêmes informations d'identification doivent être utilisées pour AWS S3 et AWS Glue.
• Co-location de région : les buckets S3 et le catalogue AWS Glue doivent se trouver dans la même région AWS.

• Table Delta créée avec UniForm afin que les clients Iceberg puissent la lire.
• Fichiers de table dans Azure ADLS Gen2 ou AWS S3.
• Privilèges Unity Catalog pour l'accès externe (par exemple, accès aux données externes activé) ; accordez EXTERNAL USE SCHEMA à votre principal.
• Authentification : OAuth2 (recommandé) ou jeton d'accès personnel (pour les tests rapides).

USE CATALOG <your_catalog>;
USE SCHEMA  <your_schema>;

CREATE TABLE customers_iceberg (
  id   INT,
  name STRING
)
TBLPROPERTIES(
  'delta.columnMapping.mode'='name',
  'delta.enableIcebergCompatV2'='true',
  'delta.universalFormat.enabledFormats'='iceberg'
);

INSERT INTO customers_iceberg (id, name) VALUES
  (1,'Alice'), (2,'Bob'), (3,'Carol');

BEGIN
  BEGIN DBMS_CLOUD.DROP_CREDENTIAL('AZURE_BLOB_CRED'); EXCEPTION WHEN OTHERS THEN NULL; END;
  DBMS_CLOUD.CREATE_CREDENTIAL(
    credential_name => 'AZURE_BLOB_CRED',
    username        => '<storage-account-or-sas-username>',
    password        => '<storage-key-or-sas-token>'
  );
END;
/

-- Databricks service principal (client_id / client_secret)
BEGIN
  BEGIN DBMS_CLOUD.DROP_CREDENTIAL('UNITY_OAUTH'); EXCEPTION WHEN OTHERS THEN NULL; END;
  DBMS_CLOUD.CREATE_CREDENTIAL(
    credential_name => 'UNITY_OAUTH',
    username        => '<client_id>',
    password        => '<client_secret>'
  );
END;
/

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'CUSTOMERS_ICEBERG',
    credential_name => 'AZURE_BLOB_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg-rest",
        "protocol_config": {
          "iceberg_catalog_type": "unity",
          "rest_catalog_endpoint": "https://<workspace-host>/api/2.1/unity-catalog/iceberg",
          "rest_authentication": {
            "rest_auth_cred": "UNITY_OAUTH",
            "rest_auth_endpoint": "https://<workspace-host>/oidc/v1/token"
          },
          "table_path": ["<your_catalog>","<your_schema>","customers_iceberg"]
        }
      }
    }'
  );
END;
/
SELECT COUNT(*) FROM CUSTOMERS_ICEBERG;

BEGIN
  BEGIN DBMS_CLOUD.DROP_CREDENTIAL('UNITY_PAT'); EXCEPTION WHEN OTHERS THEN NULL; END;
  DBMS_CLOUD.CREATE_CREDENTIAL(
    credential_name => 'UNITY_PAT',
    username        => 'token',
    password        => '<dapiXXXXXXXXXXXXXXXXXXXXXXXX>'
  );
END;
/

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'CUSTOMERS_ICEBERG',
    credential_name => 'AZURE_BLOB_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg-rest",
        "protocol_config": {
          "iceberg_catalog_type": "unity",
          "rest_catalog_endpoint": "https://<workspace-host>/api/2.1/unity-catalog/iceberg",
          "rest_authentication": { "rest_auth_cred": "UNITY_PAT" },
          "table_path": ["<your_catalog>","<your_schema>","customers_iceberg"]
        }
      }
    }'
  );
END;
/
SELECT COUNT(*) FROM CUSTOMERS_ICEBERG;

• Catalogue Polaris Iceberg et adresse disponibles pour votre compte.
• Fichiers de table accessibles dans votre banque d'objets (S3/ADLS, le cas échéant).
• Authentification : OAuth2 recommandé (informations d'identification client) ou un autre mécanisme de jeton pris en charge par Polaris.

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'SALES_POLARIS',
    credential_name => 'S3_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg-rest",
        "protocol_config": {
          "iceberg_catalog_type": "polaris",
          "rest_catalog_endpoint": "<https://<your-polaris-endpoint>/...>",
          "rest_authentication": {
            "rest_auth_cred": "POLARIS_OAUTH",
            "rest_auth_endpoint": "<https://<your-oauth-token-endpoint>>"
          },
          "table_path": ["<db>","<schema>","<table>"]
        }
      }
    }'
  );
END;
/

SELECT COUNT(*) FROM SALES_POLARIS;

• Colle Data Catalog avec la table Iceberg enregistrée (objets S3 accessibles).

  Nom de la région pour Colle (par exemple, us-east-1).

• Authentification : clé d'accès/secret pour S3 ; accès Glue via la configuration du catalogue.

• Le transfert d'informations d'identification via AWS ARN n'est pas pris en charge. Des informations d'identification explicites doivent être fournies.

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'ORDERS_GLUE',
    credential_name => 'S3_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg",
        "protocol_config": {
          "iceberg_catalog_type": "aws_glue",
          "iceberg_glue_region": "us-east-1",
          "table_path": ["<database>","<table>"]
        }
      }
    }'
  );
END;
/

SELECT COUNT(*) FROM ORDERS_GLUE;

• Vous pouvez accéder au manifeste root de l'iceberg de la table (metadata.json) dans la banque d'objets (ADLS/S3/OCI).
• Ce chemin est point dans le temps. Pour suivre les nouveaux clichés, recréez la table externe.

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'CUSTOMERS_META',
    credential_name => 'STORE_CRED',
    file_uri_list   => 'https://<bucket-or-container>/<path>/metadata.json',
    format          => '{"access_protocol":{"protocol_type":"iceberg"}}'
  );
END;
/

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim3',
    credential_name  => 'OCI_CRED',
    format           => '{
      "access_protocol": {
        "protocol_type": "iceberg",
        "protocol_config": {
          "iceberg_catalog_type": "hadoop",
          "iceberg_lakehouse": "https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg",
          "iceberg_table_path": "db.icebergTablePy"
        }
      }
    }'
  );
END;
/