Esegui query su tabelle iceberg Apache

• Iceberg nativo Unity (REST): non supportato.

  Soluzione: utilizzare Delta + UniForm per pubblicare una vista leggibile da Iceberg tramite l'endpoint REST Iceberg di Unity Catalog.

• Cataloghi REST certificati: ADB è certificato con Snowflake Polaris e Databricks Unity Catalog (solo UniForm) per l'accesso in lettura a Iceberg.

• Distribuzione delle credenziali del catalogo: non supportata.

  Il vendor basato sui ruoli cloud nativo, ad esempio l'assunzione automatica dei ruoli o le credenziali temporanee emesse da STS, non è supportato. Utilizzare chiavi di accesso/segrete esplicite o token statici.)

• Credenziali ARN AWS: non supportate. Il ruolo IAM ARN e AssumeRole tramite ARN non sono accettati.

• Le tabelle Iceberg partizionate non sono supportate. Sono consentite solo le tabelle non partizionate.
• Aggiornamenti a livello di riga (merge-on-read): non supportati. Se i metadati Iceberg fanno riferimento a file di eliminazione, le query non riusciranno.

• Lo schema di una tabella esterna fissa viene determinato alla creazione e deve essere allineato alla versione dello schema Iceberg nei metadati. Se lo schema Iceberg viene aggiornato, è necessario ricreare la tabella esterna.

• Nessun viaggio temporale query: l'esecuzione di query per snapshot, versione o indicatore orario non è supportata.
• Non_catalog solo: i nuovi snapshot non vengono raccolti automaticamente. Per leggere uno snapshot specifico, la destinazione di tale snapshot è metadata.json e ricreare la tabella esterna.

• Allineamento delle credenziali: le stesse credenziali devono essere utilizzate per AWS S3 e AWS Glue.
• Co-location dell'area: i bucket S3 e il catalogo AWS Glue devono trovarsi nella stessa area AWS.

• Tabella Delta creata con UniForm in modo che i client Iceberg possano leggerla.
• File di tabella in Azure ADLS Gen2 o AWS S3.
• Privilegi Unity Catalog per l'accesso esterno (ad esempio, accesso ai dati esterni abilitato); concedere EXTERNAL USE SCHEMA al principal.
• Autorizzazione: OAuth2 (consigliato) o Token di accesso personale (per test rapidi).

USE CATALOG <your_catalog>;
USE SCHEMA  <your_schema>;

CREATE TABLE customers_iceberg (
  id   INT,
  name STRING
)
TBLPROPERTIES(
  'delta.columnMapping.mode'='name',
  'delta.enableIcebergCompatV2'='true',
  'delta.universalFormat.enabledFormats'='iceberg'
);

INSERT INTO customers_iceberg (id, name) VALUES
  (1,'Alice'), (2,'Bob'), (3,'Carol');

BEGIN
  BEGIN DBMS_CLOUD.DROP_CREDENTIAL('AZURE_BLOB_CRED'); EXCEPTION WHEN OTHERS THEN NULL; END;
  DBMS_CLOUD.CREATE_CREDENTIAL(
    credential_name => 'AZURE_BLOB_CRED',
    username        => '<storage-account-or-sas-username>',
    password        => '<storage-key-or-sas-token>'
  );
END;
/

-- Databricks service principal (client_id / client_secret)
BEGIN
  BEGIN DBMS_CLOUD.DROP_CREDENTIAL('UNITY_OAUTH'); EXCEPTION WHEN OTHERS THEN NULL; END;
  DBMS_CLOUD.CREATE_CREDENTIAL(
    credential_name => 'UNITY_OAUTH',
    username        => '<client_id>',
    password        => '<client_secret>'
  );
END;
/

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'CUSTOMERS_ICEBERG',
    credential_name => 'AZURE_BLOB_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg-rest",
        "protocol_config": {
          "iceberg_catalog_type": "unity",
          "rest_catalog_endpoint": "https://<workspace-host>/api/2.1/unity-catalog/iceberg",
          "rest_authentication": {
            "rest_auth_cred": "UNITY_OAUTH",
            "rest_auth_endpoint": "https://<workspace-host>/oidc/v1/token"
          },
          "table_path": ["<your_catalog>","<your_schema>","customers_iceberg"]
        }
      }
    }'
  );
END;
/
SELECT COUNT(*) FROM CUSTOMERS_ICEBERG;

BEGIN
  BEGIN DBMS_CLOUD.DROP_CREDENTIAL('UNITY_PAT'); EXCEPTION WHEN OTHERS THEN NULL; END;
  DBMS_CLOUD.CREATE_CREDENTIAL(
    credential_name => 'UNITY_PAT',
    username        => 'token',
    password        => '<dapiXXXXXXXXXXXXXXXXXXXXXXXX>'
  );
END;
/

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'CUSTOMERS_ICEBERG',
    credential_name => 'AZURE_BLOB_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg-rest",
        "protocol_config": {
          "iceberg_catalog_type": "unity",
          "rest_catalog_endpoint": "https://<workspace-host>/api/2.1/unity-catalog/iceberg",
          "rest_authentication": { "rest_auth_cred": "UNITY_PAT" },
          "table_path": ["<your_catalog>","<your_schema>","customers_iceberg"]
        }
      }
    }'
  );
END;
/
SELECT COUNT(*) FROM CUSTOMERS_ICEBERG;

• Catalogo e endpoint Polaris Iceberg disponibili per il tuo account.
• File di tabella accessibili nell'area di memorizzazione degli oggetti (S3/ADLS, a seconda dei casi).
• Auth: OAuth2 consigliato (credenziali client) o un altro meccanismo di token supportato da Polaris.

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'SALES_POLARIS',
    credential_name => 'S3_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg-rest",
        "protocol_config": {
          "iceberg_catalog_type": "polaris",
          "rest_catalog_endpoint": "<https://<your-polaris-endpoint>/...>",
          "rest_authentication": {
            "rest_auth_cred": "POLARIS_OAUTH",
            "rest_auth_endpoint": "<https://<your-oauth-token-endpoint>>"
          },
          "table_path": ["<db>","<schema>","<table>"]
        }
      }
    }'
  );
END;
/

SELECT COUNT(*) FROM SALES_POLARIS;

• Catalogo dati colla con la tabella Iceberg registrata (oggetti S3 accessibili).

  Nome dell'area per la colla (ad esempio, us-east-1).

• Aut: chiave di accesso/segreto per S3; accesso colla tramite configurazione del catalogo.

• Il vendor di credenziali tramite AWS ARN non è supportato. È necessario fornire credenziali esplicite.

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'ORDERS_GLUE',
    credential_name => 'S3_CRED',
    format          => '{
      "access_protocol": {
        "protocol_type": "iceberg",
        "protocol_config": {
          "iceberg_catalog_type": "aws_glue",
          "iceberg_glue_region": "us-east-1",
          "table_path": ["<database>","<table>"]
        }
      }
    }'
  );
END;
/

SELECT COUNT(*) FROM ORDERS_GLUE;

• È possibile accedere all'Iceberg root manifest (metadata.json) della tabella nell'area di memorizzazione degli oggetti (ADLS/S3/OCI).
• Questo percorso è point-in-time. Per seguire nuovi snapshot, ricreare la tabella esterna.

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
    table_name      => 'CUSTOMERS_META',
    credential_name => 'STORE_CRED',
    file_uri_list   => 'https://<bucket-or-container>/<path>/metadata.json',
    format          => '{"access_protocol":{"protocol_type":"iceberg"}}'
  );
END;
/

BEGIN
  DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim3',
    credential_name  => 'OCI_CRED',
    format           => '{
      "access_protocol": {
        "protocol_type": "iceberg",
        "protocol_config": {
          "iceberg_catalog_type": "hadoop",
          "iceberg_lakehouse": "https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg",
          "iceberg_table_path": "db.icebergTablePy"
        }
      }
    }'
  );
END;
/