Consultar Tabelas de Iceberg do Apache

Configurações Suportadas

Restrições

Catálogo do Iceberg

Arquivos de Metadados

O arquivo de metadados é um documento JSON que acompanha os snapshots da tabela, o esquema de particionamento e as informações do esquema. O arquivo de metadados é o ponto de entrada para uma hierarquia de listas de manifestos e arquivos de manifesto. Os manifestos rastreiam os arquivos de dados da tabela juntamente com informações, incluindo particionamento e estatísticas de coluna. Consulte a Especificação da Tabela Iceberg para obter mais informações.

Transações

O Iceberg suporta atualizações em nível de linha para tabelas usando cópia na gravação ou mesclagem na leitura. Copy-on-write gera novos arquivos de dados que refletem as linhas atualizadas, enquanto merge-on-read gera novos "delete files" que devem ser mesclados com os arquivos de dados durante a leitura. O sistema Oracle suporta cópia na gravação. As consultas em tabelas iceberg falharão se encontrarem um arquivo de exclusão. Para mais informações, consulte RowLevelOperationMode.

Evolução do Esquema

Iceberg suporta a evolução do esquema. As alterações de esquema são refletidas nos metadados do Iceberg usando um ID de esquema. Observe que as tabelas externas da Oracle têm um esquema fixo, determinado pela versão de esquema mais atual no momento da criação da tabela. As consultas Iceberg falham quando os metadados consultados apontam para uma versão de esquema diferente da usada no momento da criação da tabela. Para obter mais informações, consulte Evolução do Esquema.

Particionamento

O Iceberg suporta opções avançadas de particionamento, como particionamento oculto e evolução de partição, que dependem do processamento/alteração dos metadados da tabela sem alterações de layout de dados dispendiosas.

Consultar uma tabela Iceberg na AWS usando um Catálogo de Dados Glue

Neste exemplo, consultamos a tabela Iceberg iceberg_parquet_time_dim.
Descrição da ilustração example_1_table.png

A tabela pertence ao banco de dados de colagem my-iceberg-db e é armazenada na pasta s3://my-iceberg-bucket/iceberg-loc.

Os detalhes da tabela para iceberg_parquet_time_dim são mostrados aqui:

Podemos criar uma tabela externa para iceberg_parquet_time_dim da seguinte forma:

BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim',
    credential_name  => 'AWS_CRED',
    file_uri_list    => '',
    format           =>
      '{"access_protocol":
        {
         "protocol_type": "iceberg",
         "protocol_config":
          {
           "iceberg_catalog_type": "aws_glue",
           "iceberg_glue_region": "us-west-1",
           "iceberg_table_path": "my-iceberg-db.iceberg_parquet_time_dim"
          }
        }
      }'
  );
END;
/

Na seção protocol_config, especificamos que a tabela usa o AWS Glue como o tipo de catálogo e definimos a região do catálogo como us-west-1.

A credencial AWS_CRED é criada usando dbms_cloud.create_credential com uma chave de API da AWS. A instância do Catálogo de Dados de Colagem é determinada pelo ID da conta associado ao AWS_CRED para a região us-west-1, pois há uma única região do Catálogo de Dados de Colagem para cada conta. O elemento iceberg_table_path na seção protocol_config usa um caminho $database_name.$table_name para especificar o nome da tabela de Colagem e o nome do banco de dados. Por fim, os parâmetros column_list e field_list são deixados nulos porque o esquema da tabela é derivado automaticamente dos metadados do Iceberg.

Para obter informações sobre como criar a credencial, consulte Procedimento CREATE_CREDENTIAL.

Para obter informações sobre recursos do AWS Glue, consulte Especificando ARNs de recursos do AWS Glue.

Consultar uma tabela Iceberg na AWS usando a localização do arquivo de metadados raiz

Se soubermos a localização do arquivo de metadados de uma tabela Iceberg, poderemos criar uma tabela externa sem especificar um catálogo, da seguinte forma:

BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim',
    credential_name  => 'AWS_CRED',
    file_uri_list    => 'https://my-iceberg-bucket.s3.us-west-1.amazonaws.com/iceberg-loc/metadata/00004-1758ee2d-a204-4fd9-8d52-d17e5371a5ce.metadata.json',
    format           =>'{"access_protocol":{"protocol_type":"iceberg"}}');
END;
/

Usamos o parâmetro file_uri_list para especificar a localização do arquivo de metadados no formato de URL de estilo virtual hospedado do AWS S3. Para obter informações sobre esse formato, consulte Métodos para acessar um bucket do AWS S3.

Neste exemplo, o banco de dados acessa o arquivo de metadados diretamente, portanto não há necessidade de fornecer uma seção protocol_config no parâmetro format. Ao usar o local do arquivo de metadados para criar uma tabela externa, o banco de dados consulta o snapshot mais recente referenciado pelo arquivo de metadados. Atualizações subsequentes na tabela Iceberg, que criam novos snapshots e novos arquivos de metadados, não serão visíveis para o banco de dados.

Consultar uma tabela Iceberg que usa o Catálogo do Hadoop na OCI

Neste exemplo, consultamos a tabela Iceberg icebergTablePy, criada usando o OCI Data Flow, em que o Spark usa a implementação HadoopCatalog para o catálogo Iceberg. O HadoopCatalog usa um diretório warehouse e coloca os metadados do Iceberg em uma subpasta $database_name/$table_name nesse diretório. Ele também usa um arquivo version-hint.text que contém o número da versão da versão mais recente do arquivo de metadados. Consulte Suporte Iceberg no OCI Data Flow para obter o exemplo no Github.

A tabela de amostra db.icebergTablePy foi criada usando uma pasta warehouse, chamada iceberg, no bucket my-iceberg-bucket do OCI. O layout de armazenamento no OCI para a tabela icebergTablePy é mostrado abaixo:

Crie uma tabela externa para a tabela db.icebergTablePy da seguinte forma:

BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim3',
    credential_name  => 'OCI_CRED',
    file_uri_list    => '',
    format           =>'{"access_protocol":{"protocol_type":"iceberg",
        "protocol_config":{"iceberg_catalog_type": "hadoop",
        "iceberg_warehouse":"https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg",
        "iceberg_table_path": "db.icebergTablePy"}}}');
END;
/

Consultar uma tabela Iceberg no OCI usando a localização do arquivo de metadados raiz

Podemos consultar a tabela Iceberg descrita na seção anterior usando diretamente o URL do arquivo de metadados, da seguinte forma:

BEGIN
DBMS_CLOUD.CREATE_EXTERNAL_TABLE (
    table_name       => 'iceberg_parquet_time_dim4',
    credential_name  => 'OCI_CRED',
    file_uri_list    => 'https://objectstorage.uk-cardiff-1.oraclecloud.com/n/my-tenancy/b/my-iceberg-bucket/o/iceberg/db/icebergTablePy/metadata/v2.metadata.json',
    format           =>'{"access_protocol":{"protocol_type":"iceberg"}}'
    );
  END;
/

Neste exemplo, usamos o parâmetro file_uri_list para especificar o URI do arquivo de metadados usando o formato de URI nativo do OCI. Ao usar o URI do arquivo de metadados, a tabela externa sempre consulta o snapshot mais recente armazenado no arquivo específico. As atualizações subsequentes que geram novos snapshots e novos arquivos de metadados não estão acessíveis à consulta.

Para obter mais informações sobre o formato de URI nativo do OCI, consulte Formatos de URI do Cloud Object Storage.