Documentação do Oracle Cloud Infrastructure

Integração com o Metastore Externo do Hive do Serviço Data Catalog

O serviço Data Catalog oferece um metastore altamente disponível e escalável para implementações do Hive.

Pré-requisitos

Você deverá ter:

  • Criado um cluster do Big Data Service com a versão 3.0.3 ou posterior. A Versão do Big Data Service é exibida na guia Informações do Cluster da página Detalhes do Cluster.
  • Criado um metastore do serviço Data Catalog e recuperado o OCID do metastore.
  • Configurado o OCI HDFS Connector para o serviço Object Storage.
  • Gerado uma chave de API e baixado a chave privada.
  • Copiado a chave privada para todos os nós do cluster do Big Data Service.

Validar o Cluster

Você pode acessar o cluster do Big Data Service e testar o Spark usando estruturas clientes spark-shell, spark-sql, spark-submit ou spark-beeline para executar jobs do Spark. Use os exemplos a seguir para validar o cluster.

Exemplos de Tabela Gerenciada

CREATE DATABASE IF NOT EXISTS managed_db LOCATION 'oci://<bucket-name>@<tenancy-name-of-bucket>/<path/to/managed/table/directory>'
DESCRIBE DATABASE EXTENDED managed_db
USE managed_db
create table IF NOT EXISTS myINTtable_metastorecert (id int, name string) partitioned by (part int, part2 int)
insert into myINTtable_metastorecert partition(part=1, part2=1) values (3, "SK")
show partitions myINTtable_metastorecert
msck repair table myINTtable_metastorecert
show tables
show databases

Exemplos de Tabela Externa

CREATE DATABASE IF NOT EXISTS external_db LOCATION 'oci://<bucket-name>@<tenancy-name-of-bucket>/<path/to/external/table/directory>'
DESCRIBE DATABASE EXTENDED external_db
USE external_db
CREATE EXTERNAL TABLE external_test(a string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'location 'oci://<bucket-name>@<tenancy-name-of-bucket>/<path/to/external/table/directory>'
select * from external_test
select count(*) from external_test