Documentación de Oracle Cloud Infrastructure

Integración con un metastore externo de Hive de Data Catalog

Data Catalog proporciona un metastore ampliable y de alta disponibilidad para implantaciones de Hive.

Requisitos

Ya debería tener:

  • Un cluster de Big Data Service con la versión 3.0.3 o posterior creado. La Versión de Big Data Service se muestra en el separador Información del Cluster de la página De detalles del Cluster.
  • Creó un metastore de Data Catalog y recuperó el OCID del metastore.
  • El conector HDFS de OCI configurado para Object Storage.
  • Una clave de API generada y la clave privada descargada.
  • La clave privada copiada en todos los nodos del cluster de Big Data Service.

Valide el cluster

Puede iniciar sesión en el cluster de Big Data Service y probar Spark mediante los marcos de cliente chispa-shell, chispa-sql, chispa-submit o chispa-beeline para ejecutar trabajos de Spark. Utilice los siguientes ejemplos para validar el cluster.

Ejemplos para tabla gestionada

CREATE DATABASE IF NOT EXISTS managed_db LOCATION 'oci://<bucket-name>@<tenancy-name-of-bucket>/<path/to/managed/table/directory>'
DESCRIBE DATABASE EXTENDED managed_db
USE managed_db
create table IF NOT EXISTS myINTtable_metastorecert (id int, name string) partitioned by (part int, part2 int)
insert into myINTtable_metastorecert partition(part=1, part2=1) values (3, "SK")
show partitions myINTtable_metastorecert
msck repair table myINTtable_metastorecert
show tables
show databases

Ejemplos para tabla externa

CREATE DATABASE IF NOT EXISTS external_db LOCATION 'oci://<bucket-name>@<tenancy-name-of-bucket>/<path/to/external/table/directory>'
DESCRIBE DATABASE EXTENDED external_db
USE external_db
CREATE EXTERNAL TABLE external_test(a string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'location 'oci://<bucket-name>@<tenancy-name-of-bucket>/<path/to/external/table/directory>'
select * from external_test
select count(*) from external_test