Problemas de Apache Hive
Solucione problemas de Apache Hive para clusters de Big Data Service.
La consulta de Hive falla con una excepción de clase RegexSerDe no encontrada
La solución de problemas de la consulta de Hive falla con una excepción de clase RegexSerDe no encontrada.
El archivo jar hive-contrib, que incluye la clase {{org.apache.hadoop.hive.contrib.serde2.RegexSerDe}}, no se envía a los trabajos MapReduce/Tez por defecto.
Complete uno de los siguientes pasos:
Consulta de datos anidados en Object Storage
Fallo al solucionar problemas de trabajos de tablas externas.
Al crear una tabla externa mediante Hive con datos que están presentes en Object Storage y que están en una estructura de carpetas anidada, algunos trabajos fallan.
Nota
El formato de los almacenes de datos en Object Storage es parquet.
El formato de los almacenes de datos en Object Storage es parquet.
Para leer cualquier dato del almacenamiento de objetos sin fallos de trabajo, introduzca la siguiente configuración en Spark
- Acceda a Apache Ambari.
- En la barra de herramientas lateral, en Servicios, seleccione Spark3.
- Seleccione Configs (Configuración).
- Amplíe la sección Custom spark3-defaults.
- Establezca spark.sql.hive.convertMetastoreParquet en Falso.
- Amplíe la sección Custom spark3-hive-site-override.
- Defina mapred.input.dir.recursive en Verdadero.
- Seleccione Reiniciar.