Documentación de Oracle Cloud Infrastructure

Problemas conocidos de Big Data Service

Se han identificado problemas conocidos en Big Data Service.

El menú desplegable de la interfaz de usuario de Ranger no muestra todos los usuarios sincronizados

Detalles
Aunque un usuario esté sincronizado, es posible que no aparezca en la lista desplegable user lookup al crear una política en la interfaz de usuario de Ranger. Este problema suele estar causado por el valor por defecto de la propiedad ranger.db.maxrows.default.
Solución Alternativa
Aumente el valor de ranger.db.maxrows.default para que coincida o supere el número de usuarios en su sistema operativo o Active Directory. Para obtener más información, consulte Advanced Ranger Configurations.

La tarea Sincronizar bases de datos de Hive falla al especificar caracteres comodín en Apache Ambari

Detalles
En los clusters de Big Data Service que utilizan Oracle Distribution con Apache Hadoop, si sincroniza las bases de datos hive especificando el carácter comodín * para la propiedad Synchronize Hive Databases mediante Apache Ambari, recibirá un error que indica que ha fallado la sincronización de metadatos de Hive.
Solución Alternativa
Somos conscientes del problema y estamos trabajando para solucionarlo. Mientras tanto, no utilice el carácter comodín * para la propiedad Synchronize Hive Databases, pero en su lugar, especifique explícitamente las bases de Datos de Hive que desea sincronizar como una lista separada por comas, sin espacios. Por ejemplo: db1,db2.

Fallo al reiniciar Kafka Broker

Detalles
Durante el reinicio del broker Kafka, es posible que el broker Kafka no se inicie.
Solución Alternativa
Elimine el archivo .lock manualmente:
  1. Establezca SSH en el nodo de broker con fallos.
  2. Ejecución:

    rm rf /u01/kafka-logs/.lock

El trabajo de Spark puede fallar con un error 401 al intentar descargar las políticas de Ranger-Spark

Detalles
En un cluster de alta disponibilidad de Big Data Service con el plugin Ranger-Spark activado, al intentar cualquier operación en tablas de Hive mediante el comando spark-submit en modo de cluster, el trabajo de Spark puede fallar con un error 401 al intentar descargar las políticas de Ranger-Spark. Este problema surge de un problema conocido de token de delegación en el lado Ranger.
Solución alternativa
Se recomienda incluir el keytab y el principal del usuario en el comando spark-submit. Este enfoque garantiza que Spark utilice la tabla de claves y el principal proporcionados para la autenticación, lo que le permite comunicarse con Ranger para descargar políticas sin depender de tokens de delegación.

Por ejemplo:

spark-submit --master yarn --deploy-mode cluster --name SparkHiveQueryJob --keytab <keytab-path> --principal <keytab-principal> --class com.oracle.SparkHiveQuery ./SparkTests-1.0-SNAPSHOT.jar
Nota

  • El usuario proporcionado (usuario keytab/principal) debe tener los permisos necesarios para descargar las políticas y etiquetas de Ranger. Estos permisos se pueden configurar mediante la interfaz de usuario de Ranger-admin.

    En Ranger, seleccione Editar para el repositorio de Spark y vaya a la sección Agregar nuevas configuraciones. Asegúrese de que el usuario especificado se agregue a las listas policy.download.auth.users y tag.download.auth.users. Si no es así, agregue el usuario y guarde.

    Por ejemplo:

    chispa,jupyterhub,hue,livy,trino

  • Otorgue los permisos necesarios al mismo usuario en las políticas de Ranger-Spark para acceder a las tablas necesarias.

Para obtener más información sobre los plugins de Ranger, consulte Using Ranger Plugins.