Documentation Oracle Cloud Infrastructure

Problèmes connus pour Big Data Service

Des problèmes connus ont été identifiés dans Big Data Service.

La liste déroulante de l'interface utilisateur Ranger ne répertorie pas tous les utilisateurs synchronisés

Détails
Même si un utilisateur est synchronisé, il se peut qu'il n'apparaisse pas dans la liste déroulante Recherche d'utilisateur lors de la création d'une stratégie dans l'interface utilisateur Ranger. Ce problème est généralement dû à la valeur par défaut de la propriété ranger.db.maxrows.default.
Solution de contournement
Augmentez la valeur de ranger.db.maxrows.default pour qu'elle corresponde ou dépasse le nombre d'utilisateurs dans votre système d'exploitation ou Active Directory. Pour plus d'informations, reportez-vous à Configurations Advanced Ranger.

Echec de la tâche de synchronisation des bases de données Hive lors de la spécification d'un caractère générique dans Apache Ambari

Détails
Dans les clusters Big Data Service utilisant la distribution Oracle avec Apache Hadoop, si vous synchronisez les bases de données de ruche en indiquant le caractère générique * pour la propriété Synchronize Hive Databases à l'aide d'Apache Ambari, vous recevez une erreur indiquant que la synchronisation des métadonnées Hive a échoué.
Solution de contournement
Nous avons connaissance du problème et travaillons à sa résolution. Pendant ce temps, n'utilisez pas le caractère générique * pour la propriété Synchronize Hive Databases, mais indiquez explicitement les bases de données Hive à synchroniser sous la forme d'une liste d'espaces séparés par des virgules. Par exemple : db1,db2.

Echec du redémarrage du broker Kafka

Détails
Au cours du redémarrage du broker Kafka, le démarrage du broker Kafka peut échouer.
Solution de contournement
Enlevez le fichier .lock manuellement :
  1. Connectez-vous via SSH au noeud de broker défaillant.
  2. Exécution :

    rm rf /u01/kafka-logs/.lock

Le travail Spark peut échouer avec une erreur 401 lors de la tentative de téléchargement des stratégies Ranger-Spark

Détails
Dans un cluster de haute disponibilité Big Data Service avec le module d'extension Ranger-Spark activé, lorsque vous tentez une opération sur des tables Hive à l'aide de la commande spark-submit en mode cluster, le travail Spark peut échouer avec une erreur 401 lors de la tentative de téléchargement des stratégies Ranger-Spark. Ce problème provient d'un problème connu de jeton de délégation côté Ranger.
Solution de contournement
Nous vous recommandons d'inclure le keytab et le principal de l'utilisateur dans la commande spark-submit. Cette approche garantit que Spark utilise le keytab et le principal fournis pour l'authentification, ce qui lui permet de communiquer avec Ranger pour télécharger des stratégies sans dépendre de jetons de délégation.

Exemple :

spark-submit --master yarn --deploy-mode cluster --name SparkHiveQueryJob --keytab <keytab-path> --principal <keytab-principal> --class com.oracle.SparkHiveQuery ./SparkTests-1.0-SNAPSHOT.jar
Remarque

  • L'utilisateur fourni (utilisateur/principal keytab) doit disposer des droits d'accès nécessaires pour télécharger les stratégies et les balises Ranger. Ces autorisations peuvent être configurées à l'aide de l'interface utilisateur Ranger-admin.

    Dans Ranger, sélectionnez Modifier pour le référentiel Spark et accédez à la section Ajouter de nouvelles configurations. Assurez-vous que l'utilisateur spécifié est ajouté aux listes policy.download.auth.users et tag.download.auth.users. Sinon, ajoutez l'utilisateur et enregistrez.

    Exemple :

    étincelle, jupyterhub, teinte, vilain, trino

  • Accordez les droits d'accès requis au même utilisateur dans les stratégies Ranger-Spark pour accéder aux tables nécessaires.

Pour plus d'informations sur les modules d'extension Ranger, reportez-vous à la section Using Ranger Plugins.