Oracle Cloud Infrastructure - Dokumentation

Bekannte Probleme mit Big Data Service

In Big Data Service wurden bekannte Probleme identifiziert.

Dropdown-Liste für Ranger-UI listet nicht alle synchronisierten Benutzer auf

Details
Obwohl ein Benutzer synchronisiert wird, wird er möglicherweise nicht in der Dropdown-Liste Benutzersuche angezeigt, während er eine Policy in der Ranger-UI erstellt. Dieses Problem wird in der Regel durch den Standardwert der Eigenschaft ranger.db.maxrows.default verursacht.
Zwischenlösung
Erhöhen Sie den Wert von ranger.db.maxrows.default, um die Anzahl der Benutzer in Ihrem BS oder Active Directory abzugleichen oder zu überschreiten. Weitere Informationen finden Sie unter Erweiterte Ranger-Konfigurationen.

Aufgabe "Hive-Datenbanken synchronisieren" verläuft nicht erfolgreich, wenn Platzhalterzeichen in Apache Ambari angegeben werden

Details
Wenn Sie in Big Data Service-Clustern mit Oracle Distribution, einschließlich Apache Hadoop, die Hive-Datenbanken synchronisieren, indem Sie das Platzhalterzeichen * für die Eigenschaft Synchronize Hive Databases mit Apache Ambari angeben, wird ein Fehler angezeigt, der besagt, dass die Synchronisierung von Hive-Metadaten nicht erfolgreich war.
Zwischenlösung
Dieses Problem ist bekannt, und wir arbeiten an einer Lösung. Verwenden Sie in der Zwischenzeit nicht das Platzhalterzeichen * für die Eigenschaft Synchronize Hive Databases, sondern geben Sie explizit die Hive-Datenbanken an, die Sie als kommagetrennte Liste ohne Leerzeichen synchronisieren möchten. Beispiel: db1,db2.

Neustart von Kafka Broker nicht erfolgreich

Details
Während des Neustarts des Kafka-Brokers kann der Kafka-Broker möglicherweise nicht gestartet werden.
Zwischenlösung
Entfernen Sie die Datei .lock manuell:
  1. SSH auf den fehlerhaften Broker-Knoten.
  2. Ausführen:

    rm rf /u01/kafka-logs/.lock

Spark-Job kann bei dem Versuch, die Ranger-Spark-Policys herunterzuladen, mit einem 401-Fehler fehlschlagen

Details
Wenn Sie in einem Big Data Service-HA-Cluster mit aktiviertem Ranger-Spark-Plug-in einen Vorgang in Hive-Tabellen mit dem Befehl spark-submit im Clustermodus ausführen, verläuft der Spark-Job beim Versuch, die Ranger-Spark-Policys herunterzuladen, möglicherweise mit einem 401-Fehler nicht erfolgreich. Dieses Problem ergibt sich aus einem bekannten Delegationstokenproblem auf der Ranger-Seite.
Workaround
Es wird empfohlen, die Schlüsseltabelle und den Principal des Benutzers in den Befehl spark-submit aufzunehmen. Dieser Ansatz stellt sicher, dass Spark die angegebene Schlüsseltabelle und den angegebenen Principal für die Authentifizierung verwendet. So kann er mit Ranger kommunizieren, um Policys herunterzuladen, ohne sich auf Delegationstoken verlassen zu müssen.

Beispiel::

spark-submit --master yarn --deploy-mode cluster --name SparkHiveQueryJob --keytab <keytab-path> --principal <keytab-principal> --class com.oracle.SparkHiveQuery ./SparkTests-1.0-SNAPSHOT.jar
Hinweis

  • Der angegebene Benutzer (Keytab-Benutzer/Principal) muss über die erforderlichen Berechtigungen zum Herunterladen von Ranger-Policys und -Tags verfügen. Diese Berechtigungen können mit der Ranger-admin-UI konfiguriert werden.

    Wählen Sie in Ranger die Option Bearbeiten für das Spark-Repository aus, und gehen Sie zum Abschnitt Neue Konfigurationen hinzufügen. Stellen Sie sicher, dass der angegebene Benutzer sowohl der Liste policy.download.auth.users als auch der Liste tag.download.auth.users hinzugefügt wird. Wenn nicht, fügen Sie den Benutzer hinzu, und speichern Sie.

    Beispiel::

    funken,jupyterhub,hue,livy,trino

  • Erteilen Sie demselben Benutzer in Ranger-Spark-Policys die erforderlichen Berechtigungen für den Zugriff auf die erforderlichen Tabellen.

Weitere Informationen zu Ranger-Plug-ins finden Sie unter Ranger-Plug-ins verwenden.