Documentação do Oracle Cloud Infrastructure

Problemas conhecidos do Big Data Service

Foram identificados problemas conhecidos no Big Data Service.

A Lista Suspensa da IU do Ranger Não Lista Todos os Usuários Sincronizados

Detalhes
Mesmo que um usuário seja sincronizado, talvez ele não apareça no menu suspenso Pesquisa de usuário ao criar uma política na IU do Ranger. Esse problema geralmente é causado pelo valor padrão da propriedade ranger.db.maxrows.default.
Solução alternativa
Aumente o valor de ranger.db.maxrows.default para corresponder ou exceder o número de usuários no seu SO ou Active Directory. Para obter mais informações, consulte Configurações Avançadas do Ranger.

A Tarefa Sincronizar Bancos de Dados Hive Falha ao Especificar o Caractere Curinga no Apache Ambari

Detalhes
Em clusters do Big Data Service que usam o Oracle Distribution, incluindo o Apache Hadoop, se você sincronizar os bancos de dados hive especificando o caractere curinga * para a propriedade Synchronize Hive Databases usando o Apache Ambari, receberá um erro informando que houve falha na sincronização dos metadados do Hive.
Solução alternativa
Estamos cientes do problema e trabalhando em uma solução. Enquanto isso, não use o caractere curinga * para a propriedade Synchronize Hive Databases, mas especifique explicitamente os bancos de dados do Hive que você deseja sincronizar como uma lista de espaços separados por vírgulas. Por exemplo: db1,db2.

Falha na Reinicialização do Broker do Kafka

Detalhes
Durante a reinicialização do broker do Kafka, talvez o broker do Kafka não seja inicializado.
Solução alternativa
Remova o arquivo .lock manualmente:
  1. Estabeleça SSH no nó do broker com falha.
  2. Execução:

    rm rf /u01/kafka-logs/.lock

O Job do Spark pode falhar com um erro 401 ao tentar fazer download das políticas do Ranger-Spark

Detalhes
Em um cluster HA do Big Data Service com o plug-in Ranger-Spark ativado, quando você tenta qualquer operação em tabelas do Hive usando o comando spark-submit no modo de cluster, o job do Spark pode falhar com um erro 401 ao tentar fazer download das políticas do Ranger-Spark. Esta questão surge de um problema de token de delegação conhecido no lado Ranger.
Solução alternativa
Recomendamos que você inclua o keytab e o principal do usuário no comando spark-submit. Essa abordagem garante que o Spark use o keytab e o principal fornecidos para autenticação, permitindo que ele se comunique com o Ranger para fazer download de políticas sem depender de tokens de delegação.

Por exemplo:

spark-submit --master yarn --deploy-mode cluster --name SparkHiveQueryJob --keytab <keytab-path> --principal <keytab-principal> --class com.oracle.SparkHiveQuery ./SparkTests-1.0-SNAPSHOT.jar
Observação

  • O usuário fornecido (usuário/principal da keytab) deve ter as permissões necessárias para fazer download de políticas e tags do Ranger. Essas permissões podem ser configuradas usando a interface de usuário Ranger-admin.

    No Ranger, selecione Editar para o repositório Spark e vá para a seção Adicionar Novas Configurações. Certifique-se de que o usuário especificado esteja adicionado às listas policy.download.auth.users e tag.download.auth.users. Caso contrário, adicione o usuário e salve.

    Por exemplo:

    faísca, jupyterhub, matiz,livy,trino

  • Conceda as permissões necessárias ao mesmo usuário nas políticas do Ranger-Spark para acessar as tabelas necessárias.

Para obter mais informações sobre plug-ins Ranger, consulte Usando Plug-ins Ranger.