Coletando Metadados Técnicos

Para coletar a origem de dados, é necessário registrá-la como um ativo de dados em sua instância do catálogo de dados. Um ativo de dados é qualquer armazenamento de dados físico ou stream de dados, como um banco de dados, um contêiner de armazenamento na nuvem ou um stream de mensagens.

Quando você coleta um ativo de dados, o coletor do serviço Data Catalog extrai, padroniza e indexa informações de metadados do ativo de dados para criar um repositório unificado e pesquisável no catálogo de dados. Em seguida, você procura ou explora o catálogo de dados para exibir as entidades e os atributos de dados coletados para anotar e enriquecer os ativos de dados.

A coleta de uma origem de dados envolve as seguintes etapas:

Use as origens de dados a seguir (acessíveis usando IPs públicos ou privados) para criar ativos de dados no serviço Data Catalog.

Você também pode estabelecer conexão com origens de dados locais conectadas às VCNs (Redes Virtuais na Nuvem) do Oracle Cloud Infrastructure.

Dependendo do tipo de ativo de dados criado, use estruturas de dados diferentes para procurar as entidades de dados. Por exemplo, se você criar um ativo de dados do Oracle Database, navegue pelos objetos do banco de dados para revisar a tabela e exibir as entidades de dados.

Os objetos coletados para diferentes origens de dados são listados na tabela a seguir:

Os seguintes tipos de arquivos são suportados para o Oracle Object Storage:

• Arquivos CSV (Valor Separado por Vírgula) (.csv, .csv.gz)

  Observação
  
  Os separadores suportados são , (vírgula), \t (barra invertida), | (barra vertical), ; (ponto-e-vírgula).

• Arquivos XML (.xml, .xsd)

• Arquivos avro (.avro, .avro.gz)

• Arquivos do Excel (.xls, .xlsx)

• Arquivos Apache Parquet (.parquet, .pq)

• Arquivos Apache ORC (.orc)

• Arquivos JSON simples (.json, .json.gz)

Se você optar por coletar tipos de arquivo não suportados, o coletor do serviço Data Catalog só extrairá informações básicas desses arquivos, como nomes e caminhos.

Um ativo de dados contém uma ou mais entidades de dados. Uma entidade de dados é um conjunto de dados, como uma tabela ou view de banco de dados, ou um único arquivo lógico. Uma entidade de dados normalmente tem muitos atributos que descrevem seus dados. Um atributo descreve um item de dados com um nome e um tipo de dados.