Identifique conexões de dados e execute análises gráficas usando o Oracle Autonomous Database
Os bancos de dados gráficos e a análise de gráficos são parte integrante da oferta de banco de dados convergente da Oracle. O uso dos recursos gráficos integrados ao Oracle Database elimina a necessidade de um banco de dados separado, de finalidade única, e de replicar seus dados. Analistas e desenvolvedores podem executar análises abrangentes para encontrar conexões em dados que dão informações como tendências do cliente ou detecção de fraudes, ou melhoram a rastreabilidade na manufatura inteligente. Elas podem executar essas análises enquanto obtêm segurança de nível empresarial, facilidade de ingestão de dados e suporte para vários tipos de cargas de trabalho de dados.
O Oracle Autonomous Database (ADB) fornece uma ferramenta de autoatendimento integrada de provisionamento com um clique, chamada Graph Studio, que automatiza e simplifica a modelagem, o gerenciamento, a análise e a visualização de gráficos em um ciclo de vida de dados. O Graph Studio fornece acesso a um conjunto abrangente de análises gráficas, incluindo mais de 60 algoritmos de gráfico predefinidos e uma linguagem declarativa semelhante a SQL chamada Property Graph Query Language (PGQL). O Graph Studio suporta notebooks, que permitem que entusiastas e desenvolvedores de dados executem uma análise passo a passo enquanto usam um mecanismo de análise gráfica em memória (PGX) para obter o melhor desempenho.
Os gráficos são uma forma intuitiva de modelar dados e focar nas conexões entre entidades de dados à medida que a maioria dos dados é conectada. Os gráficos facilitam a navegação entre entidades de dados conectadas, exploram links e tiram novas conclusões. Os principais componentes dos gráficos são vértices (ou nós) e bordas, que conectam dois vértices. Exemplos típicos de gráficos são redes sociais, fluxos de dinheiro, listas de materiais ou linhagem de dados.
A imagem de exemplo a seguir ilustra como a análise gráfica é adequada para identificar fraudes em transações financeiras.
Descrição da ilustração graph-analysis-example.png
Para simplificar a detecção de fraudes, você pode criar um gráfico com base em transações entre entidades e entidades que compartilham algumas informações, incluindo os endereços de e-mail, senhas, endereços e muito mais. Quando um gráfico é criado, a execução de uma consulta simples encontrará todos os clientes com contas que têm informações semelhantes e revelará quais contas estão enviando dinheiro uns aos outros.
Para obter mais informações e exemplos típicos de gráficos, consulte eBook "17 Casos de Uso para Bancos de Dados de Gráfico e Análise de Gráfico". Você pode encontrá-lo na seção "Explorar Mais" no final desta arquitetura de referência.
- Execute algoritmos de gráfico
Os algoritmos do gráfico analisam caminhos e distâncias entre os vértices, a importância dos vértices ou o agrupamento de vértices. São benéficos para:
- Detectando comunidades (por exemplo, Louvain, Label Propagation)
- Detectando componentes conectados (por exemplo, Componentes Conectados Forte, Componentes Conectados Fracamente)
- Avaliando estruturas (por exemplo, Detecção de Ciclo, Contagem de Triângulo, Capacidade de Realização)
- Previsão de links (por exemplo, Quem seguir), classificação e nós de caminhada em um gráfico (por exemplo, PageRank, Centralidade de Grau, Centralidade de Fechamento, SALSA)
- Encontrar caminhos (por exemplo, Bellman-Ford, Dijkstra, Fattest Path, Hop Distance)
- Executar consultas correspondentes ao padrão do gráfico
As consultas de correspondência de padrão de gráfico podem detectar padrões como ciclos ou dependências indiretas entre vértices e bordas que correspondem a um conjunto especificado de restrições.
Arquitetura
Essa arquitetura usa o Oracle Autonomous Data Warehouse como data warehouse centralizado com dados carregados e selecionados de vários repositórios empresariais e origens de dados departamentais.
Em seguida, ele usa o Graph Studio para modelar dados como gráficos. A interface de notebook integrada do Graph Studio com intérpretes para Java, PGQL e Python permite que você execute rapidamente algoritmos gráficos, consulte gráficos e visualize resultados. Essa arquitetura de referência ajuda você a começar com gráficos e cria um ambiente de laboratório para análise gráfica sem a necessidade de ferramentas adicionais ou componentes de software. Você pode trabalhar com gráficos contendo milhões de vértices e bordas, incluindo suas propriedades.
O diagrama a seguir é uma representação funcional da arquitetura de referência.
propertygraph-analysis-arch-oracle.zip
- Refinaria de dados
Processa e refina os dados para uso em cada uma das camadas de dados da arquitetura. O formato tem como objetivo ilustrar as diferenças nos custos de processamento para armazenar e refinar dados em cada nível e mover dados entre eles.
- Plataforma de persistência de dados (camada de informações precisas)
Facilita o acesso e a navegação dos dados para mostrar a exibição de negócios atual. Essa camada permite criar exibições de gráfico ou estruturas de gráfico persistentes a partir de dados relacionais.
- Acesso e interpretação
Resume a visão lógica de negócios dos dados para os consumidores. Essa abstração facilita abordagens ágeis para análise de dados, fornecendo uma única camada de análise para seus dados tratados.
A arquitetura tem os seguintes componentes:
- Integração de dados
O Oracle Autonomous Database tem as ferramentas incorporadas necessárias para adquirir, carregar e transformar seus dados em muitos cenários departamentais e casos de uso avançados específicos. O Autonomous Data Warehouse inclui a capacidade de carregar dados do armazenamento local ou de objeto rapidamente. Também estão incluídas as Transformações de Dados Autônomas, que permitem que você se conecte a dados de vários tipos de origem diferentes e acesse a funcionalidade do tipo EL-T.
O serviço Oracle Cloud Infrastructure Data Integration Cloud é para casos de uso mais avançados. É um serviço de nuvem nativo totalmente gerenciado, sem servidor. O serviço permite que você projete e execute tarefas para extrair, carregar e transformar dados (ETL) de diferentes origens.
- Object Storage
O Oracle Cloud Infrastructure Object Storage é uma plataforma de armazenamento de alto desempenho em escala de internet que oferece durabilidade de dados confiável e econômica. O Oracle Cloud Infrastructure Object Storage pode armazenar uma quantidade ilimitada de dados não estruturados de qualquer tipo de conteúdo, incluindo dados analíticos. Você pode recuperar com segurança, por exemplo, dados departamentais e mantê-los em um bucket do Object Storage. Em seguida, você pode usar as ferramentas de Carregamento de Dados do Autonomous Database para carregar dados de um bucket no Autonomous Database.
- Autonomous Database (ADW, ATP)
O Oracle Autonomous Database é um serviço de banco de dados autônomo, seguro e com correção automática, otimizado para cargas de trabalho de data warehousing. Não é necessário configurar ou gerenciar qualquer hardware ou instalar qualquer software. O Oracle Cloud Infrastructure trata da criação do banco de dados e do backup, da aplicação de patches, do upgrade e do ajuste do banco de dados. Com o Autonomous Data Warehouse, você tem a flexibilidade de carregar dados em vários formatos, incluindo estruturado, JSON, XML, Gráfico e Espacial. Agrupado com esse serviço são as Ferramentas Autônomas que permitem carregar dados em tabelas e fazer um trabalho ETL leve com eficiência.
- Estúdio Gráfico
O Graph Studio é um recurso do Oracle Autonomous Database na Infraestrutura Compartilhada. Ele é incorporado ao ATP (Autonomous Transactional Processing) e ao ADW (Autonomous Data Warehouse). Ele fornece ferramentas para desenvolvedores, analistas, engenheiros de dados e cientistas de dados que trabalham com gráficos. O Graph Studio contém uma interface de usuário com pouco código que automatiza gráficos de modelagem de gráfico a partir de tabelas relacionais existentes em seu data warehouse, executando análise de gráfico, desenvolvendo aplicativos gráficos e visualizando e compartilhando resultados. A combinação do Autonomous Database e do Graph Studio fornece uma plataforma completa de banco de dados gráfico implantável em minutos com provisionamento com um clique, ferramentas integradas e segurança. Não é necessário ser especialista em banco de dados ou gráfico para começar e ser produtivo.
O diagrama a seguir mostra um mapeamento da arquitetura acima para serviços fornecidos no Oracle Cloud Infrastructure usando as melhores práticas com relação à segurança.
Descrição da ilustração oci-adb-graph-studio-arch.png
oci-adb-graph-studio-arch-oracle.zip
Essa arquitetura de referência tem os seguintes componentes principais:
- Rede virtual na nuvem (VCN) e sub-rede
Uma VCN é uma rede personalizável definida por software que você configura em uma região do Oracle Cloud Infrastructure. Como as redes de data center tradicionais, as VCNs dão a você total controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você pode alterar após criar a VCN. Você pode segmentar uma VCN em sub-redes, que podem ter escopo em uma região ou em um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contínuo de endereços que não se sobrepõem às outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
- Domínio de disponibilidade
Os domínios de disponibilidade são data centers independentes e independentes dentro de uma região. Os recursos físicos de cada domínio de disponibilidade são isolados dos recursos de outros domínios de disponibilidade, que oferecem tolerância a falhas. Os domínios de disponibilidade não compartilham infraestrutura como energia ou resfriamento ou rede interna. Portanto, é pouco provável que uma falha em um domínio de disponibilidade afete os outros domínios
- Bastion host
O bastion host é uma instância de computação que atua como um ponto de entrada seguro e controlado para a topologia de fora da nuvem. O bastion host geralmente é provisionado em uma zona desmilitarizada (DMZ). Ela permite proteger recursos confidenciais colocando-os nas redes privadas que não podem ser acessadas diretamente de fora da nuvem. A topologia tem um único ponto de entrada conhecido que você pode monitorar e auditoria regularmente. Portanto, você pode evitar expor os componentes mais confidenciais da topologia sem comprometer o acesso a eles.
- Gateway NAT (Network address translation)
Um gateway NAT permite que recursos privados em uma VCN acessem hosts na internet, sem expor esses recursos a conexões provenientes da internet.
- Gateway de internet
O gateway de internet permite o tráfego entre as sub-redes públicas em uma VCN e a internet pública.
- Gateway de serviço
O gateway de serviço fornece acesso de uma VCN a outros serviços, como o Oracle Cloud Infrastructure Object Storage. O tráfego da VCN para o serviço Oracle percorre a malha da rede Oracle e nunca atravessa a internet.
- Autonomous Database com dimensionamento automático
Nesta arquitetura, o Oracle Autonomous pode ser Autonomous Data Warehouse (ADW) ou Autonomous Transactional Processing (ATP) configurado com dimensionamento automático e ponto final privado. Ele é usado para armazenar dados específicos do aplicativo, bem como para modelar, criar, manter, consultar e visualizar gráficos. Uma lista de controle de acesso (ACL) limita o acesso da rede ao Autonomous Database. Ele tem um usuário de aplicativo pré-criado com os direitos necessários concedidos para desenvolver e manter gráficos e para usar o Graph Studio como ferramenta incorporada do Autonomous Database. Os dados de amostra são pré-carregados no esquema do usuário do banco de dados para facilitar o início com o Graph Studio.
Recomendações
- Refinaria de dados
O Autonomous Database Tools é a funcionalidade incorporada no Oracle Autonomous Data Warehouse que fornece os recursos para carregar, transformar, catalogar, obter insights e até mesmo desenvolver modelos de negócios de forma simples e direta.
- Estúdio GráficoAntes de se conectar ao Graph Studio, recomendamos:
- Criando um usuário do banco de dados com as permissões necessárias.
- Usando o Estimador de Tamanho do Gráfico para estimar o tamanho do gráfico. A representação máxima na memória permitida para um gráfico carregado na memória do Graph Studio é de 109 GB.
Observação:
Se o seu gráfico for estimado para consumir mais de 109 GB, considere a implantação das ferramentas Oracle Graph Server and Clients do Oracle MarketPlace em uma VM de computação com a memória necessária. As configurações VM.Standard.E3.Flex e VM.Standard.E4.Flex podem ter até 1024 GB de memória.
Considerações
Ao carregar e configurar dados de vários bancos de dados e origens de arquivos em um data warehouse centralizado habilitado para análise gráfica, considere as seguintes opções de implementação:
| Orientação | Refinaria de dados | Plataforma de Persistência de Dados | Acesso e Interpretação |
|---|---|---|---|
| Recomendado | Ferramentas do Oracle Autonomous Database | Oracle Autonomous Database (ADW ou ATP) | Oracle Graph Studio |
| Outras Opções |
|
|
|
- Gravação de dados:
Mantenha suas operações de análise de gráfico próximas dos seus dados para limitar o alto custo da movimentação de dados.
Implantar
O código do Terraform para esta arquitetura de referência está disponível como uma pilha de amostra no Oracle Cloud Infrastructure Resource Manager. Você também pode baixar o código do GitHub, e personalizá-lo de acordo com seus requisitos específicos.
- Implante usando a pilha de amostra no Oracle Cloud Infrastructure Resource Manager:
- Clique em
Se você ainda não estiver conectado, informe a tenancy e as credenciais do usuário.
- Selecione a região na qual você deseja implantar a pilha.
- Siga os prompts na tela e as instruções para criar a pilha.
- Após criar a pilha, clique em Ações do Terraform e selecione Planejar.
- Aguarde a conclusão da tarefa e revise o plano.
Para fazer qualquer alteração, retorne à página Detalhes da Pilha, clique em Editar Pilha e faça as alterações necessárias. Em seguida, execute a ação Planejar novamente.
- Se nenhuma alteração adicional for necessária, retorne à página Detalhes da Pilha, clique em Ações do Terraform e selecione Aplicar.
- Clique em
- Implante usando o código do Terraform no GitHub:
- Vá para GitHub.
- Clone ou faça download do repositório para seu computador local.
- Siga as instruções no documento
README.
Explorar Mais
Analise os recursos a seguir para saber mais sobre os recursos dessa arquitetura.
- Página do produto: Oracle Graph Database and Graph Analytics
- E-book: 17 casos de uso para banco de dados gráfico e análise gráfica
- Visão geral dos recursos técnicos: Tecnologias do Oracle Graph
- Documentação: Oracle Property Graph
- Workshop LiveLabs: Conceitos Básicos do Graph Analytics no Oracle Autonomous Database
- Canal YouTube: Oracle Spatial e Oracle Graph
- Página do projeto: GPGQL (Property Graph Query Language)
- Página do projeto Oracle Labs: PGX (Parallel Graph) AnalytiX