Oracle Autonomous Database를 사용하여 데이터 내 연결 식별 및 그래프 분석 수행
그래프 데이터베이스 및 그래프 분석은 Oracle의 통합 데이터베이스 오퍼링에 필수적입니다. Oracle Database에 내장된 그래프 기능을 사용하면 별도의 단일 용도 데이터베이스를 사용할 필요가 없고 데이터를 복제할 필요가 없습니다. 분석가와 개발자는 종합적인 분석을 수행하여 데이터에서 연결을 찾아 고객 추세 또는 사기 감지와 같은 통찰력을 제공하거나 스마트 제조의 추적성을 개선할 수 있습니다. 엔터프라이즈급 보안, 손쉬운 데이터 입수, 다양한 종류의 데이터 워크로드 지원 등과 같은 분석을 수행할 수 있습니다.
ADB(Oracle Autonomous Database)는 데이터 라이프사이클 전반에서 그래프 모델링, 관리, 분석 및 시각화를 자동화하고 간소화하는 Graph Studio라는 원클릭 통합 셀프서비스 툴을 제공합니다. Graph Studio는 60개 이상의 사전 구축된 그래프 알고리즘과 PGQL(Properties Graph Query Language)이라는 SQL과 같은 선언적 언어를 포함하여 포괄적인 그래프 분석 세트에 액세스할 수 있습니다. Graph Studio는 노트북을 지원하므로 데이터 애호가 및 개발자는 최고의 성능을 위해 인메모리 그래프 분석 엔진(PGX)을 사용하여 단계별 분석을 수행할 수 있습니다.
그래프는 대부분의 데이터가 연결되어 있으므로 데이터를 모델링하고 데이터 엔티티 간 연결에 집중하는 매우 직관적인 방법입니다. 그래프를 사용하면 연결된 데이터 엔티티 간 탐색, 링크 탐색, 새로운 결론 도출을 손쉽게 수행할 수 있습니다. 그래프의 기본 구성요소는 두 정점을 연결하는 정점(또는 노드) 및 모서리입니다. 일반적인 그래프 예로는 소셜 네트워크, 자금 흐름, 자재 명세서 또는 데이터 계보가 있습니다.
다음 예제 이미지는 그래프 분석이 재무 트랜잭션의 사기 식별에 적합한 방법을 보여줍니다.
사기 감지를 보다 간소화하기 위해 엔티티 간의 트랜잭션과 전자 메일 주소, 암호, 주소 등 일부 정보를 공유하는 엔티티에서 그래프를 생성할 수 있습니다. 그래프가 생성되면 간단한 쿼리를 실행하면 유사한 정보를 가진 고객사를 모두 찾을 수 있으며 어떤 고객사가 서로에게 돈을 보내고 있는지를 알 수 있습니다.
자세한 내용과 일반적인 그래프 예는 eBook "그래프 데이터베이스 및 그래프 분석용 17가지 사용 사례"를 참조하십시오. 이 참조 아키텍처의 끝에 있는 "Explore More" 섹션에서 찾을 수 있습니다.
- 그래프 알고리즘 실행
그래프 알고리즘은 정점 사이의 경로와 거리, 정점의 중요성 또는 정점의 클러스터링을 분석합니다. 다음과 같은 경우에 유용합니다.
- 커뮤니티 감지(예: Louvain, 레이블 전달)
- 연결된 구성요소 감지(예: 강력한 연결 구성요소, 약하게 연결된 구성요소)
- 구조 평가(예: 주기 감지, 삼각형 계산, 접근성)
- 예측 링크(예: 후속 링크), 그래프의 순위 지정 및 탐색 노드(예: PageRank, 정도 중심성, 근접 중심성, SALSA)
- 경로 찾기(예: Bellman-Ford, Dijkstra, Fattest Path, Hop Distance)
- 질의와 일치하는 그래프 패턴 실행
그래프 패턴 일치 쿼리는 지정된 구속조건 세트와 일치하는 정점과 가장자리 사이의 주기 또는 간접 종속성과 같은 패턴을 감지할 수 있습니다.
구조
이 아키텍처는 Oracle Autonomous Data Warehouse를 여러 엔터프라이즈 저장소 및 부서별 데이터 소스에서 데이터가 로드되고 큐레이션된 중앙화된 데이터 웨어하우스로 사용합니다.
그런 다음 Graph Studio를 사용하여 데이터를 그래프로 모델링합니다. Graph Studio가 Java, PGQL 및 Python용 인터프리터와 통합된 노트북 인터페이스를 사용하면 그래프 알고리즘을 빠르게 실행하고, 그래프를 질의하고, 결과를 시각화할 수 있습니다. 이 참조 아키텍처를 통해 그래프를 시작하고 추가 도구 또는 소프트웨어 구성 요소 없이도 그래프 분석을 위한 랩 환경을 만들 수 있습니다. 특성을 포함하여 수백만 개의 정점과 가장자리가 포함된 그래프를 사용할 수 있습니다.
다음 다이어그램은 참조 구조의 기능을 나타낸 것입니다.
propertygraph-analysis-arch-oracle.zip
- 데이터 정제
아키텍처의 각 데이터 계층에서 사용할 데이터를 수집하고 세분화합니다. 이 구성은 각 레벨에서 데이터를 저장 및 세분화하고 두 레벨 간의 데이터를 이동하는 데 소요되는 처리 비용의 차이를 보여줍니다.
- 데이터 지속성 플랫폼(현재 정보 계층)
데이터 접근 및 탐색을 용이하게 하여 현재 비즈니스 뷰를 표시합니다. 이 계층을 사용하면 관계형 데이터에서 그래프 뷰 또는 영구 그래프 구조를 생성할 수 있습니다.
- 액세스 및 해석
소비자에 대한 데이터의 논리적 비즈니스 뷰를 추상화합니다. 이 추상화는 데이터 분석에 대한 민첩한 접근 방식을 지원하여 선별된 데이터에 대한 단일 분석 계층을 제공합니다.
구조에는 다음과 같은 구성 요소가 있습니다.
- 데이터 통합
Oracle Autonomous Database에는 여러 부서 시나리오 및 특정 고급 사용 사례를 위해 데이터를 수집, 로드 및 변환하는 데 필요한 툴이 내장되어 있습니다. Autonomous Data Warehouse에는 로컬 또는 오브젝트 스토리지에서 데이터를 빠르게 로드하는 기능이 포함되어 있습니다. 또한 다양한 소스 유형의 데이터에 연결하고 EL-T 유형 기능에 액세스할 수 있는 자율 데이터 변환도 포함되어 있습니다.
Oracle Cloud Infrastructure Data Integration Cloud 서비스는 고급 사용 사례를 지원합니다. 전담 관리되는 서버리스의 네이티브 클라우드 서비스입니다. 이 서비스를 사용하면 다른 소스에서 ETL(추출, 로드 및 변환) 데이터를 추출하기 위한 작업을 설계하고 수행할 수 있습니다.
- 객체 스토리지
Oracle Cloud Infrastructure Object Storage는 안정적이고 비용 효율적인 데이터 내구성을 제공하는 인터넷 규모의 고성능 스토리지 플랫폼입니다. Oracle Cloud Infrastructure Object Storage는 애널리틱스 데이터를 포함하여 모든 컨텐츠 유형의 비구조적 데이터를 무제한으로 저장할 수 있습니다. 부서 데이터를 안전하게 검색하여 오브젝트 스토리지 버킷에 보관할 수 있습니다. 그런 다음 Autonomous Database의 데이터 로드 툴을 사용하여 버킷에서 Autonomous Database로 데이터를 로드할 수 있습니다.
- Autonomous Database(ADW, ATP)
Oracle Autonomous Database는 데이터 웨어하우징 워크로드에 최적화된 자동 구동, 자가 보안, 자가 복구 데이터베이스 서비스입니다. 하드웨어를 구성 또는 관리하거나 소프트웨어를 설치할 필요가 없습니다. Oracle Cloud Infrastructure는 데이터베이스 생성 및 데이터베이스 백업, 패치, 업그레이드, 튜닝을 처리합니다. Autonomous Data Warehouse를 활용하여 유연하게 데이터를 구조화된, JSON, XML, 그래프, 공간 등 다양한 형식으로 로드할 수 있습니다. 이 서비스와 함께 제공되는 자율 툴은 데이터를 테이블로 로드하고 가벼운 ETL을 효율적으로 수행할 수 있는 툴입니다.
- 그래프 스튜디오
Graph Studio는 공유 인프라 기반의 Oracle Autonomous Database의 기능입니다. 이 서비스는 자율운영 트랜잭션 처리(ATP) 및 ADW(Autonomous Data Warehouse)에 내장되어 있습니다. 그래프 작업을 하는 개발자, 분석가, 데이터 엔지니어 및 데이터 과학자를 위한 툴을 제공합니다. Graph Studio에는 데이터 웨어하우스의 기존 관계형 테이블의 그래프 모델링을 자동화하고, 그래프 분석을 수행하고, 그래프 애플리케이션을 개발하며, 결과를 시각화하고 공유하는 로우 코드 사용자 인터페이스가 포함되어 있습니다. Autonomous Database와 Graph Studio를 결합하면 클릭 한 번으로 프로비저닝, 통합 툴링 및 보안을 이용해 몇 분 내에 배포할 수 있는 완전한 그래프 데이터베이스 플랫폼을 제공합니다. 데이터베이스 전문가나 그래프 전문가가 없어도 시작되어 생산성을 높일 수 있습니다.
다음 다이어그램은 보안과 관련한 모범사례를 사용하여 Oracle Cloud Infrastructure에서 제공하는 서비스와 위의 아키텍처의 매핑을 보여줍니다.
그림 oci-adb-graph-studio-arch.png에 대한 설명
oci-adb-graph-studio-arch-oracle.zip
이 참조 아키텍처에는 다음과 같은 주요 구성요소가 있습니다.
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 Oracle Cloud Infrastructure 영역에서 설정하는 커스터마이징 가능한 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN도 네트워크 환경을 완벽하게 제어할 수 있습니다. VCN에는 VCN을 생성한 후 변경할 수 있는 겹치지 않는 여러 CIDR 블록이 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있으며, 지역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 서브넷을 생성한 후 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- 가용성 도메인
가용성 도메인은 한 지역 내의 독립형 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 내결함성을 제공하는 다른 가용성 도메인의 리소스와 분리됩니다. 가용성 도메인은 전원, 냉각 또는 내부 가용성 도메인 네트워크와 같은 인프라를 공유하지 않습니다. 따라서 하나의 가용성 도메인에서 장애가 발생하면 해당 영역의 다른 가용성 도메인에 영향을 주지 않습니다.
- Bastion 호스트
배스천 호스트는 클라우드 외부에서 토폴로지에 대한 보안 제어 시작점 역할을 하는 컴퓨팅 인스턴스입니다. Bastion 호스트는 일반적으로 DMZ(Demilitarized Zone)에 프로비저닝됩니다. 중요한 리소스를 클라우드 외부에서 직접 액세스할 수 없는 개인 네트워크에 배치하여 보호할 수 있습니다. 토폴로지에는 알려진 단일 시작점이 있으며, 주기적으로 모니터링하고 감사(audit)할 수 있습니다. 따라서 액세스를 방해하지 않으면서 토폴로지의 더 중요한 구성요소가 표시되지 않도록 할 수 있습니다.
- NAT(네트워크 주소 변환) 게이트웨이
NAT 게이트웨이를 사용하면 VCN의 전용 리소스가 수신 인터넷 연결에 리소스를 노출하지 않고도 인터넷의 호스트에 접근할 수 있습니다.
- 인터넷 게이트웨이
인터넷 게이트웨이는 VCN의 공용 서브넷과 공용 인터넷 사이의 트래픽을 허용합니다.
- 서비스 게이트웨이
서비스 게이트웨이는 VCN에서 Oracle Cloud Infrastructure Object Storage와 같은 다른 서비스에 대한 접근을 제공합니다. VCN에서 Oracle 서비스로의 트래픽은 Oracle 네트워크 패브릭을 통해 이동하며 인터넷을 경유하지 않습니다.
- 자동 크기 조정을 사용하는 Autonomous Database
이 아키텍처에서 Oracle Autonomous는 자동 크기 조정 및 전용 끝점을 사용하여 구성된 ADW(Autonomous Data Warehouse) 또는 ATP(Autonomous Transactional Processing)일 수 있습니다. 그래프 모델링, 생성, 유지 관리, 쿼리 및 시각화를 비롯하여 애플리케이션별 데이터를 저장하는 데 사용됩니다. ACL(액세스 제어 목록)은 네트워크 액세스를 Autonomous Database로 제한합니다. 그래프를 개발 및 유지 관리하고 Graph Studio를 Autonomous Database의 내장 툴로 사용하는 데 필요한 권한이 부여된 사전 생성된 애플리케이션 사용자가 있습니다. 샘플 데이터는 Graph Studio를 쉽게 시작할 수 있도록 데이터베이스 사용자 스키마에 사전 로드됩니다.
권장 사항
- Data Refinery
Autonomous Database Tools는 Oracle Autonomous Data Warehouse에 내장된 기능으로, 로드, 변환, 카탈로그화, 통찰력 확보, 단순하고 간단한 방식으로 비즈니스 모델 개발 기능도 제공합니다.
- 그래프 스튜디오Graph Studio에 연결하기 전에 다음을 수행하는 것이 좋습니다.
- 필요한 권한으로 데이터베이스 사용자 생성.
- 그래프 크기 예측기를 사용하여 그래프 크기를 예측합니다. Graph Studio 메모리에 로드된 그래프에 허용되는 최대 인메모리 표현은 109GB입니다.
주:
그래프가 109GB를 초과하는 것으로 추정되는 경우 필요한 메모리가 있는 컴퓨트 VM에 Oracle Graph Server and Clients tools from Oracle MarketPlace을 배치하는 것이 좋습니다. VM.Standard.E3.Flex 및 VM.Standard.E4.Flex 구성은 최대 1024GB의 메모리를 포함할 수 있습니다.
고려 사항
여러 데이터베이스 및 파일 소스에서 그래프 분석을 위해 사용으로 설정된 중앙화된 데이터 웨어하우스로 데이터를 로드하고 구성할 때 다음 구현 옵션을 고려하십시오.
| 지도 | Data Refinery | 데이터 지속성 플랫폼 | 액세스 및 해석 |
|---|---|---|---|
| 권장사항 | Oracle Autonomous Database 툴 | Oracle 자율운영 데이터베이스(ADW 또는 ATP) | Oracle Graph Studio |
| 기타 옵션 |
|
|
|
- 데이터 중력:
그래프 분석 작업을 데이터에 가깝게 유지하여 높은 데이터 이동 비용을 제한합니다.
배치
이 참조 아키텍처의 Terraform 코드는 Oracle Cloud Infrastructure Resource Manager에서 샘플 스택으로 사용할 수 있습니다. GitHub에서 코드를 다운로드하고 특정 요구 사항에 맞게 사용자 정의할 수도 있습니다.
- Oracle Cloud Infrastructure Resource Manager의 샘플 스택을 사용하여 배포합니다.
을 누릅니다.아직 사인인하지 않은 경우 테넌시 및 사용자 인증서를 입력합니다.
- 스택을 배치할 영역을 선택합니다.
- 화면의 프롬프트와 지침에 따라 스택을 생성합니다.
- 스택을 생성한 후 Terraform 작업을 누르고 계획을 선택합니다.
- 작업이 완료될 때까지 기다린 후 계획을 검토합니다.
내용을 변경하려면 [스택 세부정보] 페이지로 돌아가서 스택 편집을 누르고 필요에 따라 변경합니다. 그런 다음 계획 작업을 다시 실행합니다.
- 추가 변경이 필요하지 않은 경우 스택 세부정보 페이지로 돌아가서 Terraform 작업을 누르고 적용을 선택합니다.
- GitHub에서 Terraform 코드를 사용하여 배포합니다.
- GitHub로 이동하십시오.
- 저장소를 로컬 컴퓨터에 복제하거나 다운로드합니다.
README문서의 지침을 따릅니다.
추가 탐색
이 아키텍처의 기능에 대해 자세히 알아보려면 다음 리소스를 검토하십시오.
- 제품 페이지: Oracle Graph Database and Graph Analytics
- 전자책: 그래프 데이터베이스 및 그래프 분석용 17가지 사용 사례
- 기술 기능 개요: Oracle Graph Technologies
- 설명서: Oracle Property Graph
- LiveLabs 워크샵: Oracle Autonomous Database상의 Graph Analytics 시작하기
- YouTube 채널: Oracle Spatial 및 Oracle Graph
- 프로젝트 페이지: Property Graph Query Language (PGQL)
- Oracle Labs 프로젝트 페이지: Parallel Graph AnalytiX (PGX)