ERP 워크로드용 Oracle Cloud Infrastructure에 확장 가능한 OwnGPT 모델 배포
Oracle Cloud Infrastructure(OCI)에 OwnGPT를 배포함으로써 모델 개발 가속화, 생산성 향상, 강력한 투자 수익률(ROI)을 입증했습니다.
이 참조 아키텍처의 목표는 사용자 및 기능 컨설턴트가 OCI에 배포된 도메인 학습 AI 모델인 OwnGPT를 통해 자연어를 사용하여 ERP(전사적 자원 관리) 데이터와 상호 작용할 수 있도록 하는 것이었습니다. 초기에 Oracle E-Business Suite R12(미지급금 및 미수금 모듈)에 중점을 두고 다른 모듈 및 ERP 플랫폼에 대한 확장성을 제공합니다.
초기 배포는 A10 Tensor Core GPU를 활용하여 모델 학습 및 추론을 가속화했습니다. Oracle HeatWave MySQL을 통합하면 데이터베이스 성능이 더욱 향상되고, OCI Object Storage는 안전하고 효율적인 데이터 관리를 보장합니다. Oracle E-Business Suite Vision을 기본 데이터 소스로 활용하여 OwnGPT는 구조화된 엔터프라이즈 데이터를 효과적으로 처리할 수 있었습니다.
OCI의 GPU 인스턴스에 OwnGPT를 배포하는 것은 AI 혁신을 촉진하는 데 있어 인프라의 중요한 역할을 강조했습니다. 베어메탈 및 가상 머신 환경 전반에 GPU를 배포할 수 있는 OCI의 유연성을 통해 변화하는 비즈니스 요구 사항을 충족할 수 있는 맞춤형 구성이 가능해졌습니다. 또한 Oracle의 저지연 RDMA(Remote Direct Memory Access) 네트워킹은 분산 모델 학습을 가속화했으며, OCI Block과 OCI Object Storage는 대규모 데이터세트를 위한 확장 가능한 데이터 관리를 제공했습니다.
구조
이는 안전하고 확장 가능하며 모듈식 AI 기반 쿼리 해결을 위해 설계된 AI 기반 ERP 솔루션(OwnGPT)의 프로덕션 지원 OCI 배포입니다. Oracle E-Business Suite(ERP)와 Airflow, Oracle Base Database Service, GPT용 GPU 컴퓨트, 스토리지를 통합하는 동시에 온프레미스 사용자 및 OCI 서비스 모두에 안전하게 연결할 수 있습니다.
- LLM 워크로드를 위한 AI 지원(GPU 기반)
- 모듈식 및 계층형 설계로 로드 밸런싱, 앱 및 AI 로직 분리
- Oracle Oracle E-Business Suite와 긴밀하게 연결된 ERP 통합 및 AP, AR 인사이트 지원
- WAF, IAM, NAT 게이트웨이 및 OCI 네이티브 보안 기능을 통해 안전하고 확장 가능
- 고가용성 및 장애 도메인을 사용하여 하드웨어 장애로부터 보호
다음 다이어그램은 이 참조 구조를 보여줍니다.
사용자 그룹은 웹 또는 VPN을 통해 애플리케이션에 액세스할 내부 사용자 또는 비즈니스 분석가입니다. 인터넷 게이트웨이는 외부 네트워크(예: 직원 웹 브라우저 액세스)에서 OCI 환경에 대한 액세스를 제공합니다. 모든 리소스는 OWNTESTHUB라는 컴파트먼트에 존재하며 고가용성을 위해 3개의 폴트 도메인에 분산됩니다. 전체 아키텍처는 보안 가상 네트워크 내에 구축됩니다. Oracle Cloud Infrastructure Web Application Firewall(WAF)은 SQL 주입, DDoS 등과 같은 위협으로부터 보호합니다.
로드 밸런서는 확장성 및 가용성을 위해 백엔드 웹, API 서버 간에 수신 트래픽을 분산합니다. WEB API(VM.Standard.E5) Flex) OwnGPT 애플리케이션용 프런트엔드 및 REST API를 호스팅합니다. 공기 흐름(VM.Standard.E5). Flex)는 작업 통합관리, 일정 잡기 작업(예: 모델 교육 또는 ETL)을 관리합니다. OWNGPT(VM.GPU.A10.2)에는 실시간 AI 추론에 이상적인 OwnGPT 모델을 실행하는 GPU 가속 VM이 있습니다.
Oracle Autonomous Data Warehouse는 빠른 쿼리를 위해 ERP 관련 구조적 데이터(AP, AR 모듈)를 저장합니다. Oracle E-Business Suite APP(VM.Standard.E5) Flex)는 Oracle E-Business Suite(커넥터 또는 미들웨어를 실행할 가능성이 있음)에 대해 백엔드 서비스를 사용합니다. OCI 파일 스토리지는 공기 흐름 DAG, 앱 아티팩트 또는 로그에 유용한 공유 스토리지를 제공합니다.
OCI ID 및 액세스 관리는 사용자 역할, 정책 및 보안 인증을 제어합니다. 서비스 게이트웨이는 인터넷을 거치지 않고도 OCI Object Storage와 같은 OCI 서비스에 연결됩니다. OCI Object Storage는 모델 체크포인트 저장, 데이터세트, 로그 또는 아카이브 학습에 사용됩니다. NAT 게이트웨이를 사용하면 전용 서브넷 VM이 아웃바운드 인터넷 트래픽을 안전하게 시작할 수 있습니다. 응답 생성 모델은 관련 데이터를 추출하고, context를 해석하며, 수동 보고서 생성 없이도 사람이 읽을 수 있는 응답을 생성합니다.
- Oracle E-Business Suite
Oracle E-Business Suite는 진화하는 비즈니스 모델을 지원하고 생산성을 높이며 최신 모바일 사용자의 요구를 충족하는 일련의 제품(인적 자본 관리, order management, 조달 및 물류)으로 구성됩니다.
Oracle Cloud Infrastructure에서 Oracle E-Business Suite를 프로비저닝하거나 데이터 센터에서 Oracle Cloud Infrastructure로 Oracle E-Business Suite 환경을 마이그레이션하여 다중 호스트, 보안 및 고가용성 토폴로지를 생성할 수 있습니다.
- Oracle Autonomous Data Warehouse
Oracle Autonomous Data Warehouse는 데이터 웨어하우징 워크로드에 최적화된 자율 구동, 자가 보안, 자가 복구 데이터베이스 서비스입니다. 하드웨어를 구성 또는 관리하거나 소프트웨어를 설치할 필요가 없습니다. Oracle Cloud Infrastructure는 데이터베이스 생성, 백업, 패치 적용, 업그레이드 및 튜닝을 처리합니다.
- OCI 오브젝트 스토리지
OCI Object Storage는 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 정형 및 비정형 데이터에 대한 액세스를 제공합니다. 애플리케이션 또는 클라우드 플랫폼 내에서 직접 안전하고 안전하게 데이터를 저장할 수 있습니다. 성능 또는 서비스 안정성이 저하되지 않고 스토리지를 확장할 수 있습니다.
신속하고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보관하며 거의 또는 거의 액세스하지 않는 "콜드" 스토리지에 아카이브 스토리지를 사용합니다.
- 파일 저장 영역
Oracle Cloud Infrastructure File Storage는 지속성과 확장성이 뛰어나며, 안전한 엔터프라이즈급 네트워크 파일 시스템을 제공합니다. VCN의 베어메탈, 가상 머신 또는 컨테이너 인스턴스에서 OCI 파일 스토리지에 연결할 수 있습니다. 또한 Oracle Cloud Infrastructure FastConnect 및 IPSec VPN을 사용하여 VCN 외부에서 OCI File Storage에 접근할 수 있습니다.
- ID 및 액세스 관리
Oracle Cloud Infrastructure Identity and Access Management(IAM)는 OCI 및 Oracle Cloud Applications에 대한 사용자 액세스 제어를 제공합니다. IAM API 및 사용자 인터페이스를 통해 ID 도메인 및 해당 도메인 내의 리소스를 관리할 수 있습니다. 각 OCI IAM ID 도메인은 독립형 ID 및 액세스 관리 솔루션 또는 다른 사용자 모집단을 나타냅니다.
권장사항
- VCN
VCN을 생성할 때 VCN의 서브넷에 연결하려는 리소스 수에 따라 필요한 CIDR 블록 수와 각 블록의 크기를 결정합니다. 표준 전용 IP 주소 공간 내에 있는 CIDR 블록을 사용합니다.
프라이빗 접속을 설정하려는 다른 네트워크(Oracle Cloud Infrastructure, 온프레미스 데이터 센터 또는 다른 클라우드 제공자)와 겹치지 않는 CIDR 블록을 선택합니다.
VCN을 생성한 후 해당 CIDR 블록을 변경, 추가 및 제거할 수 있습니다.
서브넷을 설계할 때 트래픽 흐름 및 보안 요구 사항을 고려하십시오. 특정 계층 또는 역할 내의 모든 리소스를 보안 경계로 사용될 수 있는 동일한 서브넷에 연결합니다.
고려사항
이 참조 아키텍처를 구현할 때는 다음 옵션을 고려하십시오.
- AI 처리
OwnGPT는 AP, AR 모듈에서 학습된 context를 사용하여 질의를 처리합니다.
- 출력 전달
응답은 UI 또는 채팅 인터페이스를 통해 실시간으로 또는 거의 실시간으로 반환됩니다.
- 기술 측정항목
- 응답 시간: 평균 1.2초, 95번째 백분위수 2.5초, 복합 질의 최대 3.7초.
- 처리량: 동시 사용자 최대 120명, 분당 쿼리 500명, API 성공률 99.97%
- 리소스 활용률: CPU 42% 평균(78% 피크), 메모리 4.2GB(최대 7.1GB), 벡터 데이터에 대한 회사당 스토리지 효율성 12MB.
- 확장성: 최대 50개 기업의 선형 확장, 100,000개 이상의 문서 청크로 안정적인 성능, 25개 이상의 동시 연결
- 업무 영향
- 생산성: 검색 시간 68% 단축, 반복되는 기술 쿼리 42% 감소, 직원당 매주 3.5시간 절약
- 정확도: 회사별 질문의 경우 92%, 기술 쿼리의 경우 87%, 소스 식별의 경우 95% 정확도.
- 사용자 만족도: 4.7/5 등급, 적격 직원 중 94% 채택, 지원 티켓 76% 감소.
- ROI: 중간 규모 배포 시 4.2개월, 12개월 동안 327%의 ROI가 발생하더라도 연간 142,000달러의 비용이 절감됩니다.