멀티클라우드 생성형 AI 검색 증강 생성(RAG) 배포하기
Oracle Cloud Infrastructure 및 Microsoft Azure와 같은 멀티클라우드 솔루션에서 OCI Generative AI 및 Oracle Integration을 사용하여 관련 조직 데이터를 쿼리하고 이를 사용하여 상황에 맞는 답변을 제공합니다.
RAG 아키텍처에서 Oracle Integration은 데이터 통합관리자의 역할을 수행하여 모든 관련 데이터 소스를 검색할 수 있도록 합니다. 그런 다음 Oracle Cloud Infrastructure Generative AI 상담원이 해당 데이터를 활용하여 상황별로 풍부한 답변을 제공합니다.
OCI GenAI 에이전트는 검색된 문서를 포함하고 대규모 언어 모델(LLM)을 쿼리하여 생성된 응답을 향상시켜 컨텍스트 응답을 제공하는 데이터를 처리합니다.
둘 다 데이터 수명주기에 관여하는 반면, 멀티클라우드 RAG 아키텍처 구축의 역할은 서로 다르지만 상호 보완적입니다.
이 멀티클라우드 RAG 접근 방식은 다음과 같은 이점을 제공합니다:
- 멀티클라우드 유연성: 이 아키텍처는 여러 클라우드 플랫폼(OCI 및 Azure)을 통합하여 기업 내 데이터 환경에 적응할 수 있도록 합니다.
- 고성능 연결성: Oracle Interconnect for Microsoft Azure는 클라우드 환경 간 빠르고 안전하며 안정적인 데이터 전송을 보장합니다.
- 동적 콘텐츠 생성: 에이전트가 서로 다른 소스에서 최신 정보를 가져와 LLM 응답이 정확하고 관련성이 있는지 확인합니다.
- 내장된 문서 검색: OCI GenAI 에이전트는 임베딩 및 시맨틱 검색을 사용하여 키워드 일치가 아닌 컨텍스트를 기반으로 보다 심층적인 인사이트를 제공할 수 있습니다.
구조
이 멀티클라우드 솔루션은 Microsoft Azure와 Oracle Cloud Infrastructure(OCI) 모두에서 데이터를 소싱하므로 Oracle Cloud Infrastructure Generative AI Agents가 광범위한 최신 정보에 액세스할 수 있습니다.
OCI GenAI 에이전트 및 Oracle Integration은 검색, 보강 및 생성(RAG) 서비스를 함께 지원하여 상황에 맞는 결과를 제공합니다.
OCI GenAI Agents는 특히 지식 기반 또는 문서에서 관련 정보를 검색하여 답변을 생성함으로써 생성형 AI를 사용하여 사용자 쿼리에 응답하는 데 중점을 둡니다. 에이전트는 고급 AI 기술, 임베딩 및 문서 조각화를 활용하여 관련 콘텐츠를 이해하고 생성함으로써 풍부한 컨텍스트 인식 응답을 제공합니다.
- 검색: 일반적으로 고급 하이브리드 검색을 통해 지식 소스에서 관련 데이터를 추출하여 렉시칼 검색과 의미 검색을 결합합니다.
- 보강: 검색된 데이터를 사용하여 질의에 대한 컨텍스트를 제공하여 생성형 AI 모델에 필요한 정보가 있는지 확인합니다.
- 생성: LLM(대형 언어 모델)을 사용하여 이전 단계에서 검색된 데이터에 의해 향상되는 사용자 질문에 대한 상황별 응답을 생성합니다.
반면 Oracle Integration은 다양한 애플리케이션과 시스템을 연결하는 통합 서비스를 제공하므로 여러 환경에서 데이터 플로우를 통합관리할 수 있습니다.
- 검색: 연결 에이전트를 사용하여 Azure 또는 기타 하이퍼스케일러의 다양한 데이터 소스 또는 서비스(데이터베이스, REST API, 클라우드 스토리지 등)에 비공개로 연결하여 여러 소스에서 데이터를 검색할 수 있습니다.
- Orchestrate/Augment: 사전 구성 또는 동적 변환을 통해 데이터를 보강하여 워크플로우를 통합관리하고 여러 소스의 데이터를 통합하여 프로세스를 강화합니다.
- 데이터 플로우 관리: RAG 에이전트와 달리 Oracle Integration은 데이터에서 응답을 생성하는 것이 아니라 시스템과 애플리케이션 간에 원활한 데이터 이동 및 변환을 가능하게 하여 모든 관련 데이터를 서로 다른 서비스에 사용할 수 있도록 하는 데 중점을 둡니다.
| 기능 영역 | OCI GenAI 에이전트 | Oracle Integration |
|---|---|---|
| 용도 | 데이터를 검색하고, 보강하고, LLM을 사용하여 응답을 생성함으로써 AI 기반 응답을 제공하도록 설계되었습니다. | 여러 애플리케이션에 걸쳐 데이터를 통합 및 통합관리하도록 설계되어 LLM 기반 생성 기능 없이도 원활한 데이터 연결을 제공합니다. |
| 데이터 처리 | 데이터를 사용하여 컨텍스트 인식 방식으로 자연어 응답을 생성합니다. | LLM과 동일한 방식으로 컨텐츠를 생성하지 않고 시스템 간 브릿지 역할을 하는 애플리케이션 간 데이터 흐름을 처리합니다. |
| 생성 기능 | 생성형 AI 기능을 갖추고 있으며 LLM을 사용하여 대화형 응답 또는 기타 출력을 생성합니다. | 생성형 AI 기능이 없고, 서비스 전반에 걸쳐 데이터를 연결, 검색, 변환하는 데 사용됩니다. |
다음 다이어그램은 구조를 통한 데이터 흐름을 보여 줍니다.
- 사용자는 구현에 따라 Oracle Digital Assistant 또는 OCI GenAI 에이전트와 상호 작용하여 사용자 질의 및 프롬프트를 전달합니다.
- Oracle Integration은 데이터 소스에서 가져오기, 문서 수집 처리, 사용자 프롬프트 다운스트림 전달 등 다양한 구성요소 간 호출을 통합관리합니다.
- 데이터 소스는 다음과 같습니다.
- Oracle Interconnect for Microsoft Azure는 문서 저장소, Oracle Database@Azure 등을 위해 OCI와 Azure 간에 고대역폭 링크를 제공합니다.
- 로컬 파일 저장소는 수집을 위해 온프레미스 또는 로컬 파일을 제공합니다.
- OCI 서비스(예: Oracle Fusion Cloud Enterprise Resource Planning)
- Oracle Database@Azure는 Azure의 Oracle 관리 서비스 전반에서 데이터 공유를 위해 위임된 서브넷에 있습니다.
- 문서 수집, 조각화 및 포함 프로세스는 다음과 같은 다양한 방식으로 구현할 수 있습니다.
- Oracle Integration(내장된 JavaScript 또는 커스텀 라이브러리 사용)은 조각화를 수행하고 OCI Generative AI를 호출하여 내장합니다.
- OCI Functions는 문서를 수신하여 조각한 다음 임베딩을 위해 OCI Generative AI를 호출합니다.
- Oracle Autonomous Database 23ai는 벡터 기능을 사용하여 조각화 및 임베딩을 수행합니다.
표준 결과는 멀티클라우드 컨텍스트에서 완전히 관리되는 조각 텍스트 및 벡터 임베딩 세트입니다.
- 벡터 및 조각은 Oracle Autonomous Database 23ai에 저장됩니다.
- 일반적인 접근 방식은 Oracle Autonomous Database 23ai의 벡터 인덱스에 임베딩을 저장하는 것입니다.
- 조각 텍스트 자체는 데이터베이스 CLOB에 직접 저장하거나(빠른 검색을 위해), OCI Object Storage 또는 Azure Data Lake에서 조각 텍스트를 가리키는 참조로 저장할 수도 있습니다.
- OCI Object Storage는 필요한 경우 원본 문서를 저장할 수 있지만, 데이터베이스에서 벡터 저장소를 쿼리하는 경우 여기에 포함시킬 필요가 없습니다.
- 사용자가 질문할 때 OCI GenAI 에이전트(또는 디지털 어시스턴트)는 Oracle Autonomous Database 23ai를 호출하여 벡터 유사성 점수를 기반으로 가장 일치하는 청크를 식별하기 위해 사용자 프롬프트의 임베딩을 사용하여 벡터 유사성 검색을 수행합니다.
- OCI Generative AI는 질문 및 문서 청크에 대한 임베딩을 생성하고, LLM 모델을 사용해 응답을 생성하고, 상황에 맞는 답변을 제공합니다. 조각 검색 및 LLM 응답도 구현에 따라 달라집니다.
- 조각 텍스트가 데이터베이스에 저장되어 있으면 직접 검색할 수 있습니다.
- 참조만 저장되면 시스템은 OCI Object Storage, Azure Data Lake 또는 기타 저장소에서 실제 청크 콘텐츠를 빠르게 인출합니다.
- 그런 다음 OCI Generative AI에서 관련 청크가 LLM에 제공되고, 사용자의 원래 프롬프트는 컨텍스트에 따라 강화된 응답을 생성합니다.
- 최종 답변은 사용자가 연결된 프론트 엔드에 따라 Oracle Digital Assistant 또는 OCI GenAI Agents 인터페이스에 의해 반환됩니다.
다음 다이어그램에는 아키텍처가 설명되어 있습니다.
- Microsoft Azure 영역
Azure 리전은 가용성 영역이라고 하는 하나 이상의 물리적 Azure 데이터 센터가 상주하는 지리적 영역입니다.An Azure region is a geographical area in which one or more physical Azure data centers, called availability zones. 지역은 다른 지역과 독립적이며, 먼 거리가 그들을 분리 할 수 있습니다 (국가 또는 대륙에 걸쳐).
Azure 및 OCI 리전은 지역화된 지리적 영역입니다. Oracle Database@Azure의 경우, Azure 리전은 OCI 리전에 연결되고, Azure의 가용성 영역(AZ)은 OCI의 가용성 도메인(AD)에 연결됩니다. Azure 및 OCI 리전 쌍을 선택하여 거리 및 대기 시간을 최소화합니다.
- Microsoft Azure 가용성 영역
가용성 영역은 고가용성 및 내결함성을 제공하도록 설계된 지역 내의 물리적으로 분리된 데이터 센터입니다. 가용성 영역은 다른 가용성 영역에 대한 대기 시간이 짧은 연결에 충분히 가깝습니다.
- Microsoft Azure 가상 네트워크
Microsoft Azure Virtual Network(VNet)는 Azure의 전용 네트워크에 대한 기본 빌딩 블록입니다. VNet를 사용하면 Azure VM(가상 머신)과 같은 여러 유형의 Azure 리소스가 서로, 인터넷 및 온프레미스 네트워크와 안전하게 통신할 수 있습니다.
- Microsoft Azure 위임 서브넷
서브넷 위임을 사용하면 관리 서비스, 특히 서비스형 플랫폼(PaaS) 서비스를 가상 네트워크에 직접 주입할 수 있습니다. 위임된 서브넷은 외부 PaaS 서비스인 경우에도 외부 서비스가 가상 네트워크 리소스로 작동하도록 가상 네트워크 내부의 외부 관리 서비스에 대한 홈이 될 수 있습니다.
- Microsoft Azure 데이터 레이크 스토리지
Data Lake Storage는 클라우드 기반의 엔터프라이즈 데이터 레이크 솔루션입니다. 방대한 양의 데이터를 모든 형식으로 저장하고 빅 데이터 분석 워크로드를 용이하게 하도록 설계되었습니다. 다양한 프레임워크를 사용하여 간편하게 액세스하고 분석할 수 있도록 모든 유형의 데이터와 수집 속도를 단일 위치에서 캡처하는 데 사용할 수 있습니다.
- Microsoft Azure Synapse Analytics
Azure Synapse Analytics는 데이터 저장 및 처리를 위한 중앙 집중식 서비스와 일반적으로 사용되는 데이터 저장소, 처리 플랫폼 및 시각화 도구를 통합할 수 있는 확장 가능한 링크된 서비스 아키텍처를 결합합니다.
Oracle Cloud Infrastructure는 다음 구성요소를 제공합니다.
- 지역
Oracle Cloud Infrastructure 리전은 가용성 도메인이라고 하는 데이터 센터가 하나 이상 포함된 지역화된 지리적 영역입니다. 지역은 다른 지역과 독립적이며, 먼 거리가 그들을 분리 할 수 있습니다 (국가 또는 대륙에 걸쳐).
- 가용성 도메인
가용성 도메인은 한 지역 내의 독립형 독립 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 결함 허용을 제공하는 다른 가용성 도메인의 리소스와 격리됩니다. 가용성 도메인은 전원 또는 냉각과 같은 인프라 또는 내부 가용성 도메인 네트워크를 공유하지 않습니다. 따라서 한 가용성 도메인의 장애가 해당 영역의 다른 가용성 도메인에 영향을 미치지 않아야 합니다.
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 Oracle Cloud Infrastructure 지역에서 설정한 맞춤형 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN을 통해 네트워크 환경을 제어할 수 있습니다. VCN에는 VCN 생성 후 변경할 수 있는 겹치지 않는 CIDR 블록이 여러 개 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있습니다. 서브넷은 지역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 생성 후 서브넷의 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- 경로 테이블
가상 라우팅 테이블에는 일반적으로 게이트웨이를 통해 서브넷에서 VCN 외부의 대상으로 트래픽을 라우팅하는 규칙이 포함되어 있습니다.
- 보안 목록
각 서브넷에 대해 서브넷에 들어오고 나가도록 허용해야 하는 트래픽의 소스, 대상 및 유형을 지정하는 보안 규칙을 생성할 수 있습니다.
- 생성형 AI
Oracle Cloud Infrastructure Generative AI는 텍스트 생성, 요약, 의미 검색 등을 위한 광범위한 사용 사례를 다루는 최첨단 커스터마이징 가능한 대규모 언어 모델(LLM) 세트를 제공하는 완전 관리형 OCI 서비스입니다. 플레이그라운드를 사용하여 즉시 사용 가능한 사전 학습 모델을 시험해 보거나, 전용 AI 클러스터의 자체 데이터를 기반으로 미세 조정된 맞춤형 모델을 생성 및 호스팅할 수 있습니다.
- 통합
Oracle Integration은 클라우드 및 온프레미스 애플리케이션을 통합하고, 비즈니스 프로세스를 자동화하고, 시각적 애플리케이션을 개발할 수 있는 완전 관리형 사전 구성 환경입니다. SFTP 호환 파일 서버를 사용하여 파일을 저장 및 검색하고, 수백 개의 어댑터 및 레시피 포트폴리오를 사용하여 Oracle 및 타사 애플리케이션과 연결하여 B2B 거래 파트너와 문서를 교환할 수 있습니다.
- 오브젝트 스토리지
OCI Object Storage는 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 구조적 및 비구조적 데이터에 빠르게 액세스할 수 있게 해줍니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 데이터를 안전하고 안전하게 저장할 수 있습니다. 성능 또는 서비스 안정성이 저하되지 않고 스토리지를 확장할 수 있습니다.
빠르고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보존하고 거의 또는 거의 액세스하지 않는 "콜드" 스토리지에 아카이브 스토리지를 사용합니다.
- 함수
Oracle Cloud Infrastructure Functions는 완전 관리형 멀티테넌트로, 확장성이 뛰어나고 온디맨드 방식의 Functions-as-a-Service(FaaS) 플랫폼입니다. 그것은 Fn 프로젝트 오픈 소스 엔진에 의해 구동 됩니다. OCI Functions를 사용하면 코드를 배포하고 직접 호출하거나 이벤트에 대한 응답으로 트리거할 수 있습니다. OCI Functions는 Oracle Cloud Infrastructure Registry에서 호스팅되는 Docker 컨테이너를 사용합니다.
- 애널리틱스
Oracle Analytics Cloud는 확장 가능하고 안전한 퍼블릭 클라우드 서비스로, 데이터 준비, 시각화, 엔터프라이즈 보고, 증강 분석, 자연어 처리 및 생성을 위한 최신 AI 기반 셀프 서비스 분석 기능을 비즈니스 분석가들에게 제공합니다. 또한 Oracle Analytics Cloud를 사용하면 빠른 설정, 손쉬운 확장 및 패치 적용, 자동화된 라이프사이클 관리 등 유연한 서비스 관리 기능을 이용할 수 있습니다.
- Digital Assistant
Oracle Digital Assistant는 사용자를 위한 디지털 어시스턴트를 생성하고 배포할 수 있는 플랫폼입니다. Oracle Digital Assistant를 사용하면 텍스트, 채팅 및 음성 인터페이스를 통해 비즈니스 애플리케이션을 위한 AI 기반 인터페이스(또는 챗봇)를 생성할 수 있습니다. 각 디지털 어시스턴트에는 사용자가 자연어 대화에서 다양한 작업을 완료할 수 있도록 지원하는 하나 이상의 전문 기술 모음이 있습니다. 예를 들어, 개별 디지털 어시스턴트에는 재고 추적, 근무 기록 카드 제출, 경비 보고서 생성과 같은 특정 유형의 작업에 중점을 두는 기술이 있을 수 있습니다.
- Autonomous Database
Oracle Autonomous Database는 트랜잭션 처리 및 데이터 웨어하우징 워크로드에 사용할 수 있는 완전 관리형 사전 구성 데이터베이스 환경입니다. 하드웨어를 구성 또는 관리하거나 소프트웨어를 설치할 필요가 없습니다. Oracle Cloud Infrastructure는 데이터베이스 생성, 백업, 패치, 업그레이드 및 튜닝을 처리합니다.