Oracle Integration을 사용하여 검색 증강 생성 구현
- LLM이 재교육 없이도 추가적인 데이터 리소스를 활용할 수 있게 함으로써 GenAI의 품질을 개선할 수 있는 비교적 새로운 인공 지능 기술입니다.
- RAG 모델은 조직의 자체 데이터를 기반으로 지식 저장소를 구축하며, 이러한 저장소를 지속적으로 업데이트하여 GenAI가 상황에 맞는 답변을 적시에 제공할 수 있도록 지원합니다.
- 자연어 처리를 사용하는 챗봇 및 기타 대화형 시스템은 RAG 및 GenAI의 이점을 크게 누릴 수 있습니다.
- RAG를 구현하려면 새로운 데이터를 신속하게 코딩할 수 있는 벡터 데이터베이스와 같은 기술이 필요하며, 해당 데이터를 검색하여 LLM에 공급해야 합니다.
구조
이 참조 아키텍처는 의미 검색 기술을 사용하여 Oracle Integration(OIC) 서비스와 같은 로우 코드 또는 노코드 통합 플랫폼을 사용하여 기업 데이터에 대한 사용자 쿼리에 응답하는 RAG 프레임워크를 구현하는 방법을 보여줍니다.
이 아키텍처에서 Oracle Cloud Infrastructure Generative AI는 임베딩을 생성하고 컨텍스트별 기업 데이터를 기반으로 최적화되거나 유용한 답변/응답을 생성하는 데 사용됩니다. Oracle Autonomous Database 23ai는 벡터 임베딩을 저장하고 인덱스를 생성하며 키워드 기반 검색 대신 유사성 또는 거리를 기반으로 의미 검색을 수행할 수 있도록 합니다. OCI 함수는 표준 LangChain python 패키지를 사용하여 기업 문서 또는 데이터의 조각화를 수행하는 데 사용됩니다. OIC 서비스는 기업 데이터 수신에서 벡터 임베딩으로 저장/질의에 이르는 전체 통합관리 및 자동화 프로세스를 처리하고, 사용자 쿼리에 대한 최적화된 창의적인 컨텍스트별 답변을 실시간 또는 거의 시간 방식으로 생성합니다.
- 읽어 들이는 프로세스:
이 프로세스에서는 다음 작업이 수행됩니다.
- 기업 또는 회사 데이터는 REST, 파일 또는 sFTP 또는 기타 프로토콜을 통해 PDF, TXT, CSV, XML, JSON 등의 다양한 형식으로 Oracle Integration 리트리버 서비스에 수신됩니다.
- Retriever 서비스는 OCI Functions를 사용하여 문서 또는 데이터를 청크합니다.
- 그런 다음 Retriever 서비스는 Cohere와 같은 내장 모델을 사용하여 OCI Generative AI Embedding 서비스를 호출하여 각 데이터 조각에 대한 벡터 임베딩을 가져옵니다.
- 마지막으로 리트리버 서비스는 이러한 임베딩을 조각화된 데이터와 함께 Oracle Autonomous Database 23ai에 저장합니다.
- 증강 및 생성 프로세스:
이 프로세스에서는 다음 작업이 수행됩니다.
- 프론트 엔드 애플리케이션을 사용하는 기업 또는 회사 사용자는 정책, HR, 영업, 구매 이력, 재무 보고서, 이슈 등과 같은 회사 데이터에 대한 질의 또는 질문을 합니다.
- OIC의 생성 서비스는 질의 데이터를 수신하고 로컬 통합의 보강 서비스를 호출하여 해당 질의에 대한 컨텍스트를 가져옵니다.
- OIC의 Augment 서비스는 일단 호출되면 OCI Generative AI의 Embedding 서비스를 호출하여 쿼리 데이터의 벡터 임베딩을 가져옵니다.
- OIC의 Augment 서비스는 쿼리 데이터 벡터 임베딩의 의미 검색을 기반으로 Oracle Autonomous Database 23ai에 저장된 컨텍스트를 가져옵니다. 검색된 컨텍스트가 생성 서비스에 대한 응답으로 다시 전송됩니다.
- 수신된 컨텍스트 및 쿼리를 사용하여 생성 서비스는 OCI 생성형 AI 생성 서비스를 호출하여 적절한 응답을 생성합니다.
- 마지막으로, 생성 서비스는 사용자에게 생성된 응답으로 응답합니다.
OIC는 고객이 엔드투엔드 RAG 프로세스를 자동화할 수 있도록 지원합니다. 고객 또는 기업은 로우 코드의 노코드 통합 플랫폼을 사용하여 기업 데이터에 RAG를 구현함으로써 이점을 얻을 수 있습니다. 코딩이 적게 필요한 로우코드 노코드 플랫폼을 사용하여 RAG를 구축하면 몇 달이 아닌 몇 시간 또는 며칠 이내에 개발 및 GTM(Go-to-Market)을 수행할 수 있습니다.
구조에는 다음과 같은 구성 요소가 있습니다.
- Autonomous Database
Oracle Autonomous Database는 트랜잭션 처리 및 데이터 웨어하우징 워크로드에 사용할 수 있는 완전 관리형 사전 구성 데이터베이스 환경입니다. 하드웨어를 구성 또는 관리하거나 소프트웨어를 설치할 필요가 없습니다. Oracle Cloud Infrastructure는 데이터베이스 생성은 물론 데이터베이스 백업, 패치, 업그레이드, 튜닝도 처리합니다.
- 자율운영 트랜잭션 처리(ATP)
Oracle Autonomous Transaction Processing은 트랜잭션 처리 워크로드에 최적화된 자동 구동, 자가 보안 및 자가 복구 데이터베이스 서비스입니다. 하드웨어를 구성 또는 관리하거나 소프트웨어를 설치할 필요가 없습니다. Oracle Cloud Infrastructure는 데이터베이스 생성은 물론 데이터베이스 백업, 패치, 업그레이드, 튜닝도 처리합니다.
- 함수
Oracle Cloud Infrastructure Functions는 확장성이 뛰어난 완전 관리형 멀티테넌트 온디맨드 Functions-as-a-Service(FaaS) 플랫폼입니다. 그것은 Fn 프로젝트 오픈 소스 엔진에 의해 구동 됩니다. 함수를 사용하면 코드를 배치하고 직접 호출하거나 이벤트에 대한 응답으로 트리거할 수 있습니다. Oracle Functions는 Oracle Cloud Infrastructure Registry에서 호스팅되는 Docker 컨테이너를 사용합니다.
- 통합
Oracle Integration은 애플리케이션을 통합하고, 프로세스를 자동화하고, 비즈니스 프로세스에 대한 통찰력을 얻고, 시각적 애플리케이션을 생성할 수 있는 전담 관리 서비스입니다.
- 생성형 AI
Oracle Cloud Infrastructure Generative AI는 텍스트 생성, 요약, 의미 검색 등에 대한 광범위한 사용 사례를 다루는 최첨단 커스터마이징 가능한 대규모 언어 모델(LLM) 세트를 제공하는 완전 관리형 OCI 서비스입니다. 플레이그라운드를 사용하여 바로 사용할 수 있는 사전 학습 모델을 시도하거나 전용 AI 클러스터의 고유 데이터를 기반으로 미세 조정된 사용자정의 모델을 생성하여 호스팅할 수 있습니다.
- Oracle Database 23ai
Oracle Database 23ai는 Oracle Database의 차세대 장기 지원 릴리스입니다. 여기에는 인공 지능(AI) 및 개발자 생산성에 중점을 둔 300개 이상의 새로운 기능이 포함됩니다. AI Vector Search와 같은 기능을 사용하면 차세대 AI 모델을 활용하여 문서, 이미지, 사운드 등의 벡터를 생성 및 저장하고, 인덱싱하여 유사성을 빠르게 찾고, Oracle Database의 기존 분석 기능을 활용할 수 있습니다. 이미 광범위한 머신 러닝 알고리즘과 결합하여 정교한 AI 지원 애플리케이션을 신속하게 생성할 수 있습니다. 또한 Oracle Database 23ai는 AI를 사용하여 많은 주요 데이터베이스 기능을 최적화함으로써 타이밍 및 리소스 비용 산정을 보다 정확하게 예측합니다.
추가 탐색
Oracle Integration을 사용하여 RAG를 구현하는 방법에 대해 자세히 알아보십시오.
다음 추가 리소스를 검토하십시오.
- Oracle Cloud Infrastructure용 모범사례 프레임워크
- Oracle Cloud Infrastructure 설명서
- Oracle Integration
- OCI 함수
- Oracle Database 23ai 정보
- 생성형 AI 모델을 OCI에 배치