1. Oracle Cloud Infrastructure에서 엔터프라이즈급 생성형 AI 스택 구축
  2. Oracle Cloud Infrastructure에서 엔터프라이즈급 생성형 AI 스택 구축

Oracle Cloud Infrastructure에서 엔터프라이즈급 생성형 AI 스택 구축

Oracle Cloud Infrastructure(OCI)에서 엔드투엔드 생성형 AI 스택을 구축하려면 인공 지능을 엔터프라이즈 시스템 내에 통합하기 위한 다계층 접근 방식이 필요합니다.

그 목적은 애플리케이션 개발을 간소화하고, 강력한 데이터 통합을 보장하고, 다양한 계층에서 보안 조치를 강화하는 것입니다. AI 모델의 배포를 용이하게 하고, 고객 데이터를 효율적으로 관리하며, 고급 로깅 및 모니터링을 통합하여 고성능 및 안정성을 유지합니다. 또한 이 참조 아키텍처는 필요한 여러 구성 요소와 필요한 응답에 따라 서로 다른 LLM을 통합관리할 수 있는 방법을 다룹니다.

구조

이 참조 아키텍처는 엔터프라이즈 설정 내에서 엔터프라이즈급 생성형 AI 솔루션을 구현하는 데 필요한 4계층 AI 스택과 다양한 구성요소를 설명합니다.

  1. 애플리케이션 계층
  2. 액세스 계층
  3. 솔루션 전반의 로깅 및 모니터링
  4. 다음 5개 모듈로 구성된 AI 계층입니다.
    • AI 통합
    • LLM
    • AI 개발
    • 데이터 통합
    • 컨텍스트 및 데이터 카탈로그

이 참조 아키텍처에 대해 고려되는 가상 흐름은 다음 절에서 설명합니다.

  1. 애플리케이션에서 API 및 액세스 계층으로 요청이 들어옵니다.
  2. 계층은 WAF로 보호되며 OCI Identity and Access Management 및 권한 부여 정책을 사용하여 인증 요청을 확인합니다.
  3. 그런 다음 API 게이트웨이는 통합 계층으로 요청을 보냅니다. 이 계층에는 AI 추상화 및 통합관리에 사용되는 LangChain가 포함됩니다. 이 계층에는 허용 목록에 포함되고 적절한 권한 부여 및 LLM 모델 버전에 매핑된 프롬프트 저장소도 포함됩니다.
  4. 요청이 요청 클래스 및 프롬프트와 일치하는 LLM으로 전송됩니다.
  5. 컨텍스트 및 소비자 기록은 컨텍스트 데이터베이스에서 로드됩니다.
  6. 보완해야 하는 데이터의 위치는 데이터 카탈로그에서 액세스됩니다.
  7. 일부 데이터가 아직 누락되어 있다고 가정해 보겠습니다. 데이터 통합 계층은 먼저 데이터가 캐시되었는지, 그렇지 않은 경우 고객의 데이터에서 쿼리되는지 확인합니다.
  8. LLM은 통합을 통해 응답합니다.
  9. 응답은 Hallucination 검사기를 통과하고 Hallucination 검사기는 역설적 인 AI를 실행하여 응답이 의미있는지 여부를 검증합니다.
  10. 마지막으로 API 게이트웨이를 거쳐 애플리케이션으로 돌아갑니다.

다음 다이어그램은 이 참조 아키텍처를 보여 줍니다.


다음은 oci-genai-enterprise-arch.png에 대한 설명입니다.
그림 oci-genai-enterprise-arch.png에 대한 설명

oci-genai-enterprise-arch-oracle.zip

각 블록 레이어를 만드는 빌딩 블록을 살펴보겠습니다.

AI 계층
  1. LLM 모듈 내의 LLM을 가장 적합한 영역에 사용되는 각 LLM과 혼합하고 일치시킵니다.
  2. 데이터 카탈로그는 고객별로 서로 다른 대화를 통해 컨텍스트를 유지 관리해야 하며, 다양한 LLM이 필요한 데이터를 찾을 위치를 파악할 수 있도록 지원합니다.
  3. Data Integration 계층은 고객 데이터에 액세스하고 이를 AI에 신속하게 제공합니다. 여기에는 필요한 데이터 캐싱과 통합이 포함됩니다.
  4. AI 통합 모듈은 Repo, LLM 추상화를 위한 LangChain 및 통합을 위한 Oracle Integration 프롬프트를 유지 관리합니다.
  5. AI 개발 계층을 통해 모델 버전 지정 및 스토리지는 물론 솔루션을 발전시키는 데 필요한 DevOps도 가능합니다.
로깅 및 모니터 계층
  1. 환각 검사기는 역설적 AI를 실행하여 LLM 출력의 출력을 실행하여 정확도를 검증합니다.
  2. Application Performance Monitoring은 성능 SLA를 추적합니다.
  3. 로깅 및 감사는 생성형 AI 솔루션을 사용하여 시스템을 관찰하고 잠재적인 문제를 파악하는 방법을 추적합니다.
API 및 액세스 층
  1. API 게이트웨이는 AI 스택에 대한 제어된 액세스를 허용합니다.
  2. 정책은 LLM 스택에 대한 액세스를 관리하기 위해 중앙에서 유지 관리됩니다.
  3. WAF는 잠재적 공격 벡터로부터 환경을 보호합니다.
  4. 액세스 토큰 및 제어는 OCI Identity and Access Management를 통해 관리됩니다.

구조에는 다음과 같은 구성 요소가 있습니다.

  • OCI Generative AI 에이전트

    OCI Generative AI Agents는 대규모 언어 모델(LLM)의 위력을 지능형 검색 시스템과 결합하여 지식 기반을 검색하여 상황별 관련 답변을 생성하는 완전 관리형 서비스입니다. AI 애플리케이션을 스마트하게 만들고 efficient.OCI Generative AI Agents는 데이터를 온보딩하는 여러 가지 방법을 지원하며, 이를 통해 사용자와 고객은 채팅 인터페이스 또는 API를 사용하여 데이터와 상호 작용할 수 있습니다.

  • 생성형 AI

    Oracle Cloud Infrastructure Generative AI는 텍스트 생성, 요약, 의미 검색 등에 대한 광범위한 사용 사례를 다루는 최첨단 커스터마이징 가능한 대규모 언어 모델(LLM) 세트를 제공하는 완전 관리형 OCI 서비스입니다. 플레이그라운드를 사용하여 바로 사용할 수 있는 사전 학습 모델을 시도하거나 전용 AI 클러스터의 고유 데이터를 기반으로 미세 조정된 사용자정의 모델을 생성하여 호스팅할 수 있습니다.

  • 통합

    Oracle Integration은 클라우드 및 온프레미스 애플리케이션을 통합하고, 비즈니스 프로세스를 자동화하고, 시각적 애플리케이션을 개발할 수 있도록 사전 구성된 전담 관리 환경입니다. SFTP 호환 파일 서버를 사용하여 파일을 저장 및 검색하고, 수백 개의 어댑터 및 레시피 포트폴리오를 사용하여 Oracle 및 타사 애플리케이션과 연결하여 B2B 거래 파트너와 문서를 교환할 수 있습니다.

  • API 게이트웨이

    Oracle Cloud Infrastructure API Gateway를 사용하면 네트워크 내에서 액세스할 수 있고 필요한 경우 공용 인터넷에 노출할 수 있는 전용 엔드포인트가 있는 API를 게시할 수 있습니다. 엔드포인트는 API 검증, 요청 및 응답 변환, CORS, 인증 및 권한 부여, 요청 제한을 지원합니다.

  • OCI Data Integration

    Oracle Cloud Infrastructure Data Integration은 다양한 데이터 소스에서 Autonomous Data Warehouse 및 Oracle Cloud Infrastructure Object Storage와 같은 대상 Oracle Cloud Infrastructure 서비스로 데이터를 추출, 로드, 변환, 정리 및 재구성하는 전담 관리 서버리스 클라우드 전용 서비스입니다. ETL(추출 변환 로드)은 Spark에서 완전 관리형 스케일 아웃 처리를 활용하며, ELT(추출 로드 변환)는 데이터 이동을 최소화하고 새로 수집된 데이터의 가치 실현 시간을 개선하기 위해 Autonomous Data Warehouse의 전체 SQL 푸시 다운 기능을 활용합니다. 사용자는 통합 흐름을 최적화하여 가장 효율적인 엔진 및 통합관리를 생성하고 실행 환경을 자동으로 할당 및 확장하는 직관적인 코드 없는 사용자 인터페이스를 사용하여 데이터 통합 프로세스를 설계합니다. Oracle Cloud Infrastructure Data Integration은 대화식 탐색 및 데이터 준비를 제공하며, 스키마 변경을 처리하는 규칙을 정의하여 데이터 엔지니어가 스키마 드리프트로부터 데이터를 보호할 수 있도록 지원합니다.

  • Oracle Exadata Database Service

    Oracle Exadata Database Service를 통해 클라우드에서 Exadata의 기능을 활용할 수 있습니다. Oracle Exadata Database Service는 퍼블릭 클라우드 및 Cloud@Customer에서 특별히 구축되고 최적화된 Oracle Exadata 인프라에 대해 입증된 Oracle Database 기능을 제공합니다. 모든 Oracle Database 워크로드에 대한 클라우드 자동화, 탄력적인 리소스 확장, 보안 및 빠른 성능이 내장되어 있어 관리를 간소화하고 비용을 절감할 수 있습니다.

  • ID 및 액세스 관리(IAM)

    Oracle Cloud Infrastructure Identity and Access Management(IAM)는 Oracle Cloud Infrastructure(OCI) 및 Oracle Cloud Applications의 액세스 제어 플레인입니다. IAM API 및 사용자 인터페이스를 통해 ID 도메인 및 ID 도메인 내의 리소스를 관리할 수 있습니다. 각 OCI IAM ID 도메인은 독립형 ID 및 액세스 관리 솔루션 또는 다른 사용자 모집단을 나타냅니다.

권장사항

다음 권장 사항을 시작점으로 사용하십시오. 요구 사항은 여기에 설명된 아키텍처와 다를 수 있습니다.
  • Oracle Cloud Infrastructure + 생성형 AI
    생성형 AI는 혁신을 주도하고, 프로세스를 개선하고, 기업이 그 어느 때보다 더 많은 성과를 달성할 수 있도록 지원할 수 있지만, 올바른 접근 방식이 필요합니다. Oracle은 고성능 모델, 스택 전반에 생성형 AI 내장, 데이터 관리, 보안 및 개인 정보 보호에 중점을 두고 전 세계 기업이 최고의 AI를 계속해서 활용하고 있습니다. Oracle은 기업이 운영하는 인프라에서부터 재무, 공급망, HR에 이르는 모든 LOB를 위한 애플리케이션에 이르기까지 전체 기술 스택에 AI를 내장함으로써 조직이 실용적으로 AI를 사용하여 성능을 개선하고 시간과 에너지 및 리소스를 절약할 수 있도록 지원합니다.
    • 핵심 클라우드 인프라에는 Supercluster 기술을 기반으로 하는 고유한 AI 인프라 계층이 포함되며, 특히 LLP(대형 언어 처리)와 같은 컴퓨팅 집약적 시나리오에서 AI 모델을 효율적으로 교육하고 배포하는 데 필수적인 고성능 GPU를 포함한 최신 하드웨어를 활용합니다. 이 인프라는 AI 및 GPU 기술의 기능을 극대화하도록 고유하게 설계되어 엔터프라이즈 AI 워크로드에 대한 최적의 성능과 확장성을 보장합니다.
    • 이 인프라를 기반으로 데이터베이스 계층은 Oracle Autonomous Database 및 Oracle MySQL HeatWave와 같은 제품에 AutoML(머신 러닝으로 구축됨)를 내장하여 개발자가 ML과 같은 기술 전문가 없이도 애플리케이션 및 운영에 사전 구축된 모델을 추가할 수 있도록 지원합니다.
    • 오라클의 애플리케이션 개발 플랫폼은 자연어 처리(NLP)를 위한 Oracle Digital Assistant와 같은 AI 서비스를 제공합니다.
    • 또한 Oracle의 광범위한 산업 애플리케이션에는 의료 및 금융 서비스에서 소매, 제조 및 공공 부문에 이르기까지 다양한 산업 분야의 특정 과제를 해결하도록 훈련받은 AI 모델이 내장되어 있습니다. 이를 통해 고객은 가장 복잡하고 전략적인 과제를 해결하기 위해 워크로드를 최적화할 수 있습니다.
  • LangChain 통합

    다음 기능을 사용하여 OCI Generative AI를 LangChain 기반 구현에 추가할 수 있습니다.

    • 오픈 소스: LLM 기반 애플리케이션 구축 또는 통합관리를 지원하는 오픈 소스 프레임워크입니다.
    • LLM 모델 및 프롬프트 정의: 선호 LLM 모델로 작업하고 컨텍스트 내 프롬프트를 정의합니다.
    • 인덱스 라이브러리: 텍스트 분할, 대화 2 SQL 등을 위해 미리 정의된 라이브러리로 RAG 구조를 설정합니다.
    • 체인, 에이전트 및 메모리: 체인 및 에이전트를 사용하여 보다 복잡한 LLM 워크플로우를 설정하고 대화 내역을 사용하여 더 많은 컨텍스트를 설정할 수 있습니다.

고려사항

이 참조 아키텍처를 구현할 때는 다음 옵션을 고려하십시오.

  • 비즈니스 기능 전반에 걸친 생성형 AI 사용 사례

    다음 예제에 설명된 대로 여러 비즈니스 기능에서 생성형 AI 기능의 사용을 고려할 수 있습니다.

    고객 운영
    • 고객의 제품군, 경험 및 언어를 기반으로 자동화된 고객 서비스
    • 대화 기록 및 발신자 컨텍스트를 기반으로 하는 실시간 AI 호출 스크립트입니다.
    • 통화 성과, 향후 통화를 최적화하는 방법에 대한 통화 에이전트 피드백을 게시합니다.

    Marketing(마케팅)

    • 전자상거래를 위한 콘텐츠 생성(제품 설명), B2B(SEO에 최적화된 문서)
    • 구매자 프로파일 및 사용 기록을 기반으로 한 검색, 지원, 고객 육성에 대한 대량 개인화입니다.
    • 새로운 트렌드와 페르소나를 식별하기 위한 구조화되지 않은 고객 데이터의 종합, 클러스터링.

    Sales

    • 상호 작용 내역, 예상 고객 프로필을 기반으로 한 맞춤형 영업 활동을 통해 영업 담당자 시간을 확보할 수 있습니다.
    • 오퍼링에서 판매까지 예상 고객을 안내하는 가상 영업 대표입니다.
    • 기존 콘텐츠를 기반으로 새 고객에 대한 사용자정의 영업 피치 생성입니다.

    Product Development

    • 사용자 피드백, 시장 동향, 로그와 같은 대량의 데이터를 분석, 정리 및 레이블링합니다.
    • 코딩 및 API 자동 완성을 통해 개발, 리팩토링 및 시스템 통합 속도를 높입니다.
    • 합성 데이터 생성 및 로그 데이터 컴파일을 통한 테스트 자동화입니다.

    전략 및 재무

    • 소득 통화, 분석가 보고서 및 기타 출처에서 구조화되지 않은 데이터를 종합합니다.
    • 비용 지출과 같은 복잡한 상황별 프로세스 자동화
    • 퍼블릭 또는 프라이빗 소스 전반에서 경쟁업체 및 고객에 대한 대규모 모니터링
  • AI Vector Search and Store: Oracle Database 23ai 및 Oracle MySQL HeatWave
    벡터는 이미지, 문서, 비디오 등의 의미 콘텐츠를 나타내는 데 사용됩니다.
    • 컨버지드 데이터베이스를 사용하면 질문에 대답할 때 비즈니스 데이터와 벡터를 모두 사용할 수 있습니다.
    • 데이터를 이동 및 동기화하고 여러 제품을 관리하는 등의 작업을 수행할 필요가 없습니다.

추가 탐색

이 참조 아키텍처의 기능에 대해 자세히 알아보려면 다음 추가 리소스를 검토하십시오.

확인

  • 작성자: Badr Tharwat