엔터프라이즈 AI 모델 및 서비스를 위한 API 관리 플랫폼 구현
기업이 AI를 구현했을 가능성이 높습니다. AI를 구현했다면, 개인 및 공공 AI 모델을 기반으로 애플리케이션을 구축할 때 엔터프라이즈급 보안을 적용하고 프로세스를 표준화하는 데 어려움을 겪고 있는 많은 조직 중 하나일 것입니다.
AI 모델을 사용하면 다음과 같은 모든 산업의 조직에 공통적인 과제를 제기할 수 있습니다.
- 통합 복잡성: 애플리케이션과 AI 모델 간의 지점 간 통합을 관리하는 것은 조직이 다양한 모델을 채택하고자 할 때 복잡성을 유발하는 경우가 많습니다.
- 보안 표준화(Security Standardization): 다양한 AI 모델 전반에서 일관된 보안 조치를 구현하는 것은 중대한 과제입니다.
- 액세스 제어: 사용자 역할 및 책임을 기반으로 AI 모델 API에 역할 기반 액세스 제어를 적용하면 효과적으로 관리하기가 어려울 수 있습니다.
- 모네타이제이션: 외부 소비자가 모델을 사용할 수 있게 되면 수익 창출 기능이 부족한 AI 모델을 구축할 수 있습니다.
- Consumption and Resource Management: 구독자가 AI 모델 사용을 제한할 수 있도록 할당량을 설정합니다.
- 스로틀링: AI 모델 API를 제한하는 스로틀링 및 속도.
- 모니터링: 모니터링 및 추적 기능을 통해 AI 모델 API의 사용을 시각화합니다.
이 아키텍처는 고객이 Oracle Cloud Infrastructure API Gateway 및 기타 OCI 서비스의 기능을 활용하여 AI 솔루션에서 이러한 문제를 해결할 수 있도록 지원하는 솔루션을 간략하게 설명합니다.
구조
이 아키텍처는 OCI API 게이트웨이를 미들웨어로 사용하여 AI 모델과 다른 OCI 서비스 간의 지점 간 통합을 관리합니다. 엔터프라이즈급 보안 흐름 및 프로세스 표준화가 필요한 AI 사용 사례에 이 아키텍처를 사용합니다.
표준화된 보안
많은 기본 AI 모델 및 기타 AI 서비스는 OAuth 2.0, Open ID, JWT 등과 같은 다양한 인증 방식을 사용합니다. OCI API Gateway는 AI 모델에 대한 API 인증을 표준화하는 데 도움이 될 수 있습니다.
가상화 또는 추상화 계층
대부분의 현대 기업 조직은 특정 도메인을 전문으로 하는 여러 공급업체의 최신 AI 모델을 활용하므로 애플리케이션에서 직접 AI 모델을 사용하면 지점 간 통합이 복잡해질 수 있습니다. OCI API Gateway는 서비스 가상화 계층으로 사용되어 AI 모델 간에 손쉽게 전환할 수 있습니다.
OCI API Gateway 및 OCI Vault는 소비자의 AI 모델 API 자격 증명을 추상화할 수 있고, AI 모델 자격 증명은 OCI Vault에 저장됩니다. 소비자는 해당 소비자를 위해 생성된 기밀 애플리케이션에서 생성된 클라이언트 자격 증명을 사용하여 OCI API Gateway 엔드포인트에 액세스합니다. OCI API 게이트웨이는 클라이언트 인증서에 대해 사용자를 인증하고, 인증이 성공하면 OCI API 게이트웨이가 OCI Vault에서 모델 API 인증서를 검색하여 백엔드 모델 API 끝점을 호출합니다.
액세스 제어 및 거버넌스
OCI API Gateway는 AI 모델 API에 대한 세분화된 액세스 제어를 적용하여 소비자의 도메인, 역할 또는 책임을 기반으로 API 액세스를 부여할 수 있습니다. OCI API Gateway 배포를 통해 도메인 기반 API를 패키징하여 소비자가 특정 배포에 대한 구독을 요청할 수 있습니다. OCI API Gateway의 속도 제한 및 조절 기능은 AI 모델의 사용량 및 성능을 제어하는 데 도움이 됩니다.
비용 관리
사용 계획 및 할당량을 활용하여 AI 모델 소비 비용을 효과적으로 제어할 수 있습니다. 사용 계획을 통해 우선순위 및 비즈니스 가치에 따라 소비자에게 할당할 수 있는 다양한 계획 계층을 생성할 수 있습니다. 팀이 타사 AI 서비스를 사용할 수 있도록 하는 기업의 경우 사용 계획을 통해 직원 사용량을 관리하고 모니터링하여 대규모 비용 발생을 방지할 수 있습니다.
OCI Cache with Redis를 OCI API Gateway와 통합하면 빈번한 요청을 캐싱하고 모델 추론 요청을 오프로드하여 AI 모델 API의 비용을 절감하고 성능을 향상시킬 수 있습니다.
로깅 및 모니터
OCI API Gateway의 즉시 사용 가능한 보고 대시보드를 통해 기업은 AI 모델 사용량, 성능에 대한 인사이트를 확보하고, 비용 절감 기회를 파악할 수 있습니다.
Oracle Cloud Infrastructure Logging Analytics로 로그를 스트리밍하여 문제를 해결하고, AI 모델 소비 동작을 모니터링하고, 사용자 정의 보고서를 생성하여 리소스 소비를 모니터링하고, 조직의 AI 포트폴리오에 대한 향후 투자에 대해 정보에 기반한 의사 결정을 내릴 수 있습니다. 조직에서 미세 조정된 AI 모델로 수익을 창출하려는 경우 청구 시스템으로 로그를 스트리밍할 수 있습니다.
OCI API Gateway는 OCI Monitoring에 측정지표를 내보낼 수 있습니다. 여기서 사용 계획 측정지표를 사용하여 최상위 소비 고객 및 기타 차원을 모니터링하여 배포 및 OCI API Gateway 문제를 해결할 수 있습니다.
네트워킹
OCI API Gateway는 공용 인터넷 및 전용 네트워크 연결을 통해 액세스할 수 있습니다.
인터넷의 사용자 및 애플리케이션은 인터넷 게이트웨이가 전송하는 공용 서브넷에서 OCI API 게이트웨이에 액세스할 수 있습니다.
온프레미스의 사용자 및 애플리케이션은 OCI FastConnect 또는 VPN을 통해 프라이빗 서브넷의 OCI API 게이트웨이에 액세스할 수 있습니다. Microsoft Azure 또는 Google Cloud의 애플리케이션은 해당하는 Oracle Interconnect for Microsoft Azure 또는 Oracle Interconnect for Google Cloud를 통해 전용 서브넷의 OCI API Gateway에 액세스할 수 있습니다.
다음 다이어그램에는 아키텍처가 설명되어 있습니다.
api-gateway-ai-architecture.zip
다음 다이어그램은 OCI API Gateway, AI 모델 및 기타 Oracle 서비스 간의 워크플로를 보여줍니다.
워크플로우는 다음과 유사합니다.
- 인터넷의 AI 소비자는 API 게이트웨이를 통해 AI 서비스 API에 연결됩니다. 소비자에는 Oracle SaaS 내의 Oracle Visual Builder, Oracle Analytics Cloud, Embedded Visual Builder Cloud Service 애플리케이션과 같은 UI 기술을 사용하여 구축된 웹 및 모바일 앱이 포함됩니다. 온프레미스 소비자는 OCI와 온프레미스 데이터 센터 간에 고성능 보안 터널을 구축하여 온프레미스 소비자가 인터넷을 사용하지 않고도 AI 모델에 액세스할 수 있습니다.
- OCI API Gateway는 인증을 위해 OCI Identity and Access Management와 통합되어 OAuth 2.0 및 기본 인증을 통해 표준화된 보안 적용을 수행합니다.
- OCI Vault는 AI 모델 API 자격 증명을 안전하게 저장하고, 소비자로부터 백엔드 API 자격 증명을 추상화할 수 있습니다.
- 스트림 OCI API 게이트웨이가 OCI 로깅에 로그하여 로그를 더 오래 보관하고 로깅 분석을 통해 보고서를 작성하여 인사이트를 생성합니다.
- OCI Cache with Redis와 통합하면 빈번한 요청을 캐싱하여 비용을 절감하고 AI 모델 API의 성능을 개선할 수 있습니다.
- OCI Functions는 REST 엔드포인트가 없는 AI 모델의 래퍼로 사용할 수 있습니다. OCI Functions는 Python, Java, Node, Go, Ruby, C# 등 다양한 언어의 구현을 지원합니다.
- AI 서비스가 REST 엔드포인트를 노출하는 경우 OCI API Gateway를 AI 서비스와 직접 통합할 수 있습니다.
- Oracle Integration Cloud Service는 추론 출력을 소비자에게 반환하기 전에 복잡한 변환을 구현하거나 통합관리 논리를 구현할 수 있습니다.
구조에는 다음과 같은 구성 요소가 있습니다.
- 지역
Oracle Cloud Infrastructure 리전은 가용성 도메인이라고 하는 데이터 센터가 하나 이상 포함된 지역화된 지리적 영역입니다. 지역은 다른 지역과 독립적이며, 먼 거리가 그들을 분리 할 수 있습니다 (국가 또는 대륙에 걸쳐).
- 가용성 도메인
가용성 도메인은 한 지역 내의 독립형 독립 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 결함 허용을 제공하는 다른 가용성 도메인의 리소스와 격리됩니다. 가용성 도메인은 전원, 냉각 또는 내부 가용성 도메인 네트워크와 같은 인프라를 공유하지 않습니다. 따라서 한 가용성 도메인의 장애가 해당 영역의 다른 가용성 도메인에 영향을 미치지 않아야 합니다.
- 결함 도메인
장애 도메인은 가용성 도메인 내 하드웨어 및 인프라 그룹입니다. 가용성 도메인에는 독립적인 전원 및 하드웨어를 갖춘 3개의 장애 도메인이 있습니다. 여러 결함 도메인에 리소스를 분배할 때 응용 프로그램은 결함 도메인 내의 물리적 서버 오류, 시스템 유지 관리 및 전원 오류를 허용할 수 있습니다.
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 Oracle Cloud Infrastructure 지역에서 설정한 맞춤형 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN을 통해 네트워크 환경을 제어할 수 있습니다. VCN에는 VCN 생성 후 변경할 수 있는 겹치지 않는 CIDR 블록이 여러 개 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있습니다. 서브넷은 지역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 서브넷 생성 후 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- API 게이트웨이
Oracle API Gateway를 사용하면 네트워크 내에서 액세스할 수 있고 필요한 경우 공용 인터넷에 노출할 수 있는 전용 엔드포인트가 있는 API를 게시할 수 있습니다. 엔드포인트는 API 검증, 요청 및 응답 변환, CORS, 인증 및 권한 부여, 요청 제한을 지원합니다.
- 함수
Oracle Cloud Infrastructure Functions는 확장성이 뛰어난 완전 관리형 멀티테넌트 온디맨드 Functions-as-a-Service(FaaS) 플랫폼입니다. 그것은 Fn 프로젝트 오픈 소스 엔진에 의해 구동 됩니다. 함수를 사용하면 코드를 배치하고 직접 호출하거나 이벤트에 대한 응답으로 트리거할 수 있습니다. Oracle Functions는 Oracle Cloud Infrastructure Registry에서 호스팅되는 Docker 컨테이너를 사용합니다.
- Redis가 있는 캐시
Oracle Cloud Infrastructure Cache with Redis는 오픈 소스 Redis를 기반으로 구축된 포괄적인 관리형 인메모리 캐싱 솔루션입니다. 이 완전 관리형 서비스는 데이터 읽기 및 쓰기를 가속화하여 애플리케이션 응답 시간 및 데이터베이스 성능을 크게 향상시켜 향상된 고객 경험을 제공합니다.
- 통합
Oracle Integration은 애플리케이션을 통합하고, 프로세스를 자동화하고, 비즈니스 프로세스에 대한 통찰력을 얻고, 시각적 애플리케이션을 생성할 수 있는 전담 관리 서비스입니다.
- 저장소
Oracle Cloud Infrastructure Vault를 사용하면 데이터를 보호하는 암호화 키와 클라우드의 리소스에 대한 액세스를 보호하는 데 사용하는 보안 자격 증명을 중앙에서 관리할 수 있습니다. 저장소 서비스를 사용하여 저장소, 키 및 암호를 만들고 관리할 수 있습니다.
- 로깅로깅은 클라우드의 리소스에서 다음 유형의 로그에 액세스할 수 있는 확장성이 뛰어난 완전 관리형 서비스입니다.
- 감사 로그: 감사 서비스에서 내보낸 이벤트와 관련된 로그입니다.
- 서비스 로그: API 게이트웨이, 이벤트, 함수, 로드 밸런싱, 오브젝트 스토리지, VCN 플로우 로그와 같은 개별 서비스에서 내보낸 로그입니다.
- 사용자 정의 로그: 사용자 정의 응용 프로그램, 다른 클라우드 공급자 또는 온프레미스 환경의 진단 정보를 포함하는 로그입니다.
- 모니터링
Oracle Cloud Infrastructure Monitoring 서비스는 측정지표를 사용하여 클라우드 리소스를 능동적이고 수동적으로 모니터링하여 리소스 및 알람을 모니터링하고 이러한 측정지표가 알람이 지정된 트리거를 충족할 때 알림을 보냅니다.
- ID 및 액세스 관리(IAM)
Oracle Cloud Infrastructure Identity and Access Management(IAM)는 Oracle Cloud Infrastructure(OCI) 및 Oracle Cloud Applications의 액세스 제어 플레인입니다. IAM API 및 사용자 인터페이스를 통해 ID 도메인 및 ID 도메인 내의 리소스를 관리할 수 있습니다. 각 OCI IAM ID 도메인은 독립형 ID 및 액세스 관리 솔루션 또는 다른 사용자 모집단을 나타냅니다.
- 정책
Oracle Cloud Infrastructure Identity and Access Management 정책은 누가 어떤 리소스에 액세스할 수 있는지, 어떻게 액세스할 수 있는지 지정합니다. 그룹 및 구획 레벨에서 액세스가 부여됩니다. 즉, 특정 구획 내에서 또는 테넌시에 특정 유형의 액세스 권한을 그룹에 제공하는 정책을 작성할 수 있습니다.
- Redis가 있는 캐시
Oracle Cloud Infrastructure Cache with Redis는 오픈 소스 Redis를 기반으로 구축된 포괄적인 관리형 인메모리 캐싱 솔루션입니다. 이 완전 관리형 서비스는 데이터 읽기 및 쓰기를 가속화하여 애플리케이션 응답 시간 및 데이터베이스 성능을 크게 향상시켜 향상된 고객 경험을 제공합니다.
- Vision
Oracle Cloud Infrastructure Vision은 딥 러닝 기반 이미지 분석을 대규모로 수행하기 위한 AI 서비스입니다. 즉시 사용 가능한 사전 구축된 모델을 통해 개발자는 머신 러닝(ML) 전문 지식 없이도 이미지 인식 및 텍스트 인식을 애플리케이션에 쉽게 구축할 수 있습니다.
- 생성형 AI
Oracle Cloud Infrastructure Generative AI는 텍스트 생성, 요약, 의미 검색 등에 대한 광범위한 사용 사례를 다루는 최첨단 커스터마이징 가능한 대규모 언어 모델(LLM) 세트를 제공하는 완전 관리형 OCI 서비스입니다. 플레이그라운드를 사용하여 바로 사용할 수 있는 사전 학습 모델을 시도하거나 전용 AI 클러스터의 고유 데이터를 기반으로 미세 조정된 사용자정의 모델을 생성하여 호스팅할 수 있습니다.
- 문서 분석
Oracle Cloud Infrastructure Document Understanding은 딥 러닝 기반 문서 분석을 대규모로 수행하기 위한 AI 서비스입니다. 즉시 사용할 수 있는 사전 구축 모델을 통해 개발자는 머신 러닝(ML) 전문 지식 없이도 애플리케이션에 지능형 문서 처리를 쉽게 구축할 수 있습니다.
- Digital Assistant
Oracle Digital Assistant는 사용자를 위한 디지털 어시스턴트를 생성하고 배포할 수 있는 플랫폼입니다. Oracle Digital Assistant를 사용하면 텍스트, 채팅 및 음성 인터페이스를 통해 비즈니스 애플리케이션을 위한 AI 기반 인터페이스(또는 챗봇)를 생성할 수 있습니다. 각 디지털 어시스턴트에는 사용자가 자연어 대화에서 다양한 작업을 완료할 수 있도록 지원하는 하나 이상의 전문 기술 모음이 있습니다. 예를 들어, 개별 디지털 어시스턴트에는 재고 추적, 근무 기록 카드 제출, 경비 보고서 생성과 같은 특정 유형의 작업에 중점을 두는 기술이 있을 수 있습니다.
- Oracle Database 23ai
Oracle Database 23ai는 엔터프라이즈 데이터 및 애플리케이션에 AI의 힘을 제공합니다. Oracle AI 벡터 검색을 통해 미션 크리티컬 데이터베이스에 저장된 문서, 이미지 및 관계형 데이터를 개념적 콘텐츠를 기반으로 손쉽게 검색할 수 있습니다.
- Oracle Autonomous Database Select AI
Oracle Autonomous Database Select AI는 Oracle Autonomous Database가 생성형 AI를 대규모 언어 모델(LLM)과 함께 사용하여 사용자의 입력을 Oracle SQL로 변환할 수 있도록 지원합니다. Oracle Autonomous Database Select AI는 자연어 프롬프트를 처리하고, 메타데이터로 프롬프트를 보완하고, SQL 쿼리를 생성 및 실행합니다.
- Oracle HeatWave Gen AI
벡터 저장소가 포함된 Oracle HeatWave Gen AI는 검색 증강 생성(RAG) 구현에 사용해 AI 모델의 정확도와 성능을 개선할 수 있습니다.
고려사항
AI 모델 API 관리를 위해 OCI API Gateway를 구현하는 경우 다음 사항을 고려하십시오.
- 보안
AI 모델은 대량의 엔터프라이즈 데이터를 사용합니다. 거버넌스 팀은 마스킹, 암호화 및 액세스 제어를 적용하여 보안 조치가 데이터를 처리하도록 보장해야 합니다.
- AI 모델 이용약관 및 라이센스
타사 AI 모델에는 자체 라이선스 및 계약 조건이 함께 제공됩니다. AI 거버넌스 팀은 OCI API Gateway를 통해 모델을 노출할 때 규제준수를 보장하기 위해 법적 이용약관을 알고 있어야 합니다.