전용 AI 클러스터에서 Oracle Generative AI를 사용하여 채팅 요약
이 참조 아키텍처는 OCI Generative AI 서비스가 사용자 간의 채팅 통신을 요약하는 방법을 설명합니다.
구조
- 텍스트 요약을 위한 전용 AI 클러스터가 포함된 OCI 생성형 AI 서비스
- Oracle Digital Assistant
- OCI API 게이트웨이
- OCI 이메일 전송
- Oracle B2C Service 클라우드
다음 다이어그램은 이 참조 아키텍처를 보여 줍니다.
그림 요약에 대한 설명-chat-oci-gen-ai.png
- 지역
OCI 리전은 가용성 도메인이라는 하나 이상의 데이터 센터를 포함하는 지역화된 지리적 영역입니다. 지역은 다른 지역과는 독립적이며, 거리는 국가 또는 대륙에 걸쳐 분리될 수 있습니다.
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 OCI 리전에서 설정하는 커스터마이징 가능한 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN은 사용자가 네트워크 환경을 완전히 제어할 수 있도록 합니다. VCN에는 VCN 생성 후 변경할 수 있는 겹치지 않는 CIDR 블록이 여러 개 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있습니다. 서브넷은 영역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 서브넷을 생성한 후 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- 오브젝트 스토리지
오브젝트 스토리지를 사용하면 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 정형 및 비정형 데이터에 빠르게 액세스할 수 있습니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 안전하고 안전하게 데이터를 저장하고 검색할 수 있습니다. 성능 또는 서비스 안정성의 저하 없이 스토리지를 원활하게 확장할 수 있습니다. 빠르고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보관하고 거의 액세스하지 않는 "콜드" 스토리지에는 아카이브 스토리지를 사용합니다.
- OCI 생성형 AI
OCI Generative AI는 API를 통해 제공되는 완전 관리형 서비스로, 쓰기 지원, 요약, 채팅 등 다양한 언어 모델을 광범위한 사용 사례에 원활하게 통합할 수 있습니다. OCI 생성형 AI 서비스에는 다음과 같은 기본 모델이 포함되어 있습니다.
- 생성: 텍스트를 생성하거나 텍스트에서 정보를 추출하기 위한 지침을 제공합니다.
- 요약: 지시된 형식, 길이 및 어조로 텍스트를 요약합니다.
- 포함: 의미 검색, 텍스트 분류 또는 텍스트 클러스터화를 위해 애플리케이션에서 사용할 텍스트를 벡터 포함으로 변환합니다.
- 전용 AI 클러스터
전용 AI 클러스터는 사용자정의 모델을 미세 조정하거나 사용자정의 모델에 대한 끝점을 호스팅하는 데 사용할 수 있는 컴퓨트 리소스입니다. 클러스터는 모델 전용이며 다른 테넌시의 사용자와 공유되지 않습니다. 맞춤형 모델 OCI 생성형 AI를 사용하면 자체 데이터를 사용하여 모델을 세분화할 수 있습니다.
- Oracle Digital Assistant
Digital Assistant는 대화형 인터페이스 또는 챗봇을 생성하기 위한 플랫폼입니다. 챗봇은 사람의 대화(서면 또는 음성)를 시뮬레이션하고 처리하는 컴퓨터 프로그램으로, 사람이 실제 사람과 통신하는 것처럼 애플리케이션 및 데이터와 상호 작용할 수 있도록 해줍니다. 개발자는 하나 이상의 기술에서 디지털 어시스턴트를 조합합니다. 기술은 Oracle 또는 타사에서 제공하는 사전 구축된 기술을 기반으로 하거나, 사용자 정의로 개발되거나, 사용 가능한 여러 기술 템플릿 중 하나를 기반으로 할 수 있습니다. Digital Assistant는 사용자의 요청을 충족하기 위해 사용자의 요청을 가장 적합한 스킬로 라우팅합니다. 기술은 다국어 NLP 딥 러닝 엔진, 강력한 대화 흐름 엔진 및 통합 구성 요소를 결합하여 백엔드 시스템에 연결합니다.
- API 게이트웨이
Oracle API Gateway를 사용하면 네트워크 내에서 액세스할 수 있고 필요한 경우 공용 인터넷에 노출할 수 있는 전용 끝점이 있는 API를 게시할 수 있습니다. 엔드포인트는 API 검증, 요청 및 응답 변환, CORS, 인증 및 권한 부여, 요청 제한을 지원합니다.
- 전자 메일 전달
OCI Email Delivery는 영수증, 사기 감지 경고, 다단계 신원 확인 및 비밀번호 재설정과 같은 미션 크리티컬 마케팅, 알림 및 트랜잭션 통신을 위한 대용량 애플리케이션 생성 이메일을 전송하기 위한 확장성이 뛰어나고 비용 효율적이며 안정적인 이메일 전송 서비스입니다.
- Identity and Access Management (IAM, ID 및 액세스 관리)
OCI IAM(ID 및 액세스 관리)은 OCI 및 Oracle Cloud Applications용 액세스 제어 플레인입니다. IAM API 및 사용자 인터페이스를 통해 ID 도메인 및 ID 도메인 내의 리소스를 관리할 수 있습니다. 각 OCI IAM ID 도메인은 독립형 ID 및 액세스 관리 솔루션 또는 다른 사용자 모집단을 나타냅니다.
- 로깅
로깅은 확장성이 뛰어난 완전 관리형 서비스로, 클라우드의 리소스에서 다음 유형의 로그에 액세스할 수 있습니다.
- 감사 로그: 감사 서비스에서 내보낸 이벤트와 관련된 로그입니다.
- 서비스 로그: API Gateway, Events, Functions, Load Balancing, Object Storage, VCN 플로우 로그와 같은 개별 서비스에서 내보낸 로그.
- 사용자 정의 로그: 사용자 정의 응용 프로그램, 다른 클라우드 공급자 또는 온프레미스 환경의 진단 정보를 포함하는 로그입니다.
- 모니터링
OCI 모니터링 서비스는 메트릭을 사용하여 클라우드 리소스를 능동적이고 수동적으로 모니터링하여 리소스 및 알람을 모니터링하여 이러한 메트릭이 알람 지정 트리거를 충족할 때 알려줍니다.