Cohere 거대 언어 모델에 기반한 Oracle Cloud Infrastructure Generative AI 구현
Oracle Cloud Infrastructure Generative AI(OCI Generative AI)는 텍스트 생성을 위한 광범위한 사용 사례를 다루는 맞춤형 최신 대규모 언어 모델(LLM) 세트를 제공하는 완전 관리형 서비스입니다. 콘솔의 인터페이스인 플레이그라운드를 사용하면 단일 코드 행을 작성하지 않고도 호스팅된 사전 학습 및 사용자 지정 모델을 탐색하거나 전용 AI 클러스터의 자체 데이터를 기반으로 미세 조정된 사용자 지정 모델을 생성하고 호스팅할 수 있습니다.
- 생성: 지침을 제공하여 텍스트를 생성하거나 텍스트에서 정보를 추출합니다.
- 요약: 원하는 형식, 길이 및 어조로 텍스트를 요약합니다.
- 포함: 애플리케이션에서 의미 검색, 텍스트 분류 또는 텍스트 클러스터화에 사용할 수 있도록 텍스트를 벡터 포함으로 변환합니다.
구조
OCI 생성형 AI 플레이그라운드를 사용하여 사전 학습 모델을 시도하고, 프롬프트를 실행하고, 매개변수를 조정하고, 프롬프트를 업데이트하고, 결과에 만족할 때까지 모델을 다시 실행할 수 있습니다. 그런 다음 콘솔의 코드를 애플리케이션으로 복사할 수 있습니다.
또한 사전 학습된 모델의 사본을 생성하고, 자체 학습 데이터 세트를 추가하고, OCI Generative AI 서비스가 모델을 미세 조정하도록 할 수 있습니다. OCI 생성형 AI는 미세 조정을 위해 특별히 설계된 강력한 전용 AI 클러스터를 사용합니다. 이러한 클러스터는 테넌시에만 속합니다. 모델을 미세 조정한 후 호스팅을 위해 설계된 전용 AI 클러스터에서 사용자정의 모델 및 호스트에 대한 끝점을 생성합니다.
OCI에서 LLM 구축의 이점
생성형 AI 서비스: Oracle은 차세대 엔터프라이즈 애플리케이션 구축을 위한 고급 언어 이해 기능을 갖춘 선도적인 엔터프라이즈 AI 플랫폼인 Cohere와 공동으로 네이티브 생성형 AI 서비스를 제공합니다. OCI 생성형 AI는 API를 통해 제공되는 완전 관리형 서비스로, 쓰기 지원, 요약, 채팅 등 다양한 언어 모델을 광범위한 사용 사례에 원활하게 통합할 수 있습니다.
전용 AI 클러스터: 전용 AI 클러스터는 사용자정의 모델을 미세 조정하거나 사용자정의 모델의 끝점을 호스팅하는 데 사용할 수 있는 컴퓨트 리소스입니다. 클러스터는 모델 전용이며 다른 테넌시의 사용자와 공유되지 않습니다. 사용자정의 모델 OCI 생성 AI를 사용하면 고유한 데이터를 사용하여 모델을 세분화할 수 있습니다.
사용자정의 모델: OCI 생성 AI를 사용하면 고유한 데이터를 사용하여 모델을 세분화할 수 있습니다.
주:
Oracle Database 23ai에서 새로운 AI 벡터 유사성 검색 기능을 사용할 수 있습니다.- 데이터 스토리지의 경우 OCI Object Storage.
- 모델 구축을 위한 Oracle Cloud Infrastructure Data Science 작업영역입니다.
- 컴퓨트용 GPU가 포함된 OCI 생성형 AI.
- UI용 Oracle APEX Application Development 툴입니다.
다음 다이어그램은 이 참조 아키텍처를 보여 줍니다.
oci-generative-ai-llm-arch-oracle.zip
아키텍처의 구성 요소는 다음과 같습니다.
- 지역
Oracle Cloud Infrastructure 지역은 가용성 도메인이라는 하나 이상의 데이터 센터를 포함하는 지역화된 지리적 영역입니다. 지역은 다른 지역과는 독립적이며, 거리는 국가 또는 대륙에 걸쳐 분리될 수 있습니다.
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 Oracle Cloud Infrastructure 지역에서 설정한 커스터마이징 가능한 소프트웨어 정의 네트워크입니다. 기존 데이터 센터 네트워크와 마찬가지로 VCN을 통해 네트워크 환경을 제어할 수 있습니다. VCN은 VCN 생성 후 변경할 수 있는 겹치지 않는 여러 CIDR 블록을 가질 수 있습니다. VCN을 서브넷으로 분할할 수 있으며, 영역 또는 가용성 도메인으로 범위를 지정할 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 서브넷을 생성한 후 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- 객체 스토리지
오브젝트 스토리지를 사용하면 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 정형 및 비정형 데이터에 빠르게 액세스할 수 있습니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 안전하게 데이터를 저장하고 검색할 수 있습니다. 성능 또는 서비스 안정성의 저하 없이 스토리지를 확장할 수 있습니다. 빠르고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보관하고 거의 액세스하지 않는 "콜드" 스토리지에는 아카이브 스토리지를 사용합니다.
- Data Science
Oracle Cloud Infrastructure Data Science는 데이터 과학 팀이 Oracle Cloud Infrastructure(OCI)에서 머신 러닝(ML) 모델을 구축, 교육 및 관리하는 데 사용할 수 있는 완전 관리형 서버리스 플랫폼입니다. Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage 등과 같은 다른 OCI 서비스와 쉽게 통합할 수 있습니다. 신뢰할 수 있는 엔터프라이즈 데이터를 신속하게 작동하도록 하여 비즈니스 유연성을 높이는 고품질 머신 러닝 모델을 구축하고 평가할 수 있으며, ML 모델을 보다 쉽게 배포하여 데이터 기반 비즈니스 목표를 지원할 수 있습니다.
- Oracle Database 23ai(AI 벡터 검색)
Oracle Database 23ai는 새로운 마이크로서비스, 그래프, 문서 및 관계형 애플리케이션을 구축하려는 개발자를 위해 가장 완전하고 간단한 컨버지드 데이터베이스를 제공합니다.
Oracle은 AI 벡터를 사용하는 의미 검색 기능을 Oracle Database 23ai에 추가했습니다. AI Vector Search라는 기능 모음에는 새로운 벡터 데이터 유형, 벡터 인덱스 및 벡터 검색 SQL 연산자가 포함되어 있어 Oracle Database가 문서, 이미지 및 기타 비구조적 데이터의 의미 콘텐츠를 벡터로 저장하고 이를 사용하여 빠른 유사성 질의를 실행할 수 있습니다. 자세한 내용은 자세히 살펴보기 섹션의 블로그 링크를 참조하십시오.