Oracle Cloud Infrastructure에서 Llama 2 모델을 사용하여 생성형 AI 애플리케이션 구축

Oracle Cloud Infrastructure Generative AI(OCI Generative AI)는 텍스트 생성을 위한 광범위한 사용 사례를 다루는 맞춤형 최신 대규모 언어 모델(LLM) 세트를 제공하는 완전 관리형 서비스입니다.

Meta Llama 2는 오픈 소스 대규모 언어 모델로, Oracle Cloud Infrastructure(OCI)에서 70B 매개변수를 포함하는 전담 관리 사전 학습 기반 모델(meta.llama-2-70b-chat)로 제공됩니다. 사용자 프롬프트 및 응답은 각 실행에 대해 최대 4096개의 토큰일 수 있습니다. OCI에서 전용 AI 클러스터를 확보하여 OCI에서 생성형 AI 애플리케이션을 빠르게 구축하고 Llama 2 모델을 호스팅할 수 있습니다.

구조

기본 인프라에 대한 걱정 없이 Llama 2를 사전 학습 기본 모델로 사용할 수 있습니다. 프롬프트를 실행하고, 매개변수를 조정하고, 프롬프트를 업데이트하고, 결과에 만족할 때까지 모델을 다시 실행하십시오. 그런 다음 Console에서 코드를 가져와서 응용 프로그램에 복사합니다. 전용 클러스터에서 Llama 2 모델을 호스트하고 API 끝점을 사용하여 애플리케이션과 통합할 수도 있습니다.

이 참조 아키텍처에서 오브젝트 스토리지는 데이터 스토리지용 OCI, 변환용 데이터 통합, 모델 구축용 OCI 데이터 과학 작업영역, 내장 저장용 벡터 데이터베이스, 호스팅용 전용 AI 클러스터가 포함된 OCI 생성형 AI 서비스, UI용 APEX로 프로비저닝됩니다.

다음 다이어그램은 이 참조 아키텍처를 보여 줍니다.

oci-generative-ai-llama-arch.png에 대한 설명은 다음과 같습니다.

그림 oci-generative-ai-llama-arch.png에 대한 설명

oci-generative-ai-llama-arch-oracle.zip

OCI에서 LLM 구축의 이점

세대 AI 서비스: OCI 생성형 AI는 API를 통해 제공되는 완전 관리형 서비스로, 쓰기 지원, 요약, 채팅 등 다양한 언어 모델을 광범위한 사용 사례에 원활하게 통합할 수 있습니다.

전용 AI 클러스터: 전용 AI 클러스터는 미세 조정 사용자정의 모델 또는 모델 전용 AI 끝점 호스팅에 사용할 수 있는 컴퓨트 리소스입니다. 클러스터는 모델 전용이며 다른 테넌시의 사용자와 공유되지 않습니다.

주:

Oracle Database 23ai에서 새로운 AI 벡터 유사성 검색 기능을 사용할 수 있습니다.

아키텍처의 구성 요소는 다음과 같습니다.

객체 스토리지
오브젝트 스토리지를 사용하면 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 정형 및 비정형 데이터에 빠르게 액세스할 수 있습니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 안전하게 데이터를 저장하고 검색할 수 있습니다. 성능 또는 서비스 안정성의 저하 없이 스토리지를 확장할 수 있습니다. 빠르고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보관하고 거의 액세스하지 않는 "콜드" 스토리지에는 아카이브 스토리지를 사용합니다.
OCI 통합
Oracle Cloud Infrastructure Integration 서비스는 Salesforce, SAP, Shopify, Snowflake, Workday 등 모든 애플리케이션과 데이터 소스를 연결하여 엔드 투 엔드 프로세스를 자동화하고 관리를 중앙 집중화합니다. 사전 구축된 어댑터와 로우 코드 커스터마이징 기능을 갖춘 광범위한 통합으로 클라우드로의 마이그레이션을 간소화하는 동시에 하이브리드 및 멀티클라우드 운영을 간소화할 수 있습니다.
OCI Data Science
Oracle Cloud Infrastructure(OCI) Data Science는 데이터 과학 팀이 머신 러닝 모델을 구축, 교육 및 관리할 수 있는 완전 관리형 서버리스 플랫폼입니다.
OCI 생성형 AI
Oracle Cloud Infrastructure Generative AI는 텍스트 생성을 위한 광범위한 사용 사례를 다루는 최첨단 LLM(대형 언어 모델) 세트를 제공하는 완전 관리형 서비스입니다. 놀이터를 사용하여 바로 사용할 수 있는 사전 학습 모델을 사용해 보거나 전용 AI 클러스터의 엔터프라이즈 데이터를 기반으로 전용 Llama2 모델을 생성하고 호스팅할 수 있습니다.

권장사항

다음 권장 사항을 시작점으로 사용합니다. 요구 사항은 여기에 설명된 아키텍처와 다를 수 있습니다.

유지 관리 및 고가용성
이 참조 아키텍처는 거의 Oracle 관리 PaaS 서비스만 사용합니다. 이 솔루션을 사용하여 소프트웨어를 설치, 패치, 업데이트 또는 업그레이드할 필요가 없습니다.
확장성 및 크기
이 참조 아키텍처는 PaaS 서비스를 사용하며, 여기에 포함된 대부분의 서비스에 대해 즉시 사용할 수 있습니다.
접속
OCI 내의 모든 접속은 전용 네트워크를 통해 설정되어야 합니다. 전용 끝점 옵션을 사용하여 OCI PaaS 서비스에 접속할 수 있습니다.

고려사항

이 참조 구조를 배치할 때는 다음 사항을 고려하십시오.

보안
OCI 생성형 AI의 전용 AI 클러스터는 Llama 2 LLM 모델의 엔드포인트를 호스팅하는 데 사용할 수 있는 컴퓨트 리소스입니다. 클러스터는 모델 전용이며 다른 테넌시의 사용자와 공유되지 않습니다.
리소스 제한
테넌시에 대한 모범 사례, 서비스별 제한 및 구획 할당량을 고려하십시오.

추가 살펴보기

이 참조 아키텍처의 기능에 대해 자세히 알아보려면 다음 추가 리소스를 검토하십시오.

확인

작성자: Pavan Kumar Manuguri