CPU 추론 청사진에 대해 알아보기
Oracle Cloud Infrastructure AI Blueprints는 Oracle Cloud Infrastructure Kubernetes Engine(OKE)에서 생성형 AI 워크로드를 배포 및 관리하기 위한 간소화된 노코드 솔루션입니다.
OCI AI Blueprints는 의견 있는 하드웨어 권장사항, 사전 패키지화된 소프트웨어 스택, 즉시 사용 가능한 관찰 가능성 툴링을 제공함으로써 인프라 의사 결정, 소프트웨어 호환성 및 ML Ops(머신 러닝 운영) 모범 사례의 복잡성과 씨름하지 않고도 AI 애플리케이션을 빠르고 효율적으로 실행할 수 있도록 지원합니다.
이 CPU 추론 청사진은 Ollama 플랫폼을 사용하여 Ollama를 통해 제공되는 Mistral, Gemma 및 기타 다양한 지원 모델과 함께 CPU에 대한 추론을 테스트하기 위한 포괄적인 프레임워크를 제공합니다. GPU 종속 솔루션과 달리 이 청사진은 CPU 추론이 선호되거나 필요한 환경을 위해 설계되었습니다.
이 청사진은 강력한 CPU 추론 서비스를 배치하기 위한 명확한 지침과 구성 설정을 제공하므로 철저한 성능 평가와 신뢰성 테스트를 수행할 수 있습니다. Ollama의 가볍고 효율적인 아키텍처는 CPU 기반 추론 워크로드를 벤치마크하고 최적화하려는 개발자에게 이상적인 솔루션입니다.
이 청사진은 Ollama를 사용하여 대규모 언어 모델을 실행하기 위해 CPU 추론을 사용하는 방법에 대해 설명합니다. 여기에는 다음과 같은 두 가지 주요 배치 전략이 포함됩니다.
- Oracle Cloud Infrastructure Object Storage에서 직접 사전 저장된 모델 제공
- Ollama에서 모델을 가져와서 OCI Object Storage에 저장
