CPU推論ブループリントについて学習
Oracle Cloud Infrastructure AI Blueprintsは、Oracle Cloud Infrastructure Kubernetes Engine (OKE)に生成AIワークロードをデプロイおよび管理するための合理化されたノーコード・ソリューションです。
OCI AI Blueprintsは、ハードウェアに関する推奨事項、パッケージ済みのソフトウェア・スタック、即時利用可能な可観測性ツールを提供することで、インフラストラクチャの決定、ソフトウェアの互換性、機械学習操作(ML Ops)のベストプラクティスの複雑さに対処することなく、AIアプリケーションを迅速かつ効率的に実行できるよう支援します。
このCPU推論ブループリントは、Ollamaプラットフォームを使用してCPUの推論をテストするための包括的なフレームワークを提供し、Mistral、Gemmaなどの様々なサポートされているモデルをOllamaを介して利用できます。GPUに依存するソリューションとは異なり、このブループリントは、CPU推論が優先または必要な環境向けに設計されています。
ブループリントは、堅牢なCPU推論サービスをデプロイするための明確なガイドラインと構成設定を提供し、それによって徹底的なパフォーマンス評価と信頼性テストを可能にします。Ollamaの軽量で効率的なアーキテクチャは、CPUベースの推論ワークロードのベンチマークと最適化を検討している開発者にとって理想的なソリューションです。
このブループリントでは、Ollamaを使用して大規模言語モデルを実行するためのCPU推論の使用方法について説明します。次の2つの主要なデプロイメント戦略があります。
- Oracle Cloud Infrastructure Object Storageから直接保存済みモデルを提供
- OllamaからのモデルのプルおよびOCI Object Storageへの保存
