瞭解 CPU 推論藍圖
Oracle Cloud Infrastructure AI Blueprints 是一個簡化的無程式碼解決方案，用於在 Oracle Cloud Infrastructure Kubernetes Engine (OKE) 上部署和管理生成式 AI 工作負載。
OCI AI Blueprints 藉由提供意見的硬體建議、預先封裝的軟體堆疊和立即可用的可觀察性工具，協助您快速且有效率地執行 AI 應用程式，而不用擔心基礎架構決策、軟體相容性和機器學習作業 (ML Ops) 最佳實務的複雜性。
此 CPU 推論藍圖提供全方位的架構，可用於測試使用 Ollama 平台之 CPU 的推論，以及各種支援的模型，例如 Mistral、Gemma 及 Ollama 所提供的其他模型。與 GPU 相依的解決方案不同，此藍圖是針對偏好或需要 CPU 推論的環境所設計。
藍圖提供清晰的準則和組態設定值，以部署健全的 CPU 推論服務，進而進行完整的效能評估和可靠性測試。Ollama 的輕量而高效架構使其成為尋求基準和最佳化 CPU 推論工作負載的開發人員理想的解決方案。
此藍圖說明如何使用 CPU 推論來執行使用 Ollama 的大型語言模型。其中包括兩個主要部署策略：
- 直接從 Oracle Cloud Infrastructure Object Storage 提供預先儲存的模型服務
- 從 Ollama 提取模型，並將其儲存至 OCI Object Storage
