了解 CPU 推断蓝图
Oracle Cloud Infrastructure AI Blueprints 是一个简化的无代码解决方案，可用于在 Oracle Cloud Infrastructure Kubernetes Engine (OKE) 上部署和管理生成式 AI 工作负载。
通过提供专属的硬件建议、预打包的软件堆栈和开箱即用的可观察性工具，OCI AI Blueprint 可帮助您快速高效地运行 AI 应用，而无需应对基础设施决策、软件兼容性和机器学习操作 (ML Ops) 优秀实践等复杂问题。
此 CPU 推断蓝图为使用 Ollama 平台的 CPU 测试推断提供了一个全面的框架，其中包含各种受支持的模型，例如 Mistral、Gemma 和 Ollama 提供的其他模型。与 GPU 相关的解决方案不同，此蓝图专为首选或需要 CPU 推断的环境而设计。
该蓝图提供了明确的准则和配置设置，以部署强大的 CPU 推断服务，从而实现全面的性能评估和可靠性测试。Ollama 的轻量级高效架构使其成为希望对基于 CPU 的推理工作负载进行基准测试和优化的开发人员的理想解决方案。
此蓝图介绍了如何使用 CPU 推断来使用 Ollama 运行大型语言模型。它包括两个主要的部署策略：
- 直接从 Oracle Cloud Infrastructure Object Storage 提供预保存的模型
- 从 Ollama 中提取模型并将其保存到 OCI 对象存储
