ローカルおよびリモート・モデルのサポート

Coherence RAGは、機能の埋込みとスコアリングを行うためのローカルおよびリモート・モデルの両方をサポートしているため、ユーザーはオンプレミスの実行とクラウドベースの推論を選択できます。

ローカル・モデルは、Hugging Faceから自動的にダウンロードされ、ONNX Runtimeを使用して各クラスタ・メンバーで実行されます。これらのモデルは、外部APIコールを必要とせずに最適化されたパフォーマンスを提供し、コスト効率、プライバシ、サードパーティ・サービスからの独立性を確保します。

リモート・モデルには、OCI GenAIモデル、OpenAI、Cohere、Anthropic、AWS Bedrock、およびLangChain4Jでサポートされているその他のモデルが含まれます。これらのモデルは、APIベースのクラウド・サービスを介して最先端のAI機能にアクセスできるため、外部の依存関係やAPI関連のレイテンシを犠牲にして、精度を高め、モデルの選択を広げることができます。