HTTPとデフォルト・モデルを使用したインストール

これは最も単純な構成です。APIキーおよびSSLは使用されません。デフォルトの埋込みモデルがHTTPポート8080で使用されます。

1. プライベートAIサービス・コンテナのインストール先となるディレクトリを定義します。コンテナが使用するサブディレクトリは、最小権限を持つLinuxユーザーが所有します。

   httpパラメータにはダッシュが2つ含まれていることに注意してください。

   cd setup
   mkdir /home/opc/privateai
   export PRIVATE_DIR=/home/opc/privateai
   ./configSetup.sh -d $PRIVATE_DIR
   ./containerSetup.sh -d $PRIVATE_DIR --http

2. コンテナが稼働していることを確認します。

   podman ps

   稼働後、コンテナがデフォルトの埋込みモデルをロードするのに数秒かかります。/healthエンドポイントを使用すると、コンテナの準備が完了していることを確認できます:

   curl -i http://localhost:8080/health

3. コンテナの準備が完了したので、明示的なモデル構成なしで使用可能なベクトル埋込みモデルを判別します:
   • clip-vit-base-patch32-txt
   • clip-vit-base-patch32-img
   • all-mpnet-base-v2
   • all-MiniLM-L12-v2
   • multilingual-e5-base
   • multilingual-e5-large

   curl http://localhost:8080/v1/models

4. これで、たとえば、テキスト・ベクトル埋込みを作成し、使用する埋込みモデルを明示的に定義できます。

   • multilingual-e5-baseを使用する場合:

     curl -X POST -H "Content-Type: application/json" -d '{"model": "multilingual-e5-base", "input":["This is a phrase to vectorize"]}' http://localhost:8080/v1/embeddings

   • clip-vit-base-patch32-txtの使用する場合:

     curl -X POST -H "Content-Type: application/json" -d '{"model": "clip-vit-base-patch32-txt", "input":["This is a phrase to vectorize"]}' http://localhost:8080/v1/embeddings

   /v1/embeddingsおよび/v1/modelsは、OpenAI APIで定義されているRESTエンドポイントの使用例です。このコンテナは、OpenAIアカウントやパブリック・インターネットへの接続を必要とせずに、これらのOpenAI API RESTエンドポイントを実装します。

5. /metricsエンドポイントを使用してパフォーマンス・メトリックを収集できます。

   curl http://localhost:8080/metrics/embeddings_call_latency

これらのステップを実行すると、HTTPを使用して次の操作を実行する方法がわかります。

• 使用可能な埋込みモデルのリスト表示
• 埋込みモデルに基づいたベクトルの作成
• /healthエンドポイントを使用したコンテナのヘルスの確認
• /metricsエンドポイントを使用したパフォーマンス・メトリックの確認