生成AIでのカスタム・モデルのモデル・パフォーマンス・のパラメータ
カスタム・モデルを作成すると、OCI生成AIによって、事前トレーニング済モデルがデータセットでファインチューニングされる。ファインチューニングが完了したら、モデルの「詳細」ページでモデル・パフォーマンス・パラメータにアクセスして、データセットでファインチューニングした後、ユースケースのモデルが改善されたかどうかを判断できます。モデル・パフォーマンス・パラメータは、検証データセットで計算されます。
大規模言語モデルのモデル・パフォーマンス・パラメータ
次のメトリックはカスタム・モデルに適用されます。
- 精度
- 生成されたトークンが注釈付きトークンと一致するかどうかを測定します。たとえば、精度は0.9の場合、出力されたトークンの90パーセントがデータセット内のトークンに一致したことを意味します。
- 損失
- 精度はモデルが間違った予測の回数を示し、損失は生成されたモデルの出力がどの程度間違っているかを測定する。0の損失はすべての出力が完全であることを意味し、大きな数値は非常にランダムな出力を示します。モデルが改善すると損失が減少します。