Oracle Cloud Infrastructureドキュメント

生成AIでのハイパーパラメータの微調整

meta.llama-3.3-70b-instructは、OCI生成AIで現在ファインチューニングに使用できる事前トレーニング済ベース・モデルです。このページには、サポートされているハイパーパラメータ、有効な範囲およびデフォルト値が表示されます。

ノート

標準のmeta.llama-3.3-70b-instructバリアントは、ファインチューニングに使用できます。meta.llama-3.3-70b-instruct-fp8-dynamicバリアントはファインチューニングに使用できません。Meta Llama 3.3 (70B)およびリージョン別モデルを参照してください。

ファインチューニングの前に、トレーニング・データ要件を確認してください。プロセス全体については、Fine-Tuning Workflowを参照してください。

ヒント

デフォルトのハイパーパラメータ値を使用してファインチューニングを開始します。カスタム・モデルが作成されたら、モデルの詳細ページの「モデル・パフォーマンス」で、「正確性と損失」の値を確認します。結果がニーズを満たさない場合は、より大きなデータセットまたは異なるハイパーパラメータを使用して別のカスタム・モデルを作成します。

meta.llama-3.3-70b-instruct

次の表に、OCI生成AIがLoRAメソッドを使用してmeta.llama-3.3-70b-instructベース・モデルをトレーニングするために使用するハイパーパラメータの概要を示します。

ハイパーパラメータ 摘要 有効範囲 デフォルト値
合計トレーニング・エポック数 トレーニングがトレーニング・データセット全体を反復する回数。たとえば、1 epochは、モデルが研修データセット全体を使用して1回トレーニングされたことを意味します。

1以上の整数

 3
学習率 エラー勾配に対してモデルの重みが更新される速度。 0から1.0までの数値 0.0002
トレーニング・バッチ・サイズ モデルのパラメータを更新するまでに処理する、ミニ・バッチ内のサンプル数。 8から16の整数 8
早期停止許容値 早期停止しきい値がトリガーされた後、評価サイクルを続行する猶予期間の数を定義します。この評価の回数において、損失メトリックが早期停止しきい値を超えていない場合、トレーニングは停止します。 無効にする場合は0、猶予期間を追加する場合は1以上の整数 15
早期停止しきい値 損失は、次のトレーニング・サイクルで減少すると改善されます。損失が十分に改善されない場合は、トレーニングを中止できます。早期停止カウンタをトリガーする最小評価損失改善を定義します。忍耐期間中に損失が最小値を超えて改善しない場合、トレーニングは停止します。それ以外の場合は、トレーニングが続行され、カウンタがリセットされます。 0またはプラスの数値 0.0001
ステップ内のログ・モデル・メトリック間隔 ロギング当たりのステップ数。トレーニングの損失や学習率などのモデル・メトリックが記録されます。トレーニング損失が予想どおりに減少していないの場合は、トレーニング・データまたは学習の速度を確認してください。 10にプリセット 10
LoRA r (LoRAメソッドのみ) 更新マトリックスの注意ディメンション(ランク)。ランクが低くなると、更新行マトリックスが小さくなる、トレーニング可能パラメータも少なくなります。 1から64の整数 8
LoRA alpha (LoRAメソッドのみ) LoRAスケーリングのalphaパラメータ。LoRAウェイト・マトリックスは、LoRAアルファをLoRA rで除算してスケーリングされます。alphaパラメータでは、LoRAの重みを定義します。alphaパラメータは、新しい重みの数が少なく、モデルでトレーニングされた唯一の重みです。 1から128の整数 8
LoRA dropout (LoRAメソッドのみ) LoRAレイヤーのニューロンのドロップアウト確率。dropoutメソッドは、レイヤー内のニューロンをランダムに無視(ドロップアウト)することで、オーバーフィッティングを防ぎます。10%のドロップアウトは、各ニューロンが10%の確率でドロップされることを意味します。 パーセンテージに1より小さい小数(0.1 (10%)など) 0.1
次の式は、モデルがtotalTrainingStepsパラメータを計算する方法を示しています。
totalTrainingSteps = (totalTrainingEpochs * size(trainingDataset)) / trainingBatchSize
前述の式では、一部の端数処理計算は無視されます。