汎用AIのチャット・モデルについて

モデル・サイズ、プロジェクト目標、コストおよびモデルのレスポンスのスタイルに基づいて、チャット会話のモデルを選択します。リストされている各モデルとともにプレイグラウンドで提供されている例を使用して、各モデルが同じプロンプトにどのように反応するかを把握し、どのモデルのレスポンス・スタイルがユースケースに合うかを判断します。

OCI Generative AIでは、次の事前トレーニング済の基礎モデルをチャットに使用できます。

cohere.command-r-plusおよびcohere.command-r-16k

cohere.command-r-plus(Command R+)とcohere.command-r-16k(Command R)のチャット・モデルはどちらもCohereファミリLLMに属しますが、機能、ユースケースおよび価格設定が異なります。

これらの違いの詳細な内訳を次に示します。

• モデル・サイズとパフォーマンス: コマンドRは、コマンドR+よりも小規模な言語モデルです。コマンドRは高品質な応答を提供しますが、コマンドR+と同じレベルの洗練度と深さを持っていない可能性があります。コマンドR+は、より大きなモデルを採用しており、パフォーマンスが向上し、より高度な理解が得られます。
• ユースケース: コマンドRは、テキスト生成、要約、翻訳またはテキストベースの分類を必要とする幅広いアプリケーションに適しています。会話型AIエージェント、チャットベースの会話型アプリケーションなどを構築するための優れた選択肢です。コマンドR+は、より深い理解、複雑さ、ニュアンスを必要とする厳しい言語タスク向けに調整されています。これは、テキスト生成、質問回答、センチメント分析、情報取得などのアプリケーションに適しています。
• 容量とスケーラビリティ: コマンドR: 多数の同時ユーザーを処理でき、よりアクセスしやすく柔軟なpricing.Command R+: より大量のリクエストを処理し、より複雑なユースケースをサポートするように設計されています。したがって、容量とパフォーマンスの増加に伴うコストが高くなる可能性があります。

要約すると、コマンドRは、一般的な言語タスクのためのより手頃な価格で柔軟なオプションを探している人にとって優れた選択肢です。一方、コマンドR+は、高度な言語理解、大容量、およびより微妙な応答を必要とするパワーユーザー向けに設計されています。2つの選択肢は、アプリケーションの特定の要件と予算によって異なります。

meta.llama-3-70b-instruct

この700億パラメータ生成モデルは高性能であり、幅広い一般的な知識を持ち、アイデアの生成からテキスト分析の精緻化、Eメール、ブログ投稿、説明などの書面によるコンテンツの製図まで、さまざまなタスクに適しています。

チャット・モデルを使用する場合は、次のパラメータを変更して出力を変更できます。

最大出力トークン

各レスポンスに対してモデルで生成するトークンの最大数。トークンあたり4文字を推定します。チャット・モデルにプロンプトを表示するため、レスポンスはプロンプトに依存し、各レスポンスでは必ずしも最大割当てトークンが使用されるとはかぎりません。

ノート

cohere.command-r-16kモデルの場合、入力トークンの制限は16kで、出力トークンの制限は4kです。meta.llama-3-70b-instructの場合、入力と出力トークンの制限は8kです。「最大出力トークン」パラメータの値を設定しない場合、会話では、入力と出力トークンの制限であるモデルの完全なコンテキスト長が使用される場合があります。

プリアンブル・オーバーライド

チャット・モデルの初期コンテキストまたはガイド・メッセージ。チャット・モデルにプリアンブルを指定しない場合、そのモデルのデフォルトのプリアンブルが使用されます。「プリアンブル・オーバーライド」パラメータで、cohere.command-r-plusおよびcohere.command-r-16kモデルにプリアンブルを割り当てることができます。cohere.command-r-plusおよびcohere.command-r-16kモデルのデフォルトのプリアンブルは、次のとおりです。

You are Command.
You are an extremely capable large language model built by Cohere. 
You are given instructions programmatically via an API
that you follow to the best of your ability.

デフォルトのプリアンブルのオーバーライドはオプションです。指定すると、preamble overrideはデフォルトのCohereプリアンブルを置き換えます。プリアンブルを追加する場合、最適な結果を得るには、モデル・コンテキスト、インストラクションおよび会話スタイルを指定します。

ヒント

preamble overrideパラメータのないチャット・モデルの場合、チャット会話にプリアンブルを含め、モデルに特定の方法で回答を求めることができます。たとえば、「海賊の口調で次の質問に答えてください。「セーリングに最適な場所はどこですか?」

• プロンプトの例: イタリアではどこで最高の大都市を見つけることができますか?
• 解答例:

  多くの人々は、カノリの誕生地であるシチリアがこの美味しいデザートをサンプリングするのに最適な場所であると考える。島にはカノリの周りの豊かな歴史と文化があり、パレルモ、シラキュース、その他のシチリアの都市や町中の牧草地(ペストリーショップ)で伝統的なデザートの多くのバリエーションがあります。

  パレルモでは、1910年以来家族経営のビジネスである象徴的なPasticceria Cappelloを試してみてください。シラキュースでは、Pasticceria CoroglioとCaffèdel Forteもカノリの提供に高く評価されています。

• プリアンブルの例: あなたは旅行アドバイザーです。海賊の口調で答える。
• 前述のプリアンブルを使用した解答の例:

  ハーティー!「お前は、この地で一番美しい大麻を欲しがっているんだよね?」あなたはシチリアの豊かな土地のために帆を立てるべきです、そこでは通りはおいしいペストリーと甘いリコッタの香りが空気を満たしています。

  パレルモの港町では、「最高級のカノリのキッチン」を見つけることができます。地元の人々は、殻がサクサクでクリーミーなリコッタで満たされているPastificio Graffeoで最高の大砲が見つかると主張している。

• プリアンブルの例: 消費者の行動と市場動向を深く理解している熟練したマーケティング担当者です。フレンドリーで有益なトーンで回答し、業界のインサイトとベスト・プラクティスを共有します。
• 前述のプリアンブルに対するレスポンスの例:

  カノリスは美味しいイタリアンデザートであり、最高のものを見つけることは本当にあなたの個人的な好みとあなたのための完璧なカノリーを作るものに依存します!

  シチリアはしばしばこのおいしいお菓子の発祥地とみなされるため、料理の冒険を始めるのに最適な場所です。島は伝統的なリコッタで満たされた大都市で有名で、地域全体に多くのバリエーションがあります。首都パレルモ、またはカタニアの歴史的な都市に向かい、口水のオプションを提供する牧草地(ペストリー)が不足することはありません。

  実際、シチリアは有名なカノリのホットスポットを誇っています。パレルモのCaffe Sierraは、市内に複数の支店を持つPasticceria Cappelloと同様に、例外的な大麻の評判を持っています。これらのスポットは、新鮮なリコッタチーズと薄くて鮮やかなペストリーシェルを使用して、伝統的なレシピと高品質の成分で知られています。

温度

出力テキストの生成に使用されるランダム性のレベル。

ヒント

温度を0以下に設定して開始し、より創造的な出力のプロンプトを再生成するときに温度を上げます。高温は幻覚や事実上間違った情報をもたらす可能性があります。

上位P

次のトークンで考慮する上位トークンの累積確率を制御するサンプリング方法。確率として、pに0から1までの小数を割り当てます。たとえば、考慮する上位75パーセントに0.75と入力します。すべてのトークンを考慮するには、pを1に設定します。

上位K

モデルがtop kの最も可能性の高いトークンから次のトークンをランダムに選択するサンプリング・メソッド。kの値を大きくすると、より多くのランダム出力が生成され、出力テキストがより自然な印象になります。kのデフォルト値は、commandモデルの場合は0、Llamaモデルの場合は-1です。つまり、モデルではすべてのトークンを考慮し、このメソッドを使用しないでください。

頻度ペナルティ

トークンが頻繁に表示される場合にトークンに割り当てられるペナルティ。高い罰則により、繰り返されるトークンが少なくなり、よりランダムな出力が生成されます。

meta.llama-3-70b-instructモデルでは、正の数値はモデルに新しいトークンを使用することを推奨し、負の数値はモデルでトークンを繰り返すことを推奨します。無効にするには0に設定します。

存在罰

出力に表示されたときに各トークンに割り当てられるペナルティによって、使用されていないトークンを使用した出力の生成が促進されます。