チャンク化と埋込みの実行

これらの例では、VECTOR_CHUNKS SQL関数とともにチェーン可能ユーティリティPL/SQLファンクションを使用して、大きなテキスト抜粋およびドキュメントをチャンクに分割し、各チャンクをベクトル埋込みとして表す方法を確認できます。

大きなテキスト・データを埋め込むには、まず、埋込みモデルで処理できる形式でデータを準備する必要があります。最初にデータをプレーン・テキストに変換し、結果のテキストをテキストの小さなチャンクに分割してから、各チャンクをベクトルに変換します。これは、埋込みモデルによって設定された入力制限に準拠するために行われます。チャンクは、単語(特定の単語や単語の断片を捕らえます)、文(特定のコンテキストを捕らえます)または段落(より広いテーマを捕らえます)です。

• カスタム・チャンク化指定を使用したテキストからチャンクへの変換
  チャンク出力は、特に長い複雑なドキュメントの場合、コンテキスト上の意味を失ったり、親コンテンツとの一貫性を失うことがあります。この例では、カスタム・チャンク仕様を適用してチャンクを絞り込む方法を確認できます。
• ファイルからテキスト、チャンク、Oracle Database内の埋込みへの変換
  最初にPDFファイルをテキストに変換し、テキストをチャンクに分割してから、データベースに格納されているベクトル埋込みモデルにアクセスして、各チャンクのベクトル埋込みを作成します。
• Oracle Database内でのファイルから埋込みへの変換
  単一ステップの文を使用して、データベースに格納されているベクトル埋込みモデルにアクセスし、PDFドキュメントからベクトル埋込みを直接抽出します。
• エンドツーエンド検索のための埋込みの生成および使用
  最初に、データベースに格納されているベクトル埋込みモデルを使用して、テキスト・コンテンツからベクトル埋込みを生成し、ベクトル索引を移入して問い合せます。問合せ時に、問合せ基準も即時にベクトル化します。