Oracle AI Vector SearchとLlamaIndexの統合

LlamaIndexは、カスタム・データで大規模言語モデル(LLM)を利用するアプリケーションを作成するプロセスを簡素化するために設計されたオープンソースのデータ・フレームワークです。基本的に、LlamaIndexは、カスタム・データ・ソースとLLM (Cohere CommandモデルやOpenAI GPTモデルなど)の間のブリッジとして機能します。

Oracle AI Vector Searchは、強力なセマンティック検索および検索機能を有効にするために、いくつかの方法でLlamaIndexと統合されています。

この統合の主な側面は次のとおりです:

  • 埋込みの生成

    Oracle AI Vector Searchは、LlamaIndexで使用できる埋込み機能を提供します:

    • LlamaIndexのOracleEmbeddingsクラスを使用すると、Oracleの埋込みモデルを使用して埋込みを生成できます。

    • 複数の埋込み方法がサポートされています(ローカルにホストされたONNXモデル、生成AIやHugging FaceなどのサードパーティAPIを含む)。

    • ドキュメントおよび問合せの埋込みを生成して、セマンティック類似検索を可能にできます。

    この統合を使用して埋込みを生成する方法の詳細は、Oracle AI Vector Search: 埋込み生成機能の使用を参照してください。

  • ベクトル・ストレージ

    LlamaIndexでは、Oracle Databaseをベクトル・ストアとして利用できます:

    • ベクトル埋込みは、VECTORデータ型を使用して、ビジネス・データとともにOracle Database表に格納できます。

    • これにより、単一のシステムで、非構造化データに対するセマンティック検索と構造化データに対するリレーショナル問合せを組み合せることができます。

    この統合をベクトル・ストレージに使用する方法の詳細は、Oracle AI Vector Search: ベクトル・ストレージ機能の使用を参照してください。

  • 索引付けと検索

    Oracleのベクトル索引付けおよび検索機能を使用できます:

    • 埋込みに対してベクトル索引を作成して、類似度を迅速に検索できます。

    • LlamaIndexでは、OracleのネイティブなSQL操作を使用して類似検索を実行し、関連データを取得できます。

    • ドット積、コサイン類似度、ユークリッド距離などの様々な距離メトリックがサポートされています。

    この統合を使用して索引付けおよび検索を行う方法の詳細は、Oracle AI Vector Search: ドキュメント処理機能の使用およびOracle AI Vector Search: ドキュメント処理でのエンドツーエンドのパイプラインを参照してください。

  • RAGパイプラインの統合

    この統合により、エンドツーエンドの検索拡張生成(RAG)パイプラインを作成できます。非構造化データの埋込みを作成してOracle Databaseに格納できます。LlamaIndexでは、ベクトル・ストアを問い合せて、関連するコンテキストを取得できます。取得した情報を使用して、LLMのプロンプトを生成できます。

    LlamaIndexには、Oracle AI Vector Search機能を統合するための複数のライブラリおよびクラスが用意されています。使用可能な主なコンポーネントは次のとおりです:

    • OracleEmbeddings: 複数の埋込み方法をサポートします(ローカルでホストされるONNXモデル、生成AIやHugging FaceなどのサードパーティAPIを含む)。

    • OracleReader: Oracle Databaseを含む様々なソースからドキュメントをロードするために使用されます。

    • OracleSummary: データベース内またはデータベース外のドキュメントを要約する機能を提供します。

    • OracleTextSplitter: 様々な要件に従ってドキュメントをチャンク化するための高度なOracle機能を提供します。

    • OraLlamaVS: ベクトル埋込みの格納、索引付けおよび問合せに使用されます。

    この統合を使用してエンドツーエンドのRAGパイプラインを構築する方法の詳細は、Oracle AI Vector Search: ドキュメント処理を使用したエンドツーエンドのパイプラインを参照してください。

利点

Oracle AI Vector SearchとLlamaIndexの統合により、Oracleエコシステム内の構造化データと非構造化データの両方を活用できる高度なAIアプリケーションを開発するための強力な基盤が提供されます。

Oracle AI Vector SearchをLlamaIndexと統合することで、開発者は次のことを実行できます:

  • スケーラビリティ、セキュリティ、トランザクションなど、Oracle Databaseのエンタープライズ機能を活用します。

  • 単一のシステムでセマンティック検索とリレーショナル問合せを組み合せます。

  • Oracleの最適化されたベクトル操作を利用して、効率的な類似検索を実現します。

  • 使い慣れたSQLおよびPL/SQLインタフェースを使用して、AIを利用したアプリケーションを構築します。

親トピック: 検索拡張生成を使用したLLMの補完