@AISERVICEを使用した外部AI埋込み

Oracle GoldenGateには、レプリケーション・パイプライン内で外部AIサービスを直接呼び出す@AISERVICE関数が用意されています。これにより、カスタム・ミドルウェアを必要とせずに、生成、分類、要約などのリアルタイム・エンリッチメントが可能になります。Replicatの処理中に管理対象AIエンドポイントを呼び出すことで、組織はクラウドベースまたはカスタムAIサービスをデータ移動ワークフローにシームレスに統合できます。

@AISERVICEを使用すると、Replicatは外部AIエンドポイント(RESTベースの埋込みサービスなど)をコールし、レスポンスを使用してターゲット列を移入できます。データベース内でロジックを実行する@DBFUNCTIONとは異なり、@AISERVICEは外部サービスに計算をオフロードするため、GPUバックアップ・モデルまたは集中型AIプラットフォームに最適です。

次の例は、レプリケーション中に外部AIサービスを使用して埋込みを生成する方法を示しています。

MAP cust_addresses, TARGET cust_addresses_vector,
COLMAP (
  USEDEFAULTS,
  address_vector = @AISERVICE(
    SERVICE 'embedding_service_alias',
    PARAMS (
      'street' = @AFTER.street,
      'city'   = @AFTER.city,
      'zip'    = @AFTER.zip
    ),
    RETURN 'vector'
  )
);

この構成では、次のことが行われます。

embedding_service_aliasは、GoldenGate AIサービス・エンドポイントです。
Street、City、Zipの各列は、入力としてembedding_service_aliasに渡されます。
戻されたベクトル・データは、ターゲット表のaddress_vector columnに格納されます。

@AISERVICEのベスト・プラクティス

Oracle GoldenGate内で@AISERVICEを効果的に活用するには、リアルタイムAIパイプラインのパフォーマンス、信頼性、およびスケーラビリティを確保するために、一連のベストプラクティスに従う必要があります。@AISERVICEでは、レプリケーション・パスに外部依存性が導入されるため、ボトルネックを回避し、データ処理の一貫性を確保するために、慎重な設計が必要です。

データベース・リソースのオーバーロードを回避するには、計算集中型のモデルに@AISERVICEを使用します。

@AISERVICEは、GPUに支えられたAIサービスやマネージドAIサービスにオフロードすることで、データベース内実行よりも優れたスケーラビリティを実現する、大規模言語モデルの推論や高次元埋込み生成などの、計算集約型のAIワークロードに使用する必要があります。これにより、コア・トランザクションおよび問合せワークロードのデータベース・リソースを保持できます。

レプリケーションの遅延を防ぐために、レイテンシが低く可用性の高いAIエンドポイントを確保

外部AIサービスは、高可用性と低レイテンシである必要があります。Replicatの処理はサービスからのレスポンスに依存するため、低速または信頼性のないエンドポイントでは、レプリケーション・ラグまたはバックプレッシャーが発生する可能性があります。ネットワークの近接性(同じリージョンやVCNなど)にAIサービスをデプロイし、ロード・バランシングを使用すると、パフォーマンスを大幅に向上させることができます。

サービス・コールのタイムアウトおよび再試行ポリシーの実装

強力なエラー処理および再試行メカニズムを実装する必要があります。一時的な障害(ネットワークタイムアウトやサービススロットルなど)は、レプリケーションを中断してはいけません。構成には、タイムアウト、再試行ポリシーおよびフォールバック処理を含める必要があります(たとえば、後で処理するために失敗したレコードをデッドレター・キューにルーティングします)。

可能な場合はリクエストをキャッシュまたは複製解除して、外部コールを削減します。

組織は、必要に応じて重複除外またはキャッシュ戦略を実装することで、不要な外部コールを最小限に抑える必要があります。たとえば、同じ入力テキストで以前に生成された埋込みを再利用して、コストとレイテンシを削減できます。

サービス・レイテンシとエラー率をGoldenGateメトリックとともに監視して、SLAが満たされていることを確認します

包括的な監視が不可欠です。チームは、遅延や適用率などのGoldenGateレプリケーション・メトリックとともに、AIサービスのレイテンシ、エラー率およびスループットを追跡する必要があります。これらのメトリックを関連付けることで、より迅速なトラブルシューティングが可能になり、GoldenGateと外部AIサービスの統合がパフォーマンスと信頼性を維持します。