@AISERVICE에 내장된 외부 AI

Oracle GoldenGate는 복제 파이프라인 내에서 직접 외부 AI 서비스를 호출하는 @AISERVICE 함수를 제공합니다. 이를 통해 커스터마이징 미들웨어 없이도 생성, 분류 또는 요약 포함과 같은 실시간 보강이 가능합니다. 조직은 Replicat 처리 중에 관리형 AI 엔드포인트를 호출함으로써 클라우드 기반 또는 맞춤형 AI 서비스를 데이터 이동 워크플로우에 원활하게 통합할 수 있습니다.

@AISERVICE를 사용하면 Replicat가 외부 AI 엔드포인트(예: REST 기반 임베딩 서비스)를 호출하고 응답을 사용하여 대상 열을 채울 수 있습니다. 데이터베이스 내에서 논리를 실행하는 @DBFUNCTION와 달리 @AISERVICE는 계산을 외부 서비스로 오프로드하므로 GPU 지원 모델이나 중앙 집중식 AI 플랫폼에 이상적입니다.

다음 예에서는 복제 중 외부 AI 서비스를 사용하여 임베딩을 생성하는 방법을 보여줍니다.

MAP cust_addresses, TARGET cust_addresses_vector,
COLMAP (
  USEDEFAULTS,
  address_vector = @AISERVICE(
    SERVICE 'embedding_service_alias',
    PARAMS (
      'street' = @AFTER.street,
      'city'   = @AFTER.city,
      'zip'    = @AFTER.zip
    ),
    RETURN 'vector'
  )
);

이 구성에서 다음을 수행합니다.

@AISERVICE 모범 사례

Oracle GoldenGate 내에서 @AISERVICE를 효과적으로 활용하려면 조직은 모범 사례 세트를 따라 실시간 AI 파이프라인의 성능, 안정성 및 확장성을 보장해야 합니다. @AISERVICE는 복제 경로에 외부 종속성을 도입하므로 병목 현상을 방지하고 일관된 데이터 처리를 위해 신중하게 설계해야 합니다.

컴퓨트 집약적 모델의 경우 @AISERVICE를 사용하여 데이터베이스 리소스 오버로드를 방지할 수 있습니다.

@AISERVICE 대규모 언어 모델 추론 또는 다차원 임베딩 생성과 같은 컴퓨트 집약적 AI 워크로드에 사용해야 합니다. GPU 지원 또는 관리형 AI 서비스로 오프로드하면 데이터베이스 내 실행보다 확장성이 향상됩니다. 이를 통해 핵심 트랜잭션 및 Query 작업 로드를 위한 데이터베이스 리소스를 보존할 수 있습니다.

짧은 대기시간의 고가용성 AI 엔드포인트를 보장하여 복제 지연 방지

외부 AI 서비스는 가용성이 높고 대기 시간이 짧아야 합니다. Replicat 처리는 서비스의 응답에 따라 달라지므로 느리거나 신뢰할 수 없는 엔드포인트로 인해 복제 지연 또는 역압력이 발생할 수 있습니다. 가까운 네트워크 근접성(예: 동일한 리전 또는 VCN)에 AI 서비스를 배포하고 로드 밸런싱을 사용하면 성능이 크게 향상될 수 있습니다.

서비스 호출에 대한 시간 초과 및 재시도 정책 구현

강력한 오류 처리 및 재시도 방식을 구현해야 합니다. 네트워크 시간 초과 또는 서비스 스로틀과 같은 일시적인 장애는 복제를 중단할 수 없습니다. 구성에는 시간 초과, 재시도 정책 및 폴백 처리가 포함되어야 합니다. 예를 들어, 나중에 처리하기 위해 실패한 레코드를 데드레터 대기열로 라우팅합니다.

가능한 경우 요청을 캐시하거나 복제 취소하여 외부 호출 감소

조직은 해당하는 경우 중복 제거 또는 캐싱 전략을 구현하여 불필요한 외부 통화를 최소화해야 합니다. 예를 들어, 동일한 입력 텍스트가 이전에 생성된 임베딩을 재사용하여 비용과 대기 시간을 줄일 수 있습니다.

GoldenGate 측정지표와 함께 서비스 대기 시간 및 오류율을 모니터링하여 SLA를 충족하는지 확인

포괄적인 모니터링이 필수적입니다. 팀은 지연 및 적용률과 같은 GoldenGate 복제 메트릭과 함께 AI 서비스 지연 시간, 오류율, 처리량을 추적해야 합니다. 이러한 측정지표를 상호 연결하면 문제를 더 빠르게 해결할 수 있으며 GoldenGate와 외부 AI 서비스 간의 통합이 성능과 안정성을 유지합니다.