Oracle GoldenGate를 사용한 ONNX 모델 지원

조직이 AI 기반 기능을 채택함에 따라 많은 사람들이 보안 규정 준수 및 성능을 위해 추론을 로컬로 유지할 방법을 찾고 있습니다. Oracle GoldenGate는 로컬 ONNX 모델을 지원하므로 외부 모델 제공업체에 의존하지 않고도 AI 기능을 활용할 수 있습니다.

AI 기능을 허용하는 ONNX 모델

주: 로컬 ONNX 모델 지원은 Oracle GoldenGate 23.26.3부터 제공됩니다.

Oracle GoldenGate는 로컬 ONNX 모델을 지원함으로써 조직이 AI 추론이 발생하는 위치를 선택할 수 있는 유연성을 제공합니다. 안전한 엔터프라이즈 환경에서 운영하든, 에지에 배포하든, 에어갭 네트워크에서 작업하든 관계없이 로컬 모델은 데이터를 제어하면서 AI를 통합하는 실용적인 방법을 제공합니다.

이 기능은 보안, 성능 및 운영 요구 사항을 기반으로 클라우드 호스팅 모델과 로컬에 배포된 ONNX 모델 중에서 자유롭게 선택할 수 있는 기능을 제공하여 GoldenGate의 증가하는 AI 통합을 보완합니다.

왜 로컬 ONNX 모델을 사용합니까?

클라우드에서 호스팅되는 대규모 언어 모델은 편리하지만 항상 적합한 것은 아닙니다. 로컬에서 모델을 실행하면 GoldenGate를 배포할 수 있습니다. • 환경 내에서 중요한 데이터를 유지합니다. • 공기가 걸리거나 연결이 끊긴 배포를 지원합니다. • 추론 대기 시간 단축 • 외부 AI 서비스에 대한 종속성 제거 • 공급자 자격 증명을 구성하고 관리하지 않아도 됩니다. 이렇게 하면 로컬 모델이 엔터프라이즈 및 규제 환경을 위한 탁월한 옵션입니다.

ONNX를 로컬 AI 모델로 배포

로컬 ONNX 모델을 활성화하려면 ONNX 모델과 해당 토큰화기를 다음 디렉토리에 복사합니다.

ServiceManager/var/lib/모델

예:

ServiceManager/var/lib/models/my-model.onnx/tokenizer.json

tokenizer.json 파일은 .onnx model 파일과 함께 있어야 합니다.

자동 모델 검색

파일이 배치되면 Oracle GoldenGate는 자동으로 로컬 모델을 검색합니다.

Service Manager GUI는 models 디렉토리를 검색하고 다음을 인식합니다.

서비스 관리자는 ONNX 모델 파일 및 토큰화기를 자동으로 감지하여 서비스 관리자에서 모델을 추가할 수 있습니다.

로컬 ONNX 모델 사용의 가장 큰 장점 중 하나는 단순성입니다. 클라우드 기반 AI 서비스와 달리 로컬 모델에는 AI 제공자 구성이 필요하지 않습니다. Oracle GoldenGate에서 ONNX 모델을 설정하기 위한 수동 등록 또는 AI 제공자 구성이 필요하지 않습니다. 또한 다음을 지정할 필요가 없습니다.