Oracle Digital Assistant로 다중 에이전트 구축 및 관리 정보
점점 더 많은 기업들이 운영을 간소화하고 고객 경험을 개선하기 위해 생성형 AI(GenAI) 에이전트를 채택함에 따라, 이러한 에이전트를 관리하는 포괄적인 플랫폼이 필요하게 되었습니다. 조직은 여러 AI 에이전트를 설계, 배포 및 통합관리하고 필요에 따라 API, 워크플로우 및 GenAI 기능과 원활하게 통합할 수 있는 직관적인 사용자 인터페이스를 모색합니다.
Oracle은 OCI Generative AI Agents Platform을 출시할 계획입니다. 다음 릴리스를 기대하고 있지만 고객 프로젝트는 Oracle Digital Assistant(ODA)가 AI 에이전트를 위한 통합관리자와 매우 잘 맞을 수 있음을 입증했습니다. 강력한 API 연결, 다중 채널 배포, 플로우 디자이너 및 LLM 블록을 통해 ODA를 통해 기업은 AI 에이전트의 전체 수명 주기를 효율적으로 관리할 수 있습니다.
따라서 ODA가 어떻게 AI 에이전트를 구축, 관리 및 확장하는 구조화된 접근 방식을 제공하는지 살펴볼 수 있습니다.
Oracle Digital Assistant는 원활한 API 통합, 다중 채널 배포, LLM 기능 및 워크플로우 자동화를 통해 AI 에이전트를 구축, 관리 및 확장할 수 있는 완벽한 에코시스템을 제공합니다. 조직은 ODA를 활용하여 AI 에이전트의 전체 수명 주기를 효율적으로 관리함으로써 민첩성, 확장성 및 향상된 사용자 경험을 보장할 수 있습니다. 이는 비OCI 기술로 개발된 AI 에이전트에 적용되며 Bosch에서 ODA + OpenAI의 공개 사례도 있습니다.
기업이 AI 기반 혁신을 지속함에 따라 ODA는 지능형 디지털 어시스턴트의 배포를 단순화하는 동시에 제어, 보안 및 비즈니스 가치를 보장하는 강력한 지원 요소입니다.
Oracle Digital Assistant를 사용하여 다중 에이전트 구축 및 관리의 이점 이해
- 원활한 API 통합 ODA는 강력한 API 서비스 통합 기능을 제공하므로 에이전트가 모든 백엔드 시스템과 연결할 수 있습니다. REST API, 데이터베이스 상호 작용 및 외부 클라우드 서비스를 지원합니다. 사용자정의 백엔드 개발 없이 간편한 데이터 검색 및 트랜잭션 워크플로우를 지원합니다.
- ODA를 사용하여 구축된 다중 채널 배포 에이전트는 웹, 모바일, 메시징 플랫폼(WhatsApp, Slack, 팀) 및 음성 인터페이스를 비롯한 여러 채널에 배포할 수 있습니다. 이를 통해 모든 상호 작용 접점에서 일관된 사용자 경험을 보장합니다.
- 비코드 에이전트 개발을 위한 Visual Flow Designer Flow Designer는 AI 기반 대화 및 워크플로우 설계를 위한 로우 코드/노코드 환경을 제공합니다. 비즈니스 사용자와 개발자가 광범위한 코딩 작업 없이 신속하게 에이전트를 구축, 테스트 및 배포할 수 있습니다.
- 생성형 AI 통합 ODA용 LLM 블록은 대규모 언어 모델(LLM) 통합을 지원하므로 AI 에이전트가 필요할 때 GenAI 기능을 활용할 수 있습니다. 조직은 에이전트의 워크플로 내에서 모든 LLM(Oracle GenAI, Cohere, Meta 등)을 호출할 수 있습니다. 프롬프트 작성기 지원
- 중앙 집중식 프롬프트 관리: 관리자는 플로우 디자이너를 수정하지 않고도 단일 위치에서 여러 프롬프트를 관리하고 업데이트할 수 있으므로 AI 상호 작용 전반에서 원활한 업데이트와 일관성이 보장됩니다.
- 워크플로우 자동화 및 통합관리 AI 에이전트는 ODA 또는 외부 워크플로우 엔진 내에서 워크플로우를 트리거하고 관리할 수 있습니다. 이벤트 기반 자동화를 지원하여 동적 반응형 에이전트 상호 작용을 지원합니다. AI 기반 워크플로우를 통해 HR, IT 및 고객 지원 자동화를 지원합니다.
- Advanced Analytics & Monitoring ODA는 에이전트 성능 및 사용자 상호 작용을 추적하는 내장된 분석 및 보고 기능을 제공합니다. 실시간 통찰력 및 사용자 피드백을 기반으로 최적화할 수 있습니다.
- 보안 및 거버넌스 엔터프라이즈급 보안 기능은 데이터 보호 규정 준수를 보장합니다. 거버넌스에 대한 RBAC(역할 기반 액세스 제어) 및 감사 로그입니다.
구조
LLM 블록과 함께 ODA를 사용하면 매우 간단한 아키텍처에서 복잡한 아키텍처(예: 감독자 1)에 이르기까지 AI 에이전트를 생성할 수 있습니다. AI 에이전트는 도구, 지식 기반 및 기타 에이전트를 호출하여 사용자 요청에 따라 사용할 도구를 자율적으로 결정할 수 있습니다.
특정 아키텍처는 이 플레이북에 제공된 아키텍처와 다를 수 있지만 이 예는 ODA에서 개발된 다중 에이전트 서비스의 일반적인 구현을 나타냅니다. 이 아키텍처 예에서 채팅은 Microsoft Teams 인스턴스와 사용자 지정 앱으로 구성된 애플리케이션 계층에서 시작됩니다. 채팅 콘텐츠 또는 쿼리는 ODA의 채널 구성요소로 이동한 다음 기술 챗봇으로 이동합니다. ODA를 사용하면 모든 API(예: 이 경우 Oracle Fusion HCM API)를 호출할 수 있습니다. 그런 다음 트래픽이 Skills 챗봇에서 GenAI 라우터 에이전트로 이동합니다. 이 에이전트는 채팅 주제에 따라 적절한 HRMS 에이전트로 전달하거나, 쿼리가 해결되지 않거나 일반인 경우 RAG 에이전트로 전달됩니다.
API는 Oracle Integration 사용 여부에 관계없이 Fusion 또는 EBS 제품군에서 모든 백엔드 서비스를 사용할 수 있습니다. 이를 통해 ODA AI 에이전트는 Oracle Cloud에서 사용할 수 있는 거의 모든 유형의 API를 사용할 수 있습니다. 질의가 HRMS 에이전트 중 하나로 이동되면 처리 후 Oracle Integration 미들웨어를 통해 적절한 Oracle Fusion ERP 서비스(예: Oracle E-Business Suite, Oracle Procurement, Oracle Fusion Cloud Human Capital Management 또는 Oracle Cloud ERP) 중 하나로 전송됩니다. 이러한 서비스는 쿼리를 처리하고 HRMS 에이전트를 통해 필요한 정보를 다시 전달한 다음 라우터 에이전트, 기술 챗봇, 채널 구성 요소를 통해 전달하고 ODA를 종료합니다. ODA는 시작된 애플리케이션 계층에 바인딩됩니다. 로그인한 경우 에이전트는 로그인한 사용자에게 부여된 권한을 사용하여 백엔드의 API를 호출할 수 있습니다. 각 에이전트 자체는 GenAI 서비스에 대한 백그라운드 호출을 수행하는 코드입니다. 이 예에서는 Fusion 또는 MS Teams를 사용하여 로그인할 수 있습니다.
이 다이어그램은 다음 구조를 보여줍니다.
multi-agent-oda-arch.png 그림 설명
- 지역
Oracle Cloud Infrastructure 리전은 가용성 도메인을 호스팅하는 데이터 센터가 하나 이상 포함된 지역화된 지리적 영역입니다. 지역은 다른 지역과 독립적이며, 광대한 거리는 (국가 또는 대륙에 걸쳐) 그들을 분리 할 수 있습니다.
- Oracle Digital Assistant
Oracle Digital Assistant는 원활한 API 통합, 다중 채널 배포, LLM 기능 및 워크플로우 자동화를 통해 AI 에이전트를 구축, 관리 및 확장할 수 있는 완벽한 에코시스템을 제공합니다. 조직은 ODA를 활용하여 AI 에이전트의 전체 수명 주기를 효율적으로 관리함으로써 민첩성, 확장성 및 향상된 사용자 경험을 보장할 수 있습니다.
- 채널
채널은 다양한 메시징 플랫폼의 사용자로부터 디지털 어시스턴트 및 다양한 기술로 채팅을 앞뒤로 전달합니다. 사용자 에이전트 에스컬레이션 및 테스트를 위한 채널도 있습니다. ODA에서 채널을 구성하여 디지털 어시스턴트 및 독립형 기술을 사용자에게 노출할 수 있습니다.
- 기술
스킬은 특정 작업 세트 또는 사용자 요청에 맞게 조정된 챗봇입니다.
- 라우터 에이전트
라우터 에이전트는 쿼리의 특성에 따라 사용자 쿼리를 가장 적합한 관련 AI 에이전트로 전달하는 AI 에이전트입니다. 라우터 에이전트는 LLM을 사용하여 컨텍스트를 기반으로 쿼리를 동적으로 분석하고 라우팅하므로 사전 정의된 의도나 광범위한 학습 데이터가 필요하지 않으며 제로샷 기능을 달성합니다.
- RAG 에이전트
RAG 에이전트는 검색 증강 생성(RAG) 및 AI 에이전트의 기능을 결합하여 정보 검색 및 생성 작업의 정확성, 적응성 및 복잡성을 향상시킵니다.
- 리프 에이전트
리프 에이전트를 통해 사용자는 HCM 백엔드에서 휴일 또는 휴무 시간을 예약할 수 있습니다. 유저의 자연어 요청에 따라 필요한 API를 호출합니다.
- 서신 에이전트
DM 에이전트는 개인, 전문 또는 기타 문자 작성에 도움이 되는 AI 구성요소입니다. 또한 AI 기능을 활용하여 초안을 생성하고, 콘텐츠를 개인화하고, 적절한 언어 또는 어조를 제안할 수 있습니다.
- 비용 에이전트
비용 에이전트를 통해 비용을 관리하고 보고할 수 있습니다.
- 클레임 에이전트
클레임 에이전트를 사용하여 클레임을 관리하고 보고할 수 있습니다. 사용자의 자연어 요청에 따라 필요한 API를 호출합니다.
- OIC 통합 미들웨어
OCI 통합 서비스는 Salesforce, SAP, Shopify, Snowflake, Workday 등 모든 애플리케이션 및 데이터 소스를 연결하여 엔드투엔드 프로세스를 자동화하고 관리를 중앙 집중화합니다. 사전 구축된 어댑터 및 로코드 커스터마이제이션과 함께 광범위한 통합을 통해 클라우드로의 마이그레이션을 간소화하는 동시에 하이브리드 및 멀티클라우드 운영을 간소화할 수 있습니다.
- OCI GenAI 서비스
OCI Generative AI(GenAI)는 서면 지원, 요약, 분석, 채팅 등 다양한 언어 모델을 광범위한 사용 사례에 원활하게 통합하기 위한 완전 관리형 서비스입니다.
ODA의 추가 LLM 블록 기능 정보
Oracle Digital Assistant는 나열된 구성 요소 외에도 AI 에이전트 응답의 제어 및 사용자 정의를 향상시키는 고급 LLM 블록 기능을 제공합니다.
- JSON 형식 LLM 응답 적용: LLM 응답이 구조화된 출력에 대해 사전 정의된 JSON 스키마를 따르도록 합니다. 필요한 경우 이벤트 처리기는 JSON을 구조화된 테이블 또는 양식과 같은 사용자 친화적인 형식으로 변환할 수 있습니다.
주:
JSON 형식 지정을 적용할 때 Streaming 사용을 False로 설정합니다. - 재시도 횟수: 검증 오류(엔티티 또는 JSON)가 발생할 때 최대 재시도 횟수를 정의합니다. 재시도 프롬프트는 오류를 강조 표시하고 LLM에 오류를 수정하도록 요청합니다. 재시도가 제한을 초과하면 대화 상자가 오류 변환을 따릅니다.
- 메시지 재시도: 검증 오류(예: 응답 향상)로 인해 LLM 재시도가 발생할 때 사용자에게 알립니다.
- 검증 커스터마이제이션 처리기: 스킬에 배치된 커스텀 처리기를 통해 특수 검증을 허용합니다. 다음을 수행할 수 있습니다.
- LLM 응답을 추가로 처리합니다.
- 부적절한 콘텐츠에 대한 사용자 요청을 평가합니다.
- 특정 값에 다른 값이 필요하거나 제외되도록 상호 종속 개체 검증을 적용합니다.
- LLM 및 응답에 대한 호출을 분석합니다.
Oracle Digital Assistant에서 AI 에이전트 수명 주기 관리 정보
AI 에이전트 수명 주기 관리는 아래 설명된 5단계로 요약할 수 있습니다.
- 계획 및 설계
- AI 에이전트의 사용 사례 및 범위를 정의합니다.
- 필요한 API 통합 및 워크플로우를 식별합니다.
- ODA의 플로우 디자이너를 사용하여 대화 플로우를 설계합니다.
- 개발 및 통합
- API 서비스 및 백엔드 접속을 구성합니다.
- 생성형 응답을 위한 LLM 블록을 구현합니다.
- 정확성을 높이기 위해 의도 인식 및 교육 모델을 설정합니다.
- 배포 및 노출
- 여러 채널(웹, 모바일, WhatsApp, 팀 등)에 AI 에이전트를 배포합니다.
- 보안 액세스 및 인증 방식을 보장합니다.
- 모니터링 및 최적화
- ODA 분석을 사용하여 에이전트 상호 작용을 지속적으로 모니터링합니다.
- 의도 및 교육 모델을 세분화하여 정확성을 개선합니다.
- 실시간 사용자 피드백을 기반으로 워크플로를 최적화할 수 있습니다.
- 확장 및 유지 관리
- 비즈니스 요구 사항이 진화함에 따라 새로운 기능을 추가합니다.
- 정기적인 보안 및 규정 준수 업데이트를 보장합니다.
- 필요에 따라 추가 비즈니스 단위 또는 지역으로 확장합니다.