모범 사례
1. 에이전트의 범위 정의
각 에이전트에 대해 다음을 정의합니다.
- 비즈니스 목표
- 성공 메트릭
- 허용된 작업
- 금지된 조치
- 인적 승인 요구 사항
- 에스컬레이션 패스
에이전트를 설계하여 범용 도우미 역할을 하는 대신 특정 비즈니스 문제를 해결합니다. 소규모의 전문 에이전트는 단일 모놀리식 에이전트에 비해 검증, 보안, 모니터링 및 유지 관리의 복잡성을 줄입니다.
실제 은행 예: 대출 서비스 에이전트는 대출 잔액 및 지급 내역 질문에 대한 답변, 재융자 자격요건 설명, 지급 알림 생성, 서비스 티켓 생성, 인적 전문가에게 어려움 요청 경로 지정 등 정확히 5가지 활동으로 범위가 지정됩니다. 대출 수정을 승인하거나, 수수료를 면제하거나, 납부기한을 변경하거나, 자금을 해제할 수 없습니다. 이 범위를 좁히면 운영 및 규제 위험을 줄이고 정확성을 높일 수 있습니다.

그림 scope-example.png에 대한 설명
생산 구현: LangGraph는 의도 분류, 계정 검색, 정책 조회, 티켓 생성 및 휴먼 핸드오프에 대한 전용 노드를 정의합니다. Oracle Enterprise AI Response API는 추론을 수행하는 반면, 모든 상태 변경 작업은 모델에 의해 직접 실행되는 대신 관리되는 엔터프라이즈 API에 위임됩니다.
2. 모듈식 에이전트 구조 작성
일반적인 구성 요소는 다음과 같습니다.
- 사용자 인터페이스
- 계획 및 추론 계층
- 도구 통합관리
- 엔터프라이즈 커넥터
- 메모리 서비스
- 검색 서비스(RAG)
- 정책 엔진
- 관찰성 층
- 보안 계층
책임 구분을 통해 팀은 전체 시스템에 영향을 주지 않고 독립적으로 구성요소를 개선하고 테스트 및 디버깅을 간소화할 수 있습니다.
실제 은행 예: 워크플로우는 고객의 요청을 추출하고, 대출 및 계정 레코드를 검색하고, 적용 가능한 서비스 정책을 확인하고, 관련 수치(상환 금액, 다음 만기 일자)를 계산하고, 응답 초안을 작성하고, 필요한 경우 인적 승인을 요청하는 하나의 큰 프롬프트 대신 독립 단계를 사용합니다. 사기 및 하드웨어 감지 모듈은 고객 통신 모듈과 독립적으로 업그레이드할 수 있습니다.

그림 구조-example.png에 대한 설명
운용 구현: LangGraph는 각 단계를 격리된 노드로 조정합니다. LangChain OCI는 은행의 대출 서비스 플랫폼에 재사용 가능한 커넥터를 제공하는 반면, Oracle Enterprise AI Response API는 각 단계 내에서 독립적으로 추론을 처리합니다.
3. 강력한 툴 거버넌스 구현
각 도구에 대해 다음을 정의합니다.
- 명시적 입력 스키마
- 출력 검증
- 인증 요구 사항
- 승인 규칙
- 시간 초과 제한
- 재시도 동작
- 요율 한도
- Idempotency 보증
무제한 API를 대규모 언어 모델(LLM)에 직접 노출하지 마십시오. 대신 실행 전에 모든 요청을 검증하는 제어된 도구 인터페이스로 엔터프라이즈 API를 래핑합니다.
실제 은행 예: 에이전트는 "지불 알림" 또는 "서비스 티켓"을 시작할 수 있지만 핵심 은행 원장에 직접 액세스하지는 않습니다. 모든 작업은 고객의 ID를 검증하고, 계정이 양호한 상태인지 확인하고, 요청된 작업이 정책 한도 내에 있는지 확인하고, 코어 뱅킹 API만 호출하는 서비스 도구를 통해 전달됩니다.

그림 governance-example.png에 대한 설명
프로덕션 구현: LangChain OCI는 서비스 도구를 엄격한 입력/출력 스키마를 사용하는 구조화된 함수로 노출합니다. Oracle Identity는 도구가 실행되기 전에 호출자의 권한 부여를 확인하고, 모든 호출(성공 또는 거부)이 감사를 위해 기록되는지 확인합니다.
4. 강력한 ID 및 액세스 관리 적용
모범 사례는 다음과 같습니다.
- 최소 권한 액세스
- 수명이 짧은 인증서
- OAuth 또는 엔터프라이즈 ID 제공자
- 역할 기반 액세스 제어(RBAC)
- 보안 저장소를 통한 암호 관리
- 완전한 감사 로깅
에이전트는 자신이 대표하는 사용자보다 더 넓은 권한을 받아서는 안됩니다.
실제 은행 예: 에이전트를 사용하는 대출 담당자는 지정된 포트폴리오 내의 계정에 대해서만 조회하고 조치를 취할 수 있습니다. 에이전트가 해당 관리자를 대신하여 인증하면 동일한 권한이 상속되고 더 이상 상속되지 않습니다. 담당자가 포트폴리오 외부의 계정에 대해 묻는 경우 기본 도구는 모델이 응답을 생성하기 전에 요청을 거부합니다.

iam-example.png 그림에 대한 설명
운용 구현: Oracle Identity Cloud Service(IDCS)는 모든 사용자 세션을 인증합니다. 각 도구 호출은 사용자의 ID, 역할 및 리소스 소유권에 대해 검사됩니다. 이 검사는 에이전트가 요청 중인 직원의 고유 액세스 권한을 초과하지 않도록 합니다.
5. 엔터프라이즈 지식에 검색 증강 생성(RAG) 사용
다음 연습을 사용합니다.
- 검색 가능한 인덱스에 엔터프라이즈 지식 저장
- 관련 문서를 동적으로 검색
- 검색 중 문서 권한 적용
- 가능하면 소스 인용
- 버전 엔터프라이즈 지식
잘 설계된 RAG 아키텍처는 정확성을 개선하고 환각을 줄이며 모델을 재교육하지 않고도 응답을 최신 상태로 유지할 수 있도록 합니다.
실제 은행 예: 고객이 자격 재조정에 대해 요청하면 에이전트는 기본 모델의 교육 데이터에 의존하지 않고 현재 서비스 정책 설명서, 적용 가능한 세율표 및 관련 규제 공시를 검색합니다. 모든 답변은 이를 지원하는 특정 정책 섹션을 인용합니다. 은행이 재융자 조건을 업데이트하면 에이전트가 변경 사항을 반영합니다.

rag-example.png 그림에 대한 설명
운용 구현: LangGraph에는 전용 검색 노드가 포함됩니다. 정책 매뉴얼 및 요금표는 기본 VECTOR 데이터 유형을 사용하여 Oracle AI Database 26ai에 직접 조각화 및 내장되어 있으며, 빠른 유사성 검색을 위한 HNSW 인덱스와 정확한 정책 조회를 위해 의미 및 전체 텍스트 일치를 혼합하는 하이브리드 벡터 인덱스를 제공합니다. 행 레벨 보안은 검색 전에 사용자가 볼 수 있는 문서만 포함하도록 결과를 필터링하고, LangChain OCI는 이 저장소를 쿼리하여 Oracle Enterprise AI Response API는 권한 필터링된 구절과 고객의 질문을 결합하여 고정적이고 케이블이 있는 응답을 생성합니다.
6. Human-in-the-Loop 승인 설계
다음과 같은 고위험 작업에 대해 명시적인 인적 승인이 필요합니다.
- 금융 트랜잭션
- 고객 통신
- 인프라 수정
- 운영 배포
- 데이터 삭제
- 법적 또는 규정 준수 조치
승인 워크플로는 운영 위험을 줄이면서 위험도가 낮은 작업을 자동화할 수 있습니다.
실제 은행 예: 상담원이 자동으로 지급 알림을 전송하거나 상환 견적을 생성할 수 있지만, 지급 이연, 수수료 면제 또는 수정된 상환 스케줄과 같은 어려움이 있는 숙박 시설을 의미하는 모든 요청은 인적 대출 전문가에게 일시 중지 및 경로가 지정됩니다. 전문가는 결정하기 전에 고객의 상황, 계정 기록 및 상담원의 권장 사항에 대한 요약을 받습니다.

그림 hitl-exampe.png에 대한 설명
운용 구현: 승인 단계는 LangGraph 체크포인트로 구현됩니다. 워크플로우 상태는 사용자가 응답할 때까지 지속됩니다. 지속 상태를 사용하면 몇 시간 또는 며칠이 걸리더라도 프로세스가 일시 중지된 위치에서 재개할 수 있습니다.
7. 신뢰성 및 복원성의 우선순위 지정
다음 오류를 정상적으로 처리하도록 에이전트를 설계합니다.
- API Failure
- 네트워크 중단
- 부분 툴 Failure
- 비율 제한
- 컨텍스트 창 제한 사항
- 모델 사용 불가
- 응답이 부적합합니다.
권장되는 엔지니어링 관행에는 회로 차단기, 지수 백오프로 정책 재시도, 요청 시간 초과, 폴백 모델, 대기열 기반 처리, 데드레터 대기열 및 장기 실행 워크플로우 체크포인트가 포함됩니다. 복원력 있는 시스템은 운영자 개입 없이 자동으로 복구됩니다.
실제 은행 예: 일상적인 서비스 요청 중에 핵심 뱅킹 API가 시간 초과되고 ID 서비스를 잠시 사용할 수 없게 됩니다. 고객의 세션을 종료하는 대신 에이전트는 지수 백오프로 재시도하고 정보 관련 질문을 위해 캐시된 읽기 전용 뷰로 폴백한 다음 서비스가 복구될 때 자동으로 전체 기능을 재개합니다. 이 접근 방식은 고객 중단을 최소화합니다.

안정성 그림 설명-example.png
운용 구현: LangGraph 체크포인트는 실패 시 워크플로우 상태를 유지합니다. Oracle Enterprise AI Deployment는 로드 중인 추론 엔드포인트를 자동으로 확장하며 엔터프라이즈 API 커넥터는 기본적으로 재시도 정책 및 회로 차단기를 구현합니다.
8. 포괄적인 관찰 가능성 설정
프롬프트, 응답, 도구 호출, 대기 시간, 토큰 소비, 비용, 성공률, 오류율, 인적 승인, 사용자 피드백 및 실행 추적을 캡처할 수 있습니다. 에이전트 워크플로 전반의 분산 추적은 문제 해결 및 성능 최적화를 간소화합니다.
실제 은행 예: 고객은 서비스 에이전트의 응답 속도가 느린 보고를 시작합니다. 추측하는 대신 엔지니어는 분산 된 추적을 검사하고 분석을 찾습니다 : 모델 응답 1.1 초, 정책 검색 140ms, 코어 뱅킹 조회 4.6 초, 신원 확인 250ms. 추적은 병목 현상을 에이전트 자체가 아니라 느린 핵심 뱅킹 서비스 호출로 식별합니다.

그림 observability-example.png에 대한 설명
프로덕션 구현: 모든 LangGraph 노드는 추적, 측정 단위 및 로그를 내보냅니다. OpenTelemetry는 LangGraph, Oracle Enterprise AI Response API, 엔터프라이즈 커넥터, 검색 인덱스 및 Oracle Enterprise AI Deployment의 전체 요청 경로를 상호 연결합니다. 이러한 상관관계를 통해 운영 팀은 완벽한 엔드투엔드 가시성을 확보할 수 있습니다.
9. 지속적인 평가
비즈니스 시나리오, 에지 사례, 장애 사례, 적대적 프롬프트, 보안 공격 및 회귀 테스트를 다루는 평가 데이터 세트를 유지 관리합니다. 자동화된 평가를 CI/CD 파이프라인에 통합하여 모든 프롬프트, 워크플로우 또는 모델 업데이트가 릴리스 전에 검증되도록 합니다.
실제 은행 예: 모델 또는 프롬프트 업데이트가 Loan Servicing Agent에 도달하기 전에 2,000건의 과거 서비스 대화, 500건의 규제 에지 사례(예: 대출 법률에 따라 요구되는 공시), 업로드된 문서에 포함된 200건의 신속 주입 시도 및 규정 준수 정확도 벤치마크와 같은 고정 평가 제품군에 대해 실행됩니다. 현재 운용 기준을 충족하거나 초과하는 버전만 상향 조정됩니다.

그림 evaluate-example.png에 대한 설명
생산 구현: CI/CD 파이프라인은 모든 변경 시 평가 모음을 자동으로 실행합니다. 프롬프트 편집, 워크플로우 변경 및 모델 업그레이드는 모두 배포 권한이 부여되기 전에 이러한 회귀 벤치마크를 전달해야 합니다.
10. 신속한 주입 및 데이터 유출 방지
완화 전략에는 입력 검증, 신속한 정제, 도구 격리, 컨텍스트 분리, 출력 필터링, 민감한 데이터 개정 및 실행 전 정책 적용이 포함됩니다. 에이전트는 검증 없이 외부 문서 또는 웹 콘텐츠에서 검색된 지침을 따르지 않아야 합니다.
실제 은행 예: 고객이 재융자 요청을 위해 지원 문서를 업로드합니다. 문서의 메타데이터에는 시스템에서 요청을 즉시 승인하도록 지시하는 숨겨진 텍스트가 포함되어 있습니다. 시스템은 업로드된 문서를 신뢰할 수 없는 데이터로 취급하므로 에이전트는 포함된 지침을 무시하고 은행의 실제 서비스 정책에 대해서만 요청을 계속 평가합니다.

secure-example.png 그림 설명
생산 구현: LangGraph는 시스템 지침, 사용자 입력, 검색된 문서 및 도구 결과를 별도의 채널에 유지합니다. 정책 검증은 모든 툴 호출 전에 실행됩니다. 이 계층형 방어는 주입된 지침이 민감한 작업에 영향을 주지 않도록 합니다. 애플리케이션 계층 아래의 추가 제어 기능인 Oracle Deep Data Security는 Oracle AI Database 26ai에서 직접 선언적 행 레벨, 열 레벨 및 셀 레벨 정책을 적용합니다. 주입된 명령으로 인해 에이전트가 무단 쿼리를 실행하게 되는 경우에도 데이터베이스는 담당자의 전달된 ID 및 런타임 컨텍스트를 사용하여 담당자가 볼 수 있는 데이터만 반환하고 다른 모든 항목을 NULL로 마스킹합니다.
11. 컨텍스트 및 메모리 관리
모범 사례에는 세션 메모리를 장기 메모리와 분리, 저장된 메모리 암호화, 보존 정책 정의, 메모리 삭제 지원, 메모리 업데이트 버전 지정, 불필요한 개인 정보 저장 방지 등이 포함됩니다. 개인 정보 보호 규정을 준수하면서 미래의 작업 성능을 향상시키는 정보만 지속합니다.
실제 은행 예: 대출 서비스 에이전트는 은행의 Oracle AI Database 연결 풀에서 지원하는 단일 OracleAgentMemory 인스턴스를 초기화합니다. 각 고객 상호 작용은 해당 고객의 user_id로 범위가 지정된 스레드가 됩니다.
- 고객이 "앞으로 텍스트로 연락하는 것을 선호합니다"라고 말하면 에이전트는 thread.add_messages(...)를 호출합니다. 이 호출은 원시 대화를 데이터베이스에 기록하고 별도의 추출 단계 없이 기본 컨택트 채널 기본 설정인 내구성 있는 팩트를 자동으로 추출합니다.
- 상담원이 일반 대화 플로우 외부에서 유지하는 정보(예: "고객의 고난 사례가 7월 3일에 전문가에게 에스컬레이션됨")는 thread.add_memory(...)를 사용하여 명시적으로 기록합니다.
- 나중에 호출할 때 에이전트는 memory.search(query=..., scope=SearchScope(user_id=...))를 사용하여 관련 내역을 검색합니다. 이 범위는 메모리 분할을 고객별로 유지합니다. 대출 담당자의 에이전트 세션은 권한이 부여된 범위(에이전트 레벨, 사용자 레벨 또는 팀 레벨) 내에서만 검색할 수 있으며, 권한은 담당자의 엔터프라이즈 ID에서 상속됩니다.
이 설계는 세션 메모리와 장기 메모리 간의 필수 분할에 매핑됩니다. 원시 메시지 내역은 세션 또는 작업 메모리로 작동하며 팩트 및 상태 기능은 내구성 있는 세션 간 메모리로 추출됩니다. 내구성이 뛰어난 메모리는 상담원이 다시 묻지 않고 돌아오는 고객의 선호도를 인식하는 데 도움이 됩니다. 또한 에이전트는 유사성을 사용하여 은행에서 에이전트가 지속되기를 원하지 않는 계정 번호 또는 인증 데이터를 유지하지 않고 이전 어려움 사례와 유사한 새 요청에 플래그를 지정할 수 있습니다.

그림 memory-example.png에 대한 설명
생산 구현: 세션 및 장기 메모리는 모두 Oracle AI Database 26ai에 상주합니다. 추출된 팩트 및 상태는 고유 VECTOR 데이터 유형을 사용하여 저장되고 HNSW 벡터 인덱스로 인덱스화됩니다. Elastic Vector Memory는 메모리가 증가함에 따라 검색 속도를 높입니다. 하이브리드 벡터 인덱스는 의미 및 전체 텍스트 검색을 결합하여 유사성 조회를 강화하고 검색 정확도를 백분율로 조정할 수 있습니다. Governed Access는 암호화, 데이터 마스킹, 활동 감사 등 Oracle의 내장된 데이터베이스 보안을 사용합니다. 권한은 섹션 4에 설명된 것과 동일한 ID 시스템에서 상속됩니다. 보존은 은행의 규제 기간 이후 메모리를 비우는 일정이 잡힌 수명 주기 작업으로 실행됩니다.
12. 책임 있는 AI 가드레일 구축
가드레일을 사용하여 유해한 콘텐츠, 편향 감지, 독성 필터링, 규정 준수 요구 사항, 개인 정보 보호, 지적 재산권 및 규제 의무를 해결합니다. 예외적인 상황에 대한 인간의 감독을 유지합니다.
실제 은행 예: 대출은 엄격하게 규제되는 활동이므로 에이전트는 전송되기 전에 준수 가드레일을 통해 모든 고객 대면 응답을 실행합니다. 가드레일은 필요한 규제 공시(예: 공정한 대출 언어) 및 보호된 클래스에 대한 차별적인 진술로 해석될 수 있는 언어 화면을 확인합니다. 또한 에이전트가 구속력 있는 신용 결정과 유사한 진술을 하지 못하도록 차단하고, 정보가 기록되거나 응답으로 인용되기 전에 개인 식별 정보를 수정합니다.

그림 gurdrails-example.png에 대한 설명
생산 구현: 정책 엔진은 추론 계층과 고객 대면 출력 사이에 위치하며 규정 준수 및 책임 AI 규칙을 최종 체크포인트로 적용합니다. 정책 엔진은 위반을 자동으로 차단하고 고객에게 제시하지 않고 준수 검토자에게 경로 지정합니다.
13. 비용 및 성능 최적화
최적화 기술에는 모델 라우팅, 응답 캐싱, 의미 캐싱, 토큰 최적화, 컨텍스트 압축, 일괄 추론, 스트리밍 응답 및 동적 모델 선택이 포함됩니다. 모든 요청에 사용 가능한 모델이 가장 큰 것은 아닙니다. 각 작업에 적합한 모델을 선택하면 대기 시간과 운영 비용이 절감될 수 있습니다.
실제 은행 예: 단순한 "다음 납부기한은 무엇인가"라는 질문은 시맨틱 캐시가 지원하는 대기 시간이 짧은 소형 모델로 라우팅됩니다. 그 이유는 간단한 조회이기 때문입니다. 정책 문서에 대한 다단계 추론이 필요한 미묘한 재융자 자격요건 질문이 더 큰 모델로 경로 지정됩니다. 이 동적 라우팅은 복잡한 요청에 대한 정확성을 저하시키지 않으면서 에이전트의 평균 응답 비용을 절반 이상 절감합니다.

그림 optim-example.png에 대한 설명
프로덕션 구현: Oracle Enterprise AI Deployment는 동시에 배포된 여러 모델 계층을 지원하며, LangGraph의 라우팅 노드는 인텐트 분류를 기반으로 적절한 계층을 선택하며, 가장 높은 볼륨의 가장 낮은 복잡성 요청 유형 앞에 의미 캐시를 제공합니다.
14. 안전한 배치 연습 구현
권장되는 방법에는 버전 지정 프롬프트 및 워크플로우, 카나리아 배포, 블루/그린 배포, 기능 플래그, 롤백 메커니즘, 구성 관리 및 코드형 인프라(IaC)가 포함됩니다. 애플리케이션 코드와 동일한 프로세스를 사용하여 프롬프트 변경 사항을 검토하고 테스트합니다.
실제 은행 예: 은행이 새로운 재융자 권장 기능을 도입할 때 은행 전체에서 한 번에 기능을 릴리스하지 않습니다. 은행은 1주차에만 내부 대출 담당자, 2주차에는 고객의 5%, 3주차에는 고객의 25%, 4주차에는 모든 고객에게 기능을 단계적으로 배포합니다. 은행은 각 단계에서 오류율을 모니터하고 요율이 정의된 임계값을 초과하는 경우 자동으로 기능을 롤백합니다.

그림 배치에 대한 설명-example.png
프로덕션 구현: Oracle Enterprise AI Deployment는 버전 지정된 모델 엔드포인트를 관리하고, IaC는 개발, 테스트, 프로덕션 전반에 걸쳐 일관된 환경을 프로비저닝하며, 기능 플래그는 기본 모델 배포와 독립적으로 롤아웃을 제어합니다.
15. 비즈니스 성과 측정
작업 완료율, 인적 개입률, 고객 만족도, 해결 시간, 운영 비용 절감, 생산성 향상, 정확성 및 규정 준수율과 같은 비즈니스 중심 KPI를 추적합니다. 이 지표는 비즈니스 가치를 입증하고 지속적인 개선 노력을 안내합니다.
실제 은행 예: 출시 후 6개월 만에 은행은 모델 정확도만으로 측정 가능한 결과를 추적합니다.
| KPI | 에이전트 이전 | 에이전트 후 |
|---|---|---|
| 평균 해상도 시간 | 18분 | 5분 |
| 첫 번째 연락처 해결 | 62% | 87% |
| 인적 에스컬레이션 | 45% | 14% |
| 고객 만족 | 4.1 / 5 | 4.7 / 5 |
| 서비스 상호 작용당 비용 | $8.40 | $2.75 |
이러한 결과는 기술적 성과뿐만 아니라 측정 가능한 비즈니스 가치를 보여줍니다.
생산 구현: OpenTelemetry 메트릭은 은행의 CRM 및 대출 서비스 시스템에서 가져온 비즈니스 KPI와 결합됩니다. 엔지니어링 대시보드는 지연 시간, 토큰 사용, 툴 실패율과 같은 기술 지표와 해결 시간 및 고객 만족과 같은 비즈니스 결과를 연관시킵니다. 이러한 상관관계를 통해 실제 운영 영향에 따라 지속적으로 최적화할 수 있습니다.