Oracle Cloud Infrastructure AI Agent Platform을 사용하여 AI 기반 채팅 라우터 구축

소개

이 사용지침서에서는 OCI ADK(Oracle Cloud Infrastructure Agent Development Kit)를 사용하여 OCI 생성형 AI 서비스에 호스팅된 LLM에 대한 컨텍스트를 기반으로 사용자 입력을 라우팅하는 Oracle Cloud Infrastructure(OCI) AI 에이전트를 구축하는 방법을 설명합니다. OCI 서비스 논리를 도구로 패키지화하고, 자연어를 해석하는 AI 에이전트를 생성하고, 컨텍스트에 따라 효과적으로 답변을 얻는 방법을 배웁니다. 이를 통해 AI 에이전트를 사용하여 OCI 내에서 호스팅되는 LLM을 최대한 활용할 수 있습니다.

이 자습서의 일부로 백엔드에서 두 개의 LLM만 사용합니다. 사용자의 입력이 콘텐츠 생성 또는 텍스트 요약을 기반으로 하는 경우 해당 입력이 Llama 3.3 70B로 전송됩니다. 사용자의 입력이 코딩 또는 수학에 관한 것이면 OCI Generative AI 서비스에서 호스팅되는 Llama 4 Maverick으로 전송됩니다.

참고:

기본 OCI 운영 및 Python 개발에 대한 친숙도는 유용하지만 필수는 아닙니다.

OCI 사용자 및 서비스 계정에 OCI 내 OCI Generative AI 서비스 및 에이전트 끝점에 액세스할 수 있는 권한이 있는지 확인하십시오.

첫번째 AI 에이전트를 설정한 후에는 OCI ADK 툴킷 인터페이스를 사용하여 정의하고 등록함으로써 추가 OCI 서비스를 처리할 수 있는 새로운 툴로 간편하게 확장할 수 있습니다.

목표

OCI AI 에이전트 및 OCI ADK의 아키텍처 및 워크플로우를 이해합니다.
커스텀 툴킷 개발
컨텍스트에 따라 최상의 답변을 제공하는 AI 에이전트를 구성, 등록 및 실행합니다.
AI 에이전트를 사용하여 OCI Generative AI 채팅 서비스를 사용할 수 있습니다.
OCI ADK를 사용하여 OCI 서비스와 유사한 에이전트를 개발하기 위해 이 학습을 재사용합니다.

필수 조건

uv 설치: OS에 따라 다음 명령을 사용하여 uv를 설치합니다.

macOS/Linux:

curl -LsSf https://astral.sh/uv/install.sh | sh

Windows:

powershell -c "irm https://astral.sh/uv/install.ps1 | iex"

가상 환경 생성: 프로젝트 디렉토리로 이동하고 uv 명령을 사용하여 가상 환경을 생성합니다.
```
uv venv
```
가상 환경 활성화: 가상 환경을 활성화합니다.
- macOS/Linux:
```
source .venv/bin/activate
```
- Windows:
```
.venv\Scripts\activate
```
필요한 패키지 설치: uv 명령을 사용하여 필요한 패키지를 설치합니다.
```
uv pip install oci "oci[adk]" rich pydantic docstring_parser
```
다음 사항이 있는지 확인합니다.
- 적합한 OCI 인증서 및 구성입니다. 자세한 내용은 구성 파일 설정을 참조하십시오.
- OCI 생성형 AI 서비스에 대한 액세스를 허용하고 에이전트 엔드포인트를 등록 및 사용할 수 있는 Oracle Cloud Infrastructure Identity and Access Management(OCI IAM) 정책.
- 사용 가능한 OCI 에이전트 끝점 또는 생성 기능입니다.

작업 1: OCI 콘솔에서 OCI AI 에이전트 생성

Oracle Cloud Infrastructure AI Agent Platform(OCI AI Agent Platform)을 사용하면 사용자 질문을 해석하고, 조치를 계획하고, OCI API에 대한 커스텀 또는 내장 도구(기술)를 호출할 수 있는 지능형 어시스턴트를 생성할 수 있습니다. 각 도구는 특정 메소드가 포함된 Python 클래스로 패키지화되어 OCI ADK의 도구 등록 시스템을 확인합니다.

OCI 콘솔에 로그인하고 생성형 AI 에이전트로 이동한 다음 에이전트 생성을 누릅니다.
기본 정보 섹션에서 이름 및 시작 메시지를 입력합니다. 이 자습서의 일부로 경로 지정 지침은 비워 둡니다. 다음을 누릅니다.
도구 추가 섹션에서 도구를 생성하지 마십시오. OCI ADK를 사용하여 생성합니다.
에이전트 끝점 설정 섹션에서 가드레일을 선택합니다.
에이전트 생성을 누릅니다.

주요 개념

에이전트: AI 기반 인터프리터 및 통합관리자입니다.
도구/툴킷: 하나 이상의 작업이 에이전트에 노출된 클래스(@tool)입니다.
에이전트 엔드포인트: 런타임 및 연결을 제공하는 OCI 리소스입니다.
에이전트 클라이언트: 에이전트 끝점 통신용 Python 클라이언트입니다.

주: 에이전트는 여러 툴킷(예: Oracle Cloud Guard, 구획)에서 사용자 요청을 라우팅하고 필요에 따라 다단계 작업을 작성할 수 있습니다.

작업 2: OCI ADK를 로컬로 설정

Oracle Cloud Guard 작업을 노출하는 툴을 정의하는 Python 클래스를 작성합니다. 각 함수는 @tool로 주석 처리되며 에이전트에서 자연어로 호출할 수 있습니다.

에이전트 파일에서 인증 업데이트

인증 유형(auth_type)을 업데이트하고, AI 에이전트 끝점이 생성된 구성 profile 및 region를 선택합니다.
get_config.py에서도 끝점 OCID(agent_endpoint_id)를 업데이트합니다.

작업 3. AI 에이전트 실행

다음 파일을 다운로드하고 동일한 디렉토리에 저장합니다.
요구 사항에 따라 oci_ai_route.py 파일의 입력을 갱신합니다.
다음 명령을 사용하여 oci_ai_route.py 파일을 실행합니다.
```
uv run oci_ai_route.py 
```
컨텍스트에 따라 필요한 모델이 호출되고 콘텐츠가 생성됩니다.

주: 웹 애플리케이션 또는 애플리케이션에 추가된 oci_ai_route.py에서 agent.run()을 사용하여 이 에이전트를 호출할 수 있습니다.

승인

작성자 - Mukund Murali(Principal Cloud Architect)

추가 학습 자원

docs.oracle.com/learn에서 다른 랩을 탐색하거나 Oracle Learning YouTube 채널에서 더 많은 무료 학습 콘텐츠에 액세스하세요. 또한 education.oracle.com/learning-explorer를 방문하여 Oracle Learning Explorer가 되십시오.

제품 설명서는 Oracle Help Center를 참조하십시오.

제목 및 저작권 정보

Build an AI Powered Chat Router Using Oracle Cloud Infrastructure AI Agent Platform

G38669-01