AI 컴퓨트

23 AI 컴퓨팅

이 장에서는 Oracle AI Data Platform Workbench에서 AI 에이전트에 전원을 공급하기 위한 특수 컴퓨팅 리소스 사용을 다룹니다.

AI 컴퓨트 클러스터를 사용하면 AI 데이터 플랫폼 워크벤치 작업영역에서 에이전트를 호스팅할 수 있습니다. AI 컴퓨팅을 에이전트에 연결하여 플레이그라운드 환경을 실행하고 프로덕션 워크로드를 위해 배포된 에이전트를 호스팅할 수 있습니다.

AI 컴퓨트 위치

AI 데이터 플랫폼 워크벤치의 왼쪽 탐색 창에서 액세스할 수 있는 컴퓨트 페이지에서 AI 컴퓨트를 관리합니다. 작업영역에서 사용 가능한 AI 컴퓨트 클러스터를 보려면 AI 컴퓨트 탭을 누릅니다.

AI Compute 탭이 선택된 상태로 Compute 페이지가 열립니다.

AI 컴퓨트 탭은 현재 선택된 작업영역의 AI 컴퓨트 리소스에 대한 기본 랜딩 페이지입니다. 테이블 작업, 필터링, 정렬 및 상태 정보를 제공합니다.

열 또는 컨트롤	용도
Filter	테이블에서 이름 또는 보이는 텍스트로 리소스를 검색합니다.
더하기(+)	새 AI 컴퓨트 생성을 시작합니다.
삭제	선택한 AI 컴퓨트를 제거합니다.
AI 컴퓨트 이름	컴퓨트 리소스의 이름입니다. AI 컴퓨트 이름을 눌러 리소스 세부정보 페이지를 엽니다.
시/도	생성, 활성 또는 업데이트와 같은 현재 수명 주기 상태입니다.
복제본 수	AI 컴퓨트와 연관된 컴퓨트 복제본 수입니다.
상담원 수	AI 컴퓨트에서 호스트된 에이전트 수입니다. 상담원이 있을 때 개수가 링크로 표시됩니다.
구성	AI 컴퓨트에서 복제본의 컴퓨트 구성(예: 1 OCPU, 16GB 또는 2 OCPU, 32GB)에 대한 요약입니다.
업데이트 수행자/업데이트 날짜/생성 날짜	가장 최근 업데이트 및 생성 시간에 대한 감사 정보입니다.
작업 메뉴 (...)	선택한 행에 대한 리소스별 작업을 엽니다.

주:

녹색 선택 표시는 활성 리소스를 나타냅니다. 스피너는 생성 또는 업데이트와 같은 진행 중인 작업을 나타냅니다. 운영 작업에 의존하기 전에 자원이 활성 상태가 될 때까지 기다리십시오.

AI 컴퓨트 탭에서 AI 컴퓨트 이름을 누르면 해당 AI 컴퓨트에 대한 자세한 정보를 볼 수 있습니다. AI 컴퓨트 뷰에는 에이전트, 세부정보, 컴퓨트 활용률 및 권한의 4개 탭이 있습니다.

에이전트 탭

[에이전트] 탭에는 AI 컴퓨트 리소스에 호스트된 에이전트가 나열됩니다. 에이전트가 배치되지 않은 경우 AI 컴퓨트는 반복적 개발 및 테스트에 필요한 플레이그라운드 경험을 호스팅합니다. 에이전트가 배치되면 AI가 운용 작업 로드에 대한 에이전트 배치 끝점을 호스팅합니다.

에이전트 탭 항목	설명
에이전트 이름별 필터링	연관된 에이전트 목록을 검색합니다.
에이전트 이름	컴퓨트 리소스와 연관된 에이전트의 이름입니다.
저작 모드	에이전트가 작성된 방식입니다. 시각적 또는 코드의 값입니다.
배치	배치 상태. AI 컴퓨트에 호스트된 에이전트는 배치할 수 없거나(플레이그라운드가 AI 컴퓨트에 호스트됨) 배치할 수 없습니다(컴퓨트가 에이전트의 배치 끝점을 호스트하는 경우).
URI/URI 상태	에이전트가 배치되고 URI가 있는 경우 끝점 URI 정보입니다.
AI 컴퓨트	에이전트의 운용 끝점과 연관된 컴퓨트입니다.
생성 일자/업데이트 일자/업데이트 수행자	에이전트에 대한 메타데이터를 생성하고 업데이트합니다.

세부정보 탭

세부정보 탭에는 AI 컴퓨트의 각 복제본에 대해 구성된 구성 및 스토리지가 요약되어 있습니다.

세부정보 탭 항목	설명
드라이버 구성	AI 컴퓨트에 대해 선택된 GPU 구성입니다. AMD는 모든 AI 컴퓨트의 드라이버 구성입니다.
OCPU	AI 컴퓨트에 대해 선택된 OCPU 수입니다.
메모리(GB)	AI 컴퓨팅 메모리(GB)입니다.
블록 볼륨	AI 컴퓨트의 블록 볼륨 크기(GB)입니다.

사용률 계산 탭

Compute utilization(컴퓨트 활용률) 탭에서는 시간별 CPU, 메모리 및 네트워크 활용률을 검토할 수 있습니다. 이는 복제본, OCPU 또는 메모리를 확장 또는 축소할지 여부를 결정할 때 유용합니다. 스케일 아웃/인 AI 컴퓨트 작업 중에는 다운타임이 없습니다.

Compute Utilization 탭이 선택된 상태로 AI Compute 페이지가 열립니다.

주:

각 시계열은 다른 복제본에 해당합니다. 예를 들어, 두 개의 복제본으로 AI 컴퓨트를 생성하는 경우 위의 스크린샷과 같이 두 개의 시계열이 표시됩니다.

사용률 계산 탭 항목	설명
적용된 필터링	가동률 뷰에 대한 시작 및 종료 일자/시간을 선택합니다.
보기	측정항목을 선택합니다. 옵션은 다음과 같습니다. CPU 활용률 메모리 활용 네트워크 수신 바이트 네트워크 전송 바이트
기간	사용자정의 기간 또는 최근 7일 중에서 선택합니다.
복제본 ID	측정항목을 특정 복제본 ID로 필터링하거나 모든 컴퓨트 복제본을 표시합니다.
수집 간격	차트의 집계 간격을 선택합니다. 옵션은 자동차, 1 분, 5 분, 15 분, 30 분, 60 분입니다.

권한 탭에서

권한 탭은 이 AI 컴퓨트에 대한 권한이 있는 모든 주체의 테이블을 제공합니다. 이 탭에서는 주체를 추가하거나, 권한 레벨을 변경하거나, 권한을 수정할 수 있습니다.

권한 탭 항목	설명
주체명	주체 또는 역할의 이름입니다.
주체 유형	주체 유형. 사용자 또는 롤입니다.
권한 설정	권한 레벨입니다.
상속됨	상위 객체에 대해 부여된 권한이 포함된 객체에 권한을 부여합니다.

AI 클러스터 생성

AI 컴퓨팅 클러스터를 생성하여 AI 데이터 플랫폼에서 AI 에이전트를 실행할 수 있습니다.

Home 페이지에서 작업 영역으로 이동합니다.
생성을 누른 다음 AI 컴퓨트를 누릅니다.
AI 컴퓨트 클러스터에 대한 이름 및 설명을 제공하십시오.
컴퓨트 복제본 수를 설정합니다. 복제본은 컴퓨트 풀의 크기를 조정합니다. 각 복제본은 AI 컴퓨팅에 호스팅되는 모든 에이전트의 복사본을 호스팅합니다.

주:
최대 복제본 수는 10입니다. 복제본 제한을 늘려야 하는 경우 Oracle 담당자에게 문의하십시오.
각 복제본의 OCPU 수를 설정합니다. OCPU 1개, 2개, 4개, 8개, 16개, 32개 또는 64개를 선택할 수 있습니다.

복제본당 메모리(GB)를 설정합니다. 허용되는 메모리 범위는 OCPU 수에 따라 다릅니다.

OCPU	메모리
1 OCPU	16GB 또는 32GB
2 OCPU	16GB, 32GB 또는 64GB
4 OCPU	32GB, 64GB 또는 128GB
8 OCPU	32. 64, 128 또는 256GB
16 OCPU	64, 128, 256 또는 512GB
32 OCPU	128, 256 또는 512GB
64 OCPU	256, 512 또는 1024GB

해당 AI 컴퓨트 구성 비용이 시간당 부과되는 해당 AIDP 단위를 검토합니다.
생성을 누릅니다. 목록에 새 리소스가 Creating 상태로 나타납니다. 프로비저닝이 완료된 후 상태가 활성으로 변경됩니다.

AI 클러스터 편집

편집 작업을 통해 AI 컴퓨트의 구성 설정을 수정할 수 있습니다.

AI 컴퓨트 클러스터의 OCPU 또는 메모리 변경을 완료하는 데 몇 분 정도 걸릴 수 있습니다. 에이전트에서 장기 실행 질의를 중단할 수도 있습니다.

Home 페이지에서 작업 영역으로 이동합니다.
컴퓨트를 누른 다음 AI 컴퓨트 탭을 누릅니다.
수정할 AI 컴퓨트 클러스터 옆에 있는 작업, 편집 순으로 누릅니다. AI 컴퓨트의 이름을 누른 다음 오른쪽 상단에서 편집을 누를 수도 있습니다.
이름, 설명, 컴퓨트 복제본 수, 복제본당 OCPU 수 및 복제본당 메모리를 수정합니다. AI 컴퓨트 변경은 다운타임 없이 완료됩니다.
업데이트을 누릅니다. 업데이트가 진행 중인 동안 AI 컴퓨트 상태가 업데이트 중으로 표시됩니다.