AI 컴퓨트

이 장에서는 Oracle AI Data Platform에서 AI 에이전트 구동을 위한 특수 컴퓨팅 리소스 사용을 다룹니다.

AI 컴퓨트 클러스터를 사용하면 AI 데이터 플랫폼 작업영역에서 에이전트를 호스팅할 수 있습니다. AI 컴퓨팅을 에이전트에 연결하여 플레이그라운드 환경을 실행하고 프로덕션 워크로드를 위해 배포된 에이전트를 호스팅할 수 있습니다.

AI 컴퓨트 위치

AI 데이터 플랫폼의 왼쪽 탐색 창에서 액세스할 수 있는 컴퓨트 페이지에서 AI 컴퓨트를 관리합니다. 작업영역에서 사용 가능한 AI 컴퓨트 클러스터를 보려면 AI 컴퓨트 탭을 누릅니다.


AI Compute 탭이 선택된 상태로 Compute 페이지가 열립니다.

AI 컴퓨트 탭은 현재 선택된 작업영역의 AI 컴퓨트 리소스에 대한 기본 랜딩 페이지입니다. 테이블 작업, 필터링, 정렬 및 상태 정보를 제공합니다.

열 또는 컨트롤 용도
Filter 테이블에서 이름 또는 보이는 텍스트로 리소스를 검색합니다.
더하기(+) 새 AI 컴퓨트 생성을 시작합니다.
삭제 선택한 AI 컴퓨트를 제거합니다.
AI 컴퓨트 이름 컴퓨트 리소스의 이름입니다. AI 컴퓨트 이름을 눌러 리소스 세부정보 페이지를 엽니다.
시/도 생성, 활성 또는 업데이트와 같은 현재 수명 주기 상태입니다.
복제본 수 AI 컴퓨트와 연관된 컴퓨트 복제본 수입니다. 컴퓨트에 대한 자동 스케일링 정책을 선택하면 최소 및 최대 복제본 수가 나열됩니다.
상담원 수 AI 컴퓨트에서 호스트된 에이전트 수입니다. 상담원이 있을 때 개수가 링크로 표시됩니다. 여기에는 플레이그라운드 호스팅 및 배포된 에이전트 엔드포인트가 포함됩니다.
구성 AI 컴퓨트에서 복제본의 컴퓨트 구성(예: 1 OCPU, 16GB 또는 2 OCPU, 32GB)에 대한 요약입니다.
업데이트 수행자/업데이트 날짜/생성 날짜 가장 최근 업데이트 및 생성 시간에 대한 감사 정보입니다.
작업 메뉴 (...) 선택한 행에 대한 리소스별 작업을 엽니다.

주:

녹색 선택 표시는 활성 리소스를 나타냅니다. 스피너는 생성 또는 업데이트와 같은 진행 중인 작업을 나타냅니다. 운영 작업에 의존하기 전에 자원이 활성 상태가 될 때까지 기다리십시오.

AI 컴퓨트 탭에서 AI 컴퓨트 이름을 누르면 해당 AI 컴퓨트에 대한 자세한 정보를 볼 수 있습니다. AI 컴퓨트 뷰에는 세부정보, 배치된 에이전트, 측정항목 및 권한의 4개 탭이 있습니다.

세부정보 탭

세부정보 탭에는 AI 컴퓨트의 각 복제본에 대해 구성된 구성 및 스토리지가 요약되어 있습니다. AMD는 모든 AI 컴퓨팅에 사용됩니다.


세부정보 탭이 선택된 상태로 AI 컴퓨트 페이지가 열립니다.

세부정보 탭 항목 설명
드라이버 구성 AI 컴퓨트에 대해 선택된 GPU 구성입니다. AMD는 모든 AI 컴퓨트의 드라이버 구성입니다.
OCPU AI 컴퓨트에 대해 선택된 OCPU 수입니다.
메모리(GB) AI 컴퓨팅 메모리(GB)입니다.
블록 볼륨 AI 컴퓨트의 블록 볼륨 크기(GB)입니다.

배치된 에이전트 탭

[배치된 에이전트] 탭에는 AI 컴퓨트 리소스에서 호스트되는 에이전트가 나열됩니다. 에이전트가 배치되지 않은 경우 AI 컴퓨트는 반복적 개발 및 테스트에 필요한 플레이그라운드 경험을 호스팅합니다. 에이전트가 배치되면 AI 계산은 운용 작업 로드에 대한 에이전트 배치 끝점을 호스팅합니다.


Agents 탭이 선택된 상태로 AI Compute 페이지가 열립니다.

배치된 에이전트 탭 항목 설명
에이전트 이름별 필터링 연관된 에이전트 목록을 검색합니다.
에이전트 이름 컴퓨트 리소스와 연관된 에이전트의 이름입니다.
저작 모드 에이전트가 작성된 방식입니다. 시각적 또는 코드의 값입니다.
배치 배치 상태. AI 컴퓨트에서 호스트된 에이전트는 플레이그라운드 상태이거나 배치됨 상태일 수 있습니다.
생성 일자/업데이트 일자/업데이트 수행자 에이전트에 대한 메타데이터를 생성하고 업데이트합니다.

Metrics 탭

Metrics 탭에서는 시간별 CPU, 메모리 및 네트워크 활용률을 검토할 수 있습니다. 이는 복제본, OCPU 또는 메모리를 확장 또는 축소할지 여부를 결정할 때 유용합니다. 스케일 아웃/인 AI 컴퓨트 작업 중에는 다운타임이 없습니다.


Compute Utilization 탭이 선택된 상태로 AI Compute 페이지가 열립니다.

주:

각 시계열은 다른 복제본에 해당합니다. 예를 들어, 두 개의 복제본으로 AI 컴퓨트를 생성하는 경우 위의 스크린샷과 같이 두 개의 시계열이 표시됩니다.
사용률 계산 탭 항목 설명
적용된 필터링 가동률 뷰에 대한 시작 및 종료 일자/시간을 선택합니다.
보기 측정항목을 선택합니다. 옵션은 다음과 같습니다.
  • CPU 활용률
  • 메모리 활용
  • 네트워크 수신 바이트
  • 네트워크 전송 바이트
기간 사용자정의 기간 또는 최근 7일 중에서 선택합니다.
복제본 ID 측정항목을 특정 복제본 ID로 필터링하거나 모든 컴퓨트 복제본을 표시합니다.
수집 간격 차트의 집계 간격을 선택합니다. 옵션은 자동차, 1 분, 5 분, 15 분, 30 분, 60 분입니다.

권한 탭에서

권한 탭은 이 AI 컴퓨트에 대한 권한이 있는 모든 주체의 테이블을 제공합니다. 이 탭에서는 주체를 추가하거나, 권한 레벨을 변경하거나, 권한을 수정할 수 있습니다.


[권한] 탭이 선택된 상태로 [AI 컴퓨트] 페이지가 열립니다.

권한 탭 항목 설명
주체명 주체 또는 역할의 이름입니다.
주체 유형 주체 유형. 사용자 또는 롤입니다.
권한 설정 권한 레벨입니다.
상속됨 상위 객체에 대해 부여된 권한이 포함된 객체에 권한을 부여합니다.

AI 컴퓨트 생성

AI 컴퓨트 클러스터를 생성하여 Oracle AI Data Platform에서 AI 에이전트를 실행할 수 있습니다.

  1. Home 페이지에서 작업 영역으로 이동합니다.
  2. 생성을 누른 다음 AI 컴퓨트를 누릅니다.
  3. AI 컴퓨트에 대한 이름 및 설명을 제공하십시오.
    사용자가 완료하기 전에 기본값을 보여주는 AI 컴퓨트 생성 대화 상자입니다.

  4. 각 복제본의 OCPU 수를 설정합니다. OCPU 1개, 2개, 4개, 8개, 16개, 32개 또는 64개를 선택할 수 있습니다.
  5. 복제본당 메모리(GB)를 설정합니다. 허용되는 메모리 범위는 OCPU 수에 따라 다릅니다.
    OCPU 메모리
    1 OCPU 16GB 또는 32GB
    2 OCPU 16GB, 32GB 또는 64GB
    4 OCPU 32GB, 64GB 또는 128GB
    8 OCPU 32. 64, 128 또는 256GB
    16 OCPU 64, 128, 256 또는 512GB
    32 OCPU 128, 256 또는 512GB
    64 OCPU 256, 512 또는 1024GB
  6. 수평 자동 스케일링을 사용으로 설정하려면 자동 스케일링을 설정한 후 다음 필드를 구성합니다.
    • 최소 복제본: AI 컴퓨트 클러스터에 지정된 최소 복제본 수를 설정합니다.
    • 최대 복제본 수: AI 컴퓨트 클러스터에 지정된 최대 복제본 수를 설정합니다. 스케일 아웃 이벤트는 복제본 수가 최대 복제본 수에 도달할 때까지 발생합니다.
    • 확장 조건: 초당 API 요청(AI 컴퓨트에 호스트된 모든 에이전트에서 초당 요청 수) 및 복제본 간 평균 CPU 활용률(모든 복제본에서 평균 CPU 활용률, 기본값은 80%)에 대한 임계값을 설정합니다.

      스케일링 조건은 AI 컴퓨트에서 복제본을 추가하거나 제거하는 작업을 시작하는 논리를 사용합니다. True인 경우 스케일링 조건이 스케일 아웃 작업을 시작하고 하나 이상의 컴퓨트 복제본이 추가됩니다. 초당 API 요청이 임계값을 초과하거나 모든 복제본의 평균 CPU 활용률이 임계값을 초과할 때 스케일 아웃 작업이 트리거됩니다.

    • 콜다운 기간: 자동 스케일링이 추가 작업을 수행하지 않는 자동 스케일링 작업 이후의 기간을 설정합니다. 이렇게 하면 짧은 시간 내에 과도한 크기 조정 작업을 방지할 수 있습니다. 최소값은 5분입니다.
  7. 자동 스케일링을 사용 안함으로 설정한 상태로 두면 컴퓨트 복제본 수를 설정합니다. 복제본은 컴퓨트 풀의 크기를 조정합니다. 각 복제본은 AI 컴퓨팅에 호스팅되는 모든 에이전트의 복사본을 호스팅합니다.

    주:

    최대 복제본 수는 10입니다. 복제본 제한을 늘려야 하는 경우 Oracle 담당자에게 문의하십시오.
  8. AI 컴퓨트 구성 비용이 시간당 부과되는 해당 AIDP 단위를 검토합니다.
  9. 생성을 누릅니다. 목록에 새 리소스가 Creating 상태로 나타납니다. 프로비저닝이 완료된 후 상태가 활성으로 변경됩니다.

에이전트에 대한 AI 컴퓨트 생성

에이전트 인터페이스에서 직접 새 AI 컴퓨트 클러스터를 생성하고 즉시 연결할 수 있습니다.

자세한 내용은 AI 컴퓨트를 참조하십시오.
  1. Home 페이지에서 에이전트로 이동합니다.
  2. 컴퓨트를 누른 다음 새 AI 컴퓨트 생성을 누릅니다.
  3. AI 컴퓨트에 대한 이름 및 설명을 제공하십시오.
  4. AI 컴퓨트의 OCPU 수와 메모리 크기를 선택합니다.
  5. 생성을 누릅니다.

에이전트에 기존 AI 컴퓨트 연결

이전에 생성한 AI 컴퓨트 클러스터를 적어도 USE 권한이 있는 에이전트에 연결할 수 있습니다.

  1. Home 페이지에서 에이전트로 이동합니다.
  2. 컴퓨트를 누른 다음 AI 컴퓨트에 연결을 누릅니다.
  3. 목록에서 사용할 AI 컴퓨트를 누릅니다.
    에이전트가 성공적으로 연결되면 AIcompute: (ClusterName) running이 표시됩니다. 이 작업은 최대 몇 분 정도 걸릴 수 있습니다.

AI 컴퓨트 편집

편집 작업을 통해 AI 컴퓨트 클러스터의 구성 설정을 수정할 수 있습니다.

AI 컴퓨트의 OCPU 또는 메모리 변경을 완료하는 데 몇 분 정도 걸릴 수 있습니다. 에이전트에서 장기 실행 질의를 중단할 수도 있습니다.
  1. Home 페이지에서 작업 영역으로 이동합니다.
  2. 컴퓨트를 누른 다음 AI 컴퓨트 탭을 누릅니다.
  3. 수정할 AI 컴퓨트 옆에 있는 작업 3 점 아이콘 작업, 편집 순으로 누릅니다. AI 컴퓨트의 이름을 누른 다음 오른쪽 상단에서 편집을 누를 수도 있습니다.

    컴퓨트 페이지가 AI 컴퓨트 탭에서 열립니다. AI 컴퓨트의 작업 메뉴가 열리고 편집이 강조 표시됩니다.


    AI 컴퓨트 페이지가 열립니다. 화면 오른쪽 위에 있는 Edit(편집) 버튼이 강조 표시됩니다.

  4. 이름, 설명, 컴퓨트 복제본 수, 복제본당 OCPU 수 및 복제본당 메모리를 수정합니다. AI 컴퓨트 변경은 다운타임 없이 완료됩니다.
  5. 업데이트을 누릅니다. 업데이트가 진행 중인 동안 AI 컴퓨트 상태가 업데이트 중으로 표시됩니다.

AI 컴퓨트에서 에이전트 분리

AI 컴퓨트에서 에이전트를 분리할 수 있습니다. AI 컴퓨트를 분리하면 연결된 컴퓨트에서 실행되는 에이전트 코드가 제거되고 테스트가 금지됩니다.

주:

AI 컴퓨트에서 에이전트를 분리해도 에이전트는 삭제되지 않습니다. 동일하거나 다른 AI 컴퓨트에 에이전트를 연결하여 에이전트 구축 및 테스트를 재개할 수 있습니다.
  1. Home 페이지에서 에이전트로 이동합니다.
  2. 컴퓨트를 누른 다음 AI 컴퓨트에서 분리를 누릅니다.

    에이전트 페이지 상단의 자른 이미지입니다. AI 컴퓨트에서 분리가 강조 표시된 컴퓨트 작업 메뉴가 열립니다.

AI 컴퓨트 삭제

사용되지 않거나 더 이상 필요하지 않은 AI 컴퓨트 클러스터를 삭제할 수 있습니다.

  1. 작업영역으로 이동하고 컴퓨트를 누른 다음 AI 컴퓨트 탭을 누릅니다.
  2. 삭제할 AI 컴퓨트 옆에 있는 작업 3 점 아이콘 작업을 누르고 삭제를 누릅니다.
  3. 삭제를 누릅니다.

    Actions 메뉴가 열리고 Delete가 강조 표시된 AI 컴퓨트 페이지

AI 컴퓨트 정지

AI 컴퓨트 클러스터를 정지하여 AI 컴퓨트에서 실행 중인 모든 에이전트를 정지할 수 있습니다. 컴퓨트가 해제되고 측정이 중지됩니다.

컴퓨트에 호스트된 에이전트가 사용 중이 아닐 때마다 AI 컴퓨트를 정지하는 것이 좋습니다.
  1. Home 페이지에서 작업 영역으로 이동합니다.
  2. 컴퓨트를 누른 다음 AI 컴퓨트 탭을 누릅니다.
  3. 정지할 AI 컴퓨트 옆에 있는 작업 3 점 아이콘 작업을 누르고 정지를 누릅니다.

    Actions 메뉴가 있는 AI 컴퓨트 페이지에서 Stop이 강조 표시됨

AI 컴퓨트 시작

이전에 중지된 AI 컴퓨트 클러스터를 시작할 수 있습니다.

  1. Home 페이지에서 작업 영역으로 이동합니다.
  2. 컴퓨트를 누른 다음 AI 컴퓨트 탭을 누릅니다.
  3. 시작할 AI 컴퓨트 옆에 있는 작업 3 점 아이콘 작업을 누르고 시작을 누릅니다.

    Actions 메뉴가 열리고 Start가 강조 표시된 AI 컴퓨트 페이지

AI 컴퓨트 재시작

활성 AI 컴퓨트 클러스터를 다시 시작하여 최근 변경사항 또는 업데이트를 선택할 수 있습니다.

주:

활성 컴퓨트에 호스트된 에이전트는 재시작 시 중단됩니다.
  1. Home 페이지에서 작업 영역으로 이동합니다.
  2. 컴퓨트를 누른 다음 AI 컴퓨트 탭을 누릅니다.
  3. 시작할 AI 컴퓨트 옆에 있는 작업 3 점 아이콘 작업을 누르고 다시 시작을 누릅니다.

    Actions 메뉴가 열리고 Restart가 강조 표시된 AI 컴퓨트 페이지