청사진 배치

OCI 테넌시에 대한 액세스 권한이 있고 충분한 CPU/GPU 인스턴스를 제공할 수 있는 관리자 권한이 있는지 확인하십시오.

  1. 아래의 Terraform 모듈을 사용하여 OKE 클러스터를 설치합니다. 단일 노드 풀이 있는 OKE 클러스터는 6개의 워커 노드로 생성됩니다.
    1. 아래의 Oracle Cloud에 배포를 클릭하십시오.

      Oracle Cloud에 배포

      아직 사인인하지 않은 경우 테넌시 및 사용자 인증서를 입력합니다.

    2. 스택에 name을 지정합니다(예: oke-stack).
    3. OCI AI Blueprint를 배포할 구획을 선택합니다.
    4. 환경설정에 따라 추가 매개변수(예: 노드 크기, 노드 수)를 제공하십시오.
    5. 다음, 생성 순으로 누르고 마지막으로 적용 실행을 눌러 클러스터를 프로비전합니다.
  2. Oracle Cloud Infrastructure 콘솔에 사인인하고 홈 페이지에서 스토리지를 누른 다음 오브젝트 스토리지에서 버킷을 누릅니다. OCI AI Blueprints 배치에 사용할 버킷 이름을 제공합니다.

    생성한 버킷을 누르고 리소스 아래의 PAR(사전 인증된 요청) 링크를 누릅니다. PAR의 이름을 지정하고, 액세스 유형을 객체 읽기 및 쓰기 허용으로 변경하고, 사전 인증된 요청을 누릅니다. 완료되면 PAR URL을 복사하고 CPU 추론 청사진을 배치할 때 필요한 위치에 저장합니다.

  3. 새 OKE 클러스터에 OCI AI Blueprint를 설치합니다. 배포가 성공하면 OCI AI Blueprints 콘솔에 액세스할 수 있는 URL이 제공됩니다.

    Oracle Cloud에 배포

  4. OCI AI Blueprints 메인 페이지에는 Blueprint Binary 아래에 배포할 수 있는 몇 가지 청사진이 있습니다. 아래로 스크롤하여 CPU 추론 아래에서 배포를 누릅니다.
    1. 실수로 CPU 추론 및 VM-Standard.E4을 선택합니다. Flex 옵션.

      기본 매개변수를 사용하고 위에서 생성한 사전 인증된 요청 URL을 변경합니다. 매개변수 구성 섹션에서 값을 변경하지 마십시오.

      매개변수는 다음과 같습니다. 

      "recipe_container_env": [
{

"key": "MODEL_NAME",

"value": "mistral"

},

{

"key": "PROMPT",

"value": "What is the capital of Spain?"

}

      CPU 추론 청사진을 성공적으로 배치한 후 위 프롬프트의 출력이 Kubernetes Pod 로그에 표시됩니다.

    2. 청사진 배치를 누릅니다. 청사진이 성공적으로 배치되면 생성 날짜와 노드 수 및 E4 구성과 함께 모니터링의 배치 상태를 나열하는 cpu 추론 mistral E4Flex과 같은 이름이 표시됩니다.
    3. 배포 목록에서 공용 끝점을 사용하여 배치 세부정보로 이동할 cpu 추론 중립 E4Flex 링크를 누릅니다. 퍼블릭 끝점을 누르면 "ollama is running"과 같은 메시지가 표시됩니다.
    4. cpu 추론 mistral E4Flex 페이지로 돌아가서 아래로 스크롤하여 Pod 로그를 생성합니다. 보기 및 로그 세부정보를 누릅니다. 출력 결과를 제공하는 다음과 유사한 페이지가 표시됩니다.

      청사진 Pod 로그 출력의 예를 보여줍니다.