17 OCI 생성형 AI(사전 학습된 기반 모델)

생성형 AI는 채팅, 텍스트 생성, 요약, 텍스트 임베딩 생성 등 광범위한 사용 사례를 다루는 최첨단 맞춤형 대규모 언어 모델(LLM) 세트를 제공하는 완전 관리형 Oracle Cloud Infrastructure 서비스입니다.

Oracle AI Data Platform Workbench 사용자는 필요한 권한이 있고 사전 학습된 모델이 데이터 레이크와 동일한 지역에서 호스팅되는 경우 생성형 AI 모델에 액세스할 수 있습니다. 권한에 대한 자세한 내용은 생성형 AI에 대한 접근 권한 얻기를 참조하십시오. 생성형 AI 모델의 호스팅 위치에 대한 자세한 내용은 생성형 AI를 활용한 지역을 참고하세요.

다음과 같은 사용 사례에 AI Data Platform Workbench의 생성형 AI 모델을 사용할 수 있습니다.
  • 사전 학습된 채팅 모델을 사용하여 어떤 용도로든 텍스트를 생성할 수 있습니다.
  • 텍스트에서 특정 데이터 부분을 추출합니다.
  • 읽기에 너무 긴 문서에 대한 실행 요약을 생성하거나 모든 유형의 텍스트를 요약합니다.
  • 텍스트를 미리 정의된 범주로 분류합니다.

또한 SQL 또는 Python과 같은 선택한 언어로 사전 학습된 모델을 사용하여 Spark 데이터 프레임에서 일괄 추론을 실행할 수 있습니다. 사전 학습된 모델에 대한 자세한 내용은 생성형 AI의 사전 학습 기반 모델을 참고하세요.

생성형 AI의 필수 조건

AI 데이터 플랫폼 워크벤치에서 생성형 AI를 사용하려면 다음 필수 조건을 충족해야 합니다.
  • 사용자에게 기본 모델에 대한 USE 권한이 있어야 합니다.
  • 생성형 AI 모델이 호스팅되는 리전과 동일한 AI 데이터 플랫폼

필요 조건이 충족되면 모델이 default.oci_ai_models 스키마에 나열됩니다. 그런 다음 노트북에서 작업하는 동안 카탈로그 탐색기에 모델을 나열하고 모델을 끌어서 샘플 코드를 생성하거나 배치 추론에 모델을 사용할 수 있습니다. 또는 AI Data Platform Workbench 노트북에서 코드를 작성하여 모델을 호출하도록 선택할 수도 있습니다.

다음 메소드를 사용하여 생성형 AI 모델을 호출할 수 있습니다.

SQL
select *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>

설명:

  • model_name는 호출할 생성형 AI 모델입니다. default.oci_ai_models.<model_name>
  • review은 프롬프트를 생성하는 데 사용되는 열 이름입니다.
  • sentiment은 출력 열 이름입니다.
  • <<catalog_name>>.<<schema_name>>.<<table_name>>은 3부 이름 패턴의 테이블입니다.
PySpark
df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))
설명:
  • model_name는 호출할 생성형 AI 모델입니다. default.oci_ai_models.<model_name>
  • review은 프롬프트를 생성하는 데 사용되는 열 이름입니다.
  • sentiment은 출력 열 이름입니다.
  • df는 입력 데이터 프레임입니다.

요청 한도

설명 제한 이름 서비스 제한
온디맨드 추론을 위해 컴파트먼트당 허용되는 분당 최대 채팅 요청 수입니다. 분당 요청 시 최대 채팅 요청 수 500