13 OCI 생성형 AI(사전 학습된 기반 모델)
Oracle Cloud Infrastructure Generative AI는 완전 관리형 Oracle Cloud Infrastructure 서비스로, 채팅, 텍스트 생성, 요약 및 텍스트 임베딩 생성 등 광범위한 사용 사례를 다루는 최첨단 맞춤형 대규모 언어 모델(LLM) 세트를 제공합니다.
Oracle AI Data Platform 사용자는 필요한 권한이 있고 사전 학습된 모델이 데이터 레이크와 동일한 지역에서 호스팅되는 경우 OCI Generative AI 모델에 액세스할 수 있습니다. 권한에 대한 자세한 내용은 생성형 AI에 대한 접근 권한 얻기를 참조하십시오.
- 사전 학습된 채팅 모델을 사용하여 어떤 용도로든 텍스트를 생성할 수 있습니다.
- 텍스트에서 특정 데이터 부분을 추출합니다.
- 읽기에 너무 긴 문서에 대한 실행 요약을 생성하거나 모든 유형의 텍스트를 요약합니다.
- 텍스트를 미리 정의된 범주로 분류합니다.
또한 SQL 또는 Python과 같은 선택한 언어로 사전 학습된 모델을 사용하여 Spark 데이터 프레임에서 일괄 추론을 실행할 수 있습니다. 사전 학습된 모델에 대한 자세한 내용은 생성형 AI의 사전 학습 기반 모델을 참고하세요.
주:
사용하려는 OCI 생성형 AI 서비스가 해당 지역에서 사용 가능한지 확인합니다. 모델은 영역별 모델이며 지원되지 않는 영역의 모델을 참조하는 스크립트가 작동하지 않을 수 있습니다. 자세한 내용은 생성형 AI 영역을 참조하십시오.OCI Generative AI 사전 요구 사항
- 사용자에게 기본 모델에 대한 USE 권한이 있어야 합니다.
- AI 데이터 플랫폼은 OCI Generative AI 모델이 호스팅되는 리전과 동일합니다.
필요 조건이 충족되면 모델이 default.oci_ai_models 스키마에 나열됩니다. 그런 다음 노트북에서 작업하는 동안 카탈로그 탐색기에 모델을 나열하고 모델을 끌어서 샘플 코드를 생성하거나 배치 추론에 모델을 사용할 수 있습니다. 또는 AI Data Platform 노트북에서 코드를 작성하여 모델을 호출하도록 선택할 수 있습니다.
다음 메소드를 사용하여 OCI 생성형 AI 모델을 호출할 수 있습니다.
SQLselect *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>설명:
- model_name는 호출할 생성형 AI 모델입니다.
default.oci_ai_models.<model_name> - review은 프롬프트를 생성하는 데 사용되는 열 이름입니다.
- sentiment은 출력 열 이름입니다.
- <<catalog_name>>.<<schema_name>>.<<table_name>>은 3부 이름 패턴의 테이블입니다.
df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))- model_name는 호출할 생성형 AI 모델입니다.
default.oci_ai_models.<model_name> - review은 프롬프트를 생성하는 데 사용되는 열 이름입니다.
- sentiment은 출력 열 이름입니다.
- df는 입력 데이터 프레임입니다.
요청 한도
| 설명 | 제한 이름 | 서비스 제한 |
|---|---|---|
| 온디맨드 추론을 위해 컴파트먼트당 허용되는 분당 최대 채팅 요청 수입니다. | 분당 요청 시 최대 채팅 요청 수 | 500 |