LLM 및 임베더

이 페이지에서는 LLM 및 임베더를 Oracle 에이전트 메모리에 연결하는 데 사용되는 추상적 인터페이스를 제공합니다.

LLM 인터페이스

클래스 oracleagentmemory.apis.llms.ILlm

기준: ABC

LLM 호출에 대한 추상 인터페이스입니다.

method generate(개요)

LLM에서 동기적으로 응답을 생성합니다.

method generate_async(개요, 비동기)

LLM에서 비동기적으로 응답을 생성합니다.

LLM 응답

클래스 oracleagentmemory.apis.llms.LlmResponse

기준: object

ILlm에서 반환된 작은 정규화된 응답입니다.

텍스트

기본 생성 텍스트 콘텐츠입니다.

임베더 인터페이스

클래스 oracleagentmemory.apis.IEmbedder

기준: ABC

텍스트 내장자에 대한 추상 인터페이스입니다.

method embed(개요)

텍스트 배치를 2D float32 NumPy 배열에 포함시킵니다.

method embed_async(개요, 비동기)

텍스트 배치를 2D float32 NumPy 배열에 포함시킵니다.

LiteLLM 어댑터

클래스 oracleagentmemory.core.llms.LlmApiType

기준: str, Enum

Llm에 대해 지원되는 OpenAI 호환 API 제품군입니다.

CHAT_COMPLETIONS *= 'CHAT_COMPLETIONS'*

응답 *= '응답'*

클래스 oracleagentmemory.core.llms.Llm

기준: ILlm

모델 응답을 생성하기 위한 어댑터입니다.

LLM 어댑터를 만듭니다.

예제

OCI Generative AI 모델은 LiteLLM의 "oci/..." 모델 식별자를 사용합니다. 일반적인 설정은 LiteLLM 특정 키워드 인수를 통해 표준 OCI 구성 파일에서 OCI API 키 인증 세부 정보를 전달하는 것입니다. The OCI Python SDK is not installed by this package; applications that already depend on it may alternatively pass an oci_signer object.

import configparser
from pathlib import Path
parser = configparser.RawConfigParser()
parser.read(Path("~/.oci/config").expanduser())
cfg = parser["DEFAULT"]
key_file = Path(cfg["key_file"]).expanduser()
oci_llm = Llm(
    model="oci/openai.gpt-oss-120b",
    oci_compartment_id="ocid1.compartment.oc1..example",
    oci_region=cfg.get("region", "us-chicago-1"),
    oci_user=cfg["user"],
    oci_fingerprint=cfg["fingerprint"],
    oci_tenancy=cfg["tenancy"],
    oci_key_file=str(key_file),
)
oci_llm.generate("Reply with OK.")

OpenAI 호스트 모델은 "openai/gpt-5.1" 및 OpenAI API 키와 같은 LiteLLM 모델 식별자를 사용합니다. 채팅 완료는 기본 API 제품군입니다.

openai_llm = Llm(
    model="openai/gpt-5.1",
    api_key="sk-example",
    temperature=0,
    max_tokens=128,
)
openai_llm.model
'openai/gpt-5.1'
openai_llm.generate("Reply with OK.")

채팅 완료 대신 OpenAI 응답 API를 통해 대상 모델을 호출해야 하는 경우 api_type=LlmApiType.RESPONSES를 사용합니다.

responses_llm = Llm(
    model="openai/gpt-5.4",
    api_key="sk-example",
    api_type=LlmApiType.RESPONSES,
    reasoning_effort="high",
    stream=True,
)
responses_llm.model
'openai/gpt-5.4'

vLLM을 포함하여 자체 호스트된 OpenAI 호환 서버는 "openai/..." 모델 식별자와 서버의 /v1 기본 URL로 호출됩니다. 끝점이 인증을 강제 적용하지 않는 경우 "none"와 같은 공칭 api_key를 전달합니다.

vllm_llm = Llm(
    model="openai/openai/gpt-oss-120b",
    api_base="http://localhost:8000/v1",
    api_key="none",
    stream=True,
)
vllm_llm.model
'openai/openai/gpt-oss-120b'
vllm_llm.generate("Reply with OK.")

방법 generate

응답을 생성합니다.

method generate_async(비동기)

비동기적으로 응답을 생성합니다.

클래스 oracleagentmemory.core.embedders.Embedder

기준: IEmbedder

공급자 지원 임베더입니다.

공급자 지원 임베더를 생성합니다.

예제

OCI Generative AI 임베딩 모델은 "oci/..." 모델 식별자를 사용합니다. 일반적인 설정은 LiteLLM 특정 키워드 인수를 통해 표준 OCI 구성 파일에서 OCI API 키 인증 세부 정보를 전달하는 것입니다. OCI Python SDK는 이 패키지에 의해 설치되지 않습니다. 이미 종속된 애플리케이션이 oci_signer 객체를 전달할 수도 있습니다.

import configparser
from pathlib import Path
parser = configparser.RawConfigParser()
parser.read(Path("~/.oci/config").expanduser())
cfg = parser["DEFAULT"]
key_file = Path(cfg["key_file"]).expanduser()
oci_embedder = Embedder(
    model="oci/cohere.embed-english-v3.0",
    oci_compartment_id="ocid1.compartment.oc1..example",
    oci_region=cfg.get("region", "us-chicago-1"),
    oci_user=cfg["user"],
    oci_fingerprint=cfg["fingerprint"],
    oci_tenancy=cfg["tenancy"],
    oci_key_file=str(key_file),
)
oci_embedder.embed(["hello world"])

OpenAI 호스팅 임베딩 모델은 OpenAI API 키와 함께 "openai/text-embedding-3-small"와 같은 식별자를 사용합니다.

openai_embedder = Embedder(
    model="openai/text-embedding-3-small",
    api_key="sk-example",
    truncate_prompt_tokens=8192,
)
openai_embedder.model
'openai/text-embedding-3-small'
openai_embedder.embed(["hello world"])

vLLM을 포함하여 자체 호스트된 OpenAI 호환 임베딩 서버는 "hosted_vllm/..." 제공자 접두어를 서버의 /v1 기본 URL과 함께 사용합니다.

vllm_embedder = Embedder(
    model="hosted_vllm/sentence-transformers/all-MiniLM-L6-v2",
    api_base="http://localhost:8000/v1",
)
vllm_embedder.model
'hosted_vllm/sentence-transformers/all-MiniLM-L6-v2'
vllm_embedder.embed(["hello world"])

방법 embed

구성된 제공자를 사용하여 텍스트 일괄 처리를 포함합니다.

method embed_async(비동기)

구성된 제공자를 사용하여 텍스트 일괄 처리를 비동기적으로 포함합니다.