엔터프라이즈 AI 기능을 사용한 TEN 프레임워크 배치 정보
인간-AI 음성 대화의 폭넓은 채택의 가장 큰 장애물 중 두 가지는 대기 시간(또는 지연)과 빠르게 변화하는 대역폭 및 높은 패킷 손실과 같은 무선 마지막 마일 문제입니다. 인터넷을 위한 실시간 오버레이 네트워크인 Agora의 SD-RTN(Software-Defined Real-Time Network)은 지능형 라우팅과 최후의 마일 최적화를 통해 최고 품질과 최저 대기 시간을 보장합니다. Agora의 실시간 네트워크 인프라를 음성 기반 대화형 AI에 적용하면 인간은 인간과 동일한 방식으로 AI와 상호 작용할 수 있습니다.
TEN 프레임워크는 실시간 네트워크 기반구조를 제공합니다. TEN Agent는 Apache 2.0 오픈 소스 라이선스에 따라 라이선스가 부여되며, TEN Framework는 하이브리드 오픈 소스 라이선스를 사용합니다. TEN의 주요 후원자인 Agora는 프레임워크를 통해 구축된 대화형 AI 서비스를 제공합니다. OCI는 컴퓨팅 성능을 제공하고 Oracle Autonomous Database Select AI는 RAG 기능을 지원합니다. LLM을 사용하면 자연어 프롬프트를 통해 개인 데이터를 기반으로 인사이트를 확보하거나 혁신적인 콘텐츠를 생성할 수 있습니다.
구조
이 아키텍처는 AI 인프라에 Oracle 및 Agora의 AI 기술을 사용하는 멀티모달 음성 에이전트 모델을 만드는 방법을 보여줍니다.
다음 다이어그램은 계단식 멀티모달 AI 음성 에이전트 모델의 예입니다.
그림 multimodal-voice-agents.png에 대한 설명
이 모델은 LLM(대형 언어 모델)에서 오디오 및 비디오를 처리하는 방법을 보여주며 다음 구성 요소를 포함합니다.
- OCI VM에 배포된 LLM
- 음성 텍스트(STT)
- 텍스트-음성(TTS)
AI 인프라에는 AI 작업의 까다로운 계산 요구를 지원하기 위해 특별히 설계된 기본 하드웨어 및 소프트웨어 시스템이 포함되어 있습니다. AI 인프라를 단일 OCI 리전에 배포하거나, 프로세싱 파워가 지리적으로 분산된 여러 데이터 센터에 분산되어 있는 멀티클라우드 아키텍처를 배포하여 애플리케이션 및 데이터를 유연하게 배포할 수 있습니다.
다음 다이어그램은 VM에 TEN(Transformative Extensions Network) 에이전트가 설치된 단일 OCI 리전입니다.
그림 oci-ten-agent-deploy.png에 대한 설명
oci-ten-agent-deploy-oracle.zip
대용량 데이터 세트에 대한 처리 속도 및 확장성을 높이기 위해 멀티클라우드 인프라를 배포하여 여러 컴퓨팅 노드에서 AI 알고리즘을 실행합니다. OCI 리전 또는 멀티클라우드 아키텍처와 함께 분산형 AI 아키텍처를 사용할 수 있습니다. 분산형 클라우드는 멀티클라우드의 기능을 활용하여 대규모 AI 작업을 작은 부분으로 분할하고 여러 노드에서 동시에 실행합니다. 또한 대규모 데이터세트에서 복잡한 AI 모델을 더 빠르게 교육할 수 있습니다. 그러나 여러 노드에서 데이터 일관성을 관리하고 계산을 조정하는 데 어려움이 있습니다.
다음 아키텍처는 Google Cloud 및 OCI와 함께 멀티클라우드 솔루션을 사용합니다. Google Kubernetes Engine(GKE)은 전체 교육 및 추론 프로세스를 통합관리하는 동시에 컴퓨팅 집약적인 부분을 온디맨드 OCI AI 인프라로 오프로드합니다.
그림 oci-google-multiregion.png에 대한 설명
oci-google-multiregion-oracle.zip
아키텍처는 다음 구성 요소를 지원합니다.
- 지역
Oracle Cloud Infrastructure 리전은 가용성 도메인이라고 하는 데이터 센터가 하나 이상 포함된 지역화된 지리적 영역입니다. 지역은 다른 지역과 독립적이며, 먼 거리가 그들을 분리 할 수 있습니다 (국가 또는 대륙에 걸쳐).
- 가용성 도메인
가용성 도메인은 한 지역 내의 독립형 독립 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 결함 허용을 제공하는 다른 가용성 도메인의 리소스와 격리됩니다. 가용성 도메인은 전원, 냉각 또는 내부 가용성 도메인 네트워크와 같은 인프라를 공유하지 않습니다. 따라서 한 가용성 도메인의 장애가 해당 영역의 다른 가용성 도메인에 영향을 미치지 않아야 합니다.
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 Oracle Cloud Infrastructure 지역에서 설정한 맞춤형 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN을 통해 네트워크 환경을 제어할 수 있습니다. VCN에는 VCN 생성 후 변경할 수 있는 겹치지 않는 CIDR 블록이 여러 개 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있습니다. 서브넷은 지역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 서브넷 생성 후 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- 결함 도메인
장애 도메인은 가용성 도메인 내의 하드웨어 및 인프라 그룹입니다. 가용성 도메인에는 독립적인 전원 및 하드웨어를 갖춘 3개의 장애 도메인이 있습니다. 여러 결함 도메인에 리소스를 분배할 때 응용 프로그램은 결함 도메인 내의 물리적 서버 오류, 시스템 유지 관리 및 전원 오류를 허용할 수 있습니다.
- 로드 밸런서
Oracle Cloud Infrastructure Load Balancing은 단일 시작점에서 여러 서버로 트래픽을 자동으로 배포합니다.
- Autonomous Database
Oracle Autonomous Database는 트랜잭션 처리 및 데이터 웨어하우징 워크로드에 사용할 수 있는 완전 관리형 사전 구성 데이터베이스 환경입니다. 하드웨어를 구성 또는 관리하거나 소프트웨어를 설치할 필요가 없습니다. Oracle Cloud Infrastructure는 데이터베이스 생성, 백업, 패치, 업그레이드 및 튜닝을 처리합니다.
- ID 및 액세스 관리
Oracle Cloud Infrastructure Identity and Access Management(IAM)는 Oracle Cloud Infrastructure(OCI) 및 Oracle Cloud Applications에 대한 사용자 액세스 제어를 제공합니다. IAM API 및 사용자 인터페이스를 통해 ID 도메인 및 ID 도메인 내의 리소스를 관리할 수 있습니다. 각 OCI IAM ID 도메인은 독립형 ID 및 액세스 관리 솔루션 또는 다른 사용자 모집단을 나타냅니다.
- 정책
Oracle Cloud Infrastructure Identity and Access Management 정책은 누가 어떤 리소스에 액세스할 수 있는지, 어떻게 액세스할 수 있는지 지정합니다. 그룹 및 구획 레벨에서 액세스가 부여됩니다. 즉, 특정 구획 내에서 또는 테넌시에 특정 유형의 액세스 권한을 그룹에 제공하는 정책을 작성할 수 있습니다.
- 감사
Oracle Cloud Infrastructure Audit 서비스는 지원되는 모든 Oracle Cloud Infrastructure API(퍼블릭 애플리케이션 프로그래밍 인터페이스) 끝점에 대한 호출을 로그 이벤트로 자동 기록합니다. 모든 OCI 서비스는 Oracle Cloud Infrastructure Audit의 로깅을 지원합니다.
- 로깅Oracle Cloud Infrastructure Logging은 클라우드 리소스의 다음 로그 유형에 대한 액세스를 제공하는 확장성이 뛰어난 완전 관리형 서비스입니다.
- 감사 로그: OCI Audit으로 생성된 이벤트와 관련된 로그입니다.
- 서비스 로그: OCI API Gateway, OCI Events, OCI Functions, OCI Load Balancing, OCI Object Storage, VCN 흐름 로그 등 개별 서비스가 게시한 로그입니다.
- 커스텀 로그: 커스텀 애플리케이션, 다른 클라우드 제공업체 또는 온프레미스 환경의 진단 정보를 포함하는 로그.
- 오브젝트 스토리지
Oracle Cloud Infrastructure Object Storage를 사용하면 데이터베이스 백업, 분석 데이터, 이미지 및 비디오와 같은 리치 콘텐츠 등 모든 콘텐츠 유형의 대량의 구조적 및 비구조적 데이터에 빠르게 액세스할 수 있습니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 안전하고 안전하게 데이터를 저장하고 검색할 수 있습니다. 성능 또는 서비스 안정성이 저하되지 않고 스토리지를 확장할 수 있습니다. 빠르고 즉각적이며 자주 액세스하는 데 필요한 "핫" 스토리지에 표준 스토리지를 사용합니다. 장기간 보존하고 거의 또는 거의 액세스하지 않는 "콜드" 스토리지에 아카이브 스토리지를 사용합니다.
- 인터넷 게이트웨이
인터넷 게이트웨이는 VCN의 공용 서브넷과 공용 인터넷 간의 트래픽을 허용합니다.
- 서비스 게이트웨이
서비스 게이트웨이는 VCN에서 Oracle Cloud Infrastructure Object Storage와 같은 다른 서비스로의 액세스를 제공합니다. VCN에서 Oracle 서비스로의 트래픽은 Oracle 네트워크 패브릭을 통해 이동하며 인터넷을 순회하지 않습니다.
- WAF(웹 애플리케이션 방화벽)
Oracle Cloud Infrastructure Web Application Firewall(WAF)은 로드 밸런서 또는 웹 애플리케이션 도메인 이름과 같이 강제 수행 지점에 연결된 PCI(Payment Card Industry) 호환 지역 기반 및 에지 적용 서비스입니다. WAF는 원치 않는 악의적인 인터넷 트래픽으로부터 애플리케이션을 보호합니다. WAF는 인터넷에 접속하는 모든 끝점을 보호할 수 있으며, 고객의 애플리케이션에 대해 일관된 규칙을 적용합니다.
- FastConnect
Oracle Cloud Infrastructure FastConnect는 데이터 센터 및 Oracle Cloud Infrastructure 사이에 전용, 개인 연결을 생성합니다. FastConnect는 인터넷 기반 연결과 비교할 때 더 높은 대역폭 옵션과 더 안정적인 네트워킹 환경을 제공합니다.
다음 타사 구성 요소:
- TEN 프레임워크
TEN(Transformative Extensions Network)은 개발자가 실시간 멀티모달 에이전트(음성, 비디오, 데이터 스트림, 이미지 및 텍스트)를 빠르게 구축할 수 있는 오픈 소스 프레임워크로, 개발자가 대규모 언어 모델을 실험하고 통합하며 재사용 가능한 확장을 쉽게 만들 수 있습니다.
- TEN 에이전트
TEN Agent는 가상 시스템에 설치됩니다. TEN을 사용하여 음성 챗봇, AI 생성 회의 시간, 언어 튜터, 동시 번역가, 가상 동반자, 상담 등과 같은 사용 사례를 지원하는 에이전트를 구축할 수 있습니다. 개발자는 다양한 AI 서비스 및 확장 기능을 활용할 수 있고, 차세대 AI 에이전트를 구축, 테스트 및 배포할 수 있는 완전한 유연성을 확보할 수 있습니다. 이 에이전트는 인간이 실시간으로 하는 것처럼 생각하고, 듣고, 보고, 상호 작용할 수 있습니다.
- Llama 3.2
Llama 3.2는 Meta AI의 Llama 대규모 언어 모델(LLM)의 경량 버전입니다. Llama 3.2는 이미지 인식 및 언어 처리가 필요한 작업에 사용할 수 있는 다중 모드 자동 회귀 언어 모델입니다.
- 딥그램
음성 문자 변환(STT) 구성 요소입니다.
- 피시오디오
TTS(텍스트 음성 변환) 구성 요소입니다.
권장사항
- VCN
VCN을 생성할 때 VCN의 서브넷에 연결하려는 리소스 수에 따라 필요한 CIDR 블록 수와 각 블록의 크기를 결정합니다. 표준 전용 IP 주소 공간 내에 있는 CIDR 블록을 사용합니다.
프라이빗 접속을 설정하려는 다른 네트워크(Oracle Cloud Infrastructure, 온프레미스 데이터 센터 또는 다른 클라우드 제공자)와 겹치지 않는 CIDR 블록을 선택합니다.
VCN을 생성한 후 해당 CIDR 블록을 변경, 추가 및 제거할 수 있습니다.
서브넷을 설계할 때는 트래픽 플로우 및 보안 요구사항을 고려하십시오. 특정 계층 또는 역할 내의 모든 리소스를 동일한 서브넷에 연결합니다. 이 서브넷은 보안 경계 역할을 할 수 있습니다.
- 보안 목록
보안 목록을 사용하여 전체 서브넷에 적용되는 수신 및 송신 규칙을 정의합니다.
- NSG(네트워크 보안 그룹)
NSG를 사용하여 특정 VNIC에 적용되는 수신 및 송신 규칙 세트를 정의할 수 있습니다. NSG를 사용하면 애플리케이션의 보안 요구사항과 VCN의 서브넷 아키텍처를 분리할 수 있으므로 보안 목록이 아닌 NSG를 사용하는 것이 좋습니다.
- Cloud Guard
사용자정의 감지기 및 응답기 레시피를 생성하도록 Oracle에서 제공하는 기본 레시피를 복제 및 사용자정의합니다. 이러한 레시피를 통해 경고를 생성하는 보안 위반 유형과 경고에 대해 수행할 수 있는 작업을 지정할 수 있습니다. 예를 들어 가시성이 퍼블릭으로 설정된 오브젝트 스토리지 버킷을 감지할 수 있습니다.
테넌시 레벨에서 Cloud Guard를 적용하여 가장 광범위한 범위를 다루고 여러 구성을 유지 관리하는 데 따르는 관리 부담을 줄이십시오.
관리 목록 기능을 사용하여 감지기에 특정 구성을 적용할 수도 있습니다.
- 보안 영역
최대 보안이 필요한 리소스의 경우 Oracle은 보안 영역을 사용할 것을 권장합니다. 보안 영역은 모범 사례를 기반으로 하는 Oracle 정의 보안 정책 레시피와 연관된 컴파트먼트입니다. 예를 들어, 보안 영역의 리소스는 공용 인터넷에서 액세스할 수 없어야 하며 고객 관리 키를 사용하여 암호화해야 합니다. 보안 영역에서 리소스를 생성 및 업데이트할 때 Oracle Cloud Infrastructure는 보안 영역 레시피의 정책에 대해 작업을 검증하고 정책을 위반하는 작업을 거부합니다.
- 로드 밸런서 대역폭
로드 밸런서를 생성하는 동안 고정 대역폭을 제공하는 미리 정의된 구성을 선택하거나, 대역폭 범위를 설정하고 서비스가 트래픽 패턴에 따라 대역폭을 자동으로 확장하도록 하는 사용자 정의(유연한) 구성을 지정할 수 있습니다. 두 접근 방법 중 하나를 사용하면 로드 밸런서를 생성한 후 언제든지 구성을 변경할 수 있습니다.
고려사항
다중 모드 TEN 프레임워크를 구현할 때는 다음 사항을 고려하십시오.
- 네트워크 접속
분산 컴퓨팅 리소스를 효과적으로 관리하려면 강력한 네트워크 연결이 필요합니다.
- GPU
AI 인프라에는 AI 컴퓨팅을 가속화하기 위해 GPU와 같은 특수 하드웨어를 갖춘 고성능 컴퓨팅 클러스터가 포함되어 있습니다. 대용량 데이터세트를 효율적으로 처리하기 위해 분산 스토리지 시스템을 활용하는 경우가 많으며 AI 모델 교육 및 배포를 위한 특수 AI 프레임워크 및 라이브러리가 포함될 수 있습니다. OCI Supercluster를 사용해 최대 32,768개의 GPU를 확장할 수 있습니다.
- Oracle Database 23ai
Oracle Database 23ai 기술을 활용하고 AI가 지원하는 이점은 다음과 같습니다.
- 환각의 위험 감소: RAG 및 AI Vector Search를 활용하여 LLM을 엔터프라이즈 데이터와 함께 사용할 때 자연어 질문에 보다 정확한 대응을 제공합니다.
- Oracle Autonomous Database NVIDIA GPU 지원: NVIDIA GPU에 액세스하여 GPU 서버 프로비저닝이나 관리를 걱정할 필요 없이 특정 AI 데이터 운영의 성능을 가속화할 수 있습니다. Oracle Machine Learning Notebooks을 활용하여 리소스 집약적 워크로드에 GPU 지원 Python 패키지를 사용할 수 있습니다. 예를 들어, 변압기 모델을 사용하여 벡터 임베딩을 생성하고 딥 러닝 모델을 구축할 수 있습니다.
- LLM에 대한 광범위한 지원: Oracle Autonomous Database에서 추가 LLM(Google Gemini, Anthropic Claude, Hugging Face)에 내장된 통합 기능을 통해 생성형 AI를 통해 기업이 더 많은 가치를 창출할 수 있도록 지원합니다. Autonomous Database는 7개 제공업체 전반에 걸쳐 35개의 서로 다른 LLM과 통합되어 GenDev 애플리케이션을 구축할 때 다양한 옵션을 제공합니다.
- Data Studio AI의 향상된 기능: 자연어를 사용하여 데이터를 준비 및 로드하고, 시각적 "드래그 앤 드롭" 도구를 사용하여 텍스트 및 이미지 벡터 임베딩이 포함된 AI 파이프라인을 생성할 수 있습니다.
- Graph Studio의 향상된 기능: 내장된 셀프 서비스 도구를 사용하여 Oracle Database 23ai에 새로 추가된 코드 없이 Operational Property Graph 모델을 구축합니다.
- 개발자를 위한 Autonomous Database: Oracle Autonomous Database에서 제공하는 다양한 기능 및 도구를 시간 단위로 정식으로 이용할 수 있습니다. 이는 운영 배포로의 간단한 업그레이드 경로를 통해 개발 사용 사례에 대한 예측 가능하고 낮은 진입점을 제공합니다.
- 다중 클라우드
OCI의 멀티클라우드 아키텍처 작업 기능은 다음과 같은 이점을 제공합니다:
- 온프레미스, 에지 장치, 퍼블릭 클라우드 등 다양한 위치에 애플리케이션 및 데이터를 배포할 수 있습니다.
- 사용자의 위치에 따라 향상된 성능, 복원성 및 데이터 지역성을 제공합니다.
- OCI는 모든 환경, 어디서나 150개 이상의 클라우드 서비스를 제공할 수 있는 하이퍼스케일러입니다. 또는 AWS, Microsoft Azure 및 Google Cloud 파트너 리전에서 Oracle Database 서비스를 이용할 수 있습니다.
추가 탐색
이 참조 아키텍처의 기능에 대해 자세히 알아보려면 다음 추가 리소스를 검토하십시오.
- Oracle Cloud Infrastructure 설명서
- OCI Generative AI 설명서
- OCI 생성형 AI
- Autonomous Database에서 Select AI with Retrieval Augmented Generation(RAG) 발표(블로그)
- TEN 프레임워크
다음 OCI 리소스를 검토합니다.