소매 재고 분석을 위한 데이터 레이크하우스 설계
식료품 고객들은 잘못된 쇼핑 경험에 대한 핵심적인 이유로 재고 없는 상품을 나열합니다. 제품 가용성을 넘어 소비자들은 매장 내 시간에도 짧고 효율적일 것으로 기대하고 있습니다. 이제 그 어느 때보다도 소매 유통 업체들은 원활한 쇼핑 경험과 이를 실현하는 핵심 요소를 제공해야 합니다.
소매 유통 업체들은 많은 데이터를 포착하고 클라우드 기반 빅 데이터 솔루션으로 전환하여 실시간 재고 가시성을 확보하고 데이터를 집계하고 관리하고자 합니다. OCI(Oracle Cloud Infrastructure)를 기반으로 설계된 데이터 레이크하우스는 POS, 재고, 고객 및 운영 시스템에서 생성된 데이터를 포착, 관리 및 확보하여 실시간 재고 관리를 이해할 수 있습니다.
이 참조 아키텍처는 OCI에서 성공적인 데이터 레이크하우스를 구현하기 위한 플랫폼 토폴로지, 구성요소 개요 및 권장되는 최적의 사용법을 소개합니다.
- 픽업 또는 배송과 함께 상업용 온라인(웹 또는 모바일), 매장에서 근무하는 고객, 매장 직원과의 상호 작용 또는 셀프 서비스 시스템을 통해 상호 작용하는지 여부
- 제품 및 제품 범주가 판매되는 방식에 대한 가시성을 확보하고, 재고 소비와 같은 예측 통찰력을 확보하고, 자동화된 조달 등을 수행할 수 있는 담당자들
- 시각화, 보고 및 AI 기능을 갖춘 고급 실시간 분석에 관심이 있는 관리 기능.
- 데이터 과학자들은 빅 데이터를 작업하며 데이터 용량이 증가하고 많은 소스를 처리하며 모델을 쉽게 배포할 수 있는 신속한 처리와 유연성을 필요로 합니다.
- 로우 코드 개발자, 기존 및 새로운 데이터 중심 애플리케이션에 대한 작업, 간소화 및 보안/운영 관리에 드는 시간 최소화
구조
소매 비즈니스의 주요 복잡성 중 하나는 시스템, 데이터 모델 및 유형의 배수뿐만 아니라 지속적으로 증가하는 데이터의 양도입니다. 이러한 과제는 OCI 데이터 레이크하우스 아키텍처가 제공하는 간소화 및 통합을 촉구하는 것입니다.
다음 다이어그램은 개념적 소매 비즈니스 레이크하우스 참조 아키텍처를 소개합니다.
retail-lakehouse-arch.png 그림에 대한 설명
ADW(Autonomous Data Warehouse)는 OCI 데이터 레이크하우스 아키텍처의 핵심 요소 중 하나입니다. 또한 데이터 웨어하우스의 프로비저닝, 구성, 보안, 튜닝, 확장 및 백업을 자동화합니다. 여기에는 셀프 서비스 데이터 로드, 데이터 변환, 비즈니스 모델, 자동 통찰력, 여러 데이터 유형 및 머신 러닝 분석 전반에서 더 간단한 쿼리를 실행할 수 있는 내장형 데이터베이스 기능이 포함되어 있습니다. ADW를 통해 머신 러닝을 통해 데이터가 어디에 있든 적합한 알고리즘을 갖추어 성능을 극대화할 수 있습니다. ADW는 OCI Object Storage와 긴밀히 통합되어 있어 데이터 레이크로서 구조화되지 않은 데이터를 위한 무제한 및 저비용 스토리지 역할을 합니다.
데이터 과학 및 머신 러닝 이니셔티브는 Oracle Spatial & Graph에서 필요한 위치 지원을 제공하는 시즌, 마케팅 캠페인 발생, 고객 모집단의 특성(예: 연령 그룹) 및 위치를 기준으로 지능형 영업 예측과 같은 결과를 초래할 수 있습니다. 이러한 이니셔티브는 ADW의 OML 노트북(Apache Zeppelin 기반)에서 지원되며 데이터 과학(JupyterLab/Python 중심)을 사용하여 OAC를 통해 접근할 수 있으며 Oracle APEX는 코딩이 적게 필요한 사용자정의 앱용 금전 표준으로 제공됩니다.
고객이 가맹점과 상호 작용하는 다양한 채널로, 다이어그램에서 볼 수 있으며 위에서 언급한 대로 자주 맞춤형 애플리케이션을 사용합니다. Oracle Container Engine for Kubernetes는 마이크로서비스와 애플리케이션에 대한 확장성과 추가 제어 기능을 제공하는 강력한 플랫폼입니다.
현대적 엔터프라이즈 AI 사용은 디지털 도우미입니다. 이 사용 사례에서는 실행 가능한 권장사항을 통해 앱 및 키오스크를 위한 대화형 인터페이스를 위해 가짜 데이터 기반의 AI 기반 디지털 어시스턴트가 사용됩니다.
- 마케팅: 소셜 미디어, 리뷰 및 뉴스를 분석하여 고객과 업계 전문가들이 귀사의 제품에 대해 어떤 의견을 나누고 있는지 확인해 보십시오. 그들은 무엇을 하고 싶은지, 여러분이 필요로 하는 새로운 기능, 그리고 경쟁업체와 비교해 보십시오.
- 고객 지원: 제품 및 부서별로 지원 티켓을 분류하여 티켓이 해당 팀에 더 빠르게 전달되도록 합니다. 감성 분석을 사용하여 긴급한 고충 사항을 식별하고 티켓 우선순위를 지정합니다.
- 인적 자원: 개체 인식을 통해 화면 복원을 자동화하여 핵심 기술과 교육을 파악합니다. 감성 분석 및 개체 인식을 사용하여 직원들의 가장 일반적인 고충 사항과 취할 최선의 다음 단계를 식별합니다.
데이터 레이크하우스를 통해 어디에서나 법적으로 데이터를 활용하고, Exadata 규모로 임베디드 AI/ML을 실행하고, 언제든지 (ADW) 자동 스케일 업/다운하고, 고급 보안 제어를 활용하여 위험을 줄일 수 있습니다.
- Oracle ERP, CRM, POS 및 외부 플랫폼은 Oracle GoldenGate 및 Oracle Data Integration의 도움으로 데이터 및 이벤트를 데이터 레이크하우스에 실시간으로 전송하거나 배치 처리를 통해 전송합니다.
- 이 예에서는 Oracle Integration Cloud가 데이터 레이크하우스에서 Oracle Procurement로 데이터를 보내는 추가 역할을 수행합니다. 이 역할에서는 공급자가 자동으로 발주된 구매 주문을 통지할 수 있습니다.
- ADW는 오브젝트 스토리지 데이터 레이크를 빠르고 원활하게 쿼리하기 위해 쿼리 가속기를 사용합니다.
- 확장 가능한 API 게이트웨이로 앱의 확장성 있는 데이터 노출
- Oracle Analytics Cloud와 Oracle Data Science는 데이터 레이크하우스의 서비스와 원활하게 통합됩니다.
- Autonomous Data Warehouse
Oracle Machine Learning이 포함된 완전 관리형 Oracle 및 자율운영 데이터베이스 데이터 과학자는 데이터베이스 내 Oracle Machine Learning 기능 및 관련 Notebooks 인터페이스를 사용하여 머신 러닝 모델을 구축, 평가, 점수 부여 및 배포할 수 있습니다.
- 객체 스토리지
OCI Object Storage는 신뢰할 수 있고 비용 효율적인 데이터 내구성을 제공하는 인터넷급 고성능 스토리지 플랫폼입니다. 오브젝트 스토리지는 분석 데이터를 포함하여 모든 컨텐츠 유형의 비정형 데이터를 무제한 저장할 수 있습니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 또는 안전하게 데이터를 저장 또는 검색할 수 있습니다. 여러 관리 인터페이스를 사용하면 성능 또는 서비스 신뢰성이 저하되지 않고 쉽게 작고 원활하게 확장할 수 있습니다.
오브젝트 스토리지는 자주 사용되지 않는 데이터를 저장한 다음 Oracle Autonomous Data Warehouse의 하이브리드 테이블을 사용하여 최신 데이터와 원활하게 결합함으로써 데이터 웨어하우스의 콜드 스토리지 계층으로 사용될 수도 있습니다.
- 데이터 카탈로그
OCI 데이터 카탈로그는 기업 데이터를 위한 전담 관리 셀프서비스 데이터 검색 및 거버넌스 솔루션입니다. 데이터 카탈로그는 기술, 비즈니스 및 운영 메타데이터를 관리하는 단일 협업 환경을 제공합니다.
- Oracle Analytics Cloud
Oracle Analytics Cloud는 확장 가능하고 안전한 퍼블릭 클라우드 서비스로, 데이터 준비, 시각화, 엔터프라이즈 보고, 증강 분석, 자연어 처리 및 생성을 위한 최신 AI 기반 셀프 서비스 분석 기능을 통해 비즈니스 분석가들의 역량을 강화합니다. Oracle Analytics Cloud를 통해 빠른 설정, 간편한 확장, 패치 적용, 자동 라이프사이클 관리 등 유연한 서비스 관리 기능도 활용할 수 있습니다.
Oracle Analytics Cloud는 Oracle Machine Learning과 통합됩니다. 이 통합을 통해 분석가는 사용 가능한 데이터베이스 모델을 나열하고 Oracle Analytics Cloud 분석 및 대시보드에서 해당 모델을 사용할 수 있습니다. OAC 데이터 시각화를 사용하면 데이터를 시각화하면서 사전 구축된 머신 러닝 모델 또는 학습된 자체 모델을 적용할 수 있습니다.
- 데이터 과학
OCI 데이터 과학은 데이터 과학 팀이 OCI를 사용하여 ML(머신 러닝) 모델을 구축, 교육 및 관리할 수 있는 전담 관리 서버리스 플랫폼입니다. Autonomous Data Warehouse, Object Storage 등과 같은 다른 OCI 서비스와 손쉽게 통합할 수 있습니다. 오라클은 ML 모델을 간편하게 구축하여 고품질 머신 러닝 모델을 구축 및 평가하고, 엔터프라이즈 신뢰할 수 있는 데이터를 신속하게 작동하여 비즈니스 유연성을 높이고, 데이터 기반의 비즈니스 목표를 지원할 수 있습니다.
Data Science는 Functions, 데이터 흐름, Autonomous Data Warehouse, Object Storage를 포함한 나머지 OCI 스택과 통합됩니다. Oracle Accelerated Data Science (ADS) 소프트웨어 개발자 키트(SDK)는 OCI 데이터 과학 서비스의 일부로 포함되어 있는 Python 라이브러리입니다. 이 라이브러리에는 데이터 연결, 데이터 탐색 및 시각화 및 시각화, 모델 교육, 모델 설명 등 데이터 과학 워크플로우의 단계를 자동화 또는 간소화하는 많은 기능 및 객체가 있습니다. ADS는 데이터 과학 서비스 모델 카탈로그와 오브젝트 스토리지를 비롯한 기타 OCI 서비스에 접근할 수 있는 단순한 인터페이스도 제공합니다.
- Oracle Data Integration
OCI 데이터 통합을 사용하여 시스템 간 데이터 흐름 최적화 선언적, 코드 없음 또는 로우 코드 ETL 및 데이터 파이프라인 개발을 지원합니다.
- GoldenGate
Oracle Cloud Infrastructure GoldenGate는 실시간 데이터 메시 플랫폼을 제공하는 관리 서비스로, 이 플랫폼은 복제를 사용하여 데이터의 가용성을 유지하고 실시간 분석을 지원합니다. 고객은 컴퓨팅 환경을 할당하거나 관리할 필요 없이 데이터 복제 및 스트림 데이터 처리 솔루션을 설계, 실행 및 모니터링할 수 있습니다.
- API 게이트웨이
API 게이트웨이 서비스를 사용하면 네트워크 내에서 액세스할 수 있는 전용 엔드포인트와 함께 API를 게시할 수 있으며, 필요한 경우 공용 인터넷에 노출할 수 있습니다. 끝점은 API 검증, 요청 및 응답 변환, CORS, 인증 및 권한 부여, 요청 제한을 지원합니다.
- 가상 클라우드 네트워크
OCI의 첫 번째 단계 중 하나는 클라우드 리소스에 대한 VCN(가상 클라우드 네트워크)을 설정하는 것입니다. VCN은 OCI 지역에 설정한 소프트웨어 정의 네트워크입니다. VCN은 특정 지역 또는 가용성 도메인에 고유할 수 있는 서브넷으로 나눌 수 있습니다. 영역별 서브넷과 가용성 도메인별 서브넷 모두 동일한 VCN에 공존할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- Container Engine for Kubernetes
OCI Container Engine for Kubernetes는 확장성이 뛰어난 완전 관리형 고가용성 서비스로서 컨테이너화 애플리케이션을 클라우드에 배포하는 데 사용할 수 있습니다. 애플리케이션에 필요한 컴퓨트 리소스를 지정하면 Container Engine for Kubernetes가 기존 테넌시에서 Oracle Cloud Infrastructure에 이를 프로비저닝합니다. Container Engine for Kubernetes는 Kubernetes를 사용하여 호스트 클러스터 전반에서 컨테이너화된 애플리케이션의 배포, 확장 및 관리를 자동화합니다.
- 레지스트리
OCI Registry는 개발-운영 워크플로우를 간소화할 수 있는 Oracle 관리 레지스트리입니다. 레지스트리를 사용하면 Docker 이미지와 같은 개발 아티팩트를 쉽게 저장, 공유 및 관리할 수 있습니다. Oracle Cloud Infrastructure의 고가용성과 확장성을 갖춘 아키텍처는 애플리케이션을 안정적으로 배포하고 관리할 수 있도록 보장합니다.
권장사항
- VCN
VCN을 생성할 때 VCN의 서브넷에 연결하려는 리소스 수를 기반으로 필요한 CIDR 블록 수 및 각 블록의 크기를 확인하십시오. 표준 전용 IP 주소 공간 내에 있는 CIDR 블록을 사용합니다.
전용 접속을 설정할 다른 네트워크(Oracle Cloud Infrastructure, 온프레미스 데이터 센터 또는 다른 클라우드 제공자)와 겹치지 않는 CIDR 블록을 선택합니다.
VCN을 생성한 후에는 해당 CIDR 블록을 변경, 추가 및 제거할 수 있습니다.
서브넷을 설계할 때는 트래픽 플로우와 보안 요구사항을 고려하십시오. 특정 계층 또는 역할 내의 모든 리소스를 동일한 서브넷에 연결하여 보안 경계 역할을 할 수 있습니다.
- 보안
정책을 사용하여 기업이 OCI 리소스에 액세스할 수 있는 사용자 및 액세스 방법을 제한합니다.
Oracle Cloud Guard를 통해 OCI에서 리소스의 보안을 사전에 모니터링 및 유지 관리할 수 있습니다. Cloud Guard는 리소스에 대한 보안 취약점을 검사하고 운영자와 사용자의 위험한 작업을 모니터하기 위해 정의할 수 있는 감지기 레시피를 사용합니다. 잘못된 구성이나 비보안 활동이 감지되면 Cloud Guard는 사용자가 정의할 수 있는 응답자 레시피를 기반으로 수정 작업을 권장하고 해당 작업을 지원합니다. 최대 보안이 필요한 리소스의 경우 Oracle은 보안 영역을 사용할 것을 권장합니다. 보안 영역은 모범 사례를 기반으로 하는 Oracle 정의 보안 정책의 레시피와 연관된 구획입니다. 예를 들어, 보안 영역의 리소스는 공용 인터넷에서 액세스할 수 없어야 하며 고객 관리 키를 사용하여 암호화해야 합니다. 보안 영역에서 리소스를 만들고 업데이트할 때 OCI는 보안 영역 레시피의 정책에 대해 작업을 검증하고 모든 정책을 위반하는 작업을 거부합니다.
- Autonomous Data Warehouse
오브젝트 스토리지는 신뢰할 수 있고 비용 효율적인 데이터 내구성을 제공하며 데이터베이스 데이터, 분석 데이터, 이미지, 비디오 등 모든 콘텐츠 유형의 정형 및 비정형 데이터에 빠르게 접근할 수 있도록 합니다. 표준 스토리지를 사용하여 외부 소스에서 데이터를 입수하고 추가 처리에 사용할 것을 권장합니다. 이러한 데이터는 빠르고 자주 액세스할 수 있기 때문입니다. 수명 주기 정책을 구축하여 데이터가 더 이상 자주 필요하지 않을 때 표준에서 콜드 스토리지로 이동할 수 있습니다.
- Data Catalog
데이터 카탈로그 플랫폼에 저장 및 흐르는 데이터에 대한 전체적이고 종합적인 뷰를 확보하려면 데이터 지속성 층과 소스 데이터 저장소를 지원하는 데이터 저장소뿐만 아니라 수확하는 것이 좋습니다. 수집된 기술 메타데이터를 비즈니스 용어집에 매핑하고 사용자정의 속성을 사용하여 강화하면 비즈니스 개념을 매핑하고 보안 및 액세스 정의를 문서화하고 관리할 수 있습니다.
Oracle Cloud Infrastructure Object Storage에 저장된 데이터를 가상화하는 Oracle Autonomous Data Warehouse 외부 테이블을 손쉽게 생성하려면 이전에 Oracle Cloud Infrastructure 데이터 카탈로그에서 수집한 메타데이터를 활용하십시오. 이렇게 하면 외부 테이블 생성이 간소화되고, 데이터 저장소 간에 메타 데이터의 일관성을 적용하며, 사람의 실수가 발생할 가능성이 줄어듭니다.