주:
- 이 자습서에서는 Oracle Cloud에 액세스해야 합니다. 무료 계정에 등록하려면 Oracle Cloud Infrastructure Free Tier 시작하기를 참조하십시오.
- Oracle Cloud Infrastructure 자격 증명, 테넌시 및 구획에 예제 값을 사용합니다. 실습을 완료했으면 이러한 값을 자신의 클라우드 환경과 관련된 값으로 대체하십시오.
리소스 주체를 사용하여 Oracle Big Data Service 클러스터에서 OCI 오브젝트 스토리지 버킷에 액세스
소개
Oracle Big Data Service는 Oracle에서 제공하는 클라우드 기반 서비스로, 사용자가 Hadoop 클러스터, Spark 클러스터, Trino 및 기타 빅데이터 서비스를 생성하고 관리할 수 있도록 합니다. Oracle Cloud Infrastructure(OCI)는 리소스 주체를 사용하여 Oracle Big Data Service 클러스터와 OCI Object Storage 간의 원활한 통합을 지원합니다.
이 사용지침서에서는 보안 인증을 위해 리소스 주체를 활용하여 Oracle Big Data Service 클러스터에서 OCI Object Storage 버킷을 구성하고 액세스하는 작업을 안내합니다.
목표
-
리소스 주체를 사용하여 OCI Object Storage에 액세스하도록 Oracle Big Data Service를 구성합니다.
-
OCI에서 정책을 설정합니다.
-
Oracle Big Data Service 클러스터에서 버킷 액세스를 테스트합니다.
필요 조건
-
Oracle Big Data Service 클러스터가 배치되었습니다.
-
OCI 테넌시에 액세스합니다.
-
OCI에서 정책을 생성하는 권한입니다.
태스크 1: 정책 생성
-
OCI 콘솔에 로그인하여 ID 및 보안으로 이동하고 정책을 누릅니다.
-
다음 정책을 생성하여 Oracle Big Data Service 클러스터에 OCI 오브젝트 스토리지 버킷에 대한 액세스 권한을 부여합니다.
allow any-user to read buckets in tenancy where ALL {request.principal.id='<BDS OCID>', target.bucket.name='<bucket name>'} allow any-user to read objects in tenancy where ALL {request.principal.id='<BDS OCID>', target.bucket.name='<bucket name>'}
주:
<BDS OCID>
및<bucket name>
을 각각 Oracle Big Data Service 클러스터 OCID 및 버킷 이름으로 바꿉니다.
작업 2: Oracle Big Data Service 클러스터에서 리소스 주체 생성
-
OCI 콘솔로 이동하여 분석 및 AI로 이동하고 빅 데이터 서비스를 누릅니다.
-
배치된 클러스터를 누릅니다.
-
Resource Principal 및 Create Resource Principal을 누릅니다.
-
표시 이름 및 세션 토큰 수명 기간(시간)을 입력하고 생성을 누릅니다.
작업 3: HDFS(Hadoop 분산 파일 시스템) 구성 업데이트
-
Apache Ambari 콘솔로 이동하여 HDFS, 구성 및 고급으로 이동합니다.
-
HDFS 구성에 대한 다음 속성을 업데이트합니다.
fs.oci.client.custom.authenticator=com.oracle.oci.bds.commons.auth.BDSResourcePrincipalAuthenticator fs.oci.client.regionCodeOrId=us-region-1 fs.oci.rp.pem.passphrase.path=/etc/security/tokens/rpst.pass fs.oci.rp.pem.path=/etc/security/tokens/rpst.pem fs.oci.rp.rpst.path=/etc/security/tokens/rpst.token
주:
bds_rp_users
그룹은 클러스터에서 이 리소스 주체에 대한rpst
토큰 및 키를 소유합니다. -
변경 사항을 저장하고 필요한 서비스를 Apache Ambari에서 재시작합니다.
작업 4: 환경 변수 설정(선택 사항)
OCI SDK(소프트웨어 개발 키트) 또는 기타 클라이언트를 통해 버킷에 액세스하는 애플리케이션의 경우 다음 환경 변수가 설정되었는지 확인하십시오.
OCI_RESOURCE_PRINCIPAL_VERSION=2.2
OCI_RESOURCE_PRINCIPAL_PRIVATE_PEM=/etc/security/tokens/rpst.pem
OCI_RESOURCE_PRINCIPAL_REGION=us-region-1
OCI_RESOURCE_PRINCIPAL_RPST=/etc/security/tokens/rpst.token
작업 5: OCI Object Storage 버킷 액세스 테스트
Oracle Big Data Service 클러스터에 SSH로 접속하고 HDFS 명령을 사용하여 버킷에 대한 액세스를 테스트합니다.
hdfs dfs -ls oci://<bucket name>@<namespace>/
참고:
<bucket name>
을 정책에 사용된 OCI 버킷 및<namespace>
값으로 바꾸어야 합니다.
문제 해결 및 팁
-
Core-site.xml
확인: 버킷 콘텐츠에 액세스할 수 없는 경우core-site.xml
파일이 Apache Ambari에 의해 올바르게 생성되었으며 올바른 리소스 주체 구성 값을 포함하는지 확인하십시오. -
HDFS 재시작: HDFS 구성을 업데이트한 후 변경사항을 적용하기 위해 필요한 모든 서비스가 재시작되었는지 확인합니다.
-
정책 범위: 정책이 올바르게 정의되어 Oracle Big Data Service 클러스터에 적용되었는지 다시 확인합니다.
다음 단계
-
보다 정교한 데이터 액세스를 위한 고급 OCI SDK 통합을 살펴보세요.
-
DistCp
를 사용하여 데이터 업로드 및 다운로드: 버킷 액세스를 설정한 후 Hadoop의DistCp
명령을 사용하여 HDFS와 OCI Object Storage 간에 대용량 데이터 세트를 효율적으로 전송할 수 있습니다. 이 기능은 백업, 이전 또는 대규모 데이터 이동에 특히 유용합니다. -
Oozie로 데이터 전송 일정 잡기: 반복 백업 또는 데이터 동기화를 위해 Oozie를 사용하여 정규 DistCp 작업의 일정을 잡아 업로드 및 다운로드 프로세스를 자동화합니다.
관련 링크
확인
- Authors - Pavan Upadhyay(Principal Cloud Engineer), Saket Bihari(Principal Cloud Engineer)
추가 학습 자원
docs.oracle.com/learn에서 다른 실습을 탐색하거나 Oracle Learning YouTube 채널에서 더 많은 무료 학습 콘텐츠에 액세스하세요. 또한 Oracle Learning Explorer가 되려면 education.oracle.com/learning-explorer을 방문하십시오.
제품 설명서는 Oracle Help Center를 참조하십시오.
Access OCI Object Storage Buckets from Oracle Big Data Service Cluster Using Resource Principal
G16227-01
September 2024