GlusterFS를 사용하여 확장 가능한 분산 파일 시스템 배포

확장 가능한 분산 네트워크 파일 시스템은 이미지 처리 및 미디어 스트리밍과 같은 데이터 집약적 작업에 적합합니다. 고성능 컴퓨팅(HPC) 환경에서 사용할 경우 GlusterFS는 대형 데이터 세트, 특히 변경할 수 없는 파일에 대한 고성능 액세스를 제공합니다.

구조

이 참조 아키텍처에는 분산 네트워크 파일 시스템에 필요한 기반구조 구성요소가 포함되어 있습니다. 여기에는 GlusterFS의 고가용성을 설정하는 데 필요한 최소 베어메탈 인스턴스 3개가 포함되어 있습니다.

세 대의 서버 구성에서 클러스터에 쓰기 작업을 허용하려면 두 대 이상의 서버가 온라인 상태여야 합니다. 다이어그램에 표시된 대로 모든 노드에서 데이터가 복제됩니다.

다음은 glusterfs-oci.png에 대한 설명입니다.
그림 glusterfs-oci.png에 대한 설명

glusterfs-oci-oracle.zip

  • 영역

    Oracle Cloud Infrastructure 지역은 가용성 도메인이라는 하나 이상의 데이터 센터를 포함하는 현지화된 지리적 영역입니다. 지역은 다른 지역에 독립적이며, 거리가 먼 나라 전체나 대륙을 구분할 수 있습니다.

  • 가용성 도메인

    가용성 도메인은 한 지역 내의 독립형 독립적인 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 내결함성을 제공하는 다른 가용성 도메인의 리소스와 격리됩니다. 가용성 도메인은 전원, 냉각 또는 내부 가용성 도메인 네트워크와 같은 인프라를 공유하지 않습니다. 따라서 한 가용성 도메인에서 장애가 발생해도 해당 지역의 다른 가용성 도메인에 영향을 주지 않습니다.

  • 결함 도메인

    장애 도메인은 한 가용성 도메인 내 하드웨어와 인프라의 그룹입니다. 각 가용성 도메인에는 독립적인 전원 및 하드웨어의 3개의 장애 도메인이 있습니다. 여러 장애 도메인에 걸쳐 리소스를 분배할 경우 응용 프로그램은 결함 도메인 내에서 물리적 서버 오류, 시스템 유지 관리 및 전원 오류를 허용할 수 있습니다.

  • 가상 클라우드 네트워크 및 서브넷

    VCN은 Oracle Cloud Infrastructure 지역에서 설정하는 사용자 정의 가능한 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN은 네트워크 환경에 대한 완벽한 제어를 제공합니다. VCN에는 VCN을 생성한 후 변경할 수 있는 겹치지 않는 CIDR 블록이 여러 개 있을 수 있습니다. VCN을 영역 또는 가용성 도메인으로 범위가 지정될 수 있는 서브넷으로 분할할 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속 주소 범위로 구성됩니다. 서브넷 생성 후 서브넷의 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.

    이 아키텍처는 두 개의 서브넷(공용 서브넷)을 사용하여 DMZ를 생성하고 배스천 서버를 호스트하고, 전용 서브넷을 사용하여 GlusterFS 노드를 호스트합니다.

  • NSG(네트워크 보안 그룹)

    NSG는 클라우드 리소스에 대한 가상 방화벽으로 작동합니다. Oracle Cloud Infrastructure의 제로 트러스트 보안 모델을 통해 모든 트래픽이 거부되며 VCN 내부의 네트워크 트래픽을 제어할 수 있습니다. NSG는 단일 VCN에서 지정된 VNIC 집합에만 적용되는 일련의 수신 및 송신 보안 규칙으로 구성됩니다.

  • 보안 목록

    각 서브넷에 대해 서브넷 내부/외부에서 허용해야 하는 트래픽의 소스, 대상 및 유형을 지정하는 보안 규칙을 생성할 수 있습니다.

  • GFS 노드

    GlusterFS 헤드가 있으며 각 인스턴스에 1TB의 블록 스토리지를 연결합니다.

  • /gfs-data

    참조 아키텍처에서 클라이언트는 응용 프로그램이 파일 시스템에 액세스할 수 있는 마운트 지점 /gfs-data에 GlusterFS 볼륨을 마운트합니다. 여러 서버가 헤드엔드 노드에 병렬로 액세스할 수 있습니다.

  • 배스천 호스트

    배스천 호스트는 클라우드 외부의 토폴로지에 대한 안전하고 제어되는 시작점 역할을 하는 컴퓨트 인스턴스입니다. 배스천 호스트는 일반적으로 DMZ(Demilitarized Zone)에서 프로비전됩니다. 클라우드 외부에서 직접 액세스할 수 없는 전용 네트워크에 배치하여 중요한 리소스를 보호할 수 있습니다. 토폴로지에는 정기적으로 모니터링하고 감사할 수 있는 알려진 단일 시작점이 있습니다. 따라서 토폴로지의 보다 민감한 구성 요소를 노출하지 않고 노출하지 않아도 됩니다.

권장사항

요구 사항은 여기에 설명된 아키텍처와 다를 수 있습니다. 다음 권장 사항을 시작점으로 사용합니다.

  • GlusterFS architecture

    이 아키텍처는 복제된 GlusterFS 볼륨을 사용하며 모든 노드에서 데이터가 복제됩니다. 이 구성은 데이터의 고가용성을 제공하지만 가장 많은 공간을 사용합니다. 구조 다이어그램에 표시된 대로 File1가 생성되면 노드 간에 복제됩니다.

    GlusterFS는 다음 아키텍처를 지원합니다. 요구 사항에 맞는 아키텍처 선택:
    • 분산 볼륨

      이 구조는 기본 GlusterFS 구성이며 최대 볼륨 크기 및 확장성을 얻는 데 사용됩니다. 데이터 중복성이 없습니다. 따라서 볼륨의 벽돌이 실패할 경우 데이터가 완전히 손실됩니다.

    • 복제된 볼륨

      이 아키텍처는 고가용성이 중요한 경우에 가장 많이 사용됩니다. 두 개 이상의 브릭에서 데이터를 복제하여 브릭 장애로 인해 발생하는 데이터 손실 문제를 방지할 수 있습니다. 이 참조 아키텍처는 복제된 볼륨 구성을 사용합니다.

    • 분산된 복제 볼륨

      이 아키텍처는 분산 및 복제된 볼륨의 조합이며 복제된 볼륨보다 큰 볼륨 크기를 얻고 분산 볼륨보다 가용성이 높습니다. 이 구성에서는 데이터가 전체 벽돌 수의 하위 세트로 복제됩니다. 벽돌 수는 복제본 수의 배수여야 합니다. 예를 들어, 각각 1TB의 벽돌 4개가 있으면 2배의 복제로 2TB의 분산 공간이 제공됩니다.

    • 스트라이프 볼륨

      이 아키텍처는 작은 청크로 나뉘어 각 청크가 벽돌에 저장되는 큰 파일에 사용됩니다. 브릭에 로드가 분산되며 파일을 더 빠르게 인출할 수 있지만 데이터 중복을 사용할 수 없습니다.

    • 분산 스트라이프 볼륨

      이 아키텍처는 여러 개의 벽돌에 분포되어 있는 큰 파일에 사용됩니다. 볼륨 크기를 늘리려는 경우 스트라이프 수의 배수로 벽돌을 추가해야 한다는 단점이 있습니다.

  • 컴퓨트 구성

    이 아키텍처는 모든 GlusterFS 노드에 대해 베어메탈 구성(BM.Standard2.52)을 사용합니다. 이러한 베어메탈 컴퓨트 인스턴스에는 25Gbps의 트래픽을 푸시할 수 있는 두 개의 물리적 NIC가 있습니다. 두번째 물리적 NIC는 GlusterFS 트래픽 전용으로 사용됩니다.

  • 블록 스토리지

    이 아키텍처는 1TB의 블록 스토리지를 사용합니다. 공간이 더 필요할 경우 볼륨을 확장할 수 있도록 LVM(논리적 볼륨 관리자)을 구성하는 것이 좋습니다. 각 블록 볼륨은 균형 잡힌 성능을 사용하도록 구성되며 35K IOPS 및 480MB/s의 처리량을 제공합니다.

  • VCN(가상 클라우드 네트워크)

    VCN을 생성할 때 VCN의 서브넷에 연결하려는 리소스 수를 기반으로 필요한 CIDR 블록 수 및 각 블록의 크기를 확인하십시오. 표준 전용 IP 주소 공간 내에 있는 CIDR 블록을 사용합니다.

    전용 연결을 설정하려는 다른 네트워크(Oracle Cloud Infrastructure, 온프레미스 데이터 센터 또는 다른 클라우드 제공자)와 겹치지 않는 CIDR 블록을 선택합니다.

    VCN을 생성한 후에는 해당 CIDR 블록을 변경, 추가 및 제거할 수 있습니다.

    서브넷을 설계할 때 트래픽 플로우 및 보안 요구사항을 고려하십시오. 특정 계층 또는 역할 내의 모든 리소스를 동일한 서브넷에 연결하여 보안 경계 역할을 할 수 있습니다.

  • NSG(네트워크 보안 그룹)

    NSG를 사용하여 특정 VNIC에 적용되는 수신 및 송신 규칙 세트를 정의할 수 있습니다. NSG를 사용하면 VCN의 서브넷 아키텍처를 애플리케이션의 보안 요구사항과 구분할 수 있으므로 보안 목록 대신 NSG를 사용하는 것이 좋습니다. 참조 아키텍처에서 모든 네트워크 통신은 NSG를 통해 제어됩니다.

  • 보안 목록

    보안 목록을 사용하여 전체 서브넷에 적용되는 수신 및 송신 규칙을 정의합니다.

고려 사항

  • 성능

    최상의 성능을 얻으려면 응용 프로그램 간 통신 및 GlusterFS 헤드에 전용 NIC를 사용하십시오. 응용 프로그램과 사용자 간의 통신에 기본 NIC를 사용합니다. 보조 NIC를 사용하여 GlusterFS 헤드와 통신합니다. 블록 스토리지의 볼륨 성능을 변경하여 디스크의 IOPS 및 처리량을 늘리거나 줄일 수도 있습니다.

  • 가용성

    장애 도메인은 가용성 도메인 내에서 최적의 복원성을 제공합니다. 더 높은 가용성이 필요한 경우 여러 가용성 도메인 또는 여러 영역을 사용하는 것이 좋습니다. 미션 크리티컬 워크로드의 경우 분산된 스트라이프 GlusterFS 볼륨 사용을 고려해 보십시오.

  • 비용
    GlusterFS 배포의 비용은 디스크 성능 및 가용성에 대한 요구 사항에 따라 달라집니다.
    • 고성능, 균형 잡힌 성능 및 낮은 비용의 성능 옵션 중에서 선택할 수 있습니다.
    • 고가용성을 위해서는 GlusterFS 노드 및 볼륨이 더 많이 필요합니다.

배치

이 참조 아키텍처를 배포하는 데 필요한 코드는 GitHub에서 제공됩니다. 한 번의 클릭으로 코드를 Oracle Cloud Infrastructure Resource Manager로 가져와서 스택을 생성하고 배포할 수 있습니다. 또는 GitHub의 코드를 컴퓨터에 다운로드하고, 코드를 사용자 정의하고, Terraform CLI를 사용하여 아키텍처를 배포합니다.

  • Oracle Cloud Infrastructure Resource Manager를 사용하여 배치합니다.
    1. Oracle Cloud에 배치을 누릅니다.

      아직 사인인하지 않은 경우 테넌시 및 사용자 인증서를 입력합니다.

    2. 약관을 검토 및 수락합니다.
    3. 스택을 배치할 지역을 선택합니다.
    4. 화면 프롬프트 및 지침에 따라 스택을 만듭니다.
    5. 스택을 생성한 후 Terraform 작업을 누르고 계획을 선택합니다.
    6. 작업이 완료될 때까지 기다린 다음 계획을 검토합니다.

      변경하려면 [스택 세부정보] 페이지로 돌아가서 스택 편집을 누르고 필요한 변경을 수행합니다. 그런 다음 계획 작업을 다시 실행합니다.

    7. 추가 변경이 필요하지 않은 경우 스택 세부정보 페이지로 돌아가서 Terraform 작업을 누르고 적용을 선택합니다.
  • Terraform CLI를 사용하여 구축합니다.
    1. GitHub로 이동합니다.
    2. 저장소를 로컬 컴퓨터에 복제하거나 다운로드합니다.
    3. README 문서의 지침을 따릅니다.

로그 변경

이 로그는 중요한 변경 사항을 나열합니다.