데이터 흐름 정보

데이터 흐름은 서로 다른 시스템 간에 데이터가 이동 및 변환되는 방식을 정의합니다.

데이터 변환의 데이터 플로우는 조인, 필터, 집계, 설정, 분할 등과 같은 구성요소 플로우를 통해 소스를 대상에 연결합니다. 자세한 내용은 지원되는 데이터베이스 함수를 참조하십시오.

데이터 플로우를 실행할 때 데이터 변환은 조인, 필터, 매핑 및 제약 조건을 사용하여 소스 데이터를 변환하고 대상 테이블에 로드합니다. 한 번에 하나의 실행 흐름만 실행할 수 있습니다. 데이터 플로우에 다중 플로우를 둘 수 없으며 플로우가 다중 플로우로 분기될 수 없습니다.

항목

• 데이터 플로우 생성
  소스 접속에서 데이터를 로드하고, 변환을 실행하고, 데이터를 대상 데이터베이스로 이동하는 데이터 플로우를 생성합니다.
• 데이터 플로우 편집기 정보
  데이터 플로우 편집기는 데이터 엔티티 패널, 데이터베이스 함수 도구 모음, 디자인 캔버스, 속성 패널 및 상태 패널의 다섯 부분으로 나뉩니다.
• 지원되는 데이터베이스 함수
  Oracle Data Transforms는 디자인 캔버스에서 끌어 놓아 데이터 플로우 내의 구성요소를 연결할 수 있는 다양한 데이터베이스 함수를 지원합니다.
• 구성 요소 추가
  디자인 캔버스에 데이터 엔티티 및 데이터베이스 함수를 추가하고 논리적 순서로 연결하여 데이터 플로우를 완료합니다.
• 데이터 플로우에 텍스트 포함 벡터 사용
  데이터 변환은 벡터 데이터 유형 사용과 데이터 플로우에 벡터 포함을 지원합니다. 현재 데이터 변환은 OCI 생성형 AI 서비스와 통합되어 입력 텍스트를 데이터 분석 및 검색에 사용할 수 있는 벡터 임베딩으로 변환합니다.
• 구성 요소 속성
  [속성] 패널에는 [디자인 캔버스]에서 선택한 구성 요소에 대한 다양한 설정이 표시됩니다.
• 데이터 열 매핑
  소스 데이터 엔티티를 대상 데이터 엔티티와 연결하면 열 이름이 열 이름으로 자동으로 매핑됩니다. [위치] 또는 [이름]별로 열을 매핑하거나 [표현식 편집기]를 사용하여 수동으로 열을 매핑할 수 있습니다.
• 데이터 플로우 검증 및 실행
  매핑이 준비된 후 데이터 플로우 검증 및 실행을 계속할 수 있습니다.

데이터 플로우 생성

소스 접속에서 데이터를 로드하고, 변환을 실행하고, 데이터를 대상 데이터베이스로 이동하는 데이터 플로우를 생성합니다.

다음 방법 중 하나로 데이터 플로우를 생성할 수 있습니다.

• 프로젝트 페이지에서
• 프로젝트 내의 데이터 플로우 페이지에서
• 홈 페이지에서

새로 생성된 데이터 플로우가 연관된 프로젝트의 [데이터 플로우] 페이지에 표시됩니다. 선택한 데이터 플로우 옆에 있는 작업 아이콘()을 눌러 폴더를 편집, 이름 바꾸기, 복사, 변경, 시작, 익스포트 또는 삭제합니다.

프로젝트 페이지에서

프로젝트 페이지에서 데이터 플로우를 생성하려면

1. 프로젝트 페이지에서 데이터 플로우 생성을 누릅니다.

   데이터 플로우 생성 페이지가 나타납니다.

2. 이름 필드에 새 데이터 플로우의 이름을 입력합니다.
3. 새로 생성된 데이터 플로우에 대한 새 프로젝트 폴더를 생성하려면 새 프로젝트 생성을 선택합니다.
4. 또는 새로 생성된 데이터 플로우를 기존 프로젝트 폴더에 추가하려면 기존 프로젝트에 추가를 누릅니다.
5. 이전 옵션에 대해 새 프로젝트 생성을 선택한 경우 프로젝트 이름 필드에 새로 생성된 프로젝트의 이름을 입력합니다.
6. 또는 이전 옵션에 대해 기존 프로젝트에 추가를 선택한 경우 프로젝트 이름 드롭다운 화살표에서 필요한 프로젝트를 선택합니다.
7. 설명 필드에 새로 생성된 데이터 플로우에 대한 설명을 입력합니다.
8. 생성을 누릅니다.

프로젝트 내의 데이터 플로우 페이지에서

프로젝트 내의 데이터 플로우 페이지에서 데이터 플로우를 생성하려면

1. 프로젝트 페이지에서 새 데이터 플로우를 생성할 프로젝트 타일을 누릅니다. 프로젝트 세부정보 페이지가 나타납니다.
2. 데이터 플로우 페이지에서 데이터 플로우 생성을 누릅니다.
3. 새 데이터 플로우에 대한 이름 및 설명을 제공합니다.
4. 다음을 누르십시오.
5. 소스 접속을 정의하려면 접속 드롭다운에서 데이터 엔티티를 추가할 필수 접속을 선택합니다.
6. Schema 드롭다운에서 선택한 연결에 해당하는 모든 스키마가 다음 두 그룹으로 나열됩니다.
   • 기존 스키마(Oracle Data Transforms로 임포트한 멤버) 및
   • 새 데이터베이스 스키마(아직 임포트하지 않은 영역)입니다.

   드롭다운에서 사용할 스키마를 선택합니다. Oracle Object Storage 연결의 경우 스키마 드롭다운에는 연결을 생성할 때 URL에 지정한 버킷의 이름이 나열됩니다.

7. [저장]을 누릅니다.

   새 데이터 플로우를 생성할 수 있는 데이터 플로우 편집기가 나타납니다.

홈 페이지에서

홈 페이지에서 데이터 플로우를 생성하려면

1. 홈 페이지에서 데이터 변환을 누릅니다. Create Data Flow 페이지가 나타납니다.
2. 새 데이터 플로우에 대한 이름 및 설명을 제공합니다.
3. 드롭다운에서 프로젝트 이름을 선택합니다. 또는 + 아이콘을 눌러 프로젝트를 생성하십시오.
4. 다음을 누르십시오.
5. 접속 드롭다운에서 데이터 엔티티를 추가할 필수 접속을 선택합니다. 또는 + 아이콘을 눌러 새 연결을 생성합니다.
6. Schema 드롭다운에서 선택한 연결에 해당하는 모든 스키마가 다음 두 그룹으로 나열됩니다.
   • 기존 스키마(Oracle Data Transforms로 임포트한 멤버) 및
   • 새 데이터베이스 스키마(아직 임포트하지 않은 영역)입니다.

   드롭다운에서 사용할 스키마를 선택합니다.

7. 저장을 누릅니다.

데이터 플로우 편집기 정보

데이터 플로우 편집기는 데이터 엔티티 패널, 데이터베이스 함수 도구 모음, 디자인 캔버스, 속성 패널 및 상태 패널의 다섯 부분으로 나뉩니다.

그림 datafloweditor.png에 대한 설명

• 데이터 엔티티 패널: 데이터 엔티티 패널에는 데이터 플로우에서 사용할 수 있는 데이터 엔티티가 표시됩니다. 표시된 리스트는 [이름] 및 [태그] 필드를 사용하여 필터링할 수 있습니다. 이 패널에는 스키마를 추가하고, 데이터 엔티티를 임포트하고, 데이터 플로우와 연관된 스키마를 제거하고, 데이터 엔티티를 새로 고칠 수 있는 옵션이 포함되어 있습니다. 이러한 옵션 사용 방법에 대한 자세한 내용은 구성 요소 추가를 참조하십시오.
• 데이터베이스 함수 도구 모음: 데이터베이스 함수 도구 모음에는 데이터 플로우에서 사용할 수 있는 데이터베이스 함수가 표시됩니다. Data Entities와 마찬가지로 디자인 캔버스에서 사용할 Database 도구를 끌어 놓을 수 있습니다. 자세한 내용은 지원되는 데이터베이스 함수를 참조하십시오.
• 디자인 캔버스: 디자인 캔버스에서 변환 논리를 작성합니다. 디자인 캔버스에 데이터 엔티티 및 데이터베이스 함수를 추가한 후 논리적 순서로 연결하여 데이터 플로우를 완료할 수 있습니다.
• 속성 패널: 속성 패널은 디자인 캔버스에서 선택한 객체의 속성을 표시합니다. [속성] 패널은 네 개의 탭으로 그룹화됩니다. 일반 사항, 속성, 데이터 미리보기, 열 매핑 및 옵션 일부 탭은 선택한 객체에 따라 달라지므로 사용할 수 없습니다. 이러한 옵션에 대한 자세한 내용은 구성 요소 속성을 참조하십시오.
• 상태 패널: 데이터 플로우를 실행하면 Status 패널에 백그라운드에서 실행 중인 작업의 상태가 표시되어 요청을 완료합니다. 현재 실행 중인 작업의 상태 또는 마지막 작업의 상태를 확인할 수 있습니다. [상태] 패널에 대한 자세한 내용은 데이터 로드, 데이터 플로우 및 워크플로우의 상태 모니터링을 참조하십시오.

필요한 데이터 흐름을 설계한 후,

• 을 눌러 생성/설계된 데이터 플로우를 저장합니다.
• 을 눌러 설계된 데이터 플로우의 노드를 정렬합니다.
• 을 눌러 생성된 데이터 플로우를 실행합니다.
• 을 눌러 생성된 데이터 플로우를 검증합니다.
• 디자인 캔버스에서 생성된 데이터 플로우 다이어그램을 최대화하거나 최소화하려면 을 누릅니다.

지원되는 데이터베이스 함수

Oracle Data Transforms는 디자인 캔버스에서 끌어 놓아 데이터 흐름 내의 구성 요소를 연결할 수 있는 다양한 데이터베이스 기능을 지원합니다.

데이터 플로우 편집기의 데이터베이스 함수 도구 모음에는 데이터 플로우에서 사용할 수 있는 다음과 같은 데이터베이스 함수가 포함되어 있습니다. 데이터베이스 함수에 대한 자세한 내용은 Oracle Database SQL Language Reference를 참고하세요.

1. 데이터 변환

   여기에는 다음 구성요소가 포함됩니다.

   • 집계
   • 표현식
   • Filter
   • 참여
   • 고유
   • 조회
   • 집합
   • 정렬
   • 하위 질의 필터
   • 테이블 기능
2. 데이터 준비

   여기에는 다음 구성요소가 포함됩니다.

   • 데이터 정리
   • 대체
   • Equi_Width Binning
   • 분위수 Binning
   • 앞
   • Lag
   • 바꾸기
3. 머신 러닝

   여기에는 다음 구성요소가 포함됩니다.

   • 예측
   • 예측 모델
   • 이상치 감지
   • 텍스트 임베딩 벡터
4. 텍스트

   여기에는 다음 구성요소가 포함됩니다.

   • 정규식 수
   • 정규식 지침
   • 정규식 하위 점포
   • 정규식 바꾸기
   • 거리 유사성 편집
   • 다음을 포함
5. Oracle Spatial and Graph

   여기에는 다음 구성요소가 포함됩니다.

   • 버퍼 차원
   • 버퍼 허용 한도
   • 거리 차원
   • 거리 허용 한도
   • 가장 가까운 값
   • 단순화
   • 포인트
   • 지오코드 도구:

     주:

     다음 지오코드 도구는 비Autonomous Database 환경에서만 작동합니다.
     • 도면으로 지오코딩
     • 지오코드
     • 주소 지오코딩
     • 모두 지오코딩
     • 모든 주소 지오코딩
     • 역 지오코딩

     주:

     다음 지오코드 도구는 Autonomous Database 환경에서만 작동합니다.
     • 클라우드 지오코딩
   • 공간 조인

구성요소 추가

디자인 캔버스에 데이터 엔티티 및 데이터베이스 함수를 추가하고 논리적 순서로 연결하여 데이터 플로우를 완료합니다.

데이터 플로우에 구성요소를 추가하려면 다음을 수행합니다.

1. [데이터 엔티티] 패널에서 스키마 추가를 눌러 데이터 플로우에서 사용할 데이터 엔티티를 포함하는 스키마를 추가합니다.
2. Add a Schema 페이지에서 연결 및 스키마 이름을 선택합니다.
3. 임포트를 누릅니다.
4. [데이터 엔티티 임포트] 페이지에서 임포트할 객체 유형을 선택합니다. 스키마의 모든 객체를 임포트하지 않으려면 마스크/필터를 선택하고 시작을 누릅니다.
5. [데이터 엔티티] 패널에는 임포트된 데이터 엔티티가 나열됩니다. 이 패널에는 다음을 수행할 수 있는 다양한 옵션이 포함되어 있습니다.
   • 데이터 엔티티 새로 고침 – 새로 고침 아이콘을 눌러 표시된 목록을 새로 고칩니다.
   • 이름 - 이름별로 데이터 엔티티를 검색합니다.
   • 태그 - 사용된 태그 이름별로 데이터 엔티티를 필터링합니다.
   • 데이터 엔티티 임포트 - 이 옵션을 보려면 스키마를 마우스 오른쪽 단추로 누릅니다. 데이터 엔티티를 임포트하려면 이 옵션을 사용합니다.
   • 스키마 제거 - 이 옵션을 보려면 데이터 엔티티를 마우스 오른쪽 단추로 누릅니다. 목록에서 스키마를 제거하려면 이 옵션을 사용합니다. 이 옵션은 스키마를 삭제하지 않으며 이 데이터 플로우와 스키마의 연관만 제거합니다.
6. 마찬가지로 필요한 경우 데이터 플로우에 스키마를 더 추가합니다.
7. 데이터 플로우에서 사용할 필수 데이터 엔티티를 끌어서 디자인 캔버스에 놓습니다.
8. 데이터베이스 함수 도구 모음에서 데이터 플로우에 사용할 변환 구성요소를 끌어서 디자인 캔버스에 놓습니다. 데이터 흐름에서 변수를 사용할 수 있습니다. 자세한 내용은 데이터 플로우에서 변수 사용을 참조하십시오.
9. 디자인 캔버스에서 객체를 선택하고 옆에 있는 커넥터 아이콘()을 끌어서 구성요소를 연결합니다.
10. 데이터 플로우를 저장한 후 하나 이상의 구성요소 접속에 전송 아이콘이 중첩될 수 있습니다. 이는 ODI가 추가 단계를 감지했으며 데이터 서버 간에 데이터를 이동해야 함을 나타냅니다. 이 아이콘을 누르면 이 단계와 연관된 속성을 볼 수 있습니다.

예:

그림 add-components.png에 대한 설명

데이터 플로우에 텍스트 포함 벡터 사용

데이터 변환은 벡터 데이터 유형 사용과 데이터 흐름에 벡터 포함을 지원합니다. 현재 데이터 변환은 OCI 생성형 AI 서비스와 통합되어 입력 텍스트를 데이터 분석 및 검색에 사용할 수 있는 벡터 임베딩으로 변환합니다.

텍스트 포함의 경우 데이터 변환은 열에 저장된 텍스트와 열에 저장된 http 링크에서 모두 지원됩니다. 데이터 플로우에 벡터를 포함하기 전에 다음을 수행해야 합니다.

• Oracle Database 23ai 연결을 만듭니다. 데이터 변환에서 연결을 생성하는 방법에 대한 일반적인 지침은 연결 작업을 참조하십시오.
• Oracle Cloud Infrastructure(OCI) Generative AI 연결을 생성합니다. Oracle Cloud Infrastructure Generative AI 연결 생성 및 사용을 참조하십시오.

데이터 흐름에서 벡터 임베딩을 사용하려면 다음을 수행합니다.

1. 데이터 플로우 생성의 지침에 따라 새 데이터 플로우를 생성합니다.
2. 데이터 플로우 편집기에서 스키마 추가를 눌러 소스 접속을 정의합니다. 접속 드롭다운에서 Oracle Database 23ai 접속 및 드롭다운에서 사용할 스키마를 선택합니다. 확인을 누릅니다.
3. 데이터 플로우에서 소스로 사용할 테이블을 끌어서 디자인 캔버스에 놓습니다.
4. 데이터베이스 함수 도구 모음에서 머신 러닝을 누르고 텍스트 포함 벡터 변환 구성요소를 디자인 캔버스에 끌어 놓습니다.
5. 텍스트 포함 벡터 변환 구성요소를 눌러 해당 속성을 봅니다.
6. 일반 사항 탭에서 다음을 지정합니다.
   • AI 서비스 - 드롭다운에서 OCI 생성형 AI를 선택합니다.
   • 접속 - 드롭다운에는 선택한 AI 서비스에 대해 사용 가능한 모든 접속이 나열됩니다. 사용할 연결을 선택합니다.
   • AI 모델 - 드롭다운에는 선택한 AI 서비스 및 연결에 사용 가능한 모든 모델이 나열됩니다. 다음 모델이 나열됩니다.
     • "cohere.embed-english-light-v2.0"
     • "cohere.embed-english-light-v3.0"
     • "cohere.embed-english-v3.0"
     • "cohere.embed-multilingual-light-v3.0"
     • "cohere.embed-multilingual-v3.0"
     모델 이름을 입력할 수도 있습니다.
7. 열 매핑 탭에서 포함할 소스 열을 연산자의 INPUT 속성에 매핑합니다. 열 매핑에서 사용할 수 있는 열은 input_text뿐입니다. 사용 가능한 열에서 표현식 열로 텍스트 열을 끕니다. 벡터가 구축될 데이터입니다.
8. 데이터 플로우에서 대상으로 사용할 테이블을 끌어서 디자인 캔버스에 놓습니다.
9. 데이터 플로우를 저장하고 실행합니다.

   데이터 변환은 소스 테이블의 각 행에 대한 벡터를 작성하고 이를 대상 테이블에 기록합니다.

구성요소 속성

특성 패널에는 설계 캔버스에서 선택한 구성요소에 대한 다양한 설정이 표시됩니다.

선택한 구성 요소에 따라 다음 아이콘이 표시될 수 있습니다.

• 일반() - 해당 접속 및 스키마 세부정보와 함께 구성요소의 이름을 표시합니다. 이러한 속성 중 일부를 편집할 수 있습니다.
• 속성() - 구성요소와 연관된 모든 속성의 세부정보를 표시합니다.
• 열 매핑() - 모든 열을 자동으로 매핑할 수 있습니다. 자세한 내용은 데이터 열 매핑을 참조하십시오.
• 미리보기() - 구성요소의 미리보기를 표시합니다. Oracle 테이블의 경우 선택한 데이터 엔티티의 통계도 볼 수 있습니다. 사용 가능한 통계 정보에 대한 자세한 내용은 데이터 엔티티의 통계 보기를 참조하십시오.
• 옵션() - 다음과 같은 옵션을 표시합니다.
  • 테이블 자르기 - 기존 대상 테이블 컨텐츠를 새 데이터로 바꿉니다.
  • 추가 - 흐름의 레코드를 대상에 삽입합니다. 기존 레코드는 업데이트되지 않습니다.
  • 증분 - 플로우의 레코드를 기존 레코드와 비교하고 연계된 데이터가 동일하지 않은 경우 레코드를 업데이트하여 대상 테이블의 데이터를 통합합니다. 아직 대상에 존재하지 않는 항목이 삽입됩니다.
    이 옵션에는 기본적으로 True로 설정된 자동 압축 기능이 포함되어 있습니다. 증분 업데이트 모드를 사용하여 데이터를 압축된 Oracle 대상 분할 영역으로 로드하는 데이터 플로우 작업의 경우 자동 압축 기능은 로드가 성공적으로 완료된 후 수정된 대상 분할 영역을 재압축합니다. 원래 압축되지 않은 테이블 partition의 경우 자동 압축이 true로 설정되어 있는지 여부에 관계없이 압축을 건너뜁니다.

    주:

    자동 압축 옵션은 ADMIN 사용자나 DWROLE 롤을 가진 사용자가 사용할 수 있습니다. ADMIN 이외의 스키마 사용자가 있는 데이터 플로우의 경우 실행 오류를 방지하려면 사용자에게 DWROLE을 지정하거나 자동 압축을 사용 안함으로 설정해야 합니다.

데이터 열 매핑

소스 데이터 엔티티를 대상 데이터 엔티티와 연결하면 열 이름이 열 이름으로 자동으로 매핑됩니다. [위치] 또는 [이름]별로 열을 매핑하거나 [표현식 편집기]를 사용하여 수동으로 열을 매핑할 수 있습니다.

위치 또는 이름별로 열을 매핑하려면

1. 대상 데이터 엔티티를 선택합니다.
2. 오른쪽 상단 모서리에 있는 화살표 아이콘을 클릭하여 속성 패널을 확장합니다. 이렇게 하면 작업할 수 있는 공간이 더 많아집니다.
3. 속성 패널에서 열 매핑 아이콘()을 누릅니다.
4. 위치 또는 이름별로 열을 매핑하려면 자동 맵 드롭다운 메뉴에서 위치별 또는 이름별을 선택합니다.

열을 수동으로 매핑하려면 다음을 수행합니다.

1. 자동 맵 드롭다운 메뉴에서 지우기를 선택하여 기존 매핑을 지웁니다.
2. 왼쪽의 트리에서 속성을 끌어 놓아 표현식 열과 매핑합니다.
3. 표현식을 편집하려면 해당 열의 편집 아이콘을 누릅니다. 필요한 변경을 수행할 수 있는 표현식 편집기가 나타납니다. 예를 들어 표현식-"UPPER"만 추가하거나 표현식 편집기를 열어 표현식을 편집할 수 있습니다.

   주:

   특정 열에 대한 복합 표현식이 있는 경우에만 표현식 편집기를 사용합니다.
4. 확인을 누릅니다.

데이터 흐름 검증 및 실행

매핑이 준비된 후 데이터 플로우 검증 및 실행을 계속할 수 있습니다.

다음을 수행하십시오.

1. [저장]을 누릅니다.

   저장 후 변환하기 전에 데이터를 스테이지해야 하는 경우 전송 버튼이 하나 이상의 링크에 추가됩니다. 사용 가능한 경우 이러한 버튼을 눌러 추가 옵션을 설정할 수 있습니다.

2. 데이터 플로우 작업을 실행할 때 수행되는 작업을 완료하기 위해 실행할 코드를 확인하려면 코드 시뮬레이션 아이콘()을 누릅니다. 소스 및 대상 세부정보는 쉽게 참조할 수 있도록 다른 색상으로 표시됩니다. 이 작업은 작업을 실행하기 전에 매핑이 올바른지 또는 작업이 실패했는지 확인하려는 경우에 유용합니다. 이 코드는 디버깅에 사용할 수 없습니다. 작업에 대한 자세한 내용은 Job Details 페이지를 참조하십시오.
3. 디자인 캔버스 위의 도구 모음에서 검증 아이콘()을 눌러 데이터 플로우를 검증합니다.
4. 검증 성공 후 검증 아이콘 옆에 있는 실행 아이콘()을 눌러 데이터 플로우를 실행합니다.

   데이터 플로우에 변수를 추가한 경우 데이터 플로우에 추가한 변수 목록을 표시하는 변수 값 페이지가 나타납니다. 현재 값, 기본값을 사용하거나 각 변수에 대한 사용자정의 값을 설정하도록 선택할 수 있습니다. 사용자정의 값은 데이터 플로우의 현재 실행에만 적용됩니다. 사용자 정의 값은 후속 세션에서 지속되지 않습니다.

   실행 작업 ID 및 이름을 표시하는 메시지가 나타납니다. 데이터 플로우의 상태를 확인하려면 속성 패널 오른쪽에 있는 상태 패널을 참조하십시오. [상태] 패널에 대한 자세한 내용은 데이터 로드, 데이터 플로우 및 워크플로우의 상태 모니터링을 참조하십시오. 이 패널에는 [작업] 페이지에서 진행률을 모니터하기 위해 누를 수 있는 [작업 ID]에 대한 링크도 표시됩니다. 자세한 내용은 작업 생성 및 관리를 참조하십시오.

   Oracle Object Storage 연결을 사용하여 생성된 데이터 플로우의 경우 소스 CSV 파일의 데이터가 대상 Oracle Autonomous Database로 로드됩니다. 또한 Oracle Autonomous Database 테이블에서 Oracle Object Storage의 CSV 파일로 데이터를 익스포트할 수 있습니다.