11 선형(미리보기)
Oracle AI Data Platform Workbench의 계보에서는 노트북 및 워크플로 실행을 통해 데이터 아티팩트의 관련성을 보여줍니다. 계보 그래프는 지원되는 아티팩트에 대한 업스트림 소스, 다운스트림 소비자 및 열 레벨 파생을 추적하는 데 도움이 됩니다.
주:
계보 메타데이터는 노트북 및 워크플로우 실행에서 캡처됩니다. 각 프로세스 실행에 대해 서비스는 현재 최신 캡처된 계보를 표시하며 아직 과거 계보를 표시하지 않습니다.계보 캡처는 Spark 구성의 일부로 컴퓨트 레벨에서 사용 또는 사용 안함으로 설정됩니다. 기본적으로 만드는 모든 컴퓨트에서 계보가 사용으로 설정됩니다. 계보를 수동으로 사용 안함으로 설정하려면 고급 옵션 아래에서 컴퓨트의 Spark 구성 필드에 spark.aidp.lineage.enabled = false를 추가합니다. 계보를 다시 사용으로 설정하려면 spark.aidp.lineage.enabled = true를 사용합니다. 이 설정은 계산에 따라 다릅니다. 즉, 한 컴퓨트에서 계보를 사용 안함으로 설정하면 계보가 계속 사용으로 설정된 다른 컴퓨트에서 워크플로우가 실행됩니다.
아티팩트를 마우스 오른쪽 버튼으로 누르고 선형을 선택하여 마스터 카탈로그에서 AI 데이터 플랫폼 아티팩트의 계보를 볼 수 있습니다. AI 데이터 플랫폼에서 테이블 및 볼륨과 같은 데이터 아티팩트의 계보를 볼 수 있습니다. 계보에서는 현재 테이블을 앵커 노드로 지원하지만 테이블과 볼륨을 계보 다이어그램의 일부로 표시합니다.
계보 보기에는 선택한 데이터 아티팩트에 대한 업스트림 및 다운스트림 아티팩트가 있는 계보 그래프가 표시됩니다. 전체 그래프, 업스트림 전용 뷰 및 다운스트림 전용 뷰 간에 전환할 수 있습니다.
열 레벨 계보를 보고 한 데이터 아티팩트의 열이 다른 아티팩트의 열에서 파생되거나, 변환되거나, 다른 아티팩트의 열로 전달되는 방식을 추적할 수 있습니다.
왼쪽 상단의 Filter 아이콘을 눌러 캔버스 상단에 있는 필터를 숨길 수 있습니다.
아티팩트 카드 아래쪽의 아래쪽 화살표를 눌러 계보 플로우에서 데이터 아티팩트를 확장합니다. 아티팩트가 확장되면 특정 데이터 열의 업스트림 및 다운스트림 상속을 확인할 수 있습니다. 이 함수는 테이블 및 볼륨과 같은 데이터 열을 포함하는 아티팩트에 대해서만 작동합니다.
확장된 아티팩트 카드의 경우 테이블 또는 볼륨을 확장하여 해당 열과 연결된 열 레벨 계보 관계를 볼 수 있습니다. 아티팩트 카드 아래쪽의 아래쪽 화살표를 눌러 계보 플로우에서 데이터 아티팩트를 확장합니다. 아티팩트가 확장되면 특정 열에 대한 업스트림 및 다운스트림 데이터 플로우를 볼 수 있습니다. 이 함수는 테이블 및 볼륨과 같은 데이터 열을 포함하는 아티팩트에 대해서만 작동합니다.
계보 그래프에서 여러 테이블과 볼륨을 확장하여 각 테이블의 데이터 흐름을 확인할 수 있습니다. 데이터 아티팩트를 확장할 때 파란색 화살표는 소스 아티팩트의 열이 노트북 또는 워크플로우 실행을 통해 대상 아티팩트의 열에 기여하는 방식을 보여줍니다. 개별 열의 경로를 두 번 클릭하여 강조 표시합니다.
파란색 화살표는 소스 열과 대상 열 간의 열 레벨 계보 관계를 보여줍니다. 이러한 관계는 테이블, 볼륨, 노트북, 작업 및 워크플로우 간에 데이터가 파생, 변환 또는 전달되는 방식을 나타냅니다. 열을 두 번 눌러 그래프에서 해당 계보 경로를 강조 표시합니다.
Shift 또는 Ctrl 키를 누른 채 여러 개의 데이터 열을 선택하여 여러 개의 경로를 강조 표시할 수 있습니다.
계보 창의 오른쪽 상단에 있는 작업 메뉴에서 계보 설정을 제어하여 표시되는 업스트림 및 다운스트림 아티팩트의 깊이에 영향을 주거나, 링크를 복사하거나 PNG 이미지를 익스포트하여 계보 다이어그램을 공유할 수 있습니다.
계보 세부정보
계보 다이어그램에서 아티팩트를 두 번 누르면 해당 아티팩트에 대한 세부정보가 표시됩니다. 태스크의 경우 세부정보 페이지는 태스크에 대한 세부정보와 태스크가 속한 작업을 모두 제공합니다. 테이블 및 볼륨의 경우 세부정보 페이지에서 테이블 또는 볼륨 및 해당 열에 대한 정보를 제공합니다.
데이터 아티팩트를 마우스 오른쪽 단추로 눌러 세부정보 보기 또는 앵커로 설정할 수 있습니다. 데이터 아티팩트를 앵커로 설정하면 현재 표시된 다이어그램이 대신 해당 노드의 가운데로 변경됩니다.
세부정보 창의 맨 위에는 아티팩트 유형, 아티팩트가 속한 스키마, 업스트림 및 다운스트림 아티팩트 수가 표시됩니다. 설명 창에서 자산 링크를 누르면 작업영역의 아티팩트로 이동합니다.
데이터 아티팩트의 경우 세부정보 창에 아티팩트가 마지막으로 업데이트된 시기, 데이터 열, 형식 및 데이터 아티팩트가 속한 카탈로그에 대한 정보가 표시됩니다. 드롭다운 메뉴를 사용하여 이름별로 특정 데이터 열을 검색하고 데이터 유형별로 필터링할 수 있습니다.
태스크 및 노트북이 포함된 프로세스 아티팩트의 경우 세부정보 창에 최신 태스크 및 작업 상태, 기간, 태스크 유형, 작업 또는 노트북 이름 및 ID, 첨부된 클러스터 등 아티팩트와 관련된 정보가 표시됩니다. 오른쪽 창에서는 아티팩트 이름을 기반으로 소스 및 대상 아티팩트를 검색하거나 드롭다운 메뉴를 사용하여 변환 유형을 필터링할 수 있습니다.
변환 유형
AI Data Platform Workbench는 계보를 추적할 때 다음과 같은 변환 유형을 지원합니다.
| 유형 | 의미 | 시나리오 예 | 예제 필드 매핑 |
|---|---|---|---|
| 집계 | 출력 필드는 여러 입력 레코드를 집계하여 계산됩니다. | 요약 테이블 또는 metrics 생성 | total_sales = SUM(금액) |
| ID | 출력 필드는 입력 필드와 정확히 동일합니다(변경되지 않음). | 한 테이블에서 다른 테이블로 데이터 세트 복사 | customer_id → customer_id |
| 변환 | 출력은 함수, 데이터형 변환, 연결 등을 사용하여 입력 필드에서 파생됩니다. | 데이터 표준화 또는 정리 | full_name = CONCAT(first_name, ' ', last_name) |
영향 분석
앵커 노드로 선택된 데이터 아티팩트의 영향 분석에 대한 세부정보 창에 추가 탭이 있습니다. 영향 분석 탭에서 특정 아티팩트 이름을 검색하거나 아티팩트 유형별로 필터링할 수 있습니다. 업스트림 또는 다운스트림을 선택하여 현재 선택된 아티팩트의 업스트림 또는 다운스트림인 아티팩트만 표시할 수 있습니다.
업스트림 영향 분석을 사용하여 종속관계를 파악합니다. 다운스트림 영향 분석을 사용하여 선택한 아티팩트에 대한 변경사항의 영향을 받을 수 있는 소비자를 식별합니다.
선택한 데이터 아티팩트와 관련된 아티팩트를 익스포트하려면 임포트 분석 익스포트를 누릅니다. 업스트림 아티팩트, 다운스트림 아티팩트 또는 모든 관련 아티팩트를 익스포트할 수 있습니다.
엔티티 및 열 계보
여러 업스트림 데이터 세트가 대상 데이터 세트 생성에 참여하는 일부 계보 시나리오에서는 이러한 업스트림 데이터 세트 중 일부만 실제 열 값을 대상에 제공합니다.
- 엔티티 계보 답변: 대상 생성에 참여한 데이터 집합은 무엇입니까?
- 열 계보 답변: 대상 열 값을 제공한 소스 열은 무엇입니까?
- 엔티티 계보는 대상이 종속된 모든 업스트림 데이터 세트를 표시해야 합니다.
- 열 계보는 값 제공 입력의 열 레벨 플로우만 표시할 수 있습니다.
- 참조 입력은 대상 열에 값을 기여하지 않고 대상 행 집합에 영향을 줄 수 있습니다.
예: 엔티티 및 열 계보
- source_table_1은 기본 데이터 세트를 포함합니다.
- source_table_2에는 참조 행 집합이 포함되어 있습니다.
- 대상 테이블은 두 소스 테이블에 모두 있는 행만 유지하여 생성됩니다.
표 11-1 source_table_1
| 제품 ID | 판매 일자 | quantity | 전체 금액 |
|---|---|---|---|
| 101 | 2025-06-01 | 10 | 150.0 |
| 102 | 2025-06-02 | 20 | 300.0 |
| 103 | 2025-06-03 | 15 | 225.0 |
| 104 | 2025-06-04 | 12 | 180.0 |
표 11-2 source_table_2
| 제품 ID | 판매 일자 | quantity | 전체 금액 |
|---|---|---|---|
| 102 | 2025-06-02 | 20 | 300.0 |
| 103 | 2025-06-03 | 15 | 225.0 |
| 105 | 2025-06-05 | 18 | 270.0 |
표 11-3 target_table
| 제품 ID | 판매 일자 | quantity | 전체 금액 |
|---|---|---|---|
| 102 | 2025-06-02 | 20 | 300.0 |
| 103 | 2025-06-03 | 15 | 225.0 |
이 예제에서는 두 소스 테이블이 모두 최종 행 집합을 결정하는 데 필요하므로 대상 생성에 참여합니다.
그러나 열 계보 관점에서 대상 열 값은 값 제공 입력(예: source_table_1)에만 귀속될 수 있습니다. 두번째 입력인 source_table_2는 대상에 적합한 행을 결정하는 데 사용되지만 해당 값이 반드시 대상 열에 복사되지는 않습니다.
이러한 이유로 계보 뷰가 source_table_2에 고정되면 아래와 같이 열 레벨 계보 링크가 표시되지 않습니다.
엔티티 계보가 두 입력을 모두 표시하는 이유
- 소스 데이터 세트 A가 없으면 대상을 완전히 설명할 수 없습니다.
- 소스 데이터 집합 B가 소스 데이터 집합 A의 보존되는 레코드를 결정하므로 소스 데이터 집합 B 없이도 대상을 완전히 설명할 수 없습니다.
- 따라서 소스 데이터 집합 A와 소스 데이터 집합 B가 모두 대상 데이터 집합 C에 대한 업스트림 엔티티로 나타나야 합니다.
열 계보에 값 제공 입력만 표시되는 이유
열 계보가 값 출처를 수집합니다. 각 대상 열의 값이 시작된 위치를 설명합니다.
예를 들어 소스 데이터 집합 B에서 행을 필터링한 후 소스 데이터 집합 A의 행을 사용하여 대상 테이블을 작성하는 경우에도 대상 열 값은 소스 데이터 집합 A에서 생성됩니다.
예제 열 매핑:
| 대상 열 | 소스 열 |
|---|---|
target.product_id |
source_a.product_id |
target.sales_date |
source_a.sales_date |
target.quantity |
source_a.quantity |
target.total_amount |
source_a.total_amount |
소스 데이터 집합 B는 행이 있는지 여부에 영향을 주지만 해당 열 값은 대상으로 복사되지 않습니다. 따라서 소스 데이터 집합 B가 열 계보에 나타나지 않는 동안 엔티티 계보에 나타날 수 있습니다.
데이터 계보 보기
작업영역이 서로 다른 Oracle AI Data Platform Workbench 아티팩트 간에 이동할 때 작업영역에서 데이터 상속을 확인할 수 있습니다.
- 아티팩트를 마우스 오른쪽 단추로 누른 다음 선형을 누릅니다. 아티팩트를 선택하고 오른쪽 상단에서 작업을 누른 다음 선형을 누를 수도 있습니다.
특정 데이터 열에 대한 계보 보기
계보 다이어그램을 통해 특정 데이터 열의 계보를 추적할 수 있습니다.
- 계보를 보려는 마스터 카탈로그의 아티팩트로 이동합니다.
- 아티팩트를 마우스 오른쪽 단추로 누른 다음 선형을 누릅니다. 아티팩트를 선택하고 오른쪽 상단에서 작업을 누른 다음 선형을 누를 수도 있습니다.
- 테이블 또는 볼륨 아티팩트의 아래쪽에 있는 화살표를 눌러 확장합니다.
- 계보를 강조 표시할 데이터 열을 두 번 클릭합니다.
계보 아티팩트에 대한 세부정보 보기
계보 다이어그램에서 아티팩트에 대한 추가 세부정보를 확인할 수 있습니다.
- 계보를 보려는 마스터 카탈로그의 아티팩트로 이동합니다.
- 아티팩트를 마우스 오른쪽 단추로 누른 다음 선형을 누릅니다. 아티팩트를 선택하고 오른쪽 상단에서 작업을 누른 다음 선형을 누를 수도 있습니다.
- 추가 세부 정보를 보려면 계보 다이어그램에서 아티팩트를 두 번 누릅니다. 마우스 오른쪽 버튼을 누르고 세부정보 보기를 누를 수도 있습니다.
- 영향 분석 탭을 눌러 아티팩트의 업스트림 및 다운스트림 영향을 봅니다. 이 탭은 앵커 노드에만 사용할 수 있습니다.
영향 분석 익스포트
계보 아티팩트의 세부정보를 보는 동안 데이터 아티팩트에 대한 영향 분석을 익스포트할 수 있습니다.
주:
데이터 아티팩트에 대한 영향 분석만 익스포트할 수 있습니다.- 계보를 보려는 마스터 카탈로그의 아티팩트로 이동합니다.
- 아티팩트를 마우스 오른쪽 단추로 누른 다음 선형을 누릅니다. 아티팩트를 선택하고 오른쪽 상단에서 작업을 누른 다음 선형을 누를 수도 있습니다.
- 계보 다이어그램에서 데이터 아티팩트를 두 번 누릅니다. 영향 분석 탭을 선택합니다.
- 익스포트 영향 분석을 누릅니다.
- 드롭다운 메뉴에서 업스트림, 다운스트림 또는 모든 아티팩트를 포함해야 하는지 선택합니다.
- 내보내기를 누릅니다.
계보 플로우 다이어그램 필터링
계보를 검토할 때 보다 구체적인 데이터 포인트에 집중할 수 있도록 계보 다이어그램을 필터링할 수 있습니다.
- 계보를 보려는 마스터 카탈로그의 아티팩트로 이동합니다.
- 아티팩트를 마우스 오른쪽 단추로 누른 다음 선형을 누릅니다. 아티팩트를 선택하고 오른쪽 상단에서 작업을 누른 다음 선형을 누를 수도 있습니다.
- 드롭다운 메뉴에서 결과를 필터링할 특정 카탈로그, 스키마, 볼륨 또는 작업공간을 선택합니다.
계보 플로우 다이어그램에서 아티팩트 검색
아티팩트 계보를 볼 때 계보 다이어그램에서 특정 아티팩트를 찾기 위한 문자열을 검색할 수 있습니다.
- 계보를 보려는 마스터 카탈로그의 아티팩트로 이동합니다.
- 아티팩트를 마우스 오른쪽 단추로 누른 다음 선형을 누릅니다. 아티팩트를 선택하고 오른쪽 상단에서 작업을 누른 다음 선형을 누를 수도 있습니다.
- 계보 다이어그램 상단의 검색 필드에 검색할 문자열을 입력합니다.
- 목록에서 결과를 눌러 해당 아티팩트에 다이어그램을 가운데에 배치합니다.
