12 워크플로우
Oracle AI Data Platform Workbench의 워크플로는 데이터 처리 작업을 자동화할 수 있는 강력하고 유연한 방법을 제공합니다. 워크플로를 통해 사용자는 사전 정의된 일정에 따라 온디맨드 방식으로 실행할 수 있는 복잡한 데이터 파이프라인을 정의 및 통합관리할 수 있습니다. 워크플로우는 각각 특정 작업을 수행하는 여러 작업으로 구성될 수 있으며 종속성, 트리거 및 오류 처리와 같은 고급 기능을 포함할 수 있습니다.
AI 데이터 플랫폼 워크플로의 주요 기능
- 자동화: 복잡한 데이터 작업 및 프로세스를 자동화합니다.
- 통합관리: 파이프라인에서 태스크의 순서 및 종속성을 정의합니다.
- 일정 잡기: 일정에 따라 워크플로우를 실행하거나 특정 이벤트를 기반으로 트리거합니다.
- 모니터링: 워크플로우 상태, 로그 및 실행 내역을 추적합니다.
- 파라미터화: 워크플로우 및 작업의 동작을 커스터마이즈하는 파라미터를 전달합니다.
핵심 개념
- 작업: 데이터 처리 작업을 완료하기 위해 순서대로 또는 병렬로 실행되는 작업 모음입니다.
- 작업: 워크플로우를 구성하는 개별 단계입니다. 작업에는 Python 코드 실행, 노트북 실행, if-else 작업 또는 다른 작업 실행과 같은 작업이 포함될 수 있습니다.
- 작업 실행: 작업 실행의 인스턴스입니다. 작업은 새 작업 실행을 나타낼 때마다 여러 번 트리거될 수 있습니다.
- 트리거: 워크플로우가 실행되는 조건(예: 스케줄에 따라 또는 수동으로 트리거되는 경우)을 정의합니다.
- 종속성: 작업 실행 순서를 정의하거나 특정 작업이 실행되는 조건을 지정합니다.
- 파라미터: 실행을 커스터마이즈하기 위해 워크플로우나 작업에 전달되는 값입니다. 매개변수는 작업, 작업 또는 런타임 레벨에서 정의할 수 있습니다.
워크플로우 사용의 이점/사용 사례
- 간소화된 자동화 - 워크플로우를 통해 반복되는 데이터 작업을 자동화하여 실행을 간소화합니다.
- 병렬 처리 - 작업을 병렬로 실행하여 데이터 처리 속도를 높입니다.
- 사용자 정의 가능한 실행 - 특정 요구 사항을 충족하는 매개변수를 사용하여 런타임 시 워크플로우를 수정합니다.
- 효율성 향상 - 수동 개입 및 오류를 줄여 원활한 운영을 지원합니다.
AI 데이터 플랫폼 워크벤치의 워크플로는 자동화된 ETL 파이프라인, 여러 소스의 데이터 통합, 고급 분석 등 광범위한 사용 사례를 지원합니다. 사용자는 데이터 품질 모니터링, 머신 러닝 모델 교육 및 배포를 자동화할 수 있습니다. 이러한 기능은 모던 데이터 기반 워크플로를 위한 효율성 및 확장성을 높여줍니다.
모범사례
- 작업 모듈화 - 워크플로우를 재사용 가능한 작업으로 분석하여 관리를 간소화하고 유지 관리 용이성을 향상시킵니다.
- 효율적인 리소스 할당 - 해당되는 경우 병렬로 작업을 실행하여 성능 향상을 위해 워크플로우를 최적화합니다.
- 오류 처리 - 재시도, 오류 통지 및 폴백 방식을 사용하여 워크플로우가 안정적으로 실행되는지 확인합니다.
- 컴퓨팅 할당 - 워크로드 크기에 따라 각 작업에 특정 컴퓨팅 리소스를 할당하여 성능과 비용을 최적화합니다.
이러한 모범 사례를 따르면 확장 가능하고 안정적이며 효율적인 워크플로우를 설계하여 Oracle AI Data Platform에서 최적의 성능과 손쉬운 관리를 보장할 수 있습니다.