パイプライン使用時のサポート情報および考慮事項
データ統合では、パイプラインは、データ処理を容易にするために順序または並行して接続された一連のタスクを作成するための設計時リソースです。タスクを個別に実行し、実行結果を個別に処理するのではなく、ワークロードに関連する一連のタスクおよびアクティビティの実行を管理および調整できます。これらのパイプラインは、低レイテンシ・タスク用に設計されていません。ネットワークまたはクラウドの問題が原因で、各ステップに数分遅れることがあります。ステップ間には、リコンシリエーション・プロセスがあり、それには数分または時間がかかる場合があります。
データ統合でパイプラインを作成する前に、サポートされているものと現在の制限を理解していることを確認してください。
- デフォルトでは、ワークスペースには4つの同時タスク実行の制限があります。パイプラインに4つ以上のタスクがある場合、統合タスクおよびデータ・ローダー・タスクは、デフォルト・ワークスペース当たりの4つの同時実行の制限に基づいてキューに入れられます。SQL、OCIデータ・フローおよびRESTタスクはキューに入れられません。
- 4つの同時実行の制限は、ワークスペース内のパイプライン全体です。この制限は、パイプライン内のみではありません。
- パイプラインを設計する際は、サポートされている最大同時実行性は16ですが、実行中に同時に実行できる同時タスク実行は4つのみです。
- パイプラインのネストがサポートされています。ネストされた深さの最大値は3レベルです。
- パイプラインには、どのレベルでも100を超えるタスクを含めることはできません。
- パイプラインでは、演算子の出力パラメータを次の演算子で使用する場合、同じ出力パラメータを複数回使用しないようにすると、結果が不確定になることがあります。
ノート
ネストされた深さレベルの制限およびレベルのタスク制限は、作成して保存した新しいパイプラインにのみ適用されます。これらの制限を超える既存のパイプラインは影響を受けず、引き続き機能し、中断することなく実行されます。
ネストされた深さレベルの制限およびレベルのタスク制限は、作成して保存した新しいパイプラインにのみ適用されます。これらの制限を超える既存のパイプラインは影響を受けず、引き続き機能し、中断することなく実行されます。