データ・フロー・プール

データ・フロー・プールは、多くのデータ・フロー・バッチ、ストリーミング、セッション・ワークロードで、同じテナント内の様々なユーザーが同時に使用できます。

プールは、同じテナント内の複数のユーザー間でSparkベースのバッチ、ストリーミングおよびセッション・ワークロードを効率的に管理するための強力で柔軟なメカニズムを提供します。時間に敏感な本番環境と動的な開発シナリオの両方をサポートするように設計されたプールは、事前に初期化されたコンピュート・インフラストラクチャを維持することで、アプリケーションの起動時間を短縮します。

これにより、エンタープライズ・グレードのワークロードを分離できるため、専用のリソース・セグメンテーションを通じて、重要な本番ジョブが開発アクティビティの影響を受けないことが保証されます。認可されたユーザーまたは特定の環境にプールの使用を制限するファイングレインIAMポリシーにより、コスト制御が合理化されます。同時に、インテリジェント・キューイング・メカニズムにより、リソース使用率を最適化しながら、大量のジョブ送信が可能になります。

プールは、定義された時間枠内に自動的に開始するようにスケジュールでき、最終的に使用量のタイムアウト後に停止し、コンピュート可用性をビジネス・プロセスと連携させ、アイドル・コストを最小限に抑えることができます。また、組込みの自動化により、実行中のアプリケーションを中断することなく、シームレスにセキュリティ・パッチ適用を処理できるため、プールは、セキュアでスケーラブル、かつコスト効率の高いSparkワークロード実行に最適な選択肢となります。

プールは、次のような様々なユース・ケースに対して幅広い機能を提供します。

• 時間を重視する大規模な本番ワークロード。多くのエグゼキュータでは、起動時間を数秒で短縮する必要があります。
• 重要な本番ワークロードは、リソースを異なるプールに分割できるため、動的開発ワークロードの影響を受けません。
• データ・フロー実行を特定のプールに送信できるIAMポリシーを使用して、開発のコストおよび使用量を制御します。
• 多数のデータ・フロー実行は、起動時間を短縮して処理する必要があります。
• キューイング・データ・フローは、リソースおよびコスト管理を効率的に使用するためにプールで実行されます。
• ワークロードは、スケジュール上のプールの自動起動を必要とする特定の時間ウィンドウでのみ実行され、アイドル時に自動停止されます。
• プール内の実行またはリソースに影響を与えずに、セキュリティの自動パッチ適用を行います。

データ・フローのもう1つのユース・ケースは、特別な構成でノードを事前割当て(または予約)する機能です。これらは、特定のサイズ(またはCPUとメモリーの関係)のリソースであり、リージョンをサポートするデータ・センターではまれです。このような特別な構成を必要とするジョブには通常、大量のデータ量とレコードサイズが含まれますが、ジョブ実行により多くのノードを割り当てることによって簡単に分散することはできません。

これらのシナリオでは、リージョン内のデータ・センターを問い合せて、これらのリソースの可用性を評価することが実用的です。Oracleサンプルは、様々な商業コンテキストでそのような容量を調べるための簡単なアプローチを提供します。