データ統合の開始

データ統合ワークスペースを作成する前に、前提条件およびお客様が担当するタスクのリストを確認します。

顧客担当作業チェックリスト

次のリソースと最小限のポリシーがテナンシに必要です。適切な権限がない場合は、管理者に連絡してください。

開始する前に

データ統合サービスを使用するために設定を開始する前に、次のものが必要です:

管理者権限を持つOracle Cloud Infrastructureアカウント。
データ統合サービスへのアクセス権

顧客タスクのリスト

この項では、データ統合を初めて設定および使用する前に、データ統合のお客様の責任をまとめます。


タスク	説明
データ統合アクティビティのOracle Cloud Infrastructureリソースの作成	アイデンティティ・ドメインがあるサービスOracle Cloud Infrastructure Identity and Access Management (IAM)で、コンパートメント、ユーザーおよびユーザーのグループを作成します。コンパートメントの管理ユーザーの管理グループの管理
データ・ソースのネットワーキング・コンポーネントの構成	You can set up virtual cloud networks (VCNs) and subnets n Oracle Cloud Infrastructure Networking for Data Integration. リージョナル・サブネットのみがサポートされ、サブネットでDNSホスト名を使用する必要があります。使用しているデータ・ソースの場所によっては、サービス・ゲートウェイ、ネットワーク・セキュリティ・グループ、ネットワーク・アドレス変換(NAT)ゲートウェイなど、他のネットワーク・オブジェクトを作成する必要があります。ネットワーキングの概要 VCNsおよびサブネットプライベート・ネットワーク内のデータ・ソースの場合は、少なくとも1つのリージョナル・サブネットを持つVCNを作成します。
データ統合にアクセスして使用するポリシーの作成	アイデンティティ・ドメインを含むサービスOracle Cloud Infrastructure Identity and Access Management (IAM)で、データ統合リソースへの適切なアクセス権をユーザーのグループに提供するために必要なポリシーを作成します。データ統合には、統合のために設定した仮想ネットワークおよびサブネットを管理する権限もあります。リファレンスおよび例は、データ統合のポリシーを参照してください。また、権限とVerbの関係を確実に理解してください。
ワークスペースの作成	データ統合でワークスペースを作成するときに、設定したプライベート・ネットワークを有効にできます。ワークスペースの作成後、ガイドとして一般的なデータ統合のユーザー・アクティビティを参照してください。

データ・セキュリティも参照してください。

共有職責チェックリスト

データ統合のコントロール・プレーンとデータ・プレーン管理タスクが、Oracleとお客様間でどのように共有されるかをご覧ください。

通常、コントロール・プレーンは、OCIリソースのプロビジョニングと、データ統合ワークスペースの取得、作成、更新および削除を行うメタデータ操作の管理を担当します。データ・プレーンは、データ統合のデータ・アセット、データ・フロー、パイプライン、タスクおよびアプリケーションに関連する設計時および実行時操作を担当します。


タスク	ユーザー	説明
ワークスペース・リソース・プロビジョニング	Oracleと顧客	Oracleは、データ統合ワークスペースのOracle Cloud Infrastructureリソースのプロビジョニングを担当します。これには、コンピュート・インスタンス、およびセカンダリVNICを介したサブネットへの接続(指定されている場合)が含まれます。お客様は次の責任を負います。コンパートメントやネットワーキング・リソースの作成など、事前にインフラストラクチャ・リソースを設定します。適切な構成特性を指定して、必要なデータ統合ワークスペースを作成します。最初に使用する前にデータ統合サービスを設定する顧客の職責のリストは、「顧客職責チェックリスト」を参照してください。
ワークスペースとアプリケーションのバックアップとリカバリ	Oracleと顧客	Oracleは、データ統合サービス・リソース・メタデータおよびサービスの操作のみのディザスタ・リカバリを実行するために、コンテンツを継続的にバックアップします。このようなバックアップには顧客ワークスペースのバックアップが含まれますが、バックアップは顧客が使用できません。お客様は、アプリケーションを同じワークスペース、別のワークスペースまたは別のコンパートメントにコピーすることで、アプリケーション・データのバックアップの作成を担当します。これは、リージョン間のディザスタ・リカバリに特に重要です。
サービスのパッチ適用およびアップグレード	Oracle	Oracleは、データ統合サービスとそのエージェント・コンポーネントのパッチ適用およびアップグレードを担当します。
スケーリング	Oracle	Oracleは、コントロールおよびデータ・プレーンのスケーリングを担当します。お客様は、エージェントの計算のために、データ・プレーン内のOCIリソースのスケーリングをリクエストできます。
ヘルス・モニタリング	Oracleと顧客	Oracleは、ワークスペース・リソースのヘルスをモニターし、リソースの可用性を確保する責任を負います。お客様は、タスクの実行中にデータ・プレーンで参照される依存リソースの可用性など、すべてのレベルのタスクおよびアプリケーションのヘルスおよびパフォーマンスを監視する責任を負います。
アプリケーション・セキュリティ	Oracleと顧客	Oracleは、OCIに格納されたデータが暗号化されていることと、データ統合への接続にSSL暗号化が必要であることを保証します。ユーザー(顧客)は、すべてのレベルでのアプリケーションのセキュリティを担当します。この職責には、ワークスペース・リソースへのアクセス、それらのリソースへのネットワーク・アクセス、および依存データへのアクセスが含まれます。
監査中	Oracleと顧客	Oracleは、ワークスペース・リソースに対して行われたREST APIコールのロギング、および監査目的でそれらのログを使用可能にします。お客様は、監査ログ・サービスで監査ログへのアクセスを構成し、ログを使用してテナンシの使用状況を監査し、アクティビティをモニターする責任を負います。
アラートおよび通知	Oracleと顧客	Oracleは、サービス・イベントおよび通知を提供します。顧客は、サービス・イベントのアラートおよび通知を構成し、関心のあるアラートを監視します。

リソースの作成

データ統合アクティビティにリソースを作成するには:

データ統合アクティビティ用のコンパートメントをテナンシ内に作成します。

詳細は、コンパートメントの管理を参照してください。
データ・ソースがプライベート・ネットワークにある場合は、少なくとも1つのサブネットを持つVCNをコンパートメント内に作成します。

ノート

ここで作成するVCNおよびサブネットは、ワークスペースを作成するときに選択するものです。サブネットは、すべての可用性ドメインにわたって リージョナル である必要があります。

サブネットワークがリストにない場合は、戻ってそれが リージョナル ・サブネットとして作成されていることを確認します。

詳細は、VCNおよびサブネットを参照してください。
ワークスペースを担当するユーザーのグループを作成し、ユーザーをそのグループに追加します。

グループ名を書き留めます。次の項では、グループのポリシーを作成します。詳細は、「グループの管理」を参照してください。

ポリシーの作成

データ統合のリソースや機能に対する管理者以外のユーザーのアクセスを制御するには、Oracle Cloud Infrastructure Identity and Access Management (IAM)でアイデンティティ・ドメインを使用してグループを作成します。次に、そのグループに適切なアクセス権を付与するIAMポリシーを記述します。

IAMポリシー・ビルダーでデータ統合ポリシー・テンプレートを使用してポリシーを作成することも、手動エディタにポリシー・ステートメントを手動で入力できます。ポリシー・ビルダーおよびポリシー・テンプレートの使用方法の詳細は、ポリシー・ビルダーを使用したポリシー・ステートメントの記述を参照してください

ポリシー・ステートメントの作成に使用される構文を理解するには、ポリシー構文を参照してください。権限と動詞の関係を理解してください。

ほとんどのデータ統合ポリシーは、テナンシ・レベルまたはコンパートメント・レベルで作成できます。ここに示すポリシーの例は例であり、アクセスのニーズに応じて変更できます。

その他の例およびリファレンスは、データ統合のポリシーを参照してください。

ノート

IAMコンポーネント(動的グループやポリシー・ステートメントなど)を追加した後は、関連付けられたタスクをすぐに実行しないでください。新しいIAMポリシーを有効にするには、約5分から10分かかります。

ワークスペース関連

ワークスペースを作成および使用するには

ワークスペースの作成

このポリシーは、データ統合ワークスペースを作成する権限をグループに付与します。

allow group <group-name> to manage dis-workspaces in compartment <compartment-name>

inspect権限を持つユーザーは、dis-workspacesのリストのみ行うことができます。dis-workspacesに対するmanage権限を持つユーザーは、ワークスペースを作成および削除できます。use権限を持つユーザーは、ワークスペース内で統合アクティビティを実行することのみができます。要件に固有のポリシーを作成するには、他の例を参照してください。

ワークスペース作成ステータスの確認

このポリシーは、ワークスペースの作成中にステータスを確認する権限をグループに付与します。

allow group <group-name> to manage dis-work-requests in compartment <compartment-name>

ユーザー名の表示

このポリシーは、ワークスペース内でプロジェクト、データ・アセットおよびアプリケーションを作成するときに、「作成者」フィールドにユーザーの名前をリストするためのアクセス権をデータ統合に付与します。

allow service dataintegration to inspect users in tenancy

1つのワークスペースへのグループの制限

ワークスペースの作成後、特定のグループが特定のワークスペースを管理し、他のワークスペースを管理できないようにすることができます。

allow group <group-name> to manage dis-workspaces in compartment <compartment-name> where target.workspace.id = '<workspace-ocid>'

コンパートメントの移動

このポリシーは、ワークスペースをあるコンパートメントから別のターゲット・コンパートメントに移動するためのアクセス権をデータ統合に与えます。

allow service dataintegration to inspect compartments in compartment <target-compartment-name>

ワークスペースの移動

このポリシーは、データ統合ワークスペースを移動する権限をグループに付与します。

allow group <group-name> to manage dis-workspaces in compartment <source-compartment-name>

allow group <group-name> to manage dis-workspaces in compartment <target-compartment-name>

タグ

このポリシーは、データ統合ワークスペース内のタグ・ネームスペースおよびタグを管理する権限をグループに付与します。

allow group <group-name> to manage tag-namespaces in compartment <compartment-name>

定義済のタグを追加するには、タグ・ネームスペースを使用する権限が必要です。タグ付けの詳細は、リソース・タグを参照してください。

検索

これらのポリシーは、テナンシのワークスペース内を検索するためのアクセス権をデータ統合に付与します。

allow service dataintegration to {TENANCY_INSPECT} in tenancy

allow service dataintegration to {DIS_METADATA_INSPECT} in tenancy

サブネット・サイズの計算

プライベート・ネットワーク対応のワークスペースを作成するときに、割り当てるための十分なIPアドレスがサブネットにあるかどうかを確認するには、次のポリシーを追加します:

allow group <group_name> to inspect instance-family in compartment <compartment_name>

権限を特定のAPIコールに制限するには、次のポリシーを追加します:

allow group <group_name> to inspect instance-family in compartment <compartment_name> where ALL {request.operation = 'ListVnicAttachments'}

プライベート・ネットワークを有効にするには

データ統合は、データ・リソースとは異なるテナンシ内にできます。タスクを実行するために、データ統合がリクエストをテナンシに送信します。かわりに、統合のために設定した仮想ネットワークを管理する権限をデータ統合に付与する必要があります。ネットワークと同じリージョンにデータ統合ワークスペースを作成し、プライベートIPアドレスを介してネットワークに安全にアクセスします。このリクエストを受け入れるポリシーがない場合、データ統合は失敗します。

allow service dataintegration to use virtual-network-family in compartment <compartment-name>

次のポリシーは、コンパートメント内のネットワーキング・リソースを管理するための権限をグループに付与します。

allow group <group-name> to manage virtual-network-family in compartment <compartment-name>

または、非管理ユーザーの場合:

allow group <group-name> to use virtual-network-family in compartment <compartment-name>

allow group <group-name> to inspect instance-family in compartment <compartment-name>

manageではなく、コンパートメント内のVCNsおよびサブネットにinspect権限を割り当てると、ネットワーク内のユーザー・アクティビティを制限できます。ユーザーは、既存のVCNおよびサブネットを表示し、ワークスペースの作成時にそれらを選択できます。要件に固有のポリシーを作成するには、他の例を参照してください。

データ・アセット関連

オブジェクト・ストレージ

これらのポリシーを作成して、データ統合がオブジェクトやバケットなどのオブジェクト・ストレージ・リソースにアクセスできるようにします。

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

データ統合ワークスペースとオブジェクト・ストレージ・データ・ソースが異なるテナンシ内にある場合は、コンパートメントに次のポリシーも作成する必要があります:

ワークスペース・テナントで:


Endorse any-user to inspect compartments in tenancy <tenancy-name> where ALL {request.principal.type = 'disworkspace'}

オブジェクト・ストレージ・テナントで:


Admit any-user of tenancy <tenancy-name> to inspect compartments in tenancy

ノート

オブジェクト・ストレージを使用するには、様々なタイプのポリシー(リソース・プリンシパル・ポリシーおよび代理ポリシー)が必要です。必要なポリシーは、オブジェクト・ストレージ・インスタンスとデータ統合インスタンスが同じテナンシにあるか異なるテナンシにあるか、およびポリシーをコンパートメント・レベルで作成するかテナンシ・レベルで作成するかにも異なります。必要なポリシーを識別するには、さらに例とブログOracle Cloud Infrastructure (OCI) Data Integrationのポリシーを確認してください。

Fusion Applications

これらのポリシーを作成して、データ統合がOracle Cloud Infrastructure Object Storageのバケットおよびオブジェクトにアクセスできるようにします。これらのポリシーは、抽出されたデータをステージングするために必要であり、操作を完了するには事前認証が必要です。

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

OCI Vault

このポリシーを作成して、機密情報にOCI Vaultのシークレットを使用します。

allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

次のポリシーは、管理者ではないユーザーのグループがOracle Autonomous AI LakehouseおよびOracle Autonomous AI Transaction Processingでシークレットを使用できるようにします:

allow group <group-name> to read secret-bundles in compartment <compartment-name>

Autonomous AI Database

Autonomous Databaseをターゲットとして使用する場合は、このポリシーを作成します。Autonomous Databaseでは、データをステージングするためにオブジェクト・ストレージが使用され、操作を完了するには事前認証が必要です。

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

Autonomous Databaseデータ・アセットの作成中にAutonomous Database資格証明を自動取得する場合は、このポリシーを作成します。

allow group <group-name> to read autonomous-database-family in compartment <compartment-name>

公開関連

タスクをOCIデータ・フローに公開するには

これらのポリシーを作成して、データ統合タスクをデータ統合からOCIデータ・フロー・サービスに公開します。

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

管理者以外のユーザーがプライベート・エンドポイントを使用してOCIデータ・フローにパブリッシュするには、プライベート・エンドポイントを表示するには、このポリシーが必要です:

allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>

作業領域の作成

ユーザーがデータ統合を開始する前に、ユーザーまたは管理者がデータ統合プロジェクト用のワークスペースを作成する必要があります。

データ統合の接続要件が満たされた後にワークスペースを作成します。「リソースの作成」を参照してください。

その他のネットワーク情報については、次のトピックを参照してください。

データ・アセットのネットワーク・コンポーネントの構成
ブログ: データ統合のVCN構成の理解
ブログ: ネットワーク・パス・アナライザの使用(トラブルシューティング、検証および検証)

ポリシーの作成の説明に従って、ワークスペースの作成に必要なポリシーも持っていることを確認します。たとえば、仮想クラウド・ネットワーク(VCN)リソースを使用するワークスペースを作成する場合は、コンパートメント内のVCNへのデータ統合アクセスを許可するポリシーを作成する必要があります。

設計のコンポーネント

ソース・データ・システムとターゲット・データ・システムのデータ・アセットを作成した後、データの抽出、ロード、変換を行うためのデータ統合プロセスを作成します。

データ統合では、データを収集して変換するために、データ・ローダー・タスク、データ・フロー、統合タスクおよびその他のタスクを作成します。シーケンスまたはパラレルで一連のタスクを編成するには、パイプラインおよびパイプライン・タスクを作成します。ガイドラインとして次のタスクを使用できます。


タスク	説明
データ・ローダー・タスクの作成	データ・ローダー・タスクは、プロジェクトまたはフォルダの詳細ページの「タスク」セクションで作成します。データ・ローダー・タスクは、ソースからデータを取得し、データを変換して、データをターゲットにロードします。
データ・フローの作成	データ・フローは、プロジェクトまたはフォルダの詳細ページの「データ・フロー」セクションで作成します。
演算子の追加	データ・フロー・デザイナで、ソース・データ・アセットからターゲット・データ・アセットへのデータの論理フローを構築します。データ演算子を追加して、ソースおよびターゲットのデータ・ソースを指定します。フィルタや結合などの整形演算子を追加して、データのクレンジング、変換およびエンリッチを行います。
ユーザー定義関数の追加	カスタム関数を作成して使用します。
変換の適用	データ・フロー・デザイナの演算子の「データ」タブで、変換を適用して、データの集計、クレンジングおよび整形を行います。
パラメータの割当て	データ・フロー・デザイナの演算子の「詳細」タブで、パラメータを割り当てて、値を外部化したり上書きしたりします。パラメータを使用することで、ソース、ターゲット、変換の様々な構成を、設計時および実行時に再利用できます。
統合タスクの作成	データ・フロー設計の完了後、プロジェクトまたはフォルダの詳細ページの「タスク」セクションで、データ・フローを使用する統合タスクを作成します。データ・フローを統合タスクでラップすると、データ・フローを実行できます。また、実行時に使用したいパラメータ値を選択できます。
他のタスクの作成	必要に応じて、プロジェクトまたはフォルダの詳細ページの「タスク」セクションで、他のタイプのタスクを作成できます。
パイプラインの作成	パイプラインは、プロジェクトまたはフォルダの詳細ページの「パイプライン」セクションで作成します。パイプライン・デザイナで、演算子を使用して、シーケンスまたはパラレルの一連のプロセスとして編成するタスクおよびアクティビティを追加します。パラメータを使用して、設計時および実行時に値をオーバーライドすることもできます。
パイプライン・タスクを作成します	パイプライン設計の完了後、プロジェクトまたはフォルダの詳細ページの「タスク」セクションで、パイプラインを使用するパイプライン・タスクを作成します。パイプラインをパイプライン・タスクでラップすると、パイプラインを実行できます。また、実行時に使用したいパラメータ値を選択できます。

Oracle Cloud Infrastructureドキュメント