1.13.4 ファイルのアップロード

「ファイルのアップロード」を使用して、EDQサーバー・ランディング領域から、クラウド・データ・ストレージ・プロバイダ(Oracle Object Store (OCI)、Amazon Web Services (AWS)、Azure Data StorageおよびGoogle Cloud Platform)などの外部システムに出力ファイルをエクスポートします。必要な場合は、ユーザー認証の詳細やプロキシ/ファイアウォールの設定をファイル・アップロード・タスクの一部として設定できます。

ファイルのアップロード・タスクでは、1回のHTTP PUTまたはPOSTコールでデータが送信されるのが通常です。ただし、クラウド・プロバイダによっては、1回のリクエストでアップロード可能なファイル・サイズに制限があります。たとえば、OCIオブジェクト・ストレージの最大サイズは50GBですが、AWS S3では5GBです。そのような場合、ファイルのアップロード・タスクでは、マルチパート・アップロードが可能です。マルチパート・アップロードでは、ファイルが複数のパートに分割され、別々のHTTPコールで送信されます。複数のパートは、同時にアップロードできます。すべてのパートがアップロードされたら、マルチパート・コミット・コールを使用して、パートが1つのファイルにアセンブルされます。

「ファイルのアップロード」タスクに設定できるオプション一式は次のとおりです。

• 基本構成:

  • URL: ファイルのアップロード先のターゲット・ファイルの場所を指定します。インターネット上の場所かサーバーが接続できる別のネットワーク・ファイルの場所を指定できます。Oracle Object Store (OCI)、Amazon Web Services (AWS)、Azure Data Storage、Google Cloud Platformなどの様々なクラウド・ストレージ・プロバイダにファイルをアップロードできます。

  • 方法: 指定されたURLに基づいてファイルのアップロード方法を指定します。PUTまたはPOSTを指定できます。
  • 格納済資格証明を使用しますか。: 格納済資格証明を使用して、指定したURLのログイン資格証明を自動的に取得する場合は、このチェック・ボックスを選択します。
  • 資格証明名: EDQサーバーに対して構成されているすべての格納済資格証明をリストします。ドロップダウン矢印をクリックして、必要な格納済資格証明を選択します。

    ノート:

    このフィールドは、「格納済資格証明を使用しますか。」チェック・ボックスを選択した場合にのみ有効になります。
  • ユーザー名: ユーザー名を指定します(ファイルをアップロードするために認証の詳細が必要な場合)。

    ノート:

    このフィールドは、「格納済資格証明を使用しますか。」チェック・ボックスを選択した場合は無効になります。
  • パスワード: パスワードを指定します(ファイルをアップロードするために認証の詳細が必要な場合)。

    ノート:

    このフィールドは、「格納済資格証明を使用しますか。」チェック・ボックスを選択した場合は無効になります。

  • ランディング領域のファイル名: アップロードするランディング領域のファイル名を指定します。ファイルがサブフォルダにある場合は、スラッシュを使用してディレクトリ構造を指定します(例: UploadedData/uploadedfile.csv)。

  • プロジェクト専用フォルダを使用: このオプションを選択すると、ランディング領域に存在するプロジェクト専用のフォルダからファイルが自動的に選択され、クラウド・データ・ストレージ・プロバイダなど、外部にアップロードされます。通常これが使用されるのは、ランディング領域にアクセスできるのが同じプロジェクト内のプロセスのみになるようにプロジェクト権限が設定されている場合です。

• 高度な構成:

  • マルチパート・アップロード・タイプ: マルチパート・アップロードが必要なクラウド・データ・ストレージ・プロバイダを指定します。OCI Object StorageまたはAWS S3を指定できます。

  • プロキシ・ホスト: プロキシ/ファイアウォール・サーバーの名前またはIPアドレス(サーバーがインターネット/ネットワークに直接接続されない場合)。

  • プロキシ・ポート: プロキシ/ファイアウォール・サーバーへの接続に使用されるポート。

  • プロキシ・ユーザー名: プロキシ/ファイアウォール・サーバーの認証に使用されるユーザー名。

  • プロキシ・パスワード: プロキシ/ファイアウォール・サーバーの認証に使用されるパスワード。

  • SSLホスト名の不一致を許可: このオプションを選択すると、SSL証明書に指定されたホスト名と証明書が適用されるサーバー名の矛盾をアップロード・タスクが無視できます。

  • 無効なSSL証明書を無視: このオプションを選択すると、ホストの未確認のSSL証明書をアップロード・タスクが無視できます。

最後に、ファイルのアップロード・タスクに名前を付けて、説明(オプション)を付けることができます。

マルチパート構成

OCIオブジェクト・ストレージやAWS S3のマルチパート・アップロードを調整するために特定のプロパティがあり、構成が可能です:

• OCIオブジェクト・ストレージの場合:

  次のプロパティを使用して、OCIオブジェクト・ストレージのマルチパート・アップロードを調整できます:

  プロパティ	デフォルト	最小	説明
  oci.multipart.minsize	128MB	5MB	このサイズよりも大きいファイルにマルチパート・アップロードを使用します
  oci.multipart.partsize	128MB	1MB	各パートのサイズ
  oci.multipart.threads	5	1	パートのアップロードに使用するスレッド数

  パート数が10,000に制限されているため、必要に応じて、パート・サイズが大きくなります。

• AWS S3の場合:

  次のプロパティを使用して、AWS S3のマルチパート・アップロードを調整できます:

  プロパティ	デフォルト	最小	説明
  s3.multipart.minsize	128MB	5MB	このサイズよりも大きいファイルにマルチパート・アップロードを使用します
  s3.multipart.partsize	128MB	5MB	各パートのサイズ
  s3.multipart.threads	5	1	パートのアップロードに使用するスレッド数

  パート数が10,000に制限されているため、必要に応じて、パート・サイズが大きくなります。