正在从云存储加载数据

您可以将数据从云存储加载到 Autonomous AI Database 中的表。

您可以加载以下文件格式的文件：AVRO、CSV、JSON、GeoJSON、ORC、分隔的 TXT、XLSX、PRQ、GZ、GNU ZIP、Tab-Separated Values 和 Oracle Business Intelligence Cloud Connector (BICC) 提取。BICC 提取的主要输出是一个或多个 CSV 文件，这些文件以表格格式包含提取的业务数据。除了 CSV 文件之外，BICC 或下游进程可能在内部使用元数据或清单文件来跟踪提取详细信息，但主要可交付项是 CSV 数据文件。有关支持的文件格式的信息，请参阅格式化 JSON 和 AVRO 文件规范。当文件位于云存储中时，“数据加载”工具支持从多个工作表 XLSX 文件加载表。

可以针对表的数据设置筛选器，以仅加载指定的数据。例如，要将文件限制为仅是 CSV 文件的文件，请在文件扩展名筛选器中输入 *.CSV。

从“加载云对象”页配置和运行数据加载作业。要打开该页，请执行以下操作：

  1. 打开 Database Actions 并选择 Data Load 。
  2. 选择 LOAD DATA 和 Cloud Store 。

该页面左侧是一个导航器窗格，您可以在其中选择云存储连接以及包含数据的文件夹或文件。页面右侧是数据加载 cart ，您可以在其中暂存数据加载作业的文件和文件夹。可以在运行数据加载作业之前为其设置选项。Autonomous AI Database 附带预定义的 CPU/IO 份额，分配给不同的使用者组。在执行数据加载作业时，可以根据工作量将使用者组设置为低、中或高。

要将文件从云存储加载到数据库中，请执行以下操作：

父主题：加载数据

管理数据加载作业的云存储链接

在从云存储加载数据之前，必须与要使用的云存储建立连接。您可以从云存储位置字段中选择云存储位置。

在“Load Data（加载数据）”页上，选择 Cloud Store 时：

  1. 单击云存储位置文本字段以外的创建云存储位置菜单。这将打开“添加云存储位置”对话框。要添加云存储位置，请参见 Managing Connections 。

请参阅管理连接。

要返回到“加载云对象”页，请在页面顶部的面包屑中单击数据加载，然后导航回该页。

父主题：从云存储加载数据

准备数据加载作业

如输入数据加载作业的详细信息中所述，配置数据加载作业时要做的第一个决策是如何将源数据加载到数据库中的新表或现有表中。选项包括：

  • 创建表并将从源加载的数据插入到新表中。

  • 将从源加载的数据插入到现有表中。

  • 删除现有表中的所有数据，然后将新数据从源插入到表中。

  • 删除表，创建新表，然后将从源加载的数据插入到新表中。

  • 通过更新表中的现有行并向表中插入新行，将源中的数据合并到表中。

您可能需要调整源数据或目标表，以便源数据正确加载到外部目标表中。源中的列数、顺序和数据类型必须与目标中的列数匹配。而是考虑使用：

  • 如果要创建新表，或者源中的列与现有目标中的列完全匹配，则无需进行任何特殊准备。

  • 如果源中的列与现有目标中的列不匹配，则必须编辑源文件或目标表，以便它们匹配。

  • 如果要加载多个文件，必须确保：

    • 所有源文件都属于同一类型，例如 CSV、JSON 等。

    • 所有源文件中列的数目、顺序和数据类型都匹配（如果要加载到现有表中，则与目标匹配）。

  • 如果要按日期分区：

    • 源文件必须包含数据类型为日期或时间戳的数据。

    • 必须加载包含两个或更多数据源的文件夹。

    • 文件夹中文件的名称必须指明日期或日期，例如 MAR-1999.csv 或 2017-04-21.xlsx。

父主题：从云存储加载数据

为数据加载作业添加文件或文件夹

将云存储中的文件添加到数据加载购物车，您可以在其中编辑数据加载作业的详细信息。要添加文件，请执行以下操作：

  1. 从左侧导航器窗格顶部的列表中，使用源数据从下拉列表中选择存储桶。

    此列表显示在“Manage Cloud Storage（管理云存储）”页面上建立的链接。如果您尚未注册要使用的云存储，请单击页面顶部的创建云存储位置按钮并注册连接。请参见上面的 Manage Cloud Storage Links for Data Load Jobs 。

  2. 从左侧的文件导航器中拖动一个或多个项并将其放入右侧的购物车中。

    • 您可以添加文件和/或文件夹。对于拖入其中的每个文件或文件夹，会将卡添加到购物车中。卡中列出了源文件或文件夹的名称以及目标表的建议名称。

    • 如果添加包含多个文件的文件夹，则所有文件必须具有相同的类型，即 CSV、TXT 等。

      将文件夹添加到购物车时，将显示一个提示，询问是否要将多个源文件中的所有对象加载到单个目标表中。单击是继续，或者单击否取消。

    • 将多个单个文件或多个文件夹添加到购物车时，每个卡表示的数据将加载到单独的表中，但购物车中的所有项目都将作为同一数据加载作业的一部分进行处理。您加载的多个文件必须具有相同的文件扩展名。

    • 您可以从其他存储桶添加文件或文件夹，但如果执行此操作，系统会提示您删除购物车中已有的所有文件，然后再继续。要从其他存储桶中选择文件，请从左侧导航器窗格中的下拉列表中选择存储桶，然后添加文件，如上所述。

    • 您可以将文件或文件夹放入数据加载购物车，然后从“数据加载对象”页面中导航。返回页面时，这些项将保留在该页面上。

在运行数据加载作业之前，您可以从购物车中删除货品：

  • 要从购物车中删除某个货品，请单击该货品的卡上的删除图标。

  • 要从购物车中删除所有项目，请单击窗格顶部的“数据链接购物车”菜单栏中的全部删除，以及开始和停止图标。

父主题：从云存储加载数据

输入数据加载作业的详细信息

在“从云存储加载数据”窗格中输入有关数据加载作业的详细信息。

在数据链接购物车中的卡上，单击操作图标并选择设置以打开该作业的“从云存储加载数据”窗格。窗格包含：

“设置”选项卡 -“表”部分

在表部分中设置有关目标表的详细信息。

  • 选项：从选项列表中选择一项，以指定如何将数据加载到新表或现有表中。处理选项包括：

    • 创建表：创建表并将数据插入新表中。选择此选项时，设置选项卡上的名称字段将根据源文件或文件夹的名称填充默认名称。如果您愿意，可以更改此值。

    • 插入到表中：将从源加载的数据插入到现有表中。选择此选项时，设置选项卡上的名称字段将显示当前方案中的表的列表。选择要将数据插入到的表。

    • 替换数据：删除现有表中的所有数据，然后将新数据从源插入到表中。选择此选项时，设置选项卡上的名称字段将显示当前方案中的表的列表。选择要使用的表。

    • 删除表并创建新表：删除表（如果表已存在）并创建新表，然后将数据插入到表中。选择此选项时，设置选项卡上的名称字段将显示当前方案中的表的列表。选择要使用的表。

    • 合并到表中：更新现有行并将新行插入表中。选择此选项时，设置选项卡上的名称字段将显示当前方案中的表的列表。选择要使用的表。

  • 从 Schema（方案）下拉列表中选择其他方案，以在另一方案中创建目标表。

    注意：

    仅当您具有 PDB_DBA 角色授权时，方案下拉列表才可用。

    要向自己授予 PDB_DBA 角色，必须登录 Database Actions 实例，然后在 SQL 工作表区域（显示在启动板中的 Development 工具下的 SQL 选项卡中）中输入以下命令：
    Grant PDB_DBA to USER;

    现在，您可以查看方案下拉列表。它仅可用于创建表和删除表和创建新表选项。

  • 名称：目标表的名称。

  • 分区列 ：

    列表分区和基于日期的分区是数据加载中可用的不同类型的分区。

    如果您希望根据离散值将行映射到分区，则必须使用列表分区。

    要根据特定列进行分区，请单击 Partition Column（分区列）下拉列表，然后选择要用于分区的列。

    每个分区值将有 N 个文件，所有文件都按您选择的分区列进行分区。

    注意：

    • 对于链接的文件（来自外部表），还要求对于每个文件，列表分区列在所有行中只能包含一个不同的值。
    • 如果文件是列表分区的，则分区键只能由表的单个列组成。

    加载包含两个或多个包含日期或时间戳数据的数据源的文件夹时，可以使用基于日期的分区。

    要根据日期进行分区，请单击 Partition Column 下拉列表，然后选择要用于分区的 DATE 或 TIMESTAMP 列。

“设置”选项卡 -“属性”部分

指定用于控制如何解释、预览和处理源数据的选项。这些选项因源数据的类型而异。

  • 编码：从列表中选择字符编码类型。当加载的文件采用纯文本格式（CSV、TSV 或 TXT）时，此选项可用。默认编码类型为 UTF-8。

  • 文本附件：选择用于封装文本的字符： " （双引号字符）、 ' （单引号字符）或 None 。仅当所选文件采用纯文本格式（CSV、TSV 或 TXT）时，此选项才可见。

  • 字段分隔符：选择用于分隔源中的列的分隔符字符。例如，如果源文件使用分号来分隔列，请从此列表中选择 Semicolon 。默认值为 Comma 。仅当所选文件采用纯文本格式（CSV、TSV 或 TXT）时，此选项才可见。

  • 列标题行：选中列标题行复选框，以使用列名称构成目标表中的源表。

    • 通过选择此选项，可以指示文件中包含列名的行。下面映射部分中的行将填充这些名称（以及现有的数据类型，除非您更改这些名称）。

    • 如果取消选择此选项，第一行将作为数据进行处理。要手动指定列名，请在映射部分中为每个目标列输入一个名称。（还必须输入数据类型。）

  • 开始处理行中的数据：指定将源数据加载到目标中时要跳过的行数：

    • 如果选择源列名下的列标题行选项（请参阅下文），并且在开始处理行数据字段中输入大于 0 的数字，则第一行之后的行数不会加载到目标中。

    • 如果取消选择源列名下的列标题行选项，并且在开始处理行数据字段中输入大于 0 的数字，则不包括第一行的行数不会加载到目标中。

  • 数字列：选中将无效数据转换为空值复选框可将无效的数字列值转换为空值。

  • 数据值中包含的换行符：如果存在换行符或返回到当前行的开头，但未在数据字段中向下推进，请选择此选项。选择此选项将增加处理加载所用的时间。如果在加载数据时不选择此选项，则字段中有换行符的行将被拒绝。您可以在“职务报告”面板中查看拒绝的行。

设置模板

保存设置功能以 JSON 文件的形式将配置集保存在购物车设置中。打开“设置”模板时，您具有以下选项：
  1. 加载设置模板：从本地系统加载设置模板。
  2. 保存设置模板：保存当前现有设置模板。
后面是 settings-template.png 的说明
插图 settings-template.png 的说明
如果要使用本地现有的自定义模板，则可以使用加载设置模板。
  1. 从“加载数据”页的“设置”选项卡中的“设置模板”中，选择加载设置模板。
  2. 您将看到“Load Settings Template（加载设置模板）”向导，单击“Settings Template JSON（设置模板）”以从系统加载 JSON 文件。
  3. 单击“设置”模板 JSON 将打开本地系统。单击确定以加载 JSON 文件。
  4. 加载 JSON 文件后，您可以查看自动应用于与从本地加载的 JSON 设置模板匹配的设置选项卡的更新。
您可以使用保存设置模板来保存现有的当前设置模板。
  1. 从“加载数据”页的“设置”选项卡中的“设置模板”中，选择保存设置模板。
  2. 此时将显示模板文件编辑器。单击“模板文件名”并将新模板命名为“模板”。
  3. 单击确定以完成现有模板的新名称的保存。
  4. 您可以测试新模板的配置。

批量编辑设置

您可以使用“批量编辑”设置一次更新映射表中的所有列。使用它可将更改应用于当前显示在结果窗格中的选择。您可以在搜索字段中搜索要编辑的列的值，然后单击放大镜图标。映射表将显示搜索的结果。选择“批量编辑”设置以更新列。使用“批量编辑”设置可以：
  • 更新组中所有字段的值。
  • 查找和替换、添加前缀并将后缀添加到目标列名。
  • 包括用于将数据加载到目标表的列。
  • 排除用于将数据加载到目标表的列。

搜索列

“批量编辑”设置将更新搜索字段返回的列。成批编辑映射向导上的可用列下面的搜索框将筛选要批量更新的列列表。还可以单击要从“可用列”列表中选择的列。选择任何可用的选项：
  • > ：此选项使您可以将该列移动到选定列。
  • < ：要从所选列中删除所选表，请选择此选项。
  • >> ：此选项允许您将所有表移动到 "Selected Columns" 屏幕。
  • << ：要从所选列中删除所有所选表，请选择此选项。
通过“批量编辑映射”，您可以为搜索字段返回的所有搜索更新以下列的值：
  • 数据类型
  • 目标列名称
  • 包含要加载的列
  • 排除要加载的栏

考虑在映射表中将前五行的数据类型从 VARCHAR2 更改为 CHAR。

后面是 bulk-edit1.png 的说明
插图 bulk-edit1.png 的说明

“设置”选项卡 -“映射”部分

映射部分中的设置控制如何将源文件中的数据加载到目标数据库表中的行中。对于每行，源列下列出的列中的数据将加载到目标列下列出的列中。

如上所述，映射表的内容会根据您在表部分中选择的处理选项以及您在属性部分中设置的属性而变化。

您可以使用快速筛选器字段筛选映射表中的结果，该字段允许您筛选出列或表达式。

选择添加表达式可对源数据执行情感分析或关键短语提取。有关详细信息，请参阅在 Data Studio 中使用 OCI 语言服务功能。

  • 包括：此复选框可确保所选行从源列加载到目标列。

  • 源列：列出源文件中的列。

    如果选择了属性下的列标题行选项，则源列将显示源文件中列的名称。如果未选择列标题行选项，则使用通用名称，如 COLUMN_1 、 COLUMN_2 等。此字段始终为只读。

    您可以查看两个源列 FILE$NAME 和 SYSTIMESTAMP。使用 FILE$NAME 列可以找到包含特定数据记录的源文件。例如，加载包含文件列表的源文件。文件列表中的文件名是指整个组织的部门名称。例如， finance.txt 文件包含来自财务部门的数据。在映射中，可以使用字符串数据类型从文件名列的输出中提取部门名称。可以使用提取的部门名称以不同方式处理每个部门的数据。

    通过 SYSTIMESTAMP 列，可以查看数据库中的当前时间戳。

    注意：

    • 默认情况下不包含 FILE$NAME 和 SYSTIMESTAMP 源列。必须选中包括复选框并运行目标表的加载才能显示这两个列。
    • 创建实时馈送时，默认情况下，FILE$NAME 和 SYSTIMESTAMP 源列会显示在映射表中。

  • 目标列：列出目标表中的列。接受、选择或输入目标表中的列。您需要确保目标列不为空。目标列名不能具有重复的名称作为另一个目标列。目标列长度不能超过 128 字节。128 字节限制是数据库限制。

    根据为表处理选项选择的内容以及是否为列标题行选项选择的内容，此列的内容会有所不同。

    • 如果 (1) 处理选项为创建表或删除表并创建新表，并且 (2) 选择了列标题行选项，则目标列将使用源文件中的列的名称。可以通过将提供的名称替换为新名称来更改目标列的名称。

    • 如果 (1) 处理选项是创建表或删除表并创建新表，并且 (2) 未选择列标题行选项，则使用通用名称，例如 COLUMN_1 、 COLUMN_2 等。可以通过将提供的名称替换为新名称来更改目标列的名称。

    • 如果 (1) 处理选项是插入到表中、替换数据或合并到表中，并且 (2) 选择了列标题行选项，则目标列具有目标表中所有列的下拉列表及其数据类型。默认情况下，会选择名称与源列相对应的列，但您可以从列表中选择其他列。

    • If (1) the processing option is Insert into Table, Replace Data, or Merge Into Table and (2) the Column header row option is not selected, then the Target column has a drop-down list of all the columns in the target table, with their data types. 从列表中选择要用作目标列的列。

    注意：

    如果从单个数据加载作业中的文件夹加载多个文件，则映射部分中仅显示第一个文件。但是，只要列名和数据类型匹配，将加载所有源文件中的数据。

  • 数据类型：列出要用于该列中的数据的数据类型。仅为创建表或删除表和创建新表显示此列。内容因是否选择了从文件头获取选项而异。

    • 如果选择了从文件标题获取选项，则数据类型将显示源文件（对于创建表）或现有表（对于删除表和创建新表）中列的数据类型。如果要更改目标的数据类型，请单击名称并从列表中选择其他数据类型。

    • 如果未选择列标题行选项，则数据类型将显示所有可用数据类型。从列表中选择要用于目标列的数据类型。

  • 长度/精度（可选）：对于数据类型为 NUMBER 的列，请输入列中数字的长度/精度。精度是数字中的有效数字位数。精度的范围为 1 到 38。

    对于数据类型为 VARCHAR2 的列，长度/精度字段中的自动值将启用“自动大小”功能。

    使用“自动调节列宽度”功能，可以自动调节任意列的大小，使其符合列中最大值。从长度/精度下拉值中选择自动，或者从下拉列表中选择一个值。

  • 缩放（可选）：对于数据类型为 NUMBER 的列，请在列中输入数字的缩放。小数位数是小数点右边（正）或左边（负）的位数字。小数位数的范围为 -84 至 127 。

  • 格式：如果数据类型列中的数据类型是 DATE 或 TIMESTAMP 类型之一，请从格式下拉列表中选择该类型的格式。

  • 合并关键字：此选项仅用于处理选项合并到表中。

    对于合并到表中选项，必须至少指定一个列以用作关键字列。合并键是唯一标识表中各行的一个或多个列。要指定键列，请选中该列的合并键复选框。合并键不能包含任何 Null 值。对于使用主键加载表，此选项自动允许选择主键列作为合并键。

预览标签

预览选项卡在加载预览菜单中以表格形式显示源数据。显示内容反映了您在属性部分中选择的设置。

预览选项卡中的文件菜单显示包含所有列及其名称的源数据。您可以复制文本。

“表”选项卡

表选项卡显示加载数据后预期目标表的外观。如果选择了创建表处理选项，则不会显示任何表。

SQL 选项卡

SQL 选项卡显示为完成此数据加载作业而将运行的 SQL 命令。

注意：

甚至在创建表之前，您也可以看到 SQL 代码。

关闭按钮 - 保存并关闭窗格

输入数据加载作业的所有详细信息后，单击页面底部的关闭。这将保存您输入的详细信息，并返回到“从云存储加载数据”窗格。要关闭页面而不保存条目，请按 Escape 。

父主题：从云存储加载数据

运行数据加载作业

将数据源添加到数据加载购物车并输入有关数据加载作业的详细信息后，可以运行该作业。

要运行作业，请执行以下操作：

  1. 如果您尚未执行此操作，请单击从云存储加载数据窗格中的关闭按钮以保存设置并关闭窗格。如果任何设置无效，则错误消息会报告该问题。修复问题，然后单击关闭。

  2. 单击数据加载购物车菜单栏中的 开始 Start 。要停止数据加载作业，请单击 停止 停止。

    为作业添加所有源并指定每个源的设置后，要运行作业，请单击“Data Load Cart（数据加载购物车）”菜单栏中的“Start（开始）”图标。在“运行数据加载作业”对话框中，单击开始。要停止数据加载作业，请单击“Stop（停止）”图标。

    数据加载作业启动后，您可以在“数据加载”仪表盘中查看作业的进度。

    数据加载作业完成时，“数据加载”仪表盘页将显示作业的结果。在表加载标题的顶部，可以查看表的名称以及表中存在的总列数。

    单击作业报告可查看成功处理的行总数和被拒绝的行数。您还可以查看开始时间。作业报告的 SQL 窗格显示作业的等效 SQL 代码。

    要查看作业中某个项的信息，请单击“表加载”上的操作图标。

    要查看加载操作的日志，请单击“Logging（日志记录）”图标。您可以保存日志、清除日志或刷新日志。单击 OK 关闭日志。

父主题：从云存储加载数据

查看有关运行数据加载作业的详细信息

要在运行数据加载作业后查看有关该作业的详细信息，请单击“数据加载”仪表盘的表和视图加载部分上的操作图标。

您可以查看表详细信息、收集统计信息、注册到云链接、创建分析视图、将数据导出到云、编辑表并删除表。

数据加载作业完成时，“数据加载”仪表盘页将显示作业的结果。在表加载标题的顶部，可以查看表的名称以及表中存在的总列数。

单击报告可查看成功处理的行总数和已拒绝的行数。您还可以查看开始时间。报表的 SQL 窗格显示作业的等效 SQL 代码。

在数据加载作业之后，您可能会看到要更正的错误，或者在检查后发现您希望以不同的方式命名列。在这种情况下，您将在表加载中查看警告符号。单击重新加载图标以使用建议的修复重新加载源。单击表加载上的操作图标，然后选择编辑以对数据加载作业进行任何更改（即更改列名）。

父主题：从云存储加载数据

查看数据加载作业产生的表

要查看数据加载作业修改的新表或表，可以：

  1. 修复数据加载作业。在数据加载作业之后，您可能会看到要更正的错误，或者在检查后发现您希望以不同的方式命名列。在这种情况下，请单击所选“表加载”上的重新加载选项以从最近的购物车中重新加载卡，然后像第一次尝试之前那样对其进行编辑。“重新加载”图标使用工具建议的修复重新加载源数据。单击表标题上的操作图标，单击表并选择编辑以对数据加载作业进行任何更改（即，更改列名）。

  2. 您可以使用上述段落中提到的编辑图标来查看表。

父主题：从云存储加载数据