從 Cloud Storage 載入資料

您可以將資料從雲端存放區載入至 Autonomous AI Database 中的表格。

您可以載入下列檔案格式的檔案:AVRO、CSV、JSON、GeoJSON、ORC、Delimited TXT、XLSX、PRQ、GZ、GNU ZIP、Tab 分隔值以及 Oracle Business Intelligence Cloud Connector (BICC) 擷取。BICC 擷取的主要輸出為一或多個 CSV 檔案,其中包含以列表化格式擷取的業務資料。除了 CSV 檔案之外,BICC 或下游處理可能會使用內部的中繼資料或資訊清單檔案來追蹤擷取明細,但主要交付項目是 CSV 資料檔案。如需支援的檔案格式資訊,請參閱格式化 JSON 與 AVRO 檔案的規格。當檔案位於雲端存放區時,「資料載入」工具支援從多個工作表 XLSX 檔案載入表格。

您可以針對表格的資料設定篩選,只載入指定的資料。例如,若要將檔案限制為只有 CSV 檔案,請在副檔名篩選中輸入 *.CSV。

從「載入雲端物件」頁面設定並執行資料載入工作。要開啟該頁面:

  1. 開啟「資料庫動作」並選取資料載入
  2. 選取 LOAD DATACloud Store

頁面左側是導覽器窗格,您可以在其中選擇雲端存放區連線,以及包含資料的資料夾或檔案。頁面右側是資料載入購物車,您可以在其中暫存資料載入工作的檔案與資料夾。您可以在執行資料載入工作之前,設定其選項。Autonomous AI Database 隨附指派給不同用戶群組的預先定義 CPU/IO 共用。視您的工作負載而定,您可以在執行資料載入工作時,將用戶群組設為低、中或高。

若要將檔案從雲端存放區載入您的資料庫,請執行下列作業:

管理資料載入工作的雲端儲存連結

您必須先建立要使用的雲端存放區連線,才能從雲端存放區載入資料。您可以從雲端商店地點欄位選取雲端商店地點。

選取「雲端存放區」時,在「載入資料」頁面上:

  1. 按一下雲端存放區位置文字欄位旁的建立雲端存放區位置功能表。這會開啟「新增雲端存放區位置」對話方塊。請參閱管理連線以新增雲端存放區位置。

請參閱管理連線

若要返回「載入雲端物件」頁面,請按一下頁面頂端導覽路徑中的資料載入,然後返回頁面。

準備資料載入工作

如以下所示,在輸入資料載入工作的詳細資訊中,您在設定資料載入工作時所做的第一個決定是如何將來源資料載入資料庫中的新表格或現有表格。選項包括:

  • 建立表格,並將從來源載入的資料插入新表格。

  • 將從來源載入的資料插入現有表格。

  • 刪除現有表格中的所有資料,然後從來源插入新資料至表格。

  • 刪除表格、建立新表格,然後將從來源載入的資料插入新表格。

  • 藉由更新表格中的現有資料列,並將新資料列插入表格,將來源的資料合併至表格。

您可能必須調整來源資料或目標表格,以便來源資料能正確地載入至外部目標表格。來源中資料欄的數目、順序和資料類型必須與目標中的資料欄相符。請考慮改用:

  • 如果您正在建立新表格,或來源中的資料欄與現有目標中的資料欄完全相符,則不需要進行任何特殊準備。

  • 如果來源中的資料欄與現有目標中的資料欄不相符,您必須編輯來源檔案或目標表格,使其相符。

  • 如果您正在載入多個檔案,則必須確定:

    • 所有來源檔案的類型都相同,例如 CSV、JSON 等。

    • 所有來源檔案中資料欄的數目、順序和資料類型都相符 (如果您要載入現有的表格,它們就會與目標相符)。

  • 如果您想要依日期分割:

    • 來源檔案必須包含資料類型為日期或時戳的資料。

    • 您必須載入包含兩個或更多資料來源的資料夾。

    • 資料夾中的檔案名稱必須指出日期或日期,例如 MAR-1999.csv2017-04-21.xlsx

新增資料載入工作的檔案或資料夾

從雲端存放區新增檔案至資料載入購物車,您可以在其中編輯資料載入工作的詳細資料。新增檔案:

  1. 從左側導覽器窗格頂端的清單中,使用您的來源資料從下拉式清單中選取儲存桶。

    此清單顯示「管理雲端儲存體」頁面上建立的連結。如果您尚未註冊想要使用的雲端存放區,請按一下頁面頂端的建立雲端存放區位置按鈕,然後註冊連線。請參閱上方的管理資料載入工作的雲端儲存連結

  2. 將一或多個項目從左邊的檔案導覽器拖放至右邊的資訊轉送站。

    • 您可以新增檔案、資料夾或兩者。系統會針對您拖曳至購物車中的每個檔案或資料夾新增卡片。卡片會列出來源檔案或資料夾的名稱,以及建議的目標表格名稱。

    • 如果您新增包含多個檔案的資料夾,則所有檔案的類型都必須相同,亦即 CSV、TXT 等。

      將資料夾新增至資訊轉送站時,會顯示一個提示,詢問您是否要將多個來源檔案的所有物件載入單一目標表格。按一下以繼續,或按一下以取消。

    • 當您將多個個別檔案或多個資料夾加入至資訊轉送站時,每個資訊轉送站所代表的資料將被載入至個別的表格中,但資訊轉送站中的所有項目將作為相同資料載入工作的一部分進行處理。您載入的多個檔案必須具有相同的副檔名。

    • 您可以從其他儲存桶新增檔案或資料夾,但如果這麼做,系統會提示您先移除購物車中已有的所有檔案,再繼續進行作業。若要從其他儲存桶選取檔案,請從左側導覽器窗格的下拉式清單中選取儲存桶,然後新增檔案 (如上所述)。

    • 您可以將檔案或資料夾放入資料載入購物車,然後離開「資料載入物件」頁面。當您返回頁面時,這些項目會保留在頁面上。

您可以在執行資料載入工作之前從購物車中移除項目:

  • 若要從購物車中移除項目,請按一下該項目卡上的移除圖示。

  • 若要移除購物車中的所有項目,請按一下窗格頂端之資料連結購物車功能表列中的全部移除 (除了開始停止圖示之外)。

輸入資料載入工作的明細

在「從雲端儲存載入資料」窗格中輸入資料載入工作的詳細資訊。

在資料連結購物車中的卡片上,按一下動作圖示,然後選取設定值以開啟該工作的「從雲端儲存載入資料」窗格。窗格包含:

設定頁籤 - 表格區段

表格段落中設定目標表格的相關詳細資訊。

  • 選項:選項清單中選取一個項目,以指定如何將資料載入新的或現有的表格中。處理選項為:

    • 建立表格:建立表格並將資料插入新表格中。選取此選項時,設定值頁籤上的名稱欄位會根據來源檔案或資料夾的名稱填入預設名稱。如有需要,您可以變更。

    • 插入表格:將從來源載入的資料插入現有表格。選取此選項時,設定值頁籤中的名稱欄位會顯示目前綱要中的表格清單。選取您要插入資料的表格。

    • 取代資料:刪除現有表格中的所有資料,然後將來源的新資料插入表格中。選取此選項時,設定值頁籤中的名稱欄位會顯示目前綱要中的表格清單。選取您要使用的表格。

    • 刪除表格與建立新表格:刪除表格 (如果該表格已存在)、建立新表格,然後將新資料插入表格。選取此選項時,設定值頁籤中的名稱欄位會顯示目前綱要中的表格清單。選取您要使用的表格。

    • 合併至表格:更新現有資料列,並在表格中插入新資料列。選取此選項時,設定值頁籤中的名稱欄位會顯示目前綱要中的表格清單。選取您要使用的表格。

  • 綱要下拉式清單中選取不同的綱要,以在其他綱要中建立您的目標表格。

    附註:

    只有在您具備 PDB_DBA 角色授權時,才可使用綱要下拉式清單。

    若要授予您自己的 PDB_DBA 角色,您必須登入您的「資料庫動作」執行處理,並在「啟動畫面」中開發工具底下的 SQL 工作表區域中輸入下列命令:
    Grant PDB_DBA to USER;

    您現在可以檢視綱要下拉式清單。只有建立表格刪除表格和建立新表格選項才能使用。

  • 名稱:目標表格的名稱。
  • 分割區資料欄

    列出分割區和以日期為基礎的分割區是資料載入時可用的不同類型分割區。

    當您特別想要根據分散式值將資料列對應至分割區時,就需要清單分割。

    若要根據特定資料欄進行分割,請按一下分割資料欄下拉式清單,然後選取要用於分割的資料欄。

    每個分割區值將有 N 個檔案,所有檔案都依您選取的分割區資料欄分割。

    附註:

    • 對於連結的檔案 (來自外部表格),也需要針對每個檔案,清單分割資料欄在所有資料列中都只能包含單一不同值。
    • 若檔案清單分割,分割索引鍵只能由表格的單一資料欄組成。

    載入包含兩個或多個資料來源的資料夾 (包含日期或時戳資料) 時,可以使用日期型分割。

    若要根據日期進行分割,請按一下分割區資料欄下拉式清單,然後選取要用於分割的 DATETIMESTAMP 資料欄。

設定頁籤 - 特性區段

指定控制如何解譯、預覽及處理來源資料的選項。這些選項會根據來源資料的類型而有所不同。

  • 編碼:從清單中選取一個字元編碼類型。當載入的檔案為純文字格式 (CSV、TSV 或 TXT) 時,即可使用此選項。預設編碼類型為 UTF-8。

  • 文字外殼:選取內含文字的字元: " (雙引號字元)、 ' (單引號字元) 或。只有在選取的檔案為純文字格式 (CSV、TSV 或 TXT) 時,才會顯示此選項。

  • 欄位分隔符號:選取用於分隔來源中資料欄的分隔符號字元。例如,如果來源檔案使用分號來分隔資料欄,請從清單中選取分號。預設值為逗號。只有在選取的檔案為純文字格式 (CSV、TSV 或 TXT) 時,才會顯示此選項。

  • 資料欄標頭資料列:選取資料欄標頭資料列核取方塊,以使用資料欄名稱作為目標表格中的來源表格。

    • 透過選取此選項,您可以指示檔案中的資料列包含資料欄名稱。下方對應區段中的資料列會填入這些名稱 (除非您變更這些名稱,否則會使用現有的資料類型)。

    • 如果您取消選取此選項,則會將第一列處理為資料。若要手動指定資料欄名稱,請在對應區段中輸入每個目標資料欄的名稱。(您也必須輸入資料類型。)

  • 在資料列開始處理資料:指定將來源資料載入目標時要略過的資料列數目:

    • 如果您在來源資料欄名稱下選取資料欄表頭資料列選項 (請參閱下方),且如果您在在資料列開始處理資料欄位中輸入大於 0 的數字,則第一個資料列之後的該資料列數不會載入目標。

    • 如果您取消選取來源資料欄名稱下的資料欄表頭資料列選項,且如果您在在資料列開始處理資料欄位中輸入大於 0 的數字,則包含第一個資料列的資料列數目不會載入目標。

  • 數值資料欄:選取將無效的資料轉換成空值核取方塊,將無效的數值資料欄值轉換成空值。

  • 資料值中包含的換行字元:如果有換行字元,或返回目前行的開頭,但不在資料欄位中向下移動,請選取此選項。選取此選項會增加處理載入所需的時間。如果您在載入資料時未選取此選項,則欄位中有換行字元的列將會被拒絕。您可以在「工作報表」面板中檢視拒絕的資料列。

設定值樣板

儲存設定值功能會以 JSON 檔案的形式,將組態集儲存在「購物車」設定值中。開啟「設定值」樣板時,有下列選項:
  1. 載入設定值樣板:從您的本機系統載入設定值樣板。
  2. 儲存設定值樣板:儲存目前的現有設定值樣板。
settings-template.png 的描述如下
settings-template.png 圖解描述
如果您要使用本機中現有的自訂樣板,可以使用載入設定值樣板
  1. 從「載入資料」頁面之「設定值」頁籤的「設定值樣板」,選取載入設定值樣板
  2. 您將會見到「載入設定值樣板」精靈,按一下「設定值樣板 JSON」,即可從您的系統載入 JSON 檔案。
  3. 按一下「設定值」樣板 JSON 將會開啟您的本機系統。按一下確定以載入 JSON 檔案。
  4. 載入 JSON 檔案之後,您可以檢視自動套用至設定值頁籤的更新,此頁籤與您從本機載入的 JSON 設定值樣板相符。
您可以使用儲存設定值樣板來儲存現有的設定值樣板。
  1. 在「載入資料」頁面的「設定值」頁籤的「設定值樣板」中,選取儲存設定值樣板
  2. 即會出現「範本」檔案編輯器。按一下「範本檔案名稱」,然後為新範本命名。
  3. 按一下確定以完成儲存現有範本的新名稱。
  4. 您可以測試新樣板的組態。

大量編輯設定值

您可以使用「大量編輯」設定值,從對應表格一次更新所有資料欄。您可以使用它將變更套用至結果窗格中目前顯示的選擇項目。您可以在搜尋欄位中搜尋要編輯的資料欄值,然後按一下放大鏡圖示。對應表格將顯示搜尋結果。選取「大量編輯」設定以更新資料欄。「大量編輯」設定可讓您:
  • 更新群組中所有欄位的值。
  • 尋找並取代目標資料欄名稱的「新增前置碼」和「新增尾碼」。
  • 包括用於將資料載入目標表格的資料欄。
  • 排除將資料載入目標表格的資料欄。

搜尋資料欄

「大量編輯」設定會更新搜尋欄位傳回的資料欄。大量編輯對應精靈中可用的資料欄下方的搜尋方塊會篩選您要大量更新的資料欄清單。您也可以按一下要從「可用欄」清單中選取的欄。選擇任何可用的選項:
  • > :此選項可讓您將資料欄移至「選取的資料欄」。
  • < :若要從「選取的資料欄」移除選取的表格,請選取此選項。
  • >> :此選項可讓您將所有表格移至「選取的資料欄」畫面。
  • << :若要從「選取的資料欄」移除所有選取的表格,請選取此選項。
「大量編輯對應」可讓您針對搜尋欄位傳回的所有搜尋,更新下列資料欄的值:
  • 資料類型
  • 目標欄位名稱
  • 載入時要包含的資料欄
  • 排除要載入的資料欄

請考慮將對應表格中前五個資料列的資料類型從 VARCHAR2 變更為 CHAR。

bulk-edit1.png 的描述如下
bulk-edit1.png 圖解描述

設定頁籤 - 對應區段

對應段落中的設定值控制如何將來源檔案中的資料載入目標資料庫表格的資料列中。對於每個資料列,來源資料欄底下所列資料欄的資料將會載入目標資料欄底下所列的資料欄。

如上所述,對應表格的內容會根據您在表格區段中選擇的處理選項,以及您在特性區段中設定的特性而變更。

您可以使用快速篩選欄位來篩選對應表格中的結果,以篩選出資料欄表示式

選取新增表示式,即可使用來源資料執行情感分析索引鍵詞組擷取。如需詳細資訊,請參閱在 Data Studio 中使用 OCI Language Service 功能

  • 包括:此核取方塊可確保您選取的列已從來源欄載入至目標欄。
  • 來源資料欄:列出來源檔案的資料欄。

    如果選取特性底下的資料欄標頭資料列選項,來源資料欄會顯示來源檔案中資料欄的名稱。如果未選取資料欄標頭資料列選項,則會使用 COLUMN_1COLUMN_2 等一般名稱。此欄位一律為唯讀。

    您可以檢視兩個來源資料欄 FILE$NAMESYSTIMESTAMPFILE$NAME 資料欄可讓您尋找包含特定資料記錄的來源檔案。例如,載入包含檔案清單的來源檔案。檔案清單中的檔案名稱會參照整個組織的部門名稱。例如, finance.txt 檔案包含來自「財務」部門的資料。在對應中,您可以使用字串資料類型,從檔案名稱資料欄的輸出中擷取部門名稱。您可使用擷取的部門名稱,以不同方式處理每個部門的資料。

    SYSTIMESTAMP 資料欄可讓我們檢視資料庫中的目前時戳。

    附註:

    • 預設不會包含 FILE$NAMESYSTIMESTAMP 來源資料欄。您必須勾選包含核取方塊,然後執行目標表格的載入以顯示這兩個資料欄。
    • 建立即時饋送時,依預設,「對應」表格中會顯示 FILE$NAMESYSTIMESTAMP 來源資料欄。
  • 目標資料欄:列出目標表格中的資料欄。接受、選取或輸入目標表格中的資料欄。您必須確定目標資料欄不是空的。目標資料欄名稱不能有另一個目標資料欄的重複名稱。目標資料欄長度不得超過 128 個位元組。128 個位元組的限制是資料庫的限制。

    此資料欄的內容會根據您為表格處理選項選取的項目以及您是否為資料欄標頭資料列選項而有所不同。

    • 如果 (1) 處理選項為建立表格刪除表格並建立新表格,且 (2) 已選取資料欄標頭資料列選項,則目標資料欄會使用來源檔案中資料欄的名稱。您可以將提供的名稱取代為新的名稱來變更目標資料欄的名稱。

    • 如果 (1) 處理選項為建立表格刪除表格並建立新表格,且 (2) 選取資料欄標頭資料列選項,則會使用 COLUMN_1COLUMN_2 等一般名稱。您可以將提供的名稱取代為新的名稱來變更目標資料欄的名稱。

    • 如果 (1) 處理選項為插入至表格取代資料合併至表格,且 (2) 已選取資料欄標頭資料列選項,則目標資料欄具有目標表格中所有資料欄的下拉式清單及其資料類型。依照預設,會選取與來源資料欄對應之名稱的資料欄,但您可以從清單中選取不同的資料欄。

    • 如果 (1) 處理選項為插入至表格取代資料合併至表格,且 (2) 資料欄標頭資料列選項選取,則目標資料欄具有目標表格中所有資料欄的下拉式清單及其資料類型。從清單中選取一個資料欄,作為目標資料欄。

    附註:

    如果您在單一資料載入工作中從資料夾載入多個檔案,對應區段中只會顯示第一個檔案。不過,只要資料欄名稱和資料類型相符,就會載入所有來源檔案的資料。

  • 資料類型:列出要用於該資料欄資料的資料類型。只有建立表格刪除表格和建立新表格才會顯示此資料欄。內容會根據是否選取從檔案標頭取得選項而變更。

    • 如果選取從檔案標頭取得選項資料類型會顯示來源檔案 (針對建立表格 ) 或現有表格 (針對刪除表格和建立新表格 ) 中資料欄的資料類型。若要變更目標的資料類型,請按一下名稱,然後從清單中選取不同的名稱。

    • 如果資料欄標頭資料列選項選取,則資料類型會顯示所有可用的資料類型。從清單中選取用於目標資料欄的資料類型。

  • 長度 / 精確度 (選擇性):對於資料類型NUMBER 的資料欄,請輸入資料欄中數字的長度 / 精確度。精確度是數字中的有效位數。精確度的範圍從 1 到 38。

    對於「資料類型」為 VARCHAR2 的資料欄,長度 / 數字位數欄位中的自動值會啟用「自動大小」功能。

    使用「自動調整欄寬度」功能,您可以自動調整任何欄的大小,以符合欄中的最大值。從長度 / 數字位數下拉式清單中選取自動,或從下拉式清單中選取值。

  • 比例 (選擇性):對於資料類型NUMBER 的欄,請輸入欄中數字的比例。「小數位數」是小數點右側 (正) 或左側 (負) 的位數。比例範圍介於 -84 到 127 之間。

  • 格式:如果資料類型欄中的資料類型為 DATE 或其中一個 TIMESTAMP 類型,請從格式下拉式清單中選取該類型的格式。

  • 合併索引鍵:此選項僅用於合併至表格處理選項。

    對於合併至表格選項,您至少必須指定一個資料欄作為索引鍵資料欄。合併索引鍵是一或多個資料欄,可唯一識別表格中的每個資料列。若要指定索引鍵資料欄,請選取資料欄的合併索引鍵核取方塊。合併索引鍵不可包含任何空值。針對使用主索引鍵載入表格,此選項會自動啟用選取主索引鍵資料欄作為合併索引鍵。

預覽頁標

預覽頁籤會在載入預覽功能表中,以列表化形式顯示來源資料。此顯示會反映您在特性區段中選擇的設定值。

預覽頁籤中的檔案功能表會顯示來源資料,其中包含所有資料欄及其名稱。您可以複製文字。

表格頁籤

表格頁籤顯示載入資料之後,目標表格的外觀。如果您選擇建立表格處理選項,就不會顯示任何表格。

SQL 頁標

SQL 頁籤顯示將執行以完成此資料載入工作的 SQL 命令。

附註:

即使在建立表格之前,您還是可以查看 SQL 程式碼。

關閉按鈕 - 儲存並關閉窗格

輸入資料載入工作的所有詳細資訊之後,請按一下頁面底端的關閉。這會儲存您輸入的詳細資訊,並返回「從雲端儲存體載入資料」窗格。若要關閉頁面而不儲存您的項目,請按離開

執行資料載入工作

將資料來源新增至資料載入購物車,並輸入資料載入工作的相關詳細資料後,即可執行此工作。

若要執行工作,請執行下列動作:

  1. 如果您尚未這麼做,請按一下從雲端儲存載入資料窗格中的關閉按鈕,儲存您的設定值並關閉窗格。如果任一設定無效,則錯誤訊息會報告問題。修正問題並按一下關閉
  2. 按一下資料載入購物車功能表列中的 開始 開始。若要停止資料載入工作,請按一下 停止 停止

    新增工作的所有來源並指定每個來源的設定值後,若要執行工作,請按一下「資料載入資訊轉送站」功能表列中的「開始」圖示。在「執行資料載入工作」對話方塊中,按一下開始。若要停止資料載入工作,請按一下「停止」圖示。

    資料載入工作開始後,您可以在「資料載入」儀表板中檢視工作的進度。

    當資料載入工作完成時,「資料載入」儀表板頁面會顯示工作的結果。在表格載入的標頭頂端,您可以檢視表格名稱以及表格中的總資料欄。

    按一下工作報表,即可檢視已順利處理的資料列總數和拒絕的資料列計數。您也可以檢視「開始時間」。「工作報表」的 SQL 窗格會顯示工作的同等 SQL 程式碼。

    若要檢視工作中項目的相關資訊,請按一下「表格載入」上的動作圖示。

    若要檢視載入作業的日誌,請按一下「記錄日誌」圖示。您可以儲存日誌、加以清除或重新整理。按一下確定,即可關閉日誌。

檢視執行資料載入工作之後的相關詳細資訊

若要在資料載入工作執行後檢視其相關詳細資訊,請按一下「資料載入」儀表板之表格與檢視載入區段中的動作圖示。

您可以檢視表格詳細資訊收集統計資料註冊至雲端連結建立分析視觀表將資料匯出至雲端編輯表格,以及刪除表格。

當資料載入工作完成時,「資料載入」儀表板頁面會顯示工作的結果。在表格載入的標頭頂端,您可以檢視表格名稱以及表格中的總資料欄。

按一下報表,即可檢視已順利處理的資料列總數和拒絕的資料列數目。您也可以檢視「開始時間」。「報表」的 SQL 窗格會顯示工作的同等 SQL 程式碼。

在資料載入工作後,您可能會看到想要更正的錯誤,或在檢查時,發現想要以不同的方式命名資料欄。在此情況下,您會在「表格」載入時檢視警告符號。按一下重新載入圖示,即可使用建議的修正重新載入來源。按一下「表格」載入上的動作圖示,然後選取編輯以對資料載入工作進行任何變更 (亦即,變更資料欄名稱)。

檢視產生自資料載入工作的表格

若要檢視由資料載入工作修改的新表格或表格,您可以:

  1. 修正資料載入工作。在資料載入工作後,您可能會看到想要更正的錯誤,或在檢查時,發現想要以不同的方式命名資料欄。在此情況下,按一下所選「資料表載入」上的重新載入選項,以從您最近的購物車重新載入卡片,然後按照您第一次嘗試前的操作方式進行編輯。「重新載入」圖示會使用工具建議的修正來重新載入來源資料。按一下「表格」標頭上的動作圖示,按一下表格並選取編輯,即可對資料載入工作進行任何變更 (亦即,變更資料欄名稱)。

  2. 您可以使用上面的段落所述的編輯圖示來複查表格。