附註:

使用 OCI 資料整合將 Fusion SaaS 資料複寫至 Oracle Autonomous Data Warehouse

簡介

Oracle Cloud Infrastructure Data Integration 是一項完全受管理的多租用戶服務,可協助資料工程師和開發人員移動資料及載入資料。由 Spark 擷取、轉換及載入 (ETL) 或擷取、載入及轉換 (ELT) 處理作業提供技術支援,可從各種資料資產擷取大量資料;清理、轉換及重新塑造;以及有效率地載入至 Oracle Cloud Infrastructure (OCI) 目標資料資產。

您可以使用兩種工具從 Oracle Fusion Cloud ERP (Oracle Cloud ERP) 匯出大量資料:Oracle Business Intelligence Publisher (BI Publisher) 和 Oracle Business Intelligence Cloud Connector (BICC)。

目標

必要條件

作業 1:佈建網路連線

若要設定 OCI 資料整合,我們必須先佈建網路元件。

建立網路元件時,視您用來啟動資料整合工作區的使用案例而定,您有兩個選項。

  1. 登入 OCI 主控台,瀏覽至網路虛擬雲端網路

    建立 VCN 組態

  2. 選取資源的區間,然後按一下啟動 VCN 精靈

    上傳物件

  3. 選取建立具備網際網路連線的 VCN 。這將會啟動您的 VCN 連線至網際網路所需的所有相關資源。

    上傳物件

    上傳物件

    此 VCN 設定將會自動透過網際網路閘道為您建立公用和專用子網路,以連線至外部網際網路。您的 VCN 外觀如下:

    上傳物件

    會自動建立公用和專用子網路的路由表。如果您在專用子網路中建立資源,請確定已在您的路由表中新增 Oracle Services Network 中的所有服務路由。

    上傳物件

如果您在專用子網路中有資源且安全顧慮,請參閱瞭解 Oracle Cloud Infrastructure (OCI) 資料整合的 VCN 組態

作業 2:建立 OCI 物件儲存的儲存桶

  1. 移至 OCI 主控台,瀏覽至儲存儲存桶,然後按一下建立儲存桶

    上傳物件

    上傳物件

    已建立您的儲存桶。

    上傳物件

作業 3:與 Autonomous Database 連線

假設您已經從 OCI 主控台啟動設定 ADW,

  1. 前往 OCI 主控台,瀏覽至 Oracle DatabasesAutonomous Data Warehouse

    上傳物件

  2. 區間中,選取您的 ADW。

    上傳物件

  3. 按一下資料庫連線即可下載公事包。

    上傳物件

    上傳物件

  4. 按一下下載,然後將它儲存在您的本機系統中。

    上傳物件

作業 4:佈建 OCI 資料整合

若要建立資料整合,您必須具有特定原則。

  1. 前往 OCI 主控台,瀏覽至身分識別與安全原則

    上傳物件

  2. 在根區間中,按一下建立原則,選取顯示手動編輯器,然後新增下列原則。

    • 建立資料整合工作區和檢視使用者:

      allow group <group-name> to manage dis-workspaces in compartment <compartment-name>
      
      allow group <group-name> to manage dis-work-requests in compartment <compartment-name>
      
      allow service dataintegration to inspect users in tenancy
      
    • 在工作區中啟用專用存取:

      allow service dataintegration to use virtual-network-family in compartment <compartment-name>
      
      allow group <group-name> to manage virtual-network-family in compartment <compartment-name>
      
    • 針對自治式資料庫和 Oracle Fusion Applications 所需的 OCI Object Storage:

      allow group <group-name> to use object-family in compartment <compartment-name>
      
      allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>’}
      
      allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>’}
      
      allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}
      
    • 對於自治式資料庫:

      allow group <group-name> to read autonomous-database-family in compartment <compartment-name>
      

    上傳物件

  3. 按一下建立。備妥所有原則之後,請前往資料整合服務來建立工作區。

  4. 前往 OCI 主控台,瀏覽至 Analytics & AIData Integration

    上傳物件

  5. 選取工作區,選取您的區間,然後選取建立工作區

    上傳物件

  6. 輸入工作區名稱,然後選取啟用專用網路作為網路選擇

    上傳物件

  7. 按一下建立

任務 5:將資料從 Oracle Fusion Cloud ERP 擷取至 ADW

作業 5.1:將 OCI 儲存桶連線至 BICC

我們現在會在 BICC 中建立連線,這是 Oracle Fusion Applications 的元件,可讓您從不同的應用程式互動和擷取資料。

我們將在案例中將 BICC 連線至 OCI 儲存桶的外部儲存。OCI 儲存桶可作為暫存區,從 BICC 擷取的所有檔案都會在透過 OCI 資料整合擷取至 ADW 之前儲存。

  1. 輸入 BICC 的 URL,其格式如下:https://fa-eqgj-dev11-saasfademo1.ds-fa.oraclepdemos.com/biacm

    上傳物件

    系統會將您導向至 BICC 主控台。

    上傳物件

  2. 從右側面板中,選取設定外部儲存體

    上傳物件

  3. 按一下 OCI 物件儲存連線+ 以新增 OCI 物件儲存連線,系統會將您導向至新的連線主控台。

    上傳物件

    上傳物件

  4. 在「OCI 參數」區段中,輸入下列資訊。

    • 名稱:輸入儲存體連線的名稱。

    • 主機:視您的區域而定,主機將會是下列其中一項:

      • objectstorage.ap-mumbai-1.oraclecloud.com

      • objectstorage.ap-seoul-1.oraclecloud.com

      • objectstorage.ap-sydney-1.oraclecloud.com

      • objectstorage.ap-tokyo-1.oraclecloud.com

      • objectstorage.ca-toronto-1.oraclecloud.com

      • objectstorage.eu-frankfurt-1.oraclecloud.com

      • objectstorage.eu-zurich-1.oraclecloud.com

      • objectstorage.sa-saopaulo-1.oraclecloud.com

      • objectstorage.uk-london-1.oraclecloud.com

      • objectstorage.us-ashburn-1.oraclecloud.com

      • objectstorage.us-phoenix-1.oraclecloud.com

      注意:若要取得其他必要參數,您必須前往 OCI 主控台。

    • 租用戶 OCID:輸入租用戶 OCID。

      上傳物件

      上傳物件

    • 命名空間:輸入命名空間。

      上傳物件

    • 使用者 OCID:前往 OCI 主控台,按一下您的使用者名稱並複製 OCID。

      上傳物件

      上傳物件

    • 儲存桶名稱:在「先決條件」區段中輸入建立的 OCI 物件儲存的儲存桶名稱。

    上傳物件

    上傳物件

  5. 按一下產生 API 簽署金鑰,這將會產生指紋和匯出公開金鑰,以便將公開金鑰匯出到您的本機系統中。

    上傳物件

    上傳物件

  6. 前往 OCI 主控台。在使用者詳細資訊頁面中,按一下 API 金鑰新增 API 金鑰,然後貼上 oci_api_key 檔案。

    上傳物件

    上傳物件

  7. 按一下選擇公開金鑰檔案,然後選取在最後一個步驟下載的檔案。

    上傳物件

    這將會產生指紋,並將該指紋新增至您的使用者 API 金鑰清單中。您會看到建立的指紋與「BICC 主控台」中產生的指紋相同。

    上傳物件

  8. 移至「BICC 主控台」,然後選取測試連線

    上傳物件

  9. 它會提供成功連線訊息。按一下確定並儲存連線。

    上傳物件

從 BICC 主控台建立 OCI Object Storage 貯體的連線之後,我們會在 OCI Data Integration 服務中建立連線。

作業 5.2:在 OCI 資料整合中建立連線

  1. 前往 OCI 主控台,瀏覽至 Analytics & AIData Integration

    上傳物件

  2. 按一下工作區,選取在「工作 4」中建立的區間和資料整合工作區。

    上傳物件

  3. 在 OCI 資料整合主控台中,建立資料資產。

    在我們的資料資產中,我們的來源系統是 BICC 連線,目標連線是 ADW。若要建立 ADW 資料資產,先決條件是建立 OCI 物件儲存資料資產。因此,我們將建立 3 個資料資產。

    • BICC
    • OCI Object Storage
    • ADW

    按一下建立資料資產

    上傳物件

  4. 從資料來源清單中,選取 Fusion Apps – BICC 連線器。

    上傳物件

    1. 一般資訊區段中,輸入以下資訊。

      • 名稱:輸入名稱 (例如,ERP_CloudConn)。

      • 類型:選取 Oracle Fusion Applications

      • Oracle fusion 應用程式主機:這是您 Fusion 環境的連結 (例如,fa-eqgj-dev11-saasfademo1.ds-fa.oraclepdemos.com)。

      上傳物件

    2. 預設連線資訊段落中,輸入下列資訊和測試連線

      • 類型:選取 Oracle BI Cloud 連線器

      • 使用者名稱:輸入您的 BICC 使用者名稱。

      • 選取使用密碼

      • 密碼: 請輸入 BICC 密碼。

      • 預設 BICC 外部儲存組態:選取在「BICC 主控台」中建立的外部儲存連線。

      上傳物件

  5. 連線狀態為成功之後,請按一下建立

    上傳物件

  6. 選取資料資產類型中,選取 OCI 物件儲存

    上傳物件

    輸入連線名稱 (ObjectStorageConn)。您會注意到其餘欄位會在您的租用戶 OCI 資料整合中自動填入。將其餘的欄位保持原樣,然後按一下測試連線

    上傳物件

    上傳物件

  7. 成功連線之後,請按一下建立

    注意:在 OCI 資料整合中建立與 OCI 物件儲存和 ADW 的連線之前,請務必先新增本文件先決條件中提及的原則。

  8. 按一下建立資料資產。在選取資料資產類型中,選取 Oracle ADW

    上傳物件

    1. 一般資訊中,輸入下列資訊。

      • 名稱:輸入 ADWTarget

      • 類型:選取 Oracle Autonomous Data Warehouse

      • 選取上傳公事包

      • 公事包檔案:從 ADW 下載資料庫連線的起始步驟中,選取下載的公事包檔案。

      • 公事包密碼 ( 選擇性 ):新增公事包密碼。

      上傳物件

    2. 預設連線資訊中,輸入下列資訊。

      • 使用者名稱:輸入 admin

      • 選取使用密碼

      • 密碼:輸入 ADW 管理員使用者的密碼。

      • TNS 別名:從可用的高、中、低選項中選取。

      上傳物件

    3. 預設暫存位置中,輸入下列資訊。

      • 物件儲存資料資產: 選取在先前步驟中建立的資料資產 (ObjectStorageConn)。

      • 連線:選取預設連線

      • 區間: 從區間清單中,選取您 OCI 物件儲存的儲存桶所在的區間。

      • 儲存桶:選取已連線至 BICC 的儲存桶。

      上傳物件

  9. 按一下測試連線以測試連線,然後在成功連線之後,按一下建立

    上傳物件

  10. 移至 OCI 資料整合主控台,然後選取資料資產

    上傳物件

  11. 資料資產中,我們將會見到我們建立的三個資料資產。一個用於 BICC,一個用於 OCI Object Storage,另一個用於 ADW。

    上傳物件

作業 5.3:建立資料流程

在 OCI 資料整合中,有兩個選項:一個是建立資料載入器工作,另一個是建立資料流程

在本教學課程中,我們將建立一個資料流程。在 OCI 資料整合中,我們會先建立一個專案,作為設計階段資源 (例如作業或資料流程和管線) 的容器。

  1. 在 OCI Data Integration 主控台中,選取專案

    上傳物件

  2. 選取新建

    上傳物件

    上傳物件

  3. 專案詳細資訊頁面中,按一下資料流程並選取建立資料流程

    上傳物件

  4. 資料流程頁面中,您可以變更名稱。

    上傳物件

  5. 運算子頁面中,將來源拖放至工作區。來源連線器特性詳細資訊將在底部開啟。

    上傳物件

  6. 特性中,輸入下列資訊。

    • 識別碼:輸入 ERP_Financial

    • 資料資產: 選取在 OCI 資料整合中建立的 ERP 資料資產。

      上傳物件

    • 連線:選取預設連線

      上傳物件

    • 綱要:選取財務綱要

      上傳物件

    • 資料實體:選取檢視全部類型將會是 FscmTopModelAM.FinExtractAM.ArBiccExtractAM.CustomerProfileClassExtractPVO,然後按一下 Enter

      按一下客戶資料檔「公用檢視物件」(PVO) 與選取的核取方塊。

      上傳物件

      選取擷取策略作為完整。若為增量載入,您可以選取增量

      初始擷取日期為選擇性,因此請保持原樣。否則,當需要排定擷取繫結時,您可以在此欄位中執行此動作。

    • BICC 外部組態儲存:選取在「BICC 主控台」中建立的外部儲存連線名稱。

      上傳物件

      上傳物件

      最後,您會看到為來源表格選取的所有欄位。

      上傳物件

  7. 運算子頁面中,將目標連線器拖放至工作區。

    上傳物件

  8. 特性中,輸入下列資訊。

    • 識別碼:輸入 ERPCustomerDetail

    • 選取新建資料實體

    • 資料資產: 選取在 OCI 資料整合中建立的 ADW 資料資產。

    • 連線:選取預設連線

    • 綱要:選取全部檢視管理

    • 資料實體:因為我們正在目標 ADW 中建立新的資料實體,請命名需要建立的新表格。

      上傳物件

    • 暫存位置:選取使用預設暫存位置

      上傳物件

    • 整合策略:選取插入

      上傳物件

  9. 移至工作區,將來源 (ERP_Financial) 運算子與目標 (ERPCustomerData) 運算子連線。

    上傳物件

  10. 按一下驗證

    上傳物件

  11. 驗證之後,請按一下建立並關閉

    上傳物件

    完成之後,我們就可以在專案中查看資料流程。

    上傳物件

  12. 接著,建立整合工作。

    OCI Data Integration 中的整合作業可讓您採用資料流程設計,並選取要在程式實際執行時使用的參數值。在整合作業的協助下,您可以為相同的資料流程建立具有不同組態的多個作業。

    專案資料夾中,導覽至任務建立任務整合

    上傳物件

  13. 建立整合任務頁面中,輸入下列資訊。

    • 名稱:輸入作業名稱。
    • 專案或資料夾:選取專案或資料夾名稱。
    • 選取從 ERP 建立到 ADW 的資料流程。

    上傳物件

  14. 驗證成功之後,請按一下建立並關閉

    上傳物件

  15. 在專案頁面中,您會看到一個資料流程並建立一個工作。

    上傳物件

  16. 為了發布任務,我們需要建立應用程式

    應用程式是已發布作業、資料流程及其附屬項的容器。您可以在應用程式中執行已發布的任務,以進行測試或推展至生產環境。

    前往 OCI 資料整合主控台,瀏覽至應用程式並選取建立應用程式新建

    上傳物件

    上傳物件

  17. 選取建立空白應用程式,輸入名稱,然後按一下建立

    上傳物件

    上傳物件

  18. 前往專案,然後選取您的專案資料夾。

  19. 按一下任務,選取您的整合任務,然後按一下公布至應用程式

    上傳物件

  20. 選取應用程式名稱,然後按一下發布

    上傳物件

  21. 移至 OCI 資料整合主控台,選取應用程式,然後按一下您的應用程式。

    上傳物件

  22. 應用程式詳細資料頁面中,按一下任務,即可查看整合任務。

    上傳物件

  23. 按一下三個點。

    上傳物件

  24. 按一下執行。若要在稍後排定執行,您可以選取排程

    我們會在應用程式資料夾的執行中見到執行中的工作。

    上傳物件

    上傳物件

  25. 執行成功後,我們會前往 ADW 進行驗證。

移至 OCI 主控台,瀏覽至 Oracle DatabaseAutonomous Data Warehouse 。選取您的 ADW 執行處理。

![Upload Objects](./images/Picture90.png "image")

![Upload Objects](./images/Picture91.png "image")
  1. Autonomous Database 詳細資訊頁面中,從資料庫動作下拉式功能表中選取 SQL

    上傳物件

    在 SQL 編輯器中,您將會在 ADMIN 使用者見到我們在資料流程中建立的表格。

    上傳物件

  2. 在「SQL 工作表」中執行下列敘述句。

    select * from ADMIN.ERPCUSTOMERDATA;
    

    它會顯示財務 ERP 應用程式資料檔中的所有資料。

    上傳物件

  3. 除了 ADW 之外,如果我們前往 OCI 物件儲存的儲存桶,我們還會在儲存桶中找到擷取的檔案資料,作為暫存位置。

    上傳物件

這會使用 OCI 資料整合完成將資料從 Oracle Fusion Cloud ERP 擷取至 ADW。

接下來的步驟

您看到了如何使用 OCI Data Integration 服務將資料從 Oracle Fusion Cloud ERP 移至 ADW 的簡單使用案例。您可以自訂移轉計畫以符合應用程式需求。如需詳細資訊,請參閱「相關連結」一節中的 OCI Data Integration Service 文件。

認可

其他學習資源

探索 docs.oracle.com/learn 上的其他實驗室,或存取 Oracle Learning YouTube 頻道上的更多免費學習內容。此外,請造訪 education.oracle.com/learning-explorer 以成為 Oracle Learning Explorer。

如需產品文件,請造訪 Oracle Help Center