附註:
- 此教學課程需要存取 Oracle Cloud。若要註冊免費帳戶,請參閱 Oracle Cloud Infrastructure Free Tier 入門。
- 它使用 Oracle Cloud Infrastructure 證明資料、租用戶及區間的範例值。完成實驗室時,請將這些值取代為您雲端環境特定的值。
使用 OCI 資料整合將 Fusion SaaS 資料複寫至 Oracle Autonomous Data Warehouse
簡介
Oracle Cloud Infrastructure Data Integration 是一項完全受管理的多租用戶服務,可協助資料工程師和開發人員移動資料及載入資料。由 Spark 擷取、轉換及載入 (ETL) 或擷取、載入及轉換 (ELT) 處理作業提供技術支援,可從各種資料資產擷取大量資料;清理、轉換及重新塑造;以及有效率地載入至 Oracle Cloud Infrastructure (OCI) 目標資料資產。
您可以使用兩種工具從 Oracle Fusion Cloud ERP (Oracle Cloud ERP) 匯出大量資料:Oracle Business Intelligence Publisher (BI Publisher) 和 Oracle Business Intelligence Cloud Connector (BICC)。
-
Business Intelligence Publisher 基本上是報表工具。不建議將 BI Publisher 報表用於一般資料擷取。對於擷取媒介至大量資料,BICC 是首選工具。
-
Oracle Business Intelligence Cloud Connector 是一種 Oracle 工具,可用來將 Oracle Fusion Cloud ERP 資料擷取至外部儲存,以供 BI 使用。此服務是 Oracle Cloud Applications 訂閱的一部分。BICC 提供許多功能,包括將資料擷取至儲存、排程及自動化擷取。
目標
- 在本教學課程中,我們將向您展示如何使用 OCI 資料整合服務,透過 BICC 建立與 Fusion SaaS 環境的連線到 Oracle Autonomous Data Warehouse (ADW)。OCI 資料整合服務是用於移動、整合及轉換資料的雲端原生無伺服器 ETL 和 ELT 服務。這是一項完全受管理的服務,提供易於使用的圖形設計,並在載入前將資料流程視覺化。
必要條件
-
存取 OCI 租用戶。
-
佈建的 ADW 和 OCI 物件儲存。
作業 1:佈建網路連線
若要設定 OCI 資料整合,我們必須先佈建網路元件。
建立網路元件時,視您用來啟動資料整合工作區的使用案例而定,您有兩個選項。
-
登入 OCI 主控台,瀏覽至網路和虛擬雲端網路。
-
選取資源的區間,然後按一下啟動 VCN 精靈。
-
選取建立具備網際網路連線的 VCN 。這將會啟動您的 VCN 連線至網際網路所需的所有相關資源。
此 VCN 設定將會自動透過網際網路閘道為您建立公用和專用子網路,以連線至外部網際網路。您的 VCN 外觀如下:
會自動建立公用和專用子網路的路由表。如果您在專用子網路中建立資源,請確定已在您的路由表中新增 Oracle Services Network 中的所有服務路由。
如果您在專用子網路中有資源且安全顧慮,請參閱瞭解 Oracle Cloud Infrastructure (OCI) 資料整合的 VCN 組態。
作業 2:建立 OCI 物件儲存的儲存桶
-
移至 OCI 主控台,瀏覽至儲存、儲存桶,然後按一下建立儲存桶。
已建立您的儲存桶。
作業 3:與 Autonomous Database 連線
假設您已經從 OCI 主控台啟動設定 ADW,
-
前往 OCI 主控台,瀏覽至 Oracle Databases 和 Autonomous Data Warehouse 。
-
在區間中,選取您的 ADW。
-
按一下資料庫連線即可下載公事包。
-
按一下下載,然後將它儲存在您的本機系統中。
作業 4:佈建 OCI 資料整合
若要建立資料整合,您必須具有特定原則。
-
前往 OCI 主控台,瀏覽至身分識別與安全和原則。
-
在根區間中,按一下建立原則,選取顯示手動編輯器,然後新增下列原則。
-
建立資料整合工作區和檢視使用者:
allow group <group-name> to manage dis-workspaces in compartment <compartment-name> allow group <group-name> to manage dis-work-requests in compartment <compartment-name> allow service dataintegration to inspect users in tenancy
-
在工作區中啟用專用存取:
allow service dataintegration to use virtual-network-family in compartment <compartment-name> allow group <group-name> to manage virtual-network-family in compartment <compartment-name>
-
針對自治式資料庫和 Oracle Fusion Applications 所需的 OCI Object Storage:
allow group <group-name> to use object-family in compartment <compartment-name> allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>’} allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>’} allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}
-
對於自治式資料庫:
allow group <group-name> to read autonomous-database-family in compartment <compartment-name>
-
-
按一下建立。備妥所有原則之後,請前往資料整合服務來建立工作區。
-
前往 OCI 主控台,瀏覽至 Analytics & AI 和 Data Integration 。
-
選取工作區,選取您的區間,然後選取建立工作區。
-
輸入工作區名稱,然後選取啟用專用網路作為網路選擇。
-
按一下建立。
任務 5:將資料從 Oracle Fusion Cloud ERP 擷取至 ADW
作業 5.1:將 OCI 儲存桶連線至 BICC
我們現在會在 BICC 中建立連線,這是 Oracle Fusion Applications 的元件,可讓您從不同的應用程式互動和擷取資料。
我們將在案例中將 BICC 連線至 OCI 儲存桶的外部儲存。OCI 儲存桶可作為暫存區,從 BICC 擷取的所有檔案都會在透過 OCI 資料整合擷取至 ADW 之前儲存。
-
輸入 BICC 的 URL,其格式如下:https://fa-eqgj-dev11-saasfademo1.ds-fa.oraclepdemos.com/biacm 。
系統會將您導向至 BICC 主控台。
-
從右側面板中,選取設定外部儲存體。
-
按一下 OCI 物件儲存連線和 + 以新增 OCI 物件儲存連線,系統會將您導向至新的連線主控台。
-
在「OCI 參數」區段中,輸入下列資訊。
-
名稱:輸入儲存體連線的名稱。
-
主機:視您的區域而定,主機將會是下列其中一項:
-
objectstorage.ap-mumbai-1.oraclecloud.com
-
objectstorage.ap-seoul-1.oraclecloud.com
-
objectstorage.ap-sydney-1.oraclecloud.com
-
objectstorage.ap-tokyo-1.oraclecloud.com
-
objectstorage.ca-toronto-1.oraclecloud.com
-
objectstorage.eu-frankfurt-1.oraclecloud.com
-
objectstorage.eu-zurich-1.oraclecloud.com
-
objectstorage.sa-saopaulo-1.oraclecloud.com
-
objectstorage.uk-london-1.oraclecloud.com
-
objectstorage.us-ashburn-1.oraclecloud.com
-
objectstorage.us-phoenix-1.oraclecloud.com
注意:若要取得其他必要參數,您必須前往 OCI 主控台。
-
-
租用戶 OCID:輸入租用戶 OCID。
-
命名空間:輸入命名空間。
-
使用者 OCID:前往 OCI 主控台,按一下您的使用者名稱並複製 OCID。
-
儲存桶名稱:在「先決條件」區段中輸入建立的 OCI 物件儲存的儲存桶名稱。
-
-
按一下產生 API 簽署金鑰,這將會產生指紋和匯出公開金鑰,以便將公開金鑰匯出到您的本機系統中。
-
前往 OCI 主控台。在使用者詳細資訊頁面中,按一下 API 金鑰、新增 API 金鑰,然後貼上
oci_api_key
檔案。 -
按一下選擇公開金鑰檔案,然後選取在最後一個步驟下載的檔案。
這將會產生指紋,並將該指紋新增至您的使用者 API 金鑰清單中。您會看到建立的指紋與「BICC 主控台」中產生的指紋相同。
-
移至「BICC 主控台」,然後選取測試連線。
-
它會提供成功連線訊息。按一下確定並儲存連線。
從 BICC 主控台建立 OCI Object Storage 貯體的連線之後,我們會在 OCI Data Integration 服務中建立連線。
作業 5.2:在 OCI 資料整合中建立連線
-
前往 OCI 主控台,瀏覽至 Analytics & AI 和 Data Integration 。
-
按一下工作區,選取在「工作 4」中建立的區間和資料整合工作區。
-
在 OCI 資料整合主控台中,建立資料資產。
在我們的資料資產中,我們的來源系統是 BICC 連線,目標連線是 ADW。若要建立 ADW 資料資產,先決條件是建立 OCI 物件儲存資料資產。因此,我們將建立 3 個資料資產。
- BICC
- OCI Object Storage
- ADW
按一下建立資料資產。
-
從資料來源清單中,選取 Fusion Apps – BICC 連線器。
-
在一般資訊區段中,輸入以下資訊。
-
名稱:輸入名稱 (例如,
ERP_CloudConn
)。 -
類型:選取 Oracle Fusion Applications 。
-
Oracle fusion 應用程式主機:這是您 Fusion 環境的連結 (例如,
fa-eqgj-dev11-saasfademo1.ds-fa.oraclepdemos.com
)。
-
-
在預設連線資訊段落中,輸入下列資訊和測試連線。
-
類型:選取 Oracle BI Cloud 連線器。
-
使用者名稱:輸入您的 BICC 使用者名稱。
-
選取使用密碼。
-
密碼: 請輸入 BICC 密碼。
-
預設 BICC 外部儲存組態:選取在「BICC 主控台」中建立的外部儲存連線。
-
-
-
連線狀態為成功之後,請按一下建立。
-
在選取資料資產類型中,選取 OCI 物件儲存。
輸入連線名稱 (
ObjectStorageConn
)。您會注意到其餘欄位會在您的租用戶 OCI 資料整合中自動填入。將其餘的欄位保持原樣,然後按一下測試連線。 -
成功連線之後,請按一下建立。
注意:在 OCI 資料整合中建立與 OCI 物件儲存和 ADW 的連線之前,請務必先新增本文件先決條件中提及的原則。
-
按一下建立資料資產。在選取資料資產類型中,選取 Oracle ADW 。
-
在一般資訊中,輸入下列資訊。
-
名稱:輸入
ADWTarget
。 -
類型:選取 Oracle Autonomous Data Warehouse 。
-
選取上傳公事包。
-
公事包檔案:從 ADW 下載資料庫連線的起始步驟中,選取下載的公事包檔案。
-
公事包密碼 ( 選擇性 ):新增公事包密碼。
-
-
在預設連線資訊中,輸入下列資訊。
-
使用者名稱:輸入
admin
。 -
選取使用密碼。
-
密碼:輸入 ADW 管理員使用者的密碼。
-
TNS 別名:從可用的高、中、低選項中選取。
-
-
在預設暫存位置中,輸入下列資訊。
-
物件儲存資料資產: 選取在先前步驟中建立的資料資產 (
ObjectStorageConn
)。 -
連線:選取預設連線。
-
區間: 從區間清單中,選取您 OCI 物件儲存的儲存桶所在的區間。
-
儲存桶:選取已連線至 BICC 的儲存桶。
-
-
-
按一下測試連線以測試連線,然後在成功連線之後,按一下建立。
-
移至 OCI 資料整合主控台,然後選取資料資產。
-
在資料資產中,我們將會見到我們建立的三個資料資產。一個用於 BICC,一個用於 OCI Object Storage,另一個用於 ADW。
作業 5.3:建立資料流程
在 OCI 資料整合中,有兩個選項:一個是建立資料載入器工作,另一個是建立資料流程。
-
資料載入器:主要用於將各種資料集簡單載入資料湖、資料市集及倉儲。「資料載入器作業」會採用來源資料實體、套用轉換 (選擇性),然後將轉換的資料載入新的目標資料實體,或更新現有的資料實體。資料載入器作業支援中繼資料和資料層級的轉換。
-
資料流程:此邏輯圖表代表從來源資料資產 (例如資料庫或純文字檔) 到目標資料資產 (例如資料湖或資料倉儲) 的資料流程。從來源到目標的資料流程可進行一系列的轉換,以聚總、清理及塑造資料。資料工程師和 ETL 開發人員接著可以分析或收集洞察分析,並使用這些資料做出有影響力的業務決策。
在本教學課程中,我們將建立一個資料流程。在 OCI 資料整合中,我們會先建立一個專案,作為設計階段資源 (例如作業或資料流程和管線) 的容器。
-
在 OCI Data Integration 主控台中,選取專案。
-
選取新建。
-
在專案詳細資訊頁面中,按一下資料流程並選取建立資料流程。
-
在資料流程頁面中,您可以變更名稱。
-
從運算子頁面中,將來源拖放至工作區。來源連線器特性詳細資訊將在底部開啟。
-
在特性中,輸入下列資訊。
-
識別碼:輸入
ERP_Financial
。 -
資料資產: 選取在 OCI 資料整合中建立的 ERP 資料資產。
-
連線:選取預設連線。
-
綱要:選取財務綱要。
-
資料實體:選取檢視全部,類型將會是
FscmTopModelAM.FinExtractAM.ArBiccExtractAM.CustomerProfileClassExtractPVO
,然後按一下 Enter 。按一下客戶資料檔「公用檢視物件」(PVO) 與選取的核取方塊。
選取擷取策略作為完整。若為增量載入,您可以選取增量。
初始擷取日期為選擇性,因此請保持原樣。否則,當需要排定擷取繫結時,您可以在此欄位中執行此動作。
-
BICC 外部組態儲存:選取在「BICC 主控台」中建立的外部儲存連線名稱。
最後,您會看到為來源表格選取的所有欄位。
-
-
從運算子頁面中,將目標連線器拖放至工作區。
-
在特性中,輸入下列資訊。
-
識別碼:輸入
ERPCustomerDetail
。 -
選取新建資料實體。
-
資料資產: 選取在 OCI 資料整合中建立的 ADW 資料資產。
-
連線:選取預設連線。
-
綱要:選取全部檢視和管理。
-
資料實體:因為我們正在目標 ADW 中建立新的資料實體,請命名需要建立的新表格。
-
暫存位置:選取使用預設暫存位置。
-
整合策略:選取插入。
-
-
移至工作區,將來源 (
ERP_Financial
) 運算子與目標 (ERPCustomerData
) 運算子連線。 -
按一下驗證。
-
驗證之後,請按一下建立並關閉。
完成之後,我們就可以在專案中查看資料流程。
-
接著,建立整合工作。
OCI Data Integration 中的整合作業可讓您採用資料流程設計,並選取要在程式實際執行時使用的參數值。在整合作業的協助下,您可以為相同的資料流程建立具有不同組態的多個作業。
在專案資料夾中,導覽至任務、建立任務及整合。
-
在建立整合任務頁面中,輸入下列資訊。
- 名稱:輸入作業名稱。
- 專案或資料夾:選取專案或資料夾名稱。
- 選取從 ERP 建立到 ADW 的資料流程。
-
驗證成功之後,請按一下建立並關閉。
-
在專案頁面中,您會看到一個資料流程並建立一個工作。
-
為了發布任務,我們需要建立應用程式。
應用程式是已發布作業、資料流程及其附屬項的容器。您可以在應用程式中執行已發布的任務,以進行測試或推展至生產環境。
前往 OCI 資料整合主控台,瀏覽至應用程式並選取建立應用程式,新建。
-
選取建立空白應用程式,輸入名稱,然後按一下建立。
-
前往專案,然後選取您的專案資料夾。
-
按一下任務,選取您的整合任務,然後按一下公布至應用程式。
-
選取應用程式名稱,然後按一下發布。
-
移至 OCI 資料整合主控台,選取應用程式,然後按一下您的應用程式。
-
在應用程式詳細資料頁面中,按一下任務,即可查看整合任務。
-
按一下三個點。
-
按一下執行。若要在稍後排定執行,您可以選取排程。
我們會在應用程式資料夾的執行中見到執行中的工作。
-
執行成功後,我們會前往 ADW 進行驗證。
移至 OCI 主控台,瀏覽至 Oracle Database 和 Autonomous Data Warehouse 。選取您的 ADW 執行處理。


-
在 Autonomous Database 詳細資訊頁面中,從資料庫動作下拉式功能表中選取 SQL 。
在 SQL 編輯器中,您將會在 ADMIN 使用者見到我們在資料流程中建立的表格。
-
在「SQL 工作表」中執行下列敘述句。
select * from ADMIN.ERPCUSTOMERDATA;
它會顯示財務 ERP 應用程式資料檔中的所有資料。
-
除了 ADW 之外,如果我們前往 OCI 物件儲存的儲存桶,我們還會在儲存桶中找到擷取的檔案資料,作為暫存位置。
這會使用 OCI 資料整合完成將資料從 Oracle Fusion Cloud ERP 擷取至 ADW。
接下來的步驟
您看到了如何使用 OCI Data Integration 服務將資料從 Oracle Fusion Cloud ERP 移至 ADW 的簡單使用案例。您可以自訂移轉計畫以符合應用程式需求。如需詳細資訊,請參閱「相關連結」一節中的 OCI Data Integration Service 文件。
相關連結
認可
- 作者 - Sugandha Kher (北美雲端工程資深雲端工程師)
其他學習資源
探索 docs.oracle.com/learn 上的其他實驗室,或存取 Oracle Learning YouTube 頻道上的更多免費學習內容。此外,請造訪 education.oracle.com/learning-explorer 以成為 Oracle Learning Explorer。
如需產品文件,請造訪 Oracle Help Center 。
Create Fusion SaaS Data Replication into Oracle Autonomous Data Warehouse using OCI Data Integration
G24934-01
January 2025