關於將資料從 Amazon DynamoDB 移轉至 Oracle NoSQL Database Cloud Service

您的組織已決定將資料從 Amazon DynamoDB 移轉至 Oracle NoSQL Database Cloud Service ,以保留非關聯式資料庫中的資料,並維持高可用性和擴展性。本手冊將逐步介紹如何使用 Oracle NoSQL Database Migrator 將資料從 Amazon DynamoDB 移轉至 Oracle NoSQL Database Cloud Service 的步驟。

架構

在此架構中,Oracle NoSQL Database Migrator 會安裝在 OCI Compute 執行處理上。建議您使用 OCI 永遠免費運算執行處理來降低成本。使用執行 Oracle NoSQL Database Migrator 的 OCI Compute 執行處理從 Amazon Simple Storage Service (Amazon S3) 移轉 Amazon DynamoDB 格式的 JSON 檔案。

附註:

移轉資料時,Oracle 會保留並管理資源,以滿足您的需求並佈建容量。使用傳輸量的讀取和寫入單位和儲存單位的 GB 指定容量。

下圖說明此架構。



aws-dynamodb-nosql-architecture.zip

此架構支援下列元件:

  • 地區

    Oracle Cloud Infrastructure 區域是包含一或多個資料中心 (稱為可用性網域) 的本地化地理區域。區域與其他區域無關,且遠距離可加以區分 (跨國家,甚至是大陸)。

  • 可用性網域

    可用性網域是區域內的獨立獨立資料中心。每個可用性網域中的實體資源會與其他可用性網域中的資源隔離,提供容錯能力。可用性網域不共用基礎架構 (例如電源或冷卻系統) 或內部可用性網域網路。因此,一個可用性網域發生故障並不會影響該區域中的其他可用性網域。

  • 容錯域

    容錯網域是可用性網域內的一組硬體和基礎設施。每個可用性網域都有三個容錯域,分別具備獨立的電源和硬體。當您將資源分配給多個容錯域時,您的應用程式可以容忍容錯域內的實體伺服器失敗、系統維護,以及電源失敗。

  • 虛擬雲端網路 (VCN) 和子網路

    VCN 是您在 Oracle Cloud Infrastructure 區域中設定的可自訂軟體定義網路。就像傳統資料中心網路一樣,VCN 可讓您完整控制網路環境。VCN 可以有多個非重疊的 CIDR 區塊,您可以在建立 VCN 之後加以變更。您可以將 VCN 分割成子網路,子網路可以限定為區域或可用性網域。每個子網路都是由不與 VCN 中其他子網路重疊的連續位址範圍所組成。您可以在建立子網路後變更其大小。子網路可以是公用或專用。

  • 網際網路閘道

    網際網路閘道允許 VCN 中公用子網路與公用網際網路之間的流量。

  • 服務閘道

    此服務閘道可讓您從 VCN 存取其他服務,例如 Oracle Cloud Infrastructure Object Storage 。VCN 到 Oracle 服務的流量會透過 Oracle 網路結構傳送,而一律不會瀏覽網際網路。

  • 識別與存取管理 (IAM)

    Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的存取控制層。IAM API 和使用者介面可讓您管理識別網域和識別網域內的資源。每個 OCI IAM 識別網域都代表一個獨立的識別和存取管理解決方案,或是不同的使用者群體。

  • Oracle NoSQL Database Cloud Service

    Oracle NoSQL Database Cloud Service 可讓開發人員使用文件、分欄式及索引鍵值資料庫模型輕鬆建置應用程式,透過資料複寫提供可預測的數毫秒回應時間,實現高可用性。此服務針對隨選和佈建的容量模式提供 ACID 交易、無伺服器擴展、全方位安全性及低使用付費價格,包括與內部部署 Oracle NoSQL Database 的 100% 相容性。

Before You Begin - 開始之前

開始之前,請先檢查此設定中所使用之主要軟體元件的版本、下載必要的套裝軟體,並查閱產品文件以供日後參考。

複查需求

  • 確定執行 Oracle NoSQL Database Migrator 的 OCI Compute 執行處理至少有 1 個 OCPU,其中 16GB 的 RAM 執行 Oracle Linux 8。
  • OCI Compute 執行處理必須執行 Oracle NoSQL Database 移轉器版本 1.5.0 和 Java 11。
  • 中間儲存必須包含 Amazon S3 物件儲存的儲存桶。

下載 Oracle NoSQL Database Migrator and Analytics Integrator 下的 Oracle NoSQL Database Migrator 1.5.0 二進位檔 (V1033765-01.zip):

關於必要服務與角色

此解決方案需要下列產品與角色:

  • Oracle Cloud Infrastructure Identity and Access Management
  • Oracle NoSQL Database Cloud Service
  • Oracle Cloud Infrastructure Compute
  • Amazon Simple Storage Service (Amazon S3)
  • Amazon DynamoDB
  • Amazon Identity and Access Management

這些是每項服務所需的角色。

服務名稱:角色 需要 ...
Oracle Cloud Infrastructure Identity and Access Management :user 建立 API 金鑰以存取 OCI 以建立表格,並將資料匯入 Oracle NoSQL Database Cloud Service
Oracle NoSQL Database Cloud Service :admin 建立表格與匯入資料。
Oracle Cloud Infrastructure Compute :admin 建立 OCI 運算執行處理以執行 Oracle NoSQL 資料移轉器。
Oracle Cloud Infrastructure Compute VM:opc 安裝並執行 Oracle NoSQL Data Migrator。
Amazon 簡易儲存服務貯體:user 從 Amazon Simple Storage Service 上傳檔案及讀取檔案。
Amazon DynamoDB:Admin 探索 DynamoDB 表格,並將表格匯出至 Amazon Simple Storage Service 貯體。
Amazon Identity and Access Management:user 建立存取金鑰以從 Amazon Simple Storage Service 儲存桶讀取檔案。

請參閱 Oracle 產品、解決方案和服務,以瞭解您的需求。

移轉的注意事項

開始移轉之前,請先複查這些考量。

  • 使用 DynamoDB 格式的 JSON 檔案將資料從 Amazon DynamoDB 匯入至 Oracle NoSQL Database Cloud Service 時,您必須在 Oracle NoSQL Database Migrator 組態 JSON 檔案中指定 dynamodb_json 作為資料格式。如果目標 Oracle NoSQL Database Cloud Service 表格使用預設綱要,則 sink 定義中必須包含 DDBPartitionKey 參數。參數 DDSortKey 為選擇性。
  • Amazon DynamoDB 中的分割區索引鍵和排序索引鍵的字元限制大於 Oracle NoSQL Database Cloud Service 中的等效索引鍵。在 Amazon DynamoDB 中,分割區索引鍵和排序索引鍵的限制分別為 2048 和 1024 個位元組,而在 Oracle NoSQL Database Cloud Service 中,這些索引鍵的限制為 64 個位元組。因此,如果正在匯入的其中一個記錄的索引鍵超過 Oracle NoSQL Database Cloud Service 中的限制,則匯入該記錄將會失敗,且錯誤類似於:88 的主要或排序索引鍵超過 64 的限制。如需有關限制和資料類型的詳細資訊,請參閱「複查文件」段落中的「Oracle NoSQL 文件 - 將 DynamoDB 類型對應至 Oracle NoSQL 類型」。
  • 請先記下 Amazon DynamoDB 表格中分割區索引鍵和排序索引鍵資料欄的名稱和類型,再開始進行移轉。