Autonomous Transaction ProcessingからDatabricksへのデータのレプリケート

始める前に

このクイックスタートを正常に完了するには、次のものが必要です:

ソースAutonomous Transaction Processingインスタンス
Unityカタログを含むDatabricksワークスペース
Azureストレージ・アカウントにアクセスするためのストレージ資格証明
Azureストレージ・アカウントにアクセスするための外部の場所
ターゲット・カタログで使用可能なスキーマ
Databricksアクセス用のJDBC URL
「アクセス・トークン」のDatabricks
Azure Data Lakeストレージ接続

環境設定: Autonomous Transaction Processing

レプリケーション用のソース・データベースが設定されていない場合は、次のステップに従って、このクイックスタートに使用するサンプル・スキーマをロードできます。このクイックスタートでは、ソース・データベースにAutonomous Transaction Processingを使用します。

ソースAutonomous Databaseを設定するには:

サンプル・データベース・スキーマをダウンロードして解凍します。
Oracle Cloudコンソールで、Autonomous DatabasesページからAutonomous Transaction Processing (ATP)インスタンスを選択して、その詳細を表示し、データベース・アクションにアクセスします。
GGADMINユーザーのロックを解除します:
1. 「データベース・アクション」をクリックし、「データベース・ユーザー」をクリックします。
2. GGADMINを見つけ、その省略記号メニュー(3つのドット)をクリックして、「編集」を選択します。
3. 「ユーザーの編集」パネルで、GGADMINパスワードを入力し、パスワードを確認してから、「アカウントはロックされています」の選択を解除します。
4. 「変更の適用」をクリックします。
ソース・サンプル・スキーマおよびデータをロードします:
1. 「データベース・アクション」メニューの「開発」で、SQLを選択します。
2. OCIGGLL_OCIGGS_SETUP_USERS_ATP.sqlからスクリプトをコピーしてSQLワークシートに貼り付けます。
3. 「スクリプトの実行」をクリックします。「スクリプトの出力」タブには、確認メッセージが表示されます。
4. SQLワークシートをクリアし、OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.からSQLスクリプトをコピーして貼り付けます
  
  ヒント:
  SQLツールでスクリプトを正常に実行するには、各文を個別に実行する必要がある場合があります。
5. 表が正常に作成されたことを確認するには、SQLウィンドウを閉じて再度開きます。ナビゲータ・タブで、SRC_OCIGGLLスキーマを探し、それぞれのドロップダウンから表を選択します。
サプリメンタル・ロギングを有効化します。
1. SQLワークシートをクリアします。
2. 次の文を入力し、文の実行をクリックします:
```
ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;
```

タスク1: OCI GoldenGateリソースの作成

このクイックスタートの例では、ソースとターゲットの両方のデプロイメントおよび接続が必要です。

ソースAutonomous Transaction ProcessingインスタンスのOracleデプロイメントを作成します。
ターゲットDatabricksの「ビッグ・データ・デプロイメントの作成」。
ソースAutonomous Transaction Processingへの接続を作成。
Databricksへの接続の作成。
Azure Data Lakeストレージの接続の作成。
「GoldenGateへの接続の作成」、次に「この接続をソースOracleデプロイメントに割り当て」ます。
ソースOracleデプロイメントへのAutonomous Transaction Processing接続の割当て。
ターゲット・ビッグ・データ・デプロイメントへのDatabricks接続の割当て。
Azure Data Lakeストレージ接続をターゲット・ビッグ・データ・デプロイメントに割り当てます。

タスク2: 「抽出」を追加

デプロイメント・ページで、ソースのAutonomous Transaction Processingデプロイメントを選択します。
デプロイメントの詳細ページで、「コンソールの起動」をクリックします。
ソース・デプロイメント管理者のユーザー名とパスワードを使用してログインします。
トランザクション情報の追加。
「抽出」の追加。

タスク3: 「分散パス」を追加して実行

GoldenGate資格証明ストアを使用する場合、「ターゲット」ビッグ・データ・デプロイメントで「分散パスのユーザーの作成」を使用し、それ以外の場合はステップ3にスキップします。
「ソース」 ATP GoldenGateデプロイメント・コンソールで、ステップ1で作成したユーザーのパス接続を追加します。
1. ソースATPのGoldenGateデプロイメント・コンソールで、左側のナビゲーションで「パス接続」をクリックします。
2. パス接続の追加 (プラス・アイコン)をクリックし、次の操作を完了します:
  1. 「資格証明別名」には、GGSNetworkと入力します。
  2. 「ユーザーID」に、ステップ1で作成したユーザーの名前を入力します。
  3. 確認のためにユーザー・パスワードを2回入力します。
3. 「送信」をクリックします。
  
  「パス接続」リストにパス接続が表示されます。
ソース ATPデプロイメント・コンソールで、分散パスの追加に次の値を指定します:
1. ソース・オプションページで、次の手順を実行します:
  - 「ソースの抽出」で、タスク2で作成したExtractを選択します。
  - 「トレイル名」に、2文字の名前(E1など)を入力します。
2. ターゲット・オプションページで、次の手順を実行します:
  - 「ターゲット・ホスト」に、ターゲット・デプロイメントのホスト・ドメインを入力します。
  - 「ポート番号」には、443と入力します。
  - 「トレイル名」に、2文字の名前(E1など)を入力します。
  - 「別名」に、ステップ2で作成した資格証明別名を入力します。
「ターゲット」ビッグ・データ・デプロイメント・コンソールで、「分散パス」の結果として作成された「受信パス」を確認します。
1. ターゲットのビッグ・データ・デプロイメント・コンソールで、「受信サービス」をクリックします。
2. パス詳細を確認します。このパスは、前のステップで作成した「分散パス」の結果として作成されました。

タスク4: Replicatを追加して実行

ターゲットのビッグ・データ・デプロイメント・コンソールで、「管理者サービス」をクリックし、「Replicatの追加」 (プラス・アイコン)をクリックします。
次の値を含むReplicatの追加:
1. Replicatの「情報」ページのReplicatタイプで、「クラシックReplicat」を選択し、プロセス名を入力して「次」をクリックします。
2. 「レプリケーション・オプション」ページで、次の手順を実行します:
  - 「名前」に、タスク2からのトレイルの名前を入力します。
  - 「ターゲット」で、Databricksを選択します。
  - 「使用可能な別名」で、ドロップダウンからDatabricks接続を選択します。
  - 「使用可能なステージング・ロケーション」で、「Azure Data Lake Storage」を選択します。
  - 「ステージング別名を使用」で、ADLS接続を選択します。
3. 「管理オプション」ページで、デフォルトのままにします。
4. 「パレ・メーター・ファイル」ページで、MAP *.*, TARGET *.*;を次のように置き換え、次をクリックします:
```
MAP SRC_OCIGGLL.SRC_CUSTOMER, TARGET
      <target_catalog_name>.<target_schema_name>.SRC_CUSTOMER
```
5. 「プロパティ・ファイル」ページで、次の手順を実行します:
  1. gg.eventhandler.abs.bucketMappingTemplateにターゲットADLSコンテナ名を指定します。
  2. gg.handler.databricks.fileRollInterval=5sを追加します。
「Create and Run」をクリックします

「概要」ページに戻り、Replicatの詳細を確認できます。

タスク5: レプリケーションの検証

ソースAutonomous Transaction Processingインスタンスに対する更新をいくつか実行して、Databricksへのレプリケーションを確認します。

「Oracle Cloudコンソール」で、ナビゲーション・メニューを開き、Oracle Databaseを選択して、Autonomous Transaction Processingを選択します。
Autonomous Transaction Processingインスタンスのリストで、ソース・インスタンスを選択して詳細を表示します。
データベースの詳細ページで、「データベース・アクション」をクリックします。

ノート:
自動的にログインする必要があります。そうでない場合は、データベース資格証明を使用してログインします。
データベース・アクションのホームページで、SQLを選択します。

ワークシートに次を入力し、「スクリプトの実行」をクリックします。

Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1001,0,'Brendt','Paul','10 Jasper Blvd.',107,'(212) 555 2146',19,10);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1002,0,'McCarthy','Robin','27 Pasadena Drive',11,'(214) 555 3075',29,11);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1003,0,'Travis','Peter','7835 Hartford Drive',12,'(510) 555 4448',34,12);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1004,0,'Larson','Joe','87 Carmel Blvd.',13,'(213) 555 5095',45,13);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1005,0,'Goldschmidt','Tony','91 Torre drive',14,'(619) 555 6529',55,20);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1006,0,'Baker','William','2890 Grant Avenue',15,'(312) 555 7040',64,21);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values ((1007,0,'Swenson','Jack','64 Imagination Drive',19,'(202) 555 8125',74,22);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1008,0,'Brendt','Paul','10 Jasper Blvd.',107,'(212) 555 2146',19,10);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1009,0,'McCarthy','Robin','27 Pasadena Drive',11,'(214) 555 3075',29,11);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1010,0,'Travis','Peter','7835 Hartford Drive',12,'(510) 555 4448',34,12);

ソースATPデプロイメント・コンソールで、「抽出」名を選択し、「統計」をクリックします。 SRC_OCIGGLL.SRC_CUSTOMERに10個の挿入があることを確認します。
ターゲットのビッグ・データOCI GoldenGateデプロイメント・コンソールで、Replicat名を選択し、「統計」をクリックします。 SRC_OCIGGLL.SRC_CUSTOMERに10個の挿入があることを確認します。