Daten von Autonomous Transaction Processing in Databricks replizieren

Bevor Sie beginnen

Um diesen Schnellstart erfolgreich abzuschließen, benötigen Sie Folgendes:

Eine Autonomous Transaction Processing-Quellinstanz
Arbeitsbereich Databricks mit Unity Catalog
Speicherzugangsdaten für den Zugriff auf den Azure-Speicheraccount
Externer Speicherort für den Zugriff auf das Azure-Speicherkonto
Ein Schema, das im Zielkatalog verfügbar ist
JDBC-URL für Databricks-Zugriff
Databricks für Zugriffstoken
Azure Data Lake-Speicherverbindung

Einrichtung der Umgebung: Autonomous Transaction Processing

Wenn noch keine Quelldatenbank für die Replikation eingerichtet ist, können Sie mit den folgenden Schritten ein Beispielschema laden, das für diesen Schnellstart verwendet werden soll. Dieser Schnellstart verwendet Autonomous Transaction Processing für die Quelldatenbank.

So richten Sie die autonome Quelldatenbank ein:

Laden Sie das Beispieldatenbankschema herunter, und dekomprimieren Sie es.
Wählen Sie in der Oracle Cloud-Konsole auf der Seite für autonome Datenbanken die Autonomous Transaction Processing-(ATP-)Instanz aus, um die zugehörigen Details anzuzeigen und auf Database Actions zuzugreifen.
Entsperren Sie den GGADMIN-Benutzer:
1. Klicken Sie auf Datenbankaktionen und dann auf Datenbankbenutzer.
2. Suchen Sie GGADMIN, klicken Sie dann auf das zugehörige Auslassungsmenü (drei Punkte), und wählen Sie Bearbeiten aus.
3. Geben Sie im Bereich "Benutzer bearbeiten" das GGADMIN-Kennwort ein, bestätigen Sie es, und heben Sie die Auswahl von Account ist gesperrt auf.
4. Klicken Sie auf Änderungen anwenden.
Beispielschema und Daten der Quelle laden:
1. Wählen Sie im Menü "Datenbankaktionen" unter "Entwicklung" die Option SQL aus.
2. Kopieren Sie das Skript von OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql, und fügen Sie es in das SQL-Arbeitsblatt ein.
3. Klicken Sie auf Skript ausführen. Auf der Registerkarte "Skriptausgabe" werden Bestätigungsmeldungen angezeigt.
4. Löschen Sie das SQL-Arbeitsblatt, kopieren Sie das SQL-Skript von OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql., und fügen Sie es ein.
  
  Tipp:
  Möglicherweise müssen Sie jede Anweisung separat ausführen, damit das SQL-Tool die Skripte erfolgreich ausführen kann.
5. Um zu prüfen, ob die Tabellen erfolgreich erstellt wurden, schließen Sie das SQL-Fenster, und öffnen Sie es erneut. Suchen Sie auf der Registerkarte "Navigator" nach dem Schema SRC_OCIGGLL, und wählen Sie dann Tabellen in den entsprechenden Dropdown-Listen aus.
Aktivieren Sie zusätzliches Logging:
1. Leeren Sie das SQL-Arbeitsblatt.
2. Geben Sie die folgende Anweisung ein. Klicken Sie dann auf Anweisung ausführen:
```
ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;
```

Aufgabe 1: OCI GoldenGate-Ressourcen erstellen

Für dieses Schnellstartbeispiel sind Deployments und Verbindungen sowohl für die Quelle als auch für das Ziel erforderlich.

Erstellen Sie ein Oracle-Deployment für die Autonomous Transaction Processing-Quellinstanz.
Erstellen Sie ein Big Data Deployment für die Databricks-Ziele.
Erstellen Sie eine Verbindung zur Quelle von Autonomous Transaction Processing.
Verbindung zu Databricks erstellen.
Erstellen Sie eine Verbindung für Azure Data Lake Storage.
Erstellen Sie eine Verbindung zu GoldenGate, und weisen Sie diese Verbindung dem Oracle-Quell-Deployment zu.
Weisen Sie die Autonomous Transaction Processing-Verbindung dem Oracle-Quell-Deployment zu.
Weisen Sie die Databricks-Verbindung dem Big Data-Ziel-Deployment zu.
Weisen Sie die Azure Data Lake Storage-Verbindung dem Big Data-Ziel-Deployment zu.

Aufgabe 2: Extract hinzufügen.

Wählen Sie auf der Seite "Deployments" das Autonomous Transaction Processing-Quell-Deployment aus.
Klicken Sie auf der Seite "Deployment" auf Konsole starten.
Melden Sie sich mit dem Benutzernamen und Kennwort des Quell-Deployment-Administrators an.
Fügen Sie Transaktionsinformationen hinzu.
Hinzufügen Sie eine Extract.

Aufgabe 3: Distribution Path hinzufügen und ausführen

Wenn Sie den Zugangsdatenspeicher GoldenGate verwenden, erstellen Sie einen Benutzer für den Verteilungspfad im Ziel-Big Data-Deployment. Fahren Sie andernfalls mit Schritt 3 fort.
Fügen Sie in der Deployment-Konsole für die Quell-TP-GoldenGate eine Pfadverbindung für den in Schritt 1 erstellten Benutzer hinzu.
1. Klicken Sie in der Deployment-Konsole für die ATP-Quelle GoldenGate in der linken Navigation auf Pfadverbindungen.
2. Klicken Sie auf Pfadverbindung hinzufügen (Plussymbol), und führen Sie die folgenden Schritte aus:
  1. Geben Sie unter Zugangsdatenalias GGSNetwork ein.
  2. Geben Sie unter Benutzer-ID den Namen des in Schritt 1 erstellten Benutzers ein.
  3. Geben Sie das Kennwort des Benutzers zur Bestätigung zweimal ein.
3. Klicken Sie auf Weiterleiten.
  
  Die Pfadverbindung wird in der Liste "Pfadverbindungen" angezeigt.
Fügen Sie in der Quell-ATP-Deployment-Konsole einen Verteilungspfad mit den folgenden Werten hinzu:
1. Auf der Seite Quelloptionen:
  - Wählen Sie unter Quell-Export den in Aufgabe 2 erstellten Export aus.
  - Geben Sie unter Trailname einen Namen aus zwei Zeichen ein, wie E1.
2. Auf der Seite Zieloptionen:
  - Geben Sie unter Zielhost die Hostdomain des Ziel-Deployment ein.
  - Geben Sie unter Portnummer die Nummer 443 ein.
  - Geben Sie unter Trailname einen Namen aus zwei Zeichen ein, wie E1.
  - Geben Sie unter Alias den in Schritt 2 erstellten Zugangsdatenalias ein.
Prüfen Sie in der Big Data-Deployment-Konsole von Ziel die Receiver Path, die als Ergebnis von Distribution Path erstellt wurde.
1. Klicken Sie in der Big Data-Ziel-Deployment-Konsole auf Receiver Service.
2. Prüfen Sie die Pfaddetails. Dieser Pfad wurde als Ergebnis der Distribution Path erstellt, die im vorherigen Schritt erstellt wurde.

Aufgabe 4: Replicat hinzufügen und ausführen

Klicken Sie in der Big Data-Ziel-Deployment-Konsole auf Administrator Service und dann auf Add Replicat (Plussymbol).
Fügen Sie eine Replicat mit den folgenden Werten hinzu:
1. Wählen Sie auf der Seite Replicat-Informationen unter dem Typ Replicat die Option Classic Replicat aus, geben Sie einen Prozessnamen ein, und klicken Sie auf Weiter.
2. Gehen Sie auf der Seite {\b Replikationsoptionen} wie folgt vor:
  - Geben Sie unter Name den Namen des Trail aus Aufgabe 2 ein.
  - Wählen Sie unter Ziel die Option Databricks aus.
  - Wählen Sie unter Verfügbarer Alias die Verbindung Databricks aus der Dropdown-Liste aus.
  - Wählen Sie unter Verfügbare Staging Area die Option "Azure Data Lake Storage" aus.
  - Wählen Sie unter über Staging-Alias die ADLS-Verbindung aus.
3. Übernehmen Sie auf der Seite "Verwaltete Optionen" den Standardwert.
4. Ersetzen Sie auf der Seite "Paremeter-Datei" MAP *.*, TARGET *.*; durch Folgendes, und klicken Sie auf Weiter:
```
MAP SRC_OCIGGLL.SRC_CUSTOMER, TARGET
      <target_catalog_name>.<target_schema_name>.SRC_CUSTOMER
```
5. Gehen Sie auf der Seite "Properties File" wie folgt vor:
  1. Geben Sie den ADLS-Zielcontainernamen in gg.eventhandler.abs.bucketMappingTemplate an.
  2. Fügen Sie gg.handler.databricks.fileRollInterval=5s hinzu.
Click Create and Run.

Sie zurückkehren zur Seite "Überblick", auf der Sie die Replicat-Details prüfen können.

Aufgabe 5: Replikation prüfen

Nehmen Sie einige Änderungen an der Autonomous Transaction Processing-Instanz vor, um zu prüfen, ob diese in Databricks repliziert werden.

Öffnen Sie in der Oracle Cloud-Konsole das Navigationsmenü, wählen Sie Oracle Database aus, und wählen Sie Autonomous Transaction Processing aus.
Wählen Sie in der Liste der Autonomous Transaction Processing-Instanzen Ihre Quellinstanz aus, um deren Details anzuzeigen.
Klicken Sie auf der Seite "Datenbankdetails" auf Datenbankaktionen.

Hinweis:
Sie sollten automatisch angemeldet sein. Andernfalls melden Sie sich mit den Datenbankzugangsdaten an.
Wählen Sie auf der Homepage der Datenbankaktionen SQL aus.

Geben Sie im Arbeitsblatt Folgendes ein, und klicken Sie auf Skript ausführen.

Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1001,0,'Brendt','Paul','10 Jasper Blvd.',107,'(212) 555 2146',19,10);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1002,0,'McCarthy','Robin','27 Pasadena Drive',11,'(214) 555 3075',29,11);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1003,0,'Travis','Peter','7835 Hartford Drive',12,'(510) 555 4448',34,12);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1004,0,'Larson','Joe','87 Carmel Blvd.',13,'(213) 555 5095',45,13);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1005,0,'Goldschmidt','Tony','91 Torre drive',14,'(619) 555 6529',55,20);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1006,0,'Baker','William','2890 Grant Avenue',15,'(312) 555 7040',64,21);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values ((1007,0,'Swenson','Jack','64 Imagination Drive',19,'(202) 555 8125',74,22);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1008,0,'Brendt','Paul','10 Jasper Blvd.',107,'(212) 555 2146',19,10);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1009,0,'McCarthy','Robin','27 Pasadena Drive',11,'(214) 555 3075',29,11);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1010,0,'Travis','Peter','7835 Hartford Drive',12,'(510) 555 4448',34,12);

Wählen Sie in der Deployment-Konsole für die ATP-Quelle den Namen Extract aus, und klicken Sie auf Statistiken. Prüfen Sie, ob SRC_OCIGGLL.SRC_CUSTOMER über 10 Einfügungen verfügt.
Wählen Sie in der Deployment-Konsole von Big Data OCI GoldenGate den Namen Replicat aus, und klicken Sie auf Statistiken. Prüfen Sie, ob SRC_OCIGGLL.SRC_CUSTOMER über 10 Einfügungen verfügt.