Amazon Redshift-JDBC-Treiber herunterladen und Drittanbietertreiber hinzufügen

1. Laden Sie einen Amazon Redshift JDBC-Treiber herunter, um auf Amazon Redshift zuzugreifen. Informationen zum Speicherort des neuesten JDBC-Treibers finden Sie in der Amazon Redshift-Dokumentation. Weitere Informationen finden Sie unter JDBC-Verbindung konfigurieren.

   Hinweis
   
   Verwenden Sie den mit dem Amazon Redshift-JDBC-Treiber JDBC 4.2 kompatiblen Treiber.

2. Speichern Sie den Amazon Redshift-JDBC-Treiber in einem lokalen Verzeichnis, in dem SQL Developer auf den Amazon Redshift-JDBC-Treiber zugreifen kann.

3. Fügen Sie den Amazon Redshift-JDBC-Treiber als Drittanbietertreiber zu SQL Developer hinzu, bevor Sie eine Verbindung herstellen. Navigieren Sie in SQL Developer zu Tools > Einstellungen > Datenbank > Drittanbieter-JDBC-Treiber (bei Mac: Oracle SQL Developer > Preferences Database > Drittanbieter-JDBC-Treiber).

4. Klicken Sie auf Eintrag hinzufügen, und wählen Sie den Pfad zum Amazon Redshift-JDBC-Treiber aus, den Sie herunterladen.

   
   
   Beschreibung der Abbildung dwcs_aws_migration_jdbc_add1.png
   

5. Klicken Sie auf OK, um den Amazon Redshift-JDBC-Treiber hinzuzufügen, den Sie herunterladen.

Verbindung zur Amazon Redshift Datenbank

Melden Sie sich bei der Amazon Redshift-Datenbank an.

1. Klicken Sie im Verbindungsbereich mit der rechten Maustaste auf Verbindungen, und wählen Sie Neue Verbindung... aus.

2. Wählen Sie die Registerkarte Amazon Redshift aus, und geben Sie die Verbindungsinformationen für Amazon Redshift ein.

   Wenn Sie mehrere Schemas migrieren möchten, melden Sie sich mit dem Masterbenutzernamen bei Ihrem Amazon Redshift-System an.

   
   
   Beschreibung der Abbildung adw_migrate_aws_connect1.png
   

• Weitere Informationen zum Konfigurieren einer JDBC-Verbindung und Abrufen der JDBC-URL für Amazon Redshift finden Sie unter AWS: JDBC-Verbindung konfigurieren.

• Weitere Informationen zum Konfigurieren der Sicherheitsoptionen für die Verbindung (bei "Amazon [500150] connection error") finden Sie unter AWS: Sicherheitsoptionen für Verbindung konfigurieren (bei "Amazon [500150] connection error").

• Wenn Sie Ihre Amazon Redshift-Umgebung in einer Virtual Private Cloud (VPC) bereitgestellt haben, müssen Sie sicherstellen, dass Ihr Cluster über das Internet zugänglich ist. Unter http://docs.aws.amazon.com/redshift/latest/gsg/rs-gsg-authorize-cluster-access.html wird beschrieben, wie Sie den öffentlichen Internetzugang aktivieren.

• Wenn Ihre Amazon Redshift-Clientverbindung zur Datenbank beim Ausführen langer Abfragen blockiert oder wegen Timeouts abgebrochen wird, finden Sie unter http://docs.aws.amazon.com/redshift/latest/mgmt/connecting-firewall-guidance.html mögliche Lösungen zur Behebung dieses Problems.

Testen Sie die Verbindung, bevor Sie sie speichern.

Zusätzliche Informationen zur Amazon-Authentifizierung und Zugriffskontrolle

• AWS: Sicherheit

• AWS: Clustersicherheitsgruppen mit der Konsole verwalten

Der Cloud-Migrationsassistent wird gestartet, wenn Sie unter Migration im Menü Tools auf "Cloud-Migrationen" klicken. Mit dem Cloud-Migrationsassistenten können Sie Schemas, Objekte (Tabellen) und Daten von einer Amazon Redshift-Datenbank zu Autonomous Database migrieren.

Beschreibung der Abbildung adw_migrate_redshift_start.png

Der Cloud-Migrationsassistent umfasst eine Reihe einfacher Schritte. Der Cloudmigrationsassistent führt Sie durch folgende Aufgaben:

• Schemas in der Amazon Redshift-Datenbank identifizieren, die Sie migrieren möchten.

• Identifizieren Sie die Autonomous Database-Zielinstanz.

• Definieren, ob Sie die Metadaten (DDL), die Daten oder beides migrieren möchten.

• Wählen, um Ihr System online zu migrieren, Skripte zu generieren oder beides.

Amazon Redshift-Datenbank identifizieren

Schemas in der zu migrierenden Amazon Redshift-Datenbank identifizieren Alle Objekte, hauptsächlich Tabellen, im Schema werden migriert. Die Migration zu Autonomous Database erfolgt auf Schemabasis. Schemas können im Rahmen der Migration nicht umbenannt werden.

1. Geben Sie in der AWS-Redshift-Migration die Verbindung an.

   
   
   Beschreibung der Abbildung adw_migrate_redshift_step1of3.png
   

• Verbindung: Name der Redshift-Datenbankverbindung.

• Available Schemas: Für die spezifische Verbindung verfügbare Schemas.

• Ausgewählte Schemas: Klicken Sie auf das Symbol "Hinzufügen", um aus Verfügbare Schemas die zu migrierenden Schemas zu wählen.

• Daten aufnehmen: DDL und DATA migrieren die ausgewählten Schemas und Daten.

Wenn Sie Daten migrieren, müssen Sie den AWS-Zugriffsschlüssel, den AWS-Secret-Zugriffsschlüssel und eine vorhandene S3-Bucket-URI angeben, in der die Redshift-Daten entladen und bereitgestellt werden. Die Sicherheitszugangsdaten erfordern bestimmte Berechtigungen zum Speichern von Daten in S3. Es wird empfohlen, neue, separate Zugriffsschlüssel für die Migration zu erstellen. Derselbe Zugriffsschlüssel wird später verwendet, um die Daten mit sicheren REST-Anforderungen in Autonomous Database zu laden.

• AWS-Zugriffsschlüssel: Weitere Informationen zu Zugriffsschlüsseln finden Sie unter AWS Identity and Access Management.

• AWS Secret-Zugriff: Weitere Informationen zu Zugriffsschlüsseln finden Sie unter AWS Identity and Access Management.

• S3 Bucket-URI: Informationen zu den allgemeinen S3 ServiceException-Fehler finden Sie unter S3ServiceException-Fehler.

  Weitere Informationen zu einem S3-Bucket finden Sie unter S3-Bucket erstellen und konfigurieren.

URI-Format für Amazon S3-Bucket

Für die Quelldateien in Amazon S3 finden Sie im Folgenden eine Beschreibung des URI-Formats für den Zugriff auf Ihre Dateien: Auf einen Bucket zugreifen Beispiel: Im Folgenden wird auf den Dateiordner "folder_name" im adwc-Bucket in der Region "us-west-2" verwiesen.

https://s3-us-west-2.amazonaws.com/adwc/folder_name

S3 Bucket-Konfiguration - Beispiel 1

Sie geben die folgende S3-Bucket-URI an:

https://s3-us-west-2.amazonaws.com/my_bucket

Der Assistent prüft den gesamten Pfad einschließlich von my_bucket. Es wird versucht, eine Testdatei zu schreiben. Wenn nicht darauf zugänglich ist, wird ein Prompt angezeigt. Wenn my_bucket nicht vorhanden ist, wird ein Fehler gemeldet:

Validation Failed

Anschließend erstellt die Codegeneration den folgenden Pfad für die Funktion DBMS_CLOUD.COPY_DATA:

file_uri_list => "https://s3-us-west-2.amazonaws.com/my_bucket/oracle_schema_name/oracle_table_name/*.gz"

Der Migrationsassistent erstellt die folgenden Ordner: oracle_schema_name/oracle_table_name im Bucket: my_bucket.

S3-Bucket - Beispiel 2

Sie geben die folgende S3-Bucket-URI an:

https://s3-us-west-2.amazonaws.com/my_bucket/another_folder

Der Assistent prüft den gesamten Pfad einschließlich von my_bucket. Es wird versucht, eine Testdatei zu schreiben. Wenn nicht darauf zugänglich ist, wird ein Prompt angezeigt. Wenn my_bucket nicht vorhanden ist, wird ein Fehler gemeldet:

Validation Failed

In diesem Fall muss another_folder nicht vorhanden sein. Die Migration erstellt den Bucket another_folder in my_bucket.

Anschließend erstellt die Codegeneration den folgenden Pfad für die Funktion DBMS_CLOUD.COPY_DATA:

file_uri_list => ‘https://s3-us-west-2.amazonaws.com/my_bucket/another_folder/oracle_schema_name/oracle_table_name/*.gz

Schritt 2 von 3: Autonomous Data Warehouse Cloud

Klicken Sie auf Verbindung zu Autonomous Database herstellen, um eine Verbindung für das Ziel zu erstellen. Der Benutzer für diese Verbindung muss über Administratorberechtigungen verfügen. Die Verbindung wird während der Migration verwendet, um Schemas und Objekte zu erstellen.

Mit dem Amazon Redshift-Migrationsassistenten können Sie sofort eine Onlinemigration durchführen, alle für eine Migration erforderlichen Skripte generieren oder beides. Wenn Sie die Skripte in einem lokalen Verzeichnis speichern möchten, müssen Sie das lokale Verzeichnis angeben (der Benutzer muss Schreibberechtigung für das Verzeichnis haben).

Beschreibung der Abbildung adw_migrate_redshift_step2of3.png

• Verbindung: Name der Autonomous Data Warehouse Cloud-Verbindung. Erstellen Sie bei Bedarf eine Verbindung für Autonomous Database. Der Benutzer muss über Administratorberechtigungen verfügen, da diese Verbindung während der Migration zum Erstellen von Schemas und Objekten verwendet wird.

• Kennwort des Migrations-Repositorys: Kennwort für das Migrations-Repository, das im Rahmen der Schemamigration in Autonomous Database installiert wird. Verwenden Sie entweder das vorab eingegebene Kennwort, oder geben Sie ein neues Kennwort ein.

• Repository nach erfolgreicher Migration entfernen: Wählen Sie diese Option aus, um das Repository nach Abschluss der Migration zu entfernen. Das Repository wird nach der Migration nicht mehr benötigt.

• Jetzt migrieren: Wählen Sie diese Option aus, um sofort eine Online-Migration durchzuführen.

  Hinweis
  
  

  • Wenn sowohl Daten aufnehmen aus Schritt 1 als auch Jetzt migrieren nicht ausgewählt ist, haben Sie sich für die einfache Generierung aller erforderlichen SQL-Skripte für die manuelle Migration entschieden.

  • Wenn Daten aufnehmen aus Schritt 1 deaktiviert und Jetzt migrieren aktiviert ist, werden alle ausgewählten Schemas und ihre Tabellen in Autonomous Database bereitgestellt, aber Daten werden nicht in Tabellen geladen.

  • Wenn sowohl Daten aufnehmen aus Schritt 1 als auch Jetzt migrieren ausgewählt sind, werden alle ausgewählten Schemas und ihre Tabellen in Autonomous Database bereitgestellt, und Daten werden in Tabellen geladen.

• Verzeichnis: Geben Sie das Verzeichnis an, in dem die für die Migration generierten Skripte gespeichert werden sollen. Dadurch werden die Skripte in einem lokalen Verzeichnis gespeichert.

Erweiterte Einstellungen (optional)

Die Standardeinstellungen sollten funktionieren, es sei denn, Sie möchten die Formatoptionen beim Entladen in den S3-Speicher oder beim Kopieren aus dem S3-Speicher in Autonomous Database steuern. Weitere Informationen zu Formatoptionen finden Sie unter DBMS_CLOUD-Paketformatoptionen. Um erweiterte Optionen zu verwenden, klicken Sie auf Erweiterte Einstellungen.

Beschreibung der Abbildung adw_migrate_redshift_prefs.png

Ausgabeverzeichnis: Geben Sie den Pfad ein, oder klicken Sie auf "Verzeichnis auswählen", um das Verzeichnis oder den Ordner für die Migration auszuwählen.

Maximale Anzahl Threads: Geben Sie die Anzahl der parallelen Threads ein, die beim Laden von Daten in Tabellen in Autonomous Database aktiviert werden sollen.

Planer verwenden: Wählen Sie diese Option aus, um den Scheduler für die Migration zu aktivieren. Sie können Jobs für Vorgänge zur Lastmigration vom AWS S3-Bucket in Autonomous Database planen. Sie können die geplanten Jobs sofort oder zu einem späteren Zeitpunkt ausführen. Um die geplanten Dataload-Jobs zu überwachen, verwenden Sie den Scheduler-Knoten in der Verbindungsnavigationsanzeige.

Auswahl der Migrationsausführung:

• Sofort startet der Scheduler, sobald die Redshift-Migration ausgelöst wird.

• Einmal führt den Scheduler an einem zukünftigen Datum aus. Sie geben das Startdatum und die Zeitzone an. Als Startdatum werden standardmäßig das aktuelle Datum und die aktuelle Uhrzeit des lokalen Systems angezeigt. Um das Startdatum zu ändern, doppelklicken Sie auf das Kalendersymbol, und wählen Sie das Datum aus. Alternativ können Sie das Datum mit dem Drehfeld auswählen und dann auf das Feld klicken, um es festzulegen.

Redshift-Entladeoptionen: Überschreiben zulassen: Wenn diese Option aktiviert ist, überschreibt der Entladeprozess vorhandene Dateien, einschließlich der Manifestdatei (listet die vom Entladeprozess erstellten Dateien auf). Standardmäßig verläuft das Entladen nicht erfolgreich, wenn Dateien vorhanden sind, die überschrieben werden können.

ADWC-Formatoptionen: Zurückweisungslimit: Geben Sie die Anzahl der Zeilen ein, die beim Laden von Daten in Tabellen in Autonomous Database abgelehnt werden können. Der Migrationsvorgang wird mit einem Fehler beendet, nachdem die angegebene Anzahl an Zeilen abgelehnt wurde. Der Standard ist 0.

Wenn Sie eine sofortige Migration ausgewählt haben, bleibt das Dialogfeld des Migrationsassistenten geöffnet, bis die Migration abgeschlossen ist. Wenn Sie "Skript generieren" auswählen, generiert der Migrationsprozess die erforderlichen Skripte im angegebenen lokalen Verzeichnis, führt sie jedoch nicht aus.

Um die Migration auszuführen, klicken Sie auf Fertigstellen

Wenn der in AWS Redshift ausgewählte Schemaname bereits in Autonomous Database vorhanden ist, schließt der Migrationsprozess das Deployment dieser ausgewählten Schemas aus und zeigt ein Dialogfeld an:

Zusammenfassung: Was der Migrationsassistent erstellt

• Erstellt einen neuen Autonomous Database-Benutzer mit dem schema_name aus Redshift.

• Erstellt einen neuen Bucket auf S3 auf Basis des Schemanamens.

• Erstellt Unterordner auf S3 für jede Tabelle.

Amazon Redshift-Daten in S3 entladen

Der erste Schritt einer erfolgreichen Migration ist das Entladen der Amazon Redshift-Daten in Amazon S3, das als Staging-Bereich fungiert. Das Skript redshift_s3unload.sql enthält alle Amazon Redshift-Befehle zum Entladen der Daten mit den Zugriffszugangsdaten und dem Bucket S3, die im Workflow des Migrationsassistenten angegeben wurden.

Melden Sie sich bei Ihrer Amazon Redshift-Umgebung an, um dieses Skript auszuführen.

Data Warehouse-Objekte erstellen

Um Autonomous Database vorzubereiten, erstellen Sie das leere Data Warehouse-Schema, bevor Sie Daten laden. Der Amazon Redshift-Migrationsassistent konvertiert alle Amazon Redshift-Schemastrukturen in Oracle-Strukturen im Skript adwc_ddl.sql.

Das Skript muss ausgeführt werden, während Sie als berechtigter Benutzer mit Autonomous Database verbunden sind. Beispiel: ADMIN.

Standardmäßig hat das für die Migration erstellte Schema denselben Namen wie das Schema in Amazon Redshift. Sie müssen das Kennwort für den angegebenen Benutzer entweder im Skript oder nach der Ausführung des Skriptes in das gültige Kennwort ändern. Wenn Sie den Namen des Schemas ändern möchten, ändern Sie den Namen des Schemas und alle Referenzen auf den Namen.

Amazon Redshift-Daten in Oracle Autonomous Database laden

Das Skript adwc_dataload.sql enthält alle Ladebefehle, die zum Laden der entladenen Amazon Redshift-Daten direkt aus S3 in Autonomous Database erforderlich sind.

Führen Sie das Skript aus, während Sie als privilegierter Benutzer mit Autonomous Database verbunden sind. Beispiel: ADMIN.

Wenn Sie den Zielschemanamen beim Erstellen der Data Warehouse-Objekte ändern möchten, müssen Sie die Zielschemanamen in diesem Skript entsprechend anpassen.

Verwendung von JOB SCHEDULER

SQL Developer bietet eine grafische Benutzeroberfläche für die Verwendung des PL/SQL-Packages DBMS_SCHEDULER zur Arbeit mit Oracle Scheduler-Objekten. Um die Planungsfunktionen von SQL Developer zu verwenden, lesen Sie das Thema "Jobs mit SQL Developer planen" in der Benutzerdokumentation zu SQL Developer und in der Administratordokumentation zu Oracle Database. Dort werden die Konzepte und wesentlichen Aufgaben für die Jobplanung beschrieben.

Der Scheduler-Knoten für eine Verbindung wird im Connections Navigator und im DBA-Navigator angezeigt. Mit dem ADWC-Benutzer "admin" können Sie navigieren, um Scheduler-Objekte anzuzeigen, deren Eigentümer der "admin" ist, der den Status von Data-Load-Jobs überwacht.

Unter ADWC "admin"-Verbindung → Scheduler → Jobs sehen Sie, dass Dataload-Jobs für AWS Redshift zu ADWC mit dem Namen <schema_name>_<table_name> erstellt werden. 

Um den Status des Abschlusses jedes Dataloads anzuzeigen, blenden Sie jeden geplanten Job ein, und prüfen Sie den Status.

Ausführlichere Informationen zum Laden von Daten finden Sie auch in der Tabelle MD_REPORT im SQLDEV_MIGREPOS-Schema, in der Informationen zu Tabellenspalten gespeichert werden, und

 OPERATION_ID, LOGFILE_TABLE, BADFILE_TABLE, SOURCE_SCHEMA_NAME, TARGET_SCHEMA_NAME, SOURCE_TABLE_NAME, 

and

 TARGET_TABLE_NAME, SOURCE_TABLE_ROWS, TARGET_TABLE_ROWS_LOADED, ERROR MESSAGE, 

and

STATUS (COMPLETED or FAILED)

Log- und Berichtsdateien für die Redshift-Migration

Nach der Redshift-Migration finden Sie drei Dateien vor:

• MigrationResults.log: Logdatei der Redshift-Migration

• readme.txt: Datei, die erklärt, wie die generierten Amazon Redshift-Migrationsskripte verwendet werden.

• redshift_migration_reportxxx.txt: enthält Informationen zur Migration. Beispiel:

  ______________________________________________________________
  OPERATION ID : 8566
  LOGFILE TABLE : COPY$8566_LOG
  BADFILE TABLE : COPY$8566_BAD
  SOURCE SCHEMA : sample
  TARGET SCHEMA : SAMPLE
  SOURCE TABLE : listing
  TARGET TABLE : LISTING
  SOURCE TABLE ROWS : 192497
  TABLE ROWS LOADED : 192497
  ERROR MESSAGE : null
  STATUS : COMPLETED
  START TIME : 2018-09-27 17:25:18.662075
  END TIME : 2018-09-27 17:25:25.012695
  ______________________________________________________________