Amazon Redshift JDBC-Treiber herunterladen und Drittanbieter-Treiber hinzufügen

1. Laden Sie einen Amazon Redshift JDBC-Treiber herunter, um auf Amazon Redshift zuzugreifen. Informationen zum Speicherort des neuesten JDBC-Treibers finden Sie in der Dokumentation zu Amazon Redshift. Weitere Informationen finden Sie unter JDBC-Verbindung konfigurieren.

   Hinweis
   
   Verwenden Sie den JDBC-4.2-kompatiblen Amazon Redshift-Treiber.

2. Speichern Sie den Amazon Redshift JDBC-Treiber in einem lokalen Verzeichnis, in dem SQL Developer auf den Amazon Redshift JDBC-Treiber zugreifen kann.

3. Fügen Sie den Amazon Redshift JDBC-Treiber als Drittanbieter zu SQL Developer hinzu, bevor Sie eine Verbindung herstellen. Gehen Sie in SQL Developer zu Extras > Voreinstellungen > Datenbank > JDBC-Treiber von Drittanbietern (für Mac ist dies Oracle SQL Developer > Voreinstellungsdatenbank > JDBC-Treiber von Drittanbietern).

4. Klicken Sie auf Eintrag hinzufügen, und wählen Sie den Pfad zum Amazon Redshift JDBC-Treiber aus, den Sie herunterladen.

   
   
   Beschreibung der Abbildung dwcs_aws_migration_jdbc_add1.png
   

5. Klicken Sie auf OK, um den Amazon Redshift-JDBC-Treiber hinzuzufügen, den Sie herunterladen.

Verbindung zur Amazon Redshift-Datenbank hinzufügen

Verbindung zur Amazon Redshift-Datenbank herstellen.

1. Klicken Sie im Bereich "Verbindungen" mit der rechten Maustaste auf Verbindungen, und wählen Sie Neue Verbindung... aus.

2. Wählen Sie die Registerkarte Amazon Redshift aus, und geben Sie die Verbindungsinformationen für Amazon Redshift ein.

   Wenn Sie mehrere Schemas migrieren möchten, wird empfohlen, eine Verbindung mit dem Masterbenutzernamen zu Ihrem Amazon Redshift-System herzustellen.

   
   
   Beschreibung der Abbildung adw_migrate_aws_connect1.png
   

• Weitere Informationen zum Konfigurieren einer JDBC-Verbindung und zum Abrufen der Amazon Redshift-JDBC-URL finden Sie unter AWS: JDBC-Verbindung konfigurieren.

• Weitere Details zur Konfiguration von Sicherheitsoptionen für die Verbindung (im Falle eines Verbindungsfehlers bei Amazon [500150]) finden Sie unter AWS: Sicherheitsoptionen für die Verbindung konfigurieren (im Falle eines Verbindungsfehlers bei Amazon [500150]).

• Wenn Sie Ihre Amazon Redshift-Umgebung in einer Virtual Private Cloud (VPC) bereitgestellt haben, müssen Sie sicherstellen, dass Ihr Cluster über das Internet zugänglich ist. Einzelheiten zum Aktivieren des öffentlichen Internetzugangs finden Sie unter http://docs.aws.amazon.com/redshift/latest/gsg/rs-gsg-authorize-cluster-access.html.

• Wenn Ihre Amazon Redshift-Clientverbindung zur Datenbank bei langen Abfragen zu hängen scheint oder ein Timeout auftritt, finden Sie unter http://docs.aws.amazon.com/redshift/latest/mgmt/connecting-firewall-guidance.html mögliche Lösungen, um dieses Problem zu beheben.

Testen Sie die Verbindung, bevor Sie sie speichern.

Weitere Informationen zur Amazon-Authentifizierung und Zugriffskontrolle

• AWS: Sicherheit

• AWS: Cluster-Sicherheitsgruppen mit der Konsole verwalten

Der Cloud-Migrationsassistent wird gestartet, wenn Sie im Menü Extras unter Migration auf Cloud-Migrationen klicken. Mit dem Assistenten für Cloud-Migrationen können Sie Schemas, Objekte (Tabellen) und Daten aus einer Amazon Redshift-Datenbank zu Autonomous Database migrieren.

Beschreibung der Abbildung adw_migrate_redshift_start.png

Der Cloud-Migrationsassistent ist eine einfache Gruppe von Schritten. Mit dem Cloud-Migrationsassistenten können Sie:

• Identifizieren Sie die Schemas in Ihrer Amazon Redshift-Datenbank, die Sie migrieren möchten.

• Autonomous Database-Zielidentifikation.

• Definieren Sie, ob Sie die Metadaten (DDL), die Daten oder beides migrieren möchten.

• Sie können Ihr System online migrieren, Skripte generieren oder beides.

Identifizieren der Amazon Redshift-Datenbank

Identifizieren Sie die Schemas in der zu migrierenden Amazon Redshift-Datenbank. Alle Objekte, hauptsächlich Tabellen, im Schema werden migriert. Die Migration zu Autonomous Database erfolgt pro Schema. Schemas können nicht als Teil der Migration umbenannt werden.

1. Geben Sie in der AWS Redshift-Migration die Verbindung an.

   
   
   Beschreibung der Abbildung adw_migrate_redshift_step1of3.png
   

• Verbindung: Name der Redshift-Datenbankverbindung.

• Verfügbare Schemas: Für die jeweilige Verbindung verfügbare Schemas.

• Ausgewählte Schemas: Klicken Sie auf das Symbol "Hinzufügen", um die Schemas auszuwählen, die Sie aus Verfügbare Schemas migrieren möchten.

• Daten einschließen: DDL und DATA migrieren die ausgewählten Schemas und Daten.

Wenn Sie Daten migrieren, müssen Sie den AWS-Zugriffsschlüssel, den AWS Secret Access Key und eine vorhandene S3-Bucket-URI angeben, in der die Redshift-Daten entladen und zwischengespeichert werden. Die Sicherheitszugangsdaten erfordern bestimmte Berechtigungen, um Daten in S3 zu speichern. Es wird empfohlen, neue, separate Zugriffsschlüssel für die Migration zu erstellen. Derselbe Zugriffsschlüssel wird später verwendet, um die Daten mit sicheren REST-Anforderungen in Autonomous Database zu laden.

• AWS-Zugriffsschlüssel: Weitere Informationen zu Zugriffsschlüsseln finden Sie unter AWS Identity and Access Management.

• AWS-Secret-Zugriff: Weitere Informationen zu Zugriffsschlüsseln finden Sie unter AWS Identity and Access Management.

• S3 Bucket-URI: Informationen zu allgemeinen S3 ServiceException-Fehlern finden Sie unter S3ServiceException-Fehler.

  Weitere Informationen zu S3-Buckets finden Sie unter Bucket S3 erstellen und konfigurieren.

URI-Format für Amazon S3-Bucket

Informationen zu den Quelldateien, die in Amazon S3 gespeichert sind, finden Sie im Folgenden für eine Beschreibung des URI-Formats für den Zugriff auf Ihre Dateien: Auf einen Bucket zugreifen. Beispiel: Im Folgenden wird der Dateiordner "folder_name" im AdWC-Bucket in der Region "us-west-2" beschrieben.

https://s3-us-west-2.amazonaws.com/adwc/folder_name

S3 Bucket-Konfiguration - Beispiel 1

Wenn Sie die folgende Bucket-URI S3 angeben:

https://s3-us-west-2.amazonaws.com/my_bucket

Der Assistent prüft den gesamten Pfad einschließlich my_bucket. Es wird versucht, eine Testdatei zu schreiben, wenn sie nicht zugänglich ist, wird eine Eingabeaufforderung angezeigt. Falls my_bucket nicht vorhanden ist, wird ein Fehler gemeldet:

Validation Failed

Dann erstellt die Codegenerierung den folgenden Pfad für die Funktion DBMS_CLOUD.COPY_DATA:

file_uri_list => "https://s3-us-west-2.amazonaws.com/my_bucket/oracle_schema_name/oracle_table_name/*.gz"

Der Migrationsassistent erstellt die folgenden Ordner: oracle_schema_name/oracle_table_name im Bucket: my_bucket.

S3 Bucket-Beispiel 2

Wenn Sie die folgende Bucket-URI S3 angeben:

https://s3-us-west-2.amazonaws.com/my_bucket/another_folder

Der Assistent prüft den gesamten Pfad einschließlich my_bucket. Es wird versucht, eine Testdatei zu schreiben, wenn sie nicht zugänglich ist, wird eine Eingabeaufforderung angezeigt. Falls my_bucket nicht vorhanden ist, wird ein Fehler gemeldet:

Validation Failed

In diesem Fall muss another_folder nicht vorhanden sein. Die Migration erstellt den Bucket another_folder in my_bucket.

Dann erstellt die Codegenerierung den folgenden Pfad für die Funktion DBMS_CLOUD.COPY_DATA:

file_uri_list => ‘https://s3-us-west-2.amazonaws.com/my_bucket/another_folder/oracle_schema_name/oracle_table_name/*.gz

Schritt 2 von 3: Autonomous Data Warehouse Cloud

Erstellen Sie zunächst eine Verbindung für Ihre Ziel-Autonomous Database. Siehe Verbindung zu Autonomous Database herstellen. Der Benutzer für diese Verbindung muss über die administrativen Berechtigungen verfügen. Die Verbindung wird während der gesamten Migration verwendet, um Schemas und Objekte zu erstellen.

Mit dem Amazon Redshift Migration Assistant können Sie sofort eine Online-Migration durchführen, um alle für eine Migration erforderlichen Skripte zu generieren, oder beides. Wenn Sie die Skripte in einem lokalen Verzeichnis speichern möchten, müssen Sie das lokale Verzeichnis angeben (das Verzeichnis muss vom Benutzer schreibgeschützt sein).

Beschreibung der Abbildung adw_migrate_redshift_step2of3.png

• Verbindung: Name der Autonomous Data Warehouse Cloud-Verbindung. Erstellen Sie bei Bedarf eine Verbindung für Autonomous Database. Der Benutzer muss über Administratorberechtigungen verfügen, da diese Verbindung während der Migration zum Erstellen von Schemas und Objekten verwendet wird. 

• Kennwort des Migrations-Repositorys: Kennwort für das Migrations-Repository, das im Rahmen der Schemamigration in Autonomous Database installiert ist. Verwenden Sie entweder das vorgefüllte Kennwort, oder geben Sie ein neues Kennwort ein.

• Repository bei erfolgreicher Migration entfernen: Wählen Sie diese Option aus, um das Repository nach Abschluss der Migration zu entfernen. Das Repository ist nach der Migration nicht erforderlich.

• Jetzt migrieren: Wählen Sie diese Option aus, um sofort eine Onlinemigration auszuführen.

  Hinweis
  
  

  • Wenn Daten einschließen aus Schritt 1 und Jetzt migrieren nicht ausgewählt sind, entscheiden Sie sich für die Generierung aller erforderlichen SQL-Skripte für die manuelle Migration.

  • Wenn Daten einbeziehen aus Schritt 1 deaktiviert ist und Jetzt migrieren ausgewählt ist, werden alle ausgewählten Schemas und ihre Tabellen in Autonomous Database bereitgestellt, Daten werden jedoch nicht in Tabellen geladen.

  • Wenn Daten einschließen aus Schritt 1 und Jetzt migrieren beide ausgewählt sind, werden alle ausgewählten Schemas und ihre Tabellen in Autonomous Database bereitgestellt, und Daten werden in Tabellen geladen.

• Verzeichnis: Geben Sie das Verzeichnis an, in dem die generierten Skripte gespeichert werden sollen, die für die Migration erforderlich sind. Dadurch werden die Skripte in einem lokalen Verzeichnis gespeichert.

Erweiterte Einstellungen (optional)

Die Standardeinstellungen sollten funktionieren, es sei denn, Sie möchten die Formatoptionen beim Entladen in den S3-Speicher oder beim Kopieren aus dem S3-Speicher in Autonomous Database steuern. Weitere Informationen zu Formatoptionen finden Sie unter DBMS_CLOUD Packageformatoptionen. Um erweiterte Optionen zu verwenden, klicken Sie auf Erweiterte Einstellungen.

Beschreibung der Abbildung adw_migrate_redshift_prefs.png

Ausgabeverzeichnis: Geben Sie den Pfad ein, oder klicken Sie auf "Verzeichnis auswählen", um das Verzeichnis oder den Ordner für die Migration auszuwählen.

Maximale Anzahl Threads: Geben Sie die Anzahl der parallelen Threads ein, die beim Laden von Daten in Tabellen in Autonomous Database aktiviert werden sollen.

Scheduler verwenden: Wählen Sie diese Option aus, um den Scheduler für die Migration zu aktivieren. Sie können Jobs für Dataload-Migrationsvorgänge vom AWS-S3-Bucket zu Autonomous Database planen. Sie können die geplanten Jobs sofort oder zu einem späteren Zeitpunkt ausführen. Um die geplanten Dataload-Jobs zu überwachen, verwenden Sie den Scheduler-Knoten im Connections Navigator.

Auswahl der Migrationsausführung:

• Sofort führt den Scheduler aus, sobald die Redshift-Migration ausgelöst wird.

• Einmal führt den Scheduler an einem zukünftigen Datum aus. Sie geben das Startdatum und die Zeitzone an. Standardmäßig zeigt das Startdatum das aktuelle Datum und die aktuelle Uhrzeit des lokalen Systems an. Um das Startdatum zu ändern, doppelklicken Sie auf das Kalendersymbol, und wählen Sie das Datum aus, oder verwenden Sie das Drehfeld, um das Datum hervorzuheben, und klicken Sie dann auf das Feld, um es festzulegen.

Redshift-Entladeoptionen: Überschreiben zulassen: Wenn diese Option aktiviert ist, überschreibt der Entladeprozess vorhandene Dateien einschließlich der Manifestdatei (listet die Datendateien auf, die vom Entladeprozess erstellt werden). Standardmäßig ist das Entladen nicht erfolgreich, wenn Dateien vorhanden sind, die überschrieben werden können.

ADWC-Formatoptionen: Limit ablehnen: Geben Sie die Anzahl der Zeilen ein, die beim Laden von Daten in Tabellen in Autonomous Database abgelehnt werden sollen. Der Migrationsvorgang wird mit einem Fehler beendet, nachdem die angegebene Anzahl an Zeilen abgelehnt wurde. Der Standardwert ist 0.

Wenn Sie eine sofortige Migration ausgewählt haben, bleibt das Dialogfeld des Migrationsassistenten geöffnet, bis die Migration abgeschlossen ist. Wenn Sie "Skripte generieren" auswählen, generiert der Migrationsprozess die erforderlichen Skripte im angegebenen lokalen Verzeichnis und führt die Skripte nicht aus.

Um die Migration auszuführen, klicken Sie auf Fertigstellen

Wenn der ausgewählte Schemaname in AWS Redshift bereits in Autonomous Database vorhanden ist, schließt der Migrationsprozess das Deployment dieser ausgewählten Schemas aus und zeigt ein Dialogfeld an:

Zusammenfassung: Was der Migrationsassistent erstellt

• Erstellt einen neuen Autonomous Database-Benutzer mit schema_name aus Redshift.

• Erstellt einen neuen Bucket in S3 basierend auf dem Schemanamen.

• Erstellt Unterordner für S3 für jede Tabelle.

Entladen Sie Ihre Amazon Redshift-Daten in S3

Der erste Schritt einer erfolgreichen Migration ist das Entladen Ihrer Amazon Redshift-Daten in Amazon S3, die als Staging Area fungiert. Das Skript redshift_s3unload.sql enthält alle Amazon Redshift-Entladebefehle, um die Daten mit den Zugriffszugangsdaten und dem Bucket S3 zu entladen, die im Workflow des Migrationsassistenten angegeben wurden.

Stellen Sie eine Verbindung zu Ihrer Amazon Redshift-Umgebung her, um dieses Skript auszuführen.

Data Warehouse-Objekte erstellen

Um Autonomous Database vorzubereiten, erstellen Sie das leere Data Warehouse-Schema, bevor Sie Daten laden. Der Amazon Redshift-Migrationsassistent hat alle Amazon Redshift-Schemastrukturen im Skript adwc_ddl.sql in Oracle-Strukturen konvertiert.

Das Skript muss ausgeführt werden, während Sie mit Ihrer Autonomous Database als privilegierter Benutzer verbunden sind, z.B. ADMIN.

Standardmäßig hat das für die Migration erstellte Schema denselben Namen wie das Schema in Amazon Redshift. Sie müssen das Kennwort entweder im Skript oder nach der Ausführung des Skripts in das gültige Kennwort für den angegebenen Benutzer ändern. Wenn Sie den Schemanamen ändern möchten, ändern Sie den Schemanamen und alle Verweise auf den Namen.

Laden Sie Ihre Amazon Redshift-Daten in Ihre Oracle Autonomous Database

Das Skript adwc_dataload.sql enthält alle Ladebefehle, die erforderlich sind, um die entladenen Amazon Redshift-Daten direkt aus S3 in Ihre Autonomous Database zu laden.

Führen Sie das Skript aus, während Sie mit Ihrer Autonomous Database als privilegierter Benutzer verbunden sind, z.B. ADMIN.

Wenn Sie den Zielschemanamen beim Erstellen der Data Warehouse-Objekte ändern möchten, müssen Sie die Zielschemanamen in diesem Skript entsprechend anpassen.

Einsatz von JOB SCHEDULER

SQL Developer bietet eine grafische Benutzeroberfläche für die Verwendung des PL/SQL-Packages DBMS_SCHEDULER für die Arbeit mit Oracle Scheduler-Objekten. Informationen zu den Planungsfeatures von SQL Developer finden Sie im Thema "Jobs mit SQL Developer planen" im SQL Developer-Benutzerhandbuch und im Oracle Database Administrator's Guide, um die Konzepte und grundlegenden Aufgaben für die Jobplanung zu verstehen.

Der Scheduler-Knoten für eine Verbindung wird im Connections Navigator und im DBA-Navigator angezeigt. Verwenden Sie den ADWC-Benutzer "admin", um zu navigieren, der Scheduler-Objekte anzeigt, deren Eigentümer der Überwachungsstatus "admin" für Dataload-Jobs ist.

Unter ADWC 'admin' Connection → Scheduler → Jobs wird angezeigt, dass AWS Redshift zu ADWC Dataload-Jobs mit dem Namen <schema_name>_<table_name> erstellt werden. 

Um den Status des Abschlusses jedes Dataloads anzuzeigen, blenden Sie jeden geplanten Job ein, und prüfen Sie den Status.

Weitere Informationen zum Dataload-Vorgang finden Sie auch in der Tabelle MD_REPORT im Schema SQLDEV_MIGREPOS, in der Informationen zu Tabellenspalten gespeichert sind: und

 OPERATION_ID, LOGFILE_TABLE, BADFILE_TABLE, SOURCE_SCHEMA_NAME, TARGET_SCHEMA_NAME, SOURCE_TABLE_NAME, 

und

 TARGET_TABLE_NAME, SOURCE_TABLE_ROWS, TARGET_TABLE_ROWS_LOADED, ERROR MESSAGE, 

und

STATUS (COMPLETED or FAILED)

Log- und Berichtsdateien für Redshift-Migration

Nach der Redshift-Migration finden Sie drei Dateien:

• MigrationResults.log: Logdatei der Redshift-Migration

• readme.txt: In der Datei wird erläutert, wie Sie die generierten Amazon Redshift-Migrationsskripte verwenden.

• redshift_migration_reportxxx.txt: Enthält Informationen zur Migration. Beispiel:

  ______________________________________________________________
  OPERATION ID : 8566
  LOGFILE TABLE : COPY$8566_LOG
  BADFILE TABLE : COPY$8566_BAD
  SOURCE SCHEMA : sample
  TARGET SCHEMA : SAMPLE
  SOURCE TABLE : listing
  TARGET TABLE : LISTING
  SOURCE TABLE ROWS : 192497
  TABLE ROWS LOADED : 192497
  ERROR MESSAGE : null
  STATUS : COMPLETED
  START TIME : 2018-09-27 17:25:18.662075
  END TIME : 2018-09-27 17:25:25.012695
  ______________________________________________________________