Verbinden Sie Kafka Streams-Daten mit Oracle Autonomous Database

Kafka Streams-Daten mit Oracle Autonomous Database verbinden

Sie können eine Compute-Instanz erstellen und Kafka installieren, um Nachrichten als Producer zu senden, oder die folgenden Schritte in der OCI-Konsole verwenden.

Melden Sie sich bei der OCI-Konsole an, und gehen Sie zu Marketplace.
Suchen Sie unter Alle Anwendungen nach GoldenGate Stream Analytics.
Klicken Sie auf Stack starten.
Geben Sie VCN-Details an, und fügen Sie einen SSH-Public Key hinzu, um sich später mit dem Private Key bei der Stream Analytics-Instanz GoldenGate anzumelden.

Hinweis:
Für diese GoldenGate Stream Analytics-Instanz ist ein integriertes Beispiel für Kafka Streams (Producers) installiert. Wenn Sie über eigene Kafka Streams verfügen, können Sie diese auch verwenden.

Autonome Datenbank erstellen

Klicken Sie im oberen linken Menü auf Oracle Database und dann auf Autonomous Database.
Klicken Sie auf der Homepage Autonome Datenbanken auf Autonomous Database erstellen.
Wählen Sie ein Compartment aus, in dem Sie die Datenbank erstellen möchten.
Anzeigename: Geben Sie eine benutzerdefinierte Beschreibung oder sonstige Informationen ein, anhand derer Sie die Autonomous Database leicht identifizieren können.
Datenbankname: Geben Sie einen Namen für die neue Autonomous Database an.
Wählen Sie den Workload-Typ als Data Warehouse aus.
Wählen Sie den Deployment-Typ als "Serverlos" aus.
Wählen Sie Datenbankversion als 19c, ECPU-Anzahl als 2 und Speicher (TB) als 1 aus.
Erstellen Sie Administratorzugangsdaten, und geben Sie das Kennwort ein. Das Kennwort muss die Komplexitätskriterien für sichere Kennwörter basierend auf den Oracle Cloud-Sicherheitsstandards erfüllen. Weitere Informationen zu den Regeln für die Kennwortkomplexität finden Sie unter Datenbankbenutzer erstellen.
Wählen Sie den Netzwerkzugriff als Sicherer Zugriff von überall aus.
Behalten Sie die restlichen Parameter als Standard bei, und klicken Sie auf Autonomous Database erstellen.

Ihre Anzeige zeigt das Provisioning an, bis die neue Autonomous Database verfügbar ist.

Tabelle zum Speichern von Kafka-Nachrichten erstellen

Öffnen Sie SQLDeveloper, und klicken Sie auf das Symbol +, um eine Oracle-Datenbankverbindung zu erstellen.
Geben Sie einen Verbindungsnamen ein, und geben Sie den Datenbankbenutzernamen und das Kennwort an.
Wählen Sie den Verbindungstyp als Cloud Wallet aus, suchen Sie nach der Datei wallet.zip, und klicken Sie auf Verbinden. Die Verbindung muss erfolgreich erstellt werden.

Erstellen Sie eine Beispieltabelle mit dem folgenden Skript:

CREATE TABLE "TEST"."SAMPLE"
        (    "FRUIT" VARCHAR2(50 BYTE)",
             "TOTAL" VARCHAR2(50 BYTE)",
             "COLOR" VARCHAR2(50 BYTE)"
        )

Oracle Integration 3-Instanz erstellen

Klicken Sie in der OCI-Konsole auf Entwicklerservices, und klicken Sie unter Anwendungsintegration auf Integration.
Klicken Sie auf der Homepage der Integrationsinstanzen auf Instanz erstellen.
Geben Sie einen Namen ein, wählen Sie als Version Oracle Integration 3, als Edition Enterprise, als Ausprägung Produktion und als Lizenztyp Neue Oracle Integration-Instanz abonnieren aus.
Klicken Sie auf Create.

Nachdem Sie die Instanz erstellt haben, klicken Sie auf die Servicekonsole. Dadurch gelangen Sie zu einem neuen Fenster.

Oracle Autonomous Data Warehouse-Verbindung in Oracle Integration 3 erstellen

Klicken Sie in der Oracle Integration-Instanz auf das Hamburger-Menü, und wählen Sie unter Design die Option Verbindungen aus.
Klicken Sie auf Erstellen, suchen Sie nach Oracle ADW, und wählen Sie sie aus.
Geben Sie einen Namen, eine ID, eine Rolle als Trigger und Aufruf, ein Schlüsselwort und eine Beschreibung zu dieser Verbindung ein.
Blenden Sie unter Eigenschaften die Option Optionale Eigenschaften ein, und geben Sie den Servicenamen ein.
Wählen Sie unter Sicherheit die Option JDBC über SSL aus, und laden Sie die Datei Wallet.zip hoch.
Geben Sie das Wallet-Kennwort ein, das bei der Erstellung der Datenbank angegeben wurde.
Geben Sie den Benutzernamen des Datenbankservice als Admin ein.
Geben Sie das Datenbankservicekennwort für den Admin-Benutzer ein.
Wählen Sie den Zugriffstyp als Öffentliches Gateway aus.
Klicken Sie oben rechts auf Test.
Wenn eine Meldung angezeigt wird, dass der Vorgang erfolgreich war, klicken Sie auf Save.

Agent-Gruppe in der Kafka-Instanz verknüpfen

Sie benötigen einen Agent, der in der Instanz ausgeführt werden muss, in der Ihre Kafka Streams installiert sind.

Klicken Sie in der Oracle Integration 3-Instanz auf das Hamburger-Menü, und wählen Sie unter Design die Option Agents aus.
Klicken Sie auf der Seite Agents auf Erstellen.
Geben Sie einen Namen, eine ID und eine Beschreibung ein, und klicken Sie auf Erstellen.
Nachdem der Agent erstellt wurde, klicken Sie auf Herunterladen und dann auf Konnektivitäts-Agent.
Kopieren Sie nach dem erfolgreichen Download die oic_conn_agent_installer.zip in die Kafka-Instanz, in der Ihre Kafka-Themen ausgeführt werden, und erstellen Sie Nachrichten. In diesem Lösungsbeispiel handelt es sich um die Oracle GoldenGate Stream Analytics-Instanz.
Dekomprimieren Sie oic_conn_agent_installer.zip.
Klicken Sie in der Spalte Status auf das Symbol ... und dann auf Konfiguration herunterladen.
Kopieren Sie die Datei InstallerProfile.cfg, und kopieren Sie diese Datei in die Kafka-Instanz.
Ersetzen Sie die Datei InstallerProfile.cfg in der Kafka-Instanz.
Nachdem Sie InstallerProfile.cfg ersetzt haben, führen Sie die folgende Anweisung aus, um den Agent in der Oracle GoldenGate Stream Analytics-Instanz oder in Ihrer Kafka-On-Premise-Instanz mit diesem Befehl zu starten:
```
$ java -jar connectivityagent.jar
```

Agent muss erfolgreich gestartet werden. Lassen Sie ihn laufen, und stoppen Sie ihn nicht. Weitere Informationen finden Sie unter Integrationen in Oracle Integration der 2. Generation verwenden

Kafka-Verbindung in Oracle Integration 3 erstellen

Klicken Sie in der Oracle Integration 3-Instanz auf das Hamburger-Menü, und wählen Sie unter Design die Option Verbindungen aus.
Klicken Sie auf Erstellen, suchen Sie nach Apache Kafka, und wählen Sie sie aus.
Geben Sie einen Namen, eine ID, eine Rolle als Trigger und Aufruf, ein Schlüsselwort und eine Beschreibung zu dieser Verbindung ein.
Geben Sie unter Eigenschaften den Bootstrap-Server ein: instancename:9092.

Hinweis:
Im VCN, das von der Kafka-Instanz verwendet wird, müssen Sie unter Sicherheitsliste Port 9092 hinzufügen, um Traffic zuzulassen.
Wählen Sie unter Sicherheit die Option Keine Sicherheits-Policy aus.
Wählen Sie als Konnektivitäts-Agent den Zugriffstyp aus, und klicken Sie auf Agent-Gruppe verknüpfen.
Wählen Sie den Agent aus, und klicken Sie auf Verwenden.
Klicken Sie auf Testen. Sie sollten eine erfolgreiche Nachricht erhalten.
Klicken Sie auf Speichern.

Integration zwischen Kafka und Oracle Autonomous Data Warehouse in Oracle Integration 3 erstellen

Klicken Sie in der Oracle Integration 3-Instanz auf das Hamburger-Menü, und wählen Sie unter Design die Option Integrationen aus.
Klicken Sie auf Erstellen, und wählen Sie im Dialogfeld Integration erstellen die Option Anwendung aus.
Geben Sie den Integrationsnamen als KafkaToADW ein, und klicken Sie auf Erstellen.

Hinweis:
Sie werden zwei Verbindungen bemerken, die Sie für Kafka und Oracle Autonomous Data Warehouse als Trigger erstellt haben.
Wählen Sie Kafka aus, und Sie werden aufgefordert, einen Namen für den Trigger einzugeben. Wählen Sie Nachrichtentyp als Consumer aus, und klicken Sie auf Weiter.
Wählen Sie das Kafka-Thema in der Dropdown-Liste aus, geben Sie einen Consumer-Namen an, übernehmen Sie die Standardwerte für die Felder, und klicken Sie auf Weiter.
Wählen Sie unter Nachrichtenstruktur die Option JSON-Beispieldokument aus, und ziehen Sie dieselbe JSON-Datei per Drag-and-Drop.
Prüfen Sie im Fenster Übersicht alle Details, und klicken Sie auf Fertigstellen.
Sie werden einen Abwärtspfeil unter dem Trigger bemerken, der erstellt wurde.
Klicken Sie auf das Symbol +, und wählen Sie unter Aufrufen ADW aus. Daraufhin wird ein zusätzliches Feld mit dem Namen Zuordnen angezeigt.
Bewegen Sie den Mauszeiger über Aufrufen, klicken Sie auf ..., und wählen Sie Bearbeiten aus.
Geben Sie einen Namen an, und wählen Sie "Vorgang in einer Tabelle ausführen" für das Feld "Welche Vorgänge möchten Sie ausführen?" aus. Wählen Sie Einfügen aus, und klicken Sie auf Weiter.
Wählen Sie die Tabelle aus, klicken Sie auf Weiter, und klicken Sie auf der Seite "Übersicht" auf Fertigstellen.
Bewegen Sie als Nächstes den Mauszeiger über das Feld Zuordnen, klicken Sie auf ..., und wählen Sie Bearbeiten aus.
Verbinden Sie auf der Seite "Mapping" die Felder Quelle und Ziel.
Klicken Sie auf Validieren, und es sollte erfolgreich validiert werden.
Klicken Sie auf der Seite "Integration" auf Speichern, um die Integration erfolgreich zu konfigurieren.
Bewegen Sie auf der Integrationshomepage den Mauszeiger über das Feld Status, und klicken Sie zum Aktivieren auf das Symbol "Einschalten".
Sie sehen ein Fenster mit dem Namen Integration aktivieren, wählen Produktion aus, und klicken Sie auf Aktivieren. Dadurch wird die Integration erfolgreich aktiviert, um Kafka-Nachrichten zu konsumieren.
Starten Sie das Kafka-Thema, und es werden Meldungen angezeigt, die in der Datenbank gespeichert werden. Öffnen Sie SQLDeveloper, öffnen Sie die Tabelle, und klicken Sie auf die Registerkarte Daten, um die Nachrichten anzuzeigen.
Wenn Sie über eigene Kafka-Streams verfügen, können Sie mit dem Produzieren von Nachrichten im selben Format beginnen.
Wenn Sie Oracle GoldenGate Stream Analytics verwenden, gehen Sie mit SSH zu Ihrer Oracle GoldenGate Stream Analytics-Instanz und zum Ordner /u01/app/osa/utilities/kafka-utils.
Sie können sample.json als eingehende Daten verwenden. Verwenden Sie dieses json-Format:
```
{"fruit": "Apple","total": "Large","color": "Red"}
```

Führen Sie den folgenden Befehl aus, um den Datenfeed als Kafka-Thema zu schleifen:

opc@ggsanew kafka-utils]$ ./loop-file.sh ./sample.json | ./sampler.sh 1 1 | ./kafka.sh feed complex

Daten prüfen

Öffnen Sie die Oracle Integration-Konsole, klicken Sie auf Beobachtbarkeit, und wählen Sie Integrationen aus.
Sie erhalten die Details für empfangene, verarbeitete und erfolgreiche Daten.
Öffnen Sie Oracle SQL Developer, und prüfen Sie die Tabelle, um zu bestätigen, ob die Daten dort verfügbar sind.
1. Klicken Sie auf Oracle-Verbindungen, und wählen Sie die Oracle Autonomous Data Warehouse-Datenbank aus.
2. Blenden Sie Tabellen ein, wählen Sie die Beispieltabelle aus, und die Daten werden angezeigt.