Oracle Autonomous Database에 Kafka Streams 데이터 연결

컴퓨트 인스턴스를 생성하고 Kafka를 설치하여 메시지를 생산자로 보내거나 OCI 콘솔에서 다음 단계를 사용할 수 있습니다.

1. OCI 콘솔에 로그인하여 마켓플레이스로 이동합니다.
2. 모든 애플리케이션에서 GoldenGate 스트림 분석을 검색합니다.
3. 스택 실행을 누릅니다.
4. 나중에 프라이빗 키를 사용하여 GoldenGate Stream Analytics 인스턴스에 로그인하려면 VCN 세부정보를 제공하고 SSH 퍼블릭 키를 추가합니다.

   주:

   이 GoldenGate Stream Analytics 인스턴스에는 내장 샘플 Kafka Streams(생산자)가 설치되어 있습니다. 고유한 Kafka Streams가 있는 경우 이 인스턴스도 사용할 수 있습니다.

자율운영 데이터베이스 생성

1. 왼쪽 상단 메뉴에서 Oracle Database를 누른 다음 Autonomous Database를 누릅니다.
2. In the Autonomous Databases home page, click Create Autonomous Database.
3. 데이터베이스를 생성할 구획을 선택합니다.
4. 표시 이름: 사용자에게 친숙한 설명 또는 Autonomous Database를 손쉽게 식별하는 데 도움이 되는 기타 정보를 입력합니다.
5. 데이터베이스 이름: 새 Autonomous Database의 이름을 제공합니다.
6. 작업 로드 유형을 데이터 웨어하우스로 선택합니다.
7. 배치 유형을 서버 미사용으로 선택합니다.
8. 데이터베이스 버전을 19c으로, ECPU 수를 2로, 스토리지(TB)를 1로 선택합니다.
9. 관리자 인증서를 생성하고 비밀번호를 입력합니다. 비밀번호는 Oracle Cloud 보안 표준에 따라 강력한 비밀번호 복잡성 기준을 충족해야 합니다. 비밀번호 복잡성 규칙에 대한 자세한 내용은 데이터베이스 사용자 생성을 참조하십시오.
10. 모든 곳에서 보안 액세스로 네트워크 액세스를 선택합니다.
11. 나머지 매개변수를 기본값으로 유지하고 Autonomous Database 생성을 누릅니다.

새 Autonomous Database를 사용할 수 있을 때까지 Provisioning이 표시됩니다.

Kafka 메시지를 저장할 테이블 생성

1. SQLDeveloper를 열고 + 아이콘을 눌러 Oracle 데이터베이스 접속 생성을 수행합니다.
2. 접속 이름을 입력하고 데이터베이스 사용자 이름 및 비밀번호를 제공합니다.
3. 접속 유형을 Cloud Wallet으로 선택하고 wallet.zip 파일을 찾아서 접속을 누릅니다. 연결이 성공적으로 생성되어야 합니다.
4. 다음 스크립트를 사용하여 예제 테이블을 생성합니다.

   CREATE TABLE "TEST"."SAMPLE"
           (    "FRUIT" VARCHAR2(50 BYTE)",
                "TOTAL" VARCHAR2(50 BYTE)",
                "COLOR" VARCHAR2(50 BYTE)"
           )

Oracle Integration 3 인스턴스 생성

1. OCI 콘솔에서 개발자 서비스를 누르고 애플리케이션 통합에서 통합을 누릅니다.
2. 통합 인스턴스 홈 페이지에서 인스턴스 생성을 누릅니다.
3. 이름을 입력하고 버전을 Oracle Integration 3으로, 에디션을 엔터프라이즈로, 구성을 운용으로, 라이센스 유형을 새 Oracle Integration 인스턴스에 가입으로 선택합니다.
4. 생성을 누릅니다.

인스턴스가 생성되면 서비스 콘솔을 누르면 새 창으로 이동합니다.

Oracle Integration 3에서 Oracle Autonomous Data Warehouse 접속 생성

1. Oracle Integration 인스턴스에서 햄버거 메뉴를 누르고 디자인에서 접속을 선택합니다.
2. 생성을 누르고 Oracle ADW를 검색하고 선택합니다.
3. 이름, 식별자, 역할을 트리거 및 호출, 키워드 및 이 연결에 대한 설명으로 입력합니다.
4. 속성에서 선택적 속성을 확장하고 서비스 이름을 입력합니다.
5. 보안에서 SSL을 통한 JDBC를 선택하고 Wallet.zip 파일을 업로드합니다.
6. 데이터베이스가 생성될 때 제공된 전자 지갑 비밀번호를 입력합니다.
7. Database Service Username에 admin을 입력합니다.
8. 관리 사용자에 대한 데이터베이스 서비스 비밀번호를 입력합니다.
9. 액세스 유형을 공용 게이트웨이로 선택합니다.
10. 오른쪽 상단에 있는 테스트를 누릅니다.
11. 성공 메시지가 표시되면 저장을 누릅니다.

Kafka 인스턴스의 에이전트 그룹 연관

Kafka 스트림이 설치된 인스턴스에서 실행 중이어야 하는 에이전트가 필요합니다.

1. Oracle Integration 3 인스턴스에서 햄버거 메뉴를 누르고 디자인에서 에이전트를 선택합니다.
2. 에이전트 페이지에서 생성을 누릅니다.
3. 이름, 식별자, 설명을 입력하고 생성을 누릅니다.
4. 에이전트가 생성되면 다운로드, 접속 에이전트 순으로 누릅니다.
5. 성공적으로 다운로드한 후 oic_conn_agent_installer.zip을 Kafka 토픽이 실행되고 있는 Kafka 인스턴스로 복사하여 메시지를 생성합니다. 이 솔루션 플레이북 예에서는 Oracle GoldenGate Stream Analytics 인스턴스입니다.
6. oic_conn_agent_installer.zip의 압축을 풉니다.
7. 상태 열에서 ... 아이콘을 누른 다음 구성 다운로드를 누릅니다.
8. InstallerProfile.cfg 파일을 복사하고 이 파일을 Kafka 인스턴스에 복사합니다.
9. Kafka 인스턴스에서 InstallerProfile.cfg 파일을 바꿉니다.
10. InstallerProfile.cfg를 바꾼 후 다음 명령문을 실행하여 이 명령을 사용하여 Oracle GoldenGate Stream Analytics 인스턴스 또는 Kafka 온프레미스 인스턴스에서 에이전트를 시작합니다.

    $ java -jar connectivityagent.jar

에이전트를 성공적으로 시작해야 합니다. 에이전트를 실행 상태로 두고 정지하지 마십시오. 자세한 내용은 Oracle Integration 2세대에서 통합 사용을 참조하십시오.

Oracle Integration 3에서 Kafka 접속 생성

1. Oracle Integration 3 인스턴스에서 햄버거 메뉴를 누르고 디자인에서 접속을 선택합니다.
2. 생성을 누르고 Apache Kafka를 검색하고 선택합니다.
3. 이름, 식별자, 역할을 트리거 및 호출, 키워드 및 이 연결에 대한 설명으로 입력합니다.
4. Properties(등록 정보)에서 Bootstrap Servers(부트스트랩 서버) instancename:9092를 입력합니다.

   주:

   Kafka 인스턴스에서 사용 중인 VCN의 보안 목록에서 트래픽을 허용하려면 포트 9092를 추가해야 합니다.
5. 보안에 대해 보안 정책 없음을 선택합니다.
6. 접근 유형을 접속 에이전트로 선택하고 에이전트 그룹 연관을 누릅니다.
7. [에이전트]를 선택하고 사용을 누릅니다.
8. 테스트를 누릅니다. 성공한 메시지가 나타나야 합니다.
9. 저장을 누릅니다.

Oracle Integration 3에서 Kafka와 Oracle Autonomous Data Warehouse 간 통합 생성

1. Oracle Integration 3 인스턴스에서 햄버거 메뉴를 누르고 디자인에서 통합을 선택합니다.
2. 생성을 누르고 통합 생성 대화상자에서 애플리케이션을 선택합니다.
3. 통합 이름을 KafkaToADW으로 입력하고 생성을 누릅니다.

   주:

   Kafka에 대해 생성한 두 개의 연결과 Oracle Autonomous Data Warehouse가 트리거로 표시됩니다.
4. Kafka를 선택하면 트리거 이름을 입력하라는 메시지가 표시되고, 메시지 유형을 소비자로 선택하고, 계속을 누릅니다.
5. 드롭다운에서 Kafka 항목을 선택하고 소비자 이름을 지정하고 필드를 기본값으로 두고 계속을 누릅니다.
6. 메시지 구조를 샘플 JSON 문서로 선택한 다음 동일한 JSON 파일을 끌어 놓습니다.
7. 요약 창에서 모든 세부정보를 선택하고 완료를 누릅니다.
8. Trigger 아래에 생성된 아래쪽 화살표가 나타납니다.
9. + 아이콘을 누르고 호출에서 ADW를 선택하면 맵이라는 이름으로 추가 상자가 표시됩니다.
10. 마우스를 호출 위로 이동하고 ...를 누른 다음 편집을 선택합니다.
11. 이름을 입력하고 필드에 대해 테이블에서 작업 수행을 선택합니다. 수행할 작업 필드?, 삽입을 선택하고 계속을 누릅니다.
12. 테이블을 선택하고 계속을 누른 다음 [요약] 페이지에서 완료를 누릅니다.
13. 그런 다음 마우스를 맵 상자 위로 이동하고 ...를 누른 다음 편집을 선택합니다.
14. [매핑] 페이지에서 소스 및 대상 필드를 연결합니다.
15. 검증을 누르면 검증이 성공적으로 수행됩니다.
16. [통합] 페이지에서 저장을 누르면 통합이 성공적으로 구성됩니다.
17. 통합 홈 페이지에서 마우스를 상태 필드 위로 이동하고 전원 아이콘을 눌러 활성화합니다.
18. 통합 활성화라는 이름의 창이 표시되고 운용을 선택한 다음 활성화를 누릅니다. Kafka 메시지를 소비하기 위해 통합을 성공적으로 활성화합니다.
19. Kafka 토픽을 시작하면 데이터베이스에 저장되는 메시지가 표시됩니다. SQLDeveloper를 열고 테이블을 열고 데이터 탭을 눌러 메시지를 봅니다.
20. 고유한 Kafka 스트림이 있는 경우 동일한 형식으로 메시지를 생성할 수 있습니다.
21. Oracle GoldenGate Stream Analytics를 사용하는 경우 Oracle GoldenGate Stream Analytics 인스턴스에 SSH를 사용하여 /u01/app/osa/utilities/kafka-utils 폴더로 이동합니다.
22. sample.json를 수신 데이터로 사용할 수 있습니다. 이 JSON 형식 사용:

    {"fruit": "Apple","total": "Large","color": "Red"}

23. 다음 명령을 실행하여 데이터 피드를 Kafka 항목으로 루프합니다.

    opc@ggsanew kafka-utils]$ ./loop-file.sh ./sample.json | ./sampler.sh 1 1 | ./kafka.sh feed complex

데이터 확인

1. Oracle Integration 콘솔을 열고 관찰 가능성을 누른 다음 통합을 선택합니다.
2. Received, Processed 및 Succeeded 데이터에 대한 세부 정보가 표시됩니다.
3. Oracle SQL Developer를 열고 테이블에서 데이터를 사용할 수 있는지 확인합니다.
   1. Oracle Connections를 누르고 Oracle Autonomous Data Warehouse 데이터베이스를 선택합니다.
   2. 테이블을 확장하고 샘플 테이블을 선택하면 데이터가 표시됩니다.