关于流分析

创建自定义运营仪表盘,使用 OCI GoldenGate 流分析实时监视和分析事件流。识别感兴趣的事件,对事件流实时运行查询,或根据您的分析发出警报。

流分析概念

从基础开始。熟悉以下概念:

  • 连接:存储源或目标技术的连接信息。
  • :动态数据的连续流。
  • 管道:从源到目标的工作流数据。
  • 业务逻辑:您可以将各种筛选器和函数应用于管道,以获得要分析的精确数据。
  • 发布:使管道可供所有流分析用户使用,并将数据发送到目标。

支持的连接

了解 OCI GoldenGate Stream Analytics 支持哪些类型的连接。

OCI GoldenGate Stream Analytics 支持以下技术类型:

注意:

您还可以直接在 Stream Analytics 控制台中创建 Coherence、Ignite 和 Java 消息服务器 (JMS) 连接。

Stream Analytics 支持以下目标技术类型:

注意:

您还可以直接在 Stream Analytics 控制台中创建 Amazon S3、Azure Data Lake Storage、Coherence、Hadoop File Storage (HDFS)、Ignite、JMS 和 MongoDB 连接。

流分析支持和限制

虽然 OCI GoldenGate Stream Analytics 与 GoldenGate Stream Analytics (GGSA) 相同,但某些功能仅在 OCI 版本中可用,而其他功能在 OCI 版本中不受支持:

OCI 特定限制

  • OCI GoldenGate Stream Analytics 不支持自定义 Jars。
  • OCI GoldenGate Stream Analytics 不包括用户可访问的 Kafka 集群。对于 Kafka 输入或输出(包括使用 GoldenGate Change Data 输入),需要单独的 Kafka 部署,例如 OCI Streaming。

请特别注意 GoldenGate 流分析中的说明,这些说明会告知您 OCI GoldenGate 流分析是否支持某个功能。

流分析部署的计量和计费

确保查看 OCI GoldenGate 部署的计量和计费中有关 Oracle Compute 单元 (OCPU) 选择和扩展的信息。

OCI GoldenGate 流分析 OCPU 使用量是根据以下因素计算的:

  • 流分析控制台
  • 流处理管道数
  • 点燃集群
  • GoldenGate 大数据集群

在计算所需的 OCPU 数之前,让我们先查看每个 Stream Analytics 资源所需的计算单元数。1 个 OCPU 等于 2 个计算单元 (vCPUs)。1 个 vCPU 等于 1000 毫秒 (1000m)。

下表列出了流分析管道设置示例和所需的计算 OCPU 数。
管道 驱动程序 执行程序 vCPU 总数 已开单 OCPU
管道 A 500m 1 个 500m 1000m 1
管道 B 500m 2 个 500m 1500m 1
管道 C 500m 4 个 500m 2500m 2
管道 D 600m 2 个 700m 2000m 1
管道 E 1000m 2 个 1000m 3000m 2

您可以在 Stream Analytics 控制台中根据需要为每个管道配置驱动程序和执行程序设置。

下表根据管道数(来自上表)和所需的已计算 OCPU 数列出了流分析资源配置示例。

流分析控制台 管道数 流处理管道 点燃集群 适用于大数据集群的 GoldenGate 已开单 OCPU
1000m 1 个管道 A 1000m 0 0 1
1000m 3 个管道 A 3000m 0 0 2
1000m 1 个管道 B 1500m 0 0 2
1000m 1 个管道 B 1500m 2 个 500m 500m 2
1000m 1 个管道 A

1 个管道 B

2500m 2 个 500m 500m 3
1000m 2 个管道 A

1 个管道 B

3500m 2 个 500m 500m 3

Stream Analytics 控制台需要 1000m。每个流式传输管道都需要额外的毫秒数,具体取决于它们的设置。Ignite 集群(如果已激活)至少需要 2 个集群实例。您可以在 Stream Analytics 控制台中为 Ignite 和 GoldenGate 大数据集群配置毫秒限制。组合使用后,您可以确定创建流分析部署时需要选择的 OCPU 总数。

如果您不确定,可以从 2 个或 3 个 OCPU 开始,然后在部署详细信息页面上查看 OCPU 使用量度量并进行相应调整。