关于流分析
创建定制运营仪表盘,使用 OCI GoldenGate Stream 分析实时监视和分析事件流。识别感兴趣的事件,实时针对事件流运行查询,或根据您的分析发出警报。
流分析概念
以下概念对于使用 OCI GoldenGate Stream Analytics 至关重要:
-
连接:存储源或目标技术的连接信息。
-
流:动态数据的连续流。
-
管道:从源到目标的工作流数据。
-
业务逻辑:您可以应用于管道的各种筛选器和函数,以获得要分析的精确数据。
-
发布:使管道可供所有流分析用户使用,并将数据发送到目标。
支持的连接
了解 OCI GoldenGate Stream Analytics 支持哪些类型的连接。
支持的源连接
OCI GoldenGate Stream Analytics 支持以下源技术类型:
注:您还可以直接在 Stream Analytics 控制台中创建 Coherence、Ignite 和 Java 消息服务器 (JMS) 连接。
支持的目标连接
Stream Analytics 支持以下目标技术类型:
注:您还可以直接在 Stream Analytics 控制台中创建 Amazon S3、Azure Data Lake Storage、Coherence、Hadoop File Storage (HDFS)、Ignite、JMS 和 MongoDB 连接。
流分析支持和限制
虽然 OCI GoldenGate Stream Analytics 与 GoldenGate Stream Analytics (GGSA) 相同,但某些功能仅在 OCI 版本中可用,其他功能在 OCI 版本中不受支持:
OCI 特定限制
-
OCI GoldenGate Stream Analytics 不支持定制 Jars。
-
OCI GoldenGate Stream Analytics 不包括用户可访问的 Kafka 集群。对于 Kafka 输入或输出(包括使用 GoldenGate Change Data 输入),需要单独的 Kafka 部署(例如 OCI Streaming)。
请特别注意 GoldenGate Stream Analytics 中的附注,以告知您 OCI GoldenGate Stream Analytics 中是否支持某个功能。
调整 Stream Analytics 部署的注意事项
确保查看 OCI GoldenGate 部署的计量和计费中有关 Oracle Compute 单元 (OCPU) 选择和扩展的信息。
OCI GoldenGate Stream Analytics OCPU 使用量根据以下因素计算:
-
流分析控制台
-
流处理管道数
-
触发集群
-
GoldenGate 大数据集群
在计算所需的 OCPU 数之前,让我们先了解每个流分析资源所需的计算单元数。1 个 OCPU 等于 2 个计算单元 (vCPU)。1 个 vCPU 等于 1000 毫秒(1000 米)。
下表列出了流分析管道设置示例和所需的计算 OCPU 数。
| 管道 | 驱动程序 | 执行程序 | vCPU 总数 | 已开票 OCPU |
|---|---|---|---|---|
| 业务进程 A | 500m | 1 x 500 米 | 1000m | 1 |
| 业务进程 B | 500m | 2 x 500 米 | 1500m | 1 |
| 业务进程 C | 500m | 4 x 500 米 | 2500m | 2 |
| 业务进程 D | 600m | 2 x 700 米 | 2000m | 1 |
| 业务进程 E | 1000m | 2 x 1000 米 | 3000m | 2 |
您可以根据需要为流分析控制台中的每个管道配置驱动程序和执行程序设置。
下表列出了基于管道数(来自上表)和所需 OCPU 计算数量的 Stream Analytics 资源配置示例。
| 流分析控制台 | 管道数 | 流处理管道 | 触发集群 | GoldenGate for Big Data 集群 | 已开票 OCPU |
|---|---|---|---|---|---|
| 1000m | 1 个管道 A | 1000m | 0 | 0 | 1 |
| 1000m | 3 个管道 A | 3000m | 0 | 0 | 2 |
| 1000m | 1 个管道 B | 1500m | 0 | 0 | 2 |
| 1000m | 1 个管道 B | 1500m | 2 x 500 米 | 500m | 2 |
| 1000m | 1 个管道 A 1 个管道 B | 2500m | 2 x 500 米 | 500m | 3 |
| 1000m | 2 个管道 A 1 个管道 B | 3500m | 2 x 500 米 | 500m | 3 |
Stream Analytics 控制台需要 1000 米。每个流处理管道都需要额外的千核,具体取决于它们的设置。Ignite 集群(如果已激活)至少需要 2 个集群实例。您可以在 Stream Analytics 控制台中为 Ignite 和 GoldenGate 大数据集群配置毫秒限制。同时添加后,您可以确定在创建流分析部署时需要选择的 OCPU 总数。
如果您不确定,可以从 2 个或 3 个 OCPU 开始,然后在部署详细信息页面上查看 OCPU 使用量指标并进行相应调整。