问题

生产环境下发现某个数据库中的某张表同步。

由于我们使用的是canal进行数据库的同步。

canal中针对kafka的主要配置如下:

canal.mq.partitionsNum=10
canal.mq.partitionHash=.*\\..*

该配置定义了根据库及表名,发送数据到指定的分区。最大分区数为10。

经过研究发现,未同步的表会将数据发送至分区5。至此发现主要的队列的分区5已不存在。

阅读剩余部分

[Pivotal Greenplum® 6.4 Documentation · Pivotal Greenplum Download · Pivotal Greenplum Command Center 6.1.0 Documentation]

Pivotal Greenplum数据库是一个大规模并行处理(MPP)数据库服务器,它支持下一代数据仓库和大规模分析处理。通过自动分区数据并运行并行查询,它使服务器集群可以作为单个数据库超级计算机运行,其运行速度比传统数据库快数十倍或数百倍。 它支持SQL,MapReduce并行处理以及数据量,范围从数百GB到数百TB。

阅读剩余部分