Kafka性能测试
使用kafka自带的性能测试工具进行kafka服务的压力测试。
标签 大数据 下的文章
记一次Kafka问题排查
问题
生产环境下发现某个数据库中的某张表同步。
由于我们使用的是canal进行数据库的同步。
canal中针对kafka的主要配置如下：
canal.mq.partitionsNum=10
canal.mq.partitionHash=.*\\..*该配置定义了根据库及表名，发送数据到指定的分区。最大分区数为10。
经过研究发现，未同步的表会将数据发送至分区5。至此发现主要的队列的分区5已不存在。
Canal使用手册
Greenplum使用手册
[Pivotal Greenplum® 6.4 Documentation · Pivotal Greenplum Download · Pivotal Greenplum Command Center 6.1.0 Documentation]
Pivotal Greenplum数据库是一个大规模并行处理（MPP）数据库服务器，它支持下一代数据仓库和大规模分析处理。通过自动分区数据并运行并行查询，它使服务器集群可以作为单个数据库超级计算机运行，其运行速度比传统数据库快数十倍或数百倍。 它支持SQL，MapReduce并行处理以及数据量，范围从数百GB到数百TB。