记一次Kafka问题排查
问题
生产环境下发现某个数据库中的某张表同步。
由于我们使用的是canal进行数据库的同步。
canal中针对kafka的主要配置如下：
canal.mq.partitionsNum=10
canal.mq.partitionHash=.*\\..*该配置定义了根据库及表名，发送数据到指定的分区。最大分区数为10。
经过研究发现，未同步的表会将数据发送至分区5。至此发现主要的队列的分区5已不存在。
生产环境下发现某个数据库中的某张表同步。
由于我们使用的是canal进行数据库的同步。
canal中针对kafka的主要配置如下：
canal.mq.partitionsNum=10
canal.mq.partitionHash=.*\\..*该配置定义了根据库及表名，发送数据到指定的分区。最大分区数为10。
经过研究发现，未同步的表会将数据发送至分区5。至此发现主要的队列的分区5已不存在。