web | Java

Kafka数据积压怎么办?

千锋教育

1)提升消费者组中的消费者数以及Topic中的分区数,让二者相等,我们公司设置为3个分区 = 3CPU


2)提高消费者拉取数据的能力,比如Flume每次拉取的数据可以由1000条改为3000条、Spark中将限流的参数增大、Flink中保证数据的处理效率等