我们公司在kafka中加入了事务和幂等性,并且ack设置为-1,以此来保证数据不重复。
当然,如果数据真的重复了,也可以在下游对数据进行处理
比如Hive的DWD层去重(分组或开窗取第一个值)、SparkStreaming、Flink都能去重,还有Redis的Set集合