web | Java

SparkStreaming一个批次有多久?一个批次有多少条数据?

千锋教育

关于批次间隔需要结合业务来确定的,如果实时性要求高,批次间隔需要调小。 每个批次的数据量是和每天产生的数据量有直接关系,在计算的时候需要考虑峰值的情况。


需要注意的是,批次间隔越长,每个批次计算的数据量会越多。