web | Java

Spark Streaming的窗口大小,每个窗口处理的数据量大小。

千锋教育

该问题一定要根据业务需求来确定,比如要实现的需求为:统计每分钟的前一个小时的在线人数。


上面需求的窗口大小(窗口长度)为1小时,然后再统计每个窗口需要处理的数据量。


窗口处理的数据量 = 每个批次处理的平均数据量 * 窗口的批次数量