web | Java

DStream

千锋教育

DStream是Spark Streaming的基础抽象,代表持续的数据流,它由一系列连续的RDD组成,一个批次间隔接收的数据只会存放在一个block中,因此每个批次间隔都只会产生一个RDD。


DStream与RDD同样是不可变的,每个算子都会创建一个新的DStream,因此一个批次可能会有多个DStream。


对同一个DStream连续window没有意义,因为foreach只会按照最后一个window生成的DStream来对待RDD。