web | Java

Flume结构 taildir source

千锋教育

1)断点续传 2)Apache1.7以及CDH1.6产生 3)若遇到无断点续传功能的source怎么办?   自定义 4)taildir挂了怎么办?   不会丢失数据,因为有断点续传,可能会有重复数据 5)如何处理重复数据?   (1)不处理:生产环境通常不处理,因为会影响传输效率   (2)处理:可以在taildir source中增加自定义事务;也可以在Hive、SparkStream、Flink中进行处理,分组去重或开窗取第一条、Redis的Set集合都能去重 6)taildir source是否支持递归遍历文件夹来读取文件?   不支持,但是可以自定义,递归遍历文件夹 + 读取文件