Flume结构
taildir source
千锋教育
1)断点续传
2)Apache1.7以及CDH1.6产生
3)若遇到无断点续传功能的source怎么办?
自定义
4)taildir挂了怎么办?
不会丢失数据,因为有断点续传,可能会有重复数据
5)如何处理重复数据?
(1)不处理:生产环境通常不处理,因为会影响传输效率
(2)处理:可以在taildir source中增加自定义事务;也可以在Hive、SparkStream、Flink中进行处理,分组去重或开窗取第一条、Redis的Set集合都能去重
6)taildir source是否支持递归遍历文件夹来读取文件?
不支持,但是可以自定义,递归遍历文件夹 + 读取文件