接收处理器 发表于 2021-03-14 更新于 2024-03-06 分类于 flume 阅读次数: Valine: 本文字数: 912 阅读时长 ≈ 1 分钟 接收处理器可以使用接收处理器来创建sink组,进而实现故障转移和负载均衡的功能,官方提供了三种处理器,Default Sink Processor、Failover Sink Processor、Load balancing Sink Processor,可以使用Failover Sink Processor来完成故障转移,使用Load balancing Sink Processor来完成负载均衡 阅读全文 »
flume事务 发表于 2021-03-14 更新于 2024-03-06 分类于 flume 阅读次数: Valine: 本文字数: 370 阅读时长 ≈ 1 分钟 flume事务flume为了保证数据的原子性,内部存在了事务功能,在Source->Channel过程中存在一个事务,在Channel->Sink过程中存在一个事务 阅读全文 »
flume采集kafka消息写入HDFS 发表于 2021-03-14 更新于 2024-03-06 分类于 flume 阅读次数: Valine: 本文字数: 3.2k 阅读时长 ≈ 3 分钟 flume采集kafka消息写入HDFS配置该配置采用kafka作为事件源,kafka作为通道,hdfs作为接收器 阅读全文 »
flume监控文件写入kafka 发表于 2021-03-14 更新于 2024-07-11 分类于 flume 阅读次数: Valine: 本文字数: 1.9k 阅读时长 ≈ 2 分钟 flume监控文件写入kafka之前了解过log4j2将日志直接写入kafka中,这样会导致应用程序直接依赖于kafka运行环境。 而一般通常的做法是应用程序将日志写入本地,通过日志采集工具将本地日志同步到远程服务器,flume就是常用的数据采集工具之一。 阅读全文 »
flume监控目录文件 发表于 2021-03-14 更新于 2024-03-06 分类于 flume 阅读次数: Valine: 本文字数: 3.6k 阅读时长 ≈ 3 分钟 flume监控目录文件使用flume来监控目录文件的变化,并将目录中的文件内容传至hdfs中,有三种事件源可供选择 一是Exec Source来监控文件,适用于监控一个实时追加的文件,但是不能保证数据不丢失 二是Spooldir Source来监控目录,可以保证不丢失数据,且可以做到断点续传,但是延迟过高,无法保证实时监控 三是Tairdir Source来监控,既可以保证不丢失数据,又可以保证断点续传,还可以保证实时监控 阅读全文 »