接收处理器 发表于 2021-03-14 更新于 2024-03-06 分类于 flume 阅读次数： Valine： 本文字数： 912 阅读时长 ≈ 1 分钟 接收处理器可以使用接收处理器来创建sink组，进而实现故障转移和负载均衡的功能，官方提供了三种处理器，Default Sink Processor、Failover Sink Processor、Load balancing Sink Processor，可以使用Failover Sink Processor来完成故障转移，使用Load balancing Sink Processor来完成负载均衡 阅读全文 »
flume事务 发表于 2021-03-14 更新于 2024-03-06 分类于 flume 阅读次数： Valine： 本文字数： 370 阅读时长 ≈ 1 分钟 flume事务flume为了保证数据的原子性，内部存在了事务功能，在Source->Channel过程中存在一个事务，在Channel->Sink过程中存在一个事务 阅读全文 »
flume采集kafka消息写入HDFS 发表于 2021-03-14 更新于 2024-03-06 分类于 flume 阅读次数： Valine： 本文字数： 3.2k 阅读时长 ≈ 3 分钟 flume采集kafka消息写入HDFS配置该配置采用kafka作为事件源，kafka作为通道，hdfs作为接收器 阅读全文 »
flume监控文件写入kafka 发表于 2021-03-14 更新于 2024-07-11 分类于 flume 阅读次数： Valine： 本文字数： 1.9k 阅读时长 ≈ 2 分钟 flume监控文件写入kafka之前了解过log4j2将日志直接写入kafka中，这样会导致应用程序直接依赖于kafka运行环境。 而一般通常的做法是应用程序将日志写入本地，通过日志采集工具将本地日志同步到远程服务器，flume就是常用的数据采集工具之一。 阅读全文 »
flume监控目录文件 发表于 2021-03-14 更新于 2024-03-06 分类于 flume 阅读次数： Valine： 本文字数： 3.6k 阅读时长 ≈ 3 分钟 flume监控目录文件使用flume来监控目录文件的变化，并将目录中的文件内容传至hdfs中，有三种事件源可供选择 一是Exec Source来监控文件，适用于监控一个实时追加的文件，但是不能保证数据不丢失 二是Spooldir Source来监控目录，可以保证不丢失数据，且可以做到断点续传，但是延迟过高，无法保证实时监控 三是Tairdir Source来监控，既可以保证不丢失数据，又可以保证断点续传，还可以保证实时监控 阅读全文 »