小菜鸟

java菜鸟号正在起航

0%

发表于 更新于 分类于 阅读次数： 23 Valine： 0
本文字数： 8k 阅读时长 ≈ 7 分钟

log4j2配置

配置文件结构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
<?xml version="1.0" encoding="UTF-8"?>
<Configuration>
    <Appenders>
        <Appender>
            <Filters>
                <LevelRangeFilter minLevel="..." maxLevel="..." onMatch="..." onMismatch="..."/>
            </Filters>
            <PatternLayout pattern="..." charset="..."/>
            <Policies>
                <CronTriggeringPolicy schedule="..."/>
                <SizeBasedTriggeringPolicy size="..."/>
                <TimeBasedTriggeringPolicy />
            </Policies>
        </Appender>
    </Appenders>
    <Loggers>
        <Logger>
            <AppenderRef ref="...">
        </Logger>
        <Root>
            <AppenderRef ref="...">
        </Root>
    </Loggers>

</Configuration>
阅读全文 »

发表于 更新于 分类于 阅读次数： 16 Valine： 0
本文字数： 78 阅读时长 ≈ 1 分钟

flume拓扑结构

官网对于flume的搭建和使用提供了三种拓扑结构

简单串联

将多个flume简单的串联起来

阅读全文 »

发表于 更新于 分类于 阅读次数： 28 Valine： 0
本文字数： 5.5k 阅读时长 ≈ 5 分钟

flume扩展

flume可以自定义拦截器、自定义事件源、自定义接收器，可以通过自定义各个组件来进行flume的扩展

依赖

1
2
3
4
5
6
<!-- flume核心包 -->
    <dependency>
        <groupId>org.apache.flume</groupId>
        <artifactId>flume-ng-core</artifactId>
        <version>1.9.0</version>
    </dependency>

拦截器

Flume提供了拦截器功能，可以在源之后、接收器之前定义多个拦截器，可以通过拦截器在数据流入通道之前或数据流出通道之后对数据进行处理。

阅读全文 »

发表于 更新于 分类于 阅读次数： 17 Valine： 0
本文字数： 912 阅读时长 ≈ 1 分钟

接收处理器

可以使用接收处理器来创建sink组，进而实现故障转移和负载均衡的功能，官方提供了三种处理器，Default Sink Processor、Failover Sink Processor、Load balancing Sink Processor，可以使用Failover Sink Processor来完成故障转移，使用Load balancing Sink Processor来完成负载均衡

阅读全文 »

发表于 更新于 分类于 阅读次数： 20 Valine： 0
本文字数： 370 阅读时长 ≈ 1 分钟

flume事务

flume为了保证数据的原子性，内部存在了事务功能，在Source->Channel过程中存在一个事务，在Channel->Sink过程中存在一个事务

阅读全文 »