小菜鸟

flume简单配置与执行

命令参数

• agent 指定以agent角色启动，另一个角色为avro-client
• conf或c 指定flume-env.sh和log4j.properties的所在目录
• config-file或f 指定配置源和接收器配置文件的相对路径，相对于执行该命令的目录，包括文件名
• name或n 指定agent的名称
• D -D后接键值对，指定java相关配置

flume简介

flume是Cloudera提供的高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。基于流式架构

我下载的最新的flume，为1.9.0版本

1
2
3
4
5
6

>flume-ng version 
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9

下载之后修改flume-env.sh中的JAVA_HOME即可

linux下载软件包

linux下只有两种软件包

• 源码包(tar 压缩包，如有.tar.gz 和.tar.bz2)
• 二进制包(rpm) centos下 (除了rpm还有srpm，srpm 包为未编译过的 rpm 包，需要以 rpm 管理的方式编译，然后以 rpm 的安装方式安装)

循环语句

Bash中有三种可以用来重复执行一系列命令的语句：for循环语句、while循环语句和until循环语句

for循环

1
2
3
4
5
6
7
8
9
10
11

#for循环的语法一  
for 变量 in 列表  
do  
    语句  
done

#for循环的语法二
for (( 初始值;循环控制条件;变量变化 ))
    do
        语句
    done

scala简单使用

由于大数据的兴起，spark的使用越来越多，从而带动了scala语言的兴起，scala是一门多范式(面向对象、函数式编程)的编程语言

以一个小例子来说明

1
2
3
4
5
6
7
8

object Hello {
  // def表示是一个方法   main为方法名称
  // args: Array[String]为入参  args参数名  Array[String]类型   参数名在前，类型在后
  // Unit 相当于java中的void，表示返回值为空
  def main(args: Array[String]): Unit = {
    println("Hello")
  }
}

使用scalac命令编译scala文件，然后使用scala运行编译出来的class文件