flume简单配置与执行
命令参数
- agent 指定以agent角色启动,另一个角色为avro-client
- conf或c 指定flume-env.sh和log4j.properties的所在目录
- config-file或f 指定配置源和接收器配置文件的相对路径,相对于执行该命令的目录,包括文件名
- name或n 指定agent的名称
- D -D后接键值对,指定java相关配置
flume是Cloudera提供的高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。基于流式架构
我下载的最新的flume,为1.9.0版本
1 | >flume-ng version |
下载之后修改flume-env.sh中的JAVA_HOME即可
由于大数据的兴起,spark的使用越来越多,从而带动了scala语言的兴起,scala是一门多范式(面向对象、函数式编程)的编程语言
以一个小例子来说明
1 | object Hello { |
使用scalac命令编译scala文件,然后使用scala运行编译出来的class文件