Flume搭建

flume下载地址https://www.apache.org/dyn/closer.lua/flume/1.11.0/apache-flume-1.11.0-bin.tar.gz

安装部署

• 将压缩包apache-flume-1.11.0-bin.tar.gz上传到linux系统的/usr/local/flume目录下
• 将软件压缩包解压缩到/opt/module目录中，并修改名称

解压缩文件

tar -zxvf apache-flume-1.11.0-bin.tar.gz -C /usr/local/flume/

修改名称

mv apache-flume-1.11.0-bin/* ./

生产环境中，可以设置flume的堆内存为4G或以上。

• 修改/usr/local/flume/conf/flume-env.sh文件，配置如下参数（虚拟机环境暂不配置）
• 修改JVM配置

export JAVA_OPTS="-Xms4096m -Xmx4096m -Dcom.sun.management.jmxremote

增加集成配置

flume采集数据到Kafka的配置

• 在linux系统解压缩后的flume软件目录中，创建job目录
• 进入flume软件目录

cd /usr/local/flume/

• 创建job目录

mkdir job

创建配置文件：file_to_kafka.conf

• 进入job目录

cd /usr/local/flume/job

• 创建文件

vim file_to_kafka.conf

• 增加文件内容

# 定义组件
a1.sources = r1
a1.channels = c1

# 配置source
a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
# 日志（数据）文件
a1.sources.r1.filegroups.f1 = /usr/local/flume/data/test.log
a1.sources.r1.positionFile = /usr/local/flume/taildir_position.json

# 配置channel
# 采用Kafka Channel，省去了Sink，提高了效率
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = 101.126.112.112:9092
a1.channels.c1.kafka.topic = myTestTopic
a1.channels.c1.parseAsFlumeEvent = false

# 组装
a1.sources.r1.channels = c1

本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。
本文链接：https://www.blog.ycisch.com/archives/746.html