flume安装与配置

1.解压命名tar zxvf /opt/apache-flume-1.6.0-bin.tar.gz -C/opt[root@master ~]#cd /opt/[root@master ~]#mv apache-flume-1.6.0-bin/flume2.vi /etc/profile[root@master ~]#vi /etc/profile # 编辑系统环境变量配置文件# set flu

焦糖小桂圆

3175人浏览 · 2021-11-29 16:41:19

焦糖小桂圆 · 2021-11-29 16:41:19 发布

1.解压命名

tar zxvf /opt/apache-flume-1.6.0-bin.tar.gz -C  /opt

[root@master ~]#cd /opt/

[root@master ~]#mv apache-flume-1.6.0-bin/  flume

2.vi /etc/profile

[root@master ~]#vi /etc/profile # 编辑系统环境变量配置文件

# set flume environment
export FLUME_HOME=/usr/local/src/flume # Flume 安装路径
export PATH=$PATH:$FLUME_HOME/bin # 添加系统 PATH 环境变量



[hadoop@master ~]$source /etc/profile

3.修改 Flume 相应配置文件。

[hadoop@master ~]$cd /opt/flume/conf

拷贝 flume-env.sh.template 文件并重命名为 flume-env.sh。

[hadoop@master ~]$cp flume-env.sh.template flume-env.sh

4. 修改并配置 flume-env.sh 文件。

[hadoop@master ~]$ vi /opt/flume/conf/flume-env.sh

# 修改 JAVA_HOME 参数值为 jdk 安装路径

export JAVA_HOME=/opt/java

5.使用 flume-ng version 命令验证安装是否成功

使用 flume-ng version 命令验证安装是否成功，若能够正常查询 Flume 组件版本为
1.6.0，则表示安装成功。

[hadoop@master ~]$ flume-ng version 


Flume 1.6.0 # 查询到 Flume 版本为 1.6.0
Source code repository: https://git-wip-us . apache . org/ 
repos/asf/ flume. git
Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080
Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015
From source with checksum b29e416802ce9ece3269d34233baf43f

. 实验任务三：使用 Flume 发送和接受信息

6.步骤一：在 Flume 安装目录中创建 simple-hdfs-flume.conf 文件。

[hadoop@master ~]$ cd /opt/flume/

[hadoop@master ~]$ vi /opt/flume/simple-hdfs-flume.conf


a1.sources=r1
a1.sinks=k1
a1.channels=c1
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/opt/hadoop/logs/
a1.sources.r1.fileHeader=true
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://master:9000/tmp/flume
a1.sinks.k1.hdfs.rollsize=1048760
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.rollInterval=900
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.channels.c1.type=file
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

7.步骤二：使用 flume-ng agent 命令加载 simple-hdfs-flume.conf 配置信息，启动 flume 传输数据。

[hadoop@master flume] $ flume-ng agent --conf-file simple-hdfs-flume.conf  --name a1



ctrl+c 退出 flume 传输

8.步骤三：查看 Flume 传输到 HDFS 的文件，若能查看到 HDFS 上/tmp/flume 目录有传输的数据文件，则表示数据传输成功。

[hadoop@master flume] $ hdfs dfs -ls /tmp/flume 


# 查 看 HDFS 文件系统/tmp/f1ume 目录下文件


-rw-r--r-- 2 root super group 1325 2019-06-05 11:14 
/tmp/f1ume/F lumeData. 1559747635008
-rw-r--r-- 2 root super group 1344 2019-06-05 11:14 
/tmp/f1ume/F1umeData. 1559747635009
-rw-r--r-- 2 root super qroup 1442 2019-06-05 11:14 
/tmp/f1ume/F lumeData.1559747635010