Flume 环境部署

步骤

Flume概述

访问 Flume 官网了解 Flume 是什么、能做什么、如何使用。

Flume 安装前置条件

Flume 安装前置条件如下：

Java Runtime Environment - Java 1.8 or later

#Java 运行环境 - Java 1.8 或以上 

Memory - Sufficient memory for configurations used by sources, channels or sinks

#内存 - 足够的内存配置供 sources、channels、sinks 使用

Disk Space - Sufficient disk space for configurations used by channels or sinks

#磁盘空间 - 足够的磁盘空间配置供 sources、channels、sinks 使用

Directory Permissions - Read/Write permissions for directories used by agent

# 目录权限 - 赋予 agent 对目录的读写权限

安装 JDK

参照： Java8 的安装

下载 Flume 与解压

下载地址

找到 flume-ng-1.6.0-cdh5.7.0.tar.gz

将他传输到 /abs/software 目录

解压到指定目录

1
2
3

#将Flume解压到/abs/app/中

tar -zxvf flume-ng-1.6.0-cdh5.7.0.tar.gz -C /abs/app/

配置 Flume 环境变量

将 Flume 目录添加到系统环境变量(~/.bash_profile)中

vi ~/.bash_profile

export FLUME_HOME=/abs/app/apache-flume-1.6.0-cdh5.7.0-bin
export PATH=$FLUME_HOME/bin:$PATH

让配置生效

1	source ~/.bash_profile

配置 Flume

在 /abs/app/apache-flume-1.6.0-cdh5.7.0-bin/conf 目录对 Flume 进行相关配置

拷贝 Flume 环境配置脚本

1	cp flume-env.sh.template flume-env.sh

#编辑 flume-env.sh

vi flume-env.sh

# 在# export JAVA_HOME=/usr/lib/jvm/java-6-sun下面添加如下配置

export JAVA_HOME=/abs/app/jdk1.8.0_161

验证

在 /abs/app/apache-flume-1.6.0-cdh5.7.0-bin/bin 目录输入 flume-ng version 验证

出现以下内容说明安装配置成功。

Flume 1.6.0-cdh5.7.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 8f5f5143ae30802fe79f9ab96f893e6c54a105d1
Compiled by jenkins on Wed Mar 23 11:38:48 PDT 2016
From source with checksum 50b533f0ffc32db9246405ac4431872e