Storm单机环境配置
最近正在学习Storm,为了实践一下,在虚拟机(centos)上试着搭建了一下storm的环境,具体步骤如下:一、安装python:因为系统自带的python版本有点低,所以下载安装2.7.3版本wget http://python.org/ftp/python/2.7.3/Python-2.7.3.tar.bz2tar -jxvf Python-2.7.3.tar.bz
最近正在学习Storm,为了实践一下,在虚拟机(centos)上试着搭建了一下storm的环境,具体步骤如下:
一、安装python:因为系统自带的python版本有点低,所以下载安装2.7.3版本wget http://python.org/ftp/python/2.7.3/Python-2.7.3.tar.bz2
tar -jxvf Python-2.7.3.tar.bz2
cd Python-2.7.3
./configure
make
make install
安装完成后将系统默认的python指向python2.7
mv /usr/bin/python /usr/bin/python2.6.6 <pre name="code" class="plain">vim ./conf/storm.yaml
ln -s /usr/local/bin/python2.7 /usr/bin/python
升级之后会导致yum不能用,需要指定yum使用的python版本
vi /usr/bin/yum
将文件头部的/usr/bin/python改为/usr/bin/python2.6.6
二、安装java,配置环境变量
export JAVA_HOME=/usr/java/jdk1.6.0_45
export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
三、安装zoopkeeper,配置环境变量
wget http://mirror.nexcess.net/apache/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz
tar -zxvf zookeeper-3.3.6.tar.gz
cp -R zookeeper-3.3.6 /usr/local/
ln -s /usr/local/zookeeper-3.3.6/ /usr/local/zookeeper
vim /etc/profile
配置环境变量
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.3.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin
cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
mkdir /tmp/zookeeper
mkdir /var/log/zookeeper
wget http://download.zeromq.org/zeromq-2.2.0.tar.gz
tar zxf zeromq-2.2.0.tar.gz
cd zeromq-2.2.0
./configure
make
make install
在安装过程中会提示部分依赖不存在,使用yum安装即可。
sudo yum install uuid*
sudo yum install libtool
sudo yum install libuuid
sudo yum install libuuid-devel
sudo yum install gcc
sudo yum install gcc-c++
sudo yum install make
五、安装JZMQ
git clone git://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
./configure
make
make install
tar -zxvf apache-storm-0.9.2-incubating.tar.gz
sudo cp apache-storm-0.9.2-incubating /usr/local/
添加环境变量
export STORM_HOME=/usr/local/apache-storm-0.9.2-incubating
export PATH=$PATH:$STORM_HOME/bin
在修改完环境变量后,执行命令source /etc/profile使其生效。
七、配置storm(此处如果配置不对,后面的运行会出问题,注意冒号、空格)
vim ./conf/storm.yaml
最后,就可以获取测试代码测试了。
git clone https://github.com/nathanmarz/storm-starter.git
cd storm-master
mvn -f m2-pom.xml package(需安装maven)
启动zookeeper
./zkServer.sh start
启动storm
storm nimbus
storm supervisor
storm ui
进入storm-master执行
storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology 即可提交topology
也可以在后面加上topology名提交
storm jar target/storm-starter/target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology FirstStormApp
通过storm list命令可以查看当前运行的Topology
也可以在storm的logs目录下查看日志文件。
更多推荐
所有评论(0)