标签归档:storm

Storm安装步骤和部署实战

Storm是twitter开源的一个分布式的,容错的实时计算系统,用Clojure语言编写。与Hadoop的批处理不同,strorm用于流式数据的实时计算,在计算时就将结果以流的形式输出给用户。引用Storm的主要开发者Nathan Marz的话

Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。更棒的是你可以使用任意编程语言来做开发。

本文主要介绍从零开始安装和部署Storm运行环境。Storm依赖的软件包有:ZeroMQJZMQZookeeper, Java和Python等。

1. 安装Python

执行/usr/bin/python -v显示是2.7.2版本就说明Python安装成功了。

2. 安装Zookeeper

修改zoo.cfg中的 dataDir=/home/hadoop/zookeeper-3.3.3/data
~/zookeeper-3.3.3/bin/zkServer.sh start

执行 bin/zkCli.sh 验证是否能连上zookeeper,输入 ls / 可以查看根节点信息。

3. 安装Zeromq

如果安装到指定目录:./configure –prefix=$HOME/soft

4. 安装Jzmq

如果安装到指定目录和指定zeromq的安装位置:./configure –prefix=$HOME/soft –with-zeromq=$HOME/soft
不指定zeromq会报错:configure: error: cannot find zmq.h

5. 安装和配置Storm

在storm-0.8.1/conf下是storm唯一的配置文件storm.yaml,可以修改成:

此外,用 supervisor.slots.ports 参数可以指定一台机器运行多少workers。更多的Storm配置参数见: … --> 阅读全文