Storm - emop/ClickMonitor GitHub Wiki

参考资料列表

  1. 使用 Twitter Storm 处理实时的大数据

  2. storm基本结构：

    spout(喷嘴：数据流来源)------>bolt（螺栓：数据流接收器）--------->bolt
  1. 螺栓可将数据传输到多个螺栓，也可接受来自多个来源的数据

学习笔记

1.topology是storm集群上面运行的基本单元,开发storm应用的第一步就是定义一个topolog(拓扑结构)

TopologyBuilder builder = new TopologyBuilder();

2.设置喷发节点并分配并发数5，该并发数将会控制该对象在集群中的线程数

builder.setSpout("spout", new SimpleSpout(), 5);

3.设置数据流处理节点，并分配并发数3,指定该节点接收喷发节点的策略为随机方式（来自喷嘴的输入流将混排或随机分发给螺栓）

builder.setBolt("bolt", new SimpleBolt(), 3).shuffleGrouping("spout")