StormApplied读书笔记(二) - 18965050/storm-applied GitHub Wiki

Storm基本组件

  • Topology: 由代表计算的节点(Node)和代表Stream的边界(Edge)组成
  • Tuple: Tuple表示数据集合。每个数据都有一个名称. 要可序列化
  • Stream: 在Spout和Bolt或Bolt之间传输的Tuple序列组成
  • Spout: Spout在Topology中代表Stream的源头,一般用于从外部读取数据,不做任何数据处理
  • Bolt: 数据处理节点,比如数据转换, 过滤, 合并等等

Stream Group

Stream Group 定义Stream是如何在Spout和Bolt中传输的.包括:

  • Shuffle Group: 随机方式
  • Field Group: 对于给定Field名称的相同值Tuple发送给同一个Bolt
  • Global Group: 所有Tuple走到同一个Bolt

Spout

spout-class-hierarchy

Bolt

bolt-class-hierarchy