Modules - nobodyhub/friday GitHub Wiki
System Diagram
任务定义生成模块
使用浏览器插件来记录用户在网页上的操作并且将其转换为任务定义文件格式.
Task Management
管理Task的添加,删除和修改; 创建Task Instance并进行管理; 触发TaskExecution并进行监视和管理;
Target Discover/Collector
将得到的网页内容和Task定义中的规则进行比较, 提取出感兴趣的内容
使用消息队列进行异步处理
每个Processor同时作为Producer和Consumer. Producer将提取的链接放入消息队列. Consumer从消息队列中提取未处理的消息. 每个Processor会对得到的数据(HTML/JSON)进行分析, 并将兴趣点存储起来供后续分析.
Processor和消息队列组成环状结构.
可以根据需要在任务的执行过程中增加(减少?)Processor
数据分析和展示模块
通用的数据存储格式
对数据进行单独或者聚合显示
兴趣点统计
对兴趣点的数据进行统计和显示
兴趣点聚合管理
将不同的兴趣点结果进行聚合后作为一个整体进行分析
兴趣点关系管理
分析不同兴趣点之间的关系