Home - Gukie/logViewer GitHub Wiki

Welcome to the logViewer wiki!

---

This project is mainly to make a real-time demo system to do following things:

1. collect log data
2. parse the log data to a uniform format
3. analyze them
4. give a report about the log.

---

Main flow:

数据采集 --> 数据接入 --> 流式计算 -->数据持久化 --> 数据展现

---

The tech list to use:

1. LogStash/Flume: 数据采集
2. Kafka: 数据采集速度 跟 数据处理速度有可能是不同步的；所以使用Kafka做一下缓冲
3. Storm: 对采集到的数据进行 实时分析
4. Elastic: 数据持久化
5. Kibana: 数据展现

---

refer: 有道云笔记: <大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合>