Doc - mblagov/kafka-reader GitHub Wiki

Welcome to the kafka-reader wiki!

Инструкция по запуску. На кластере (в нашем случае) файл проекта лежит в директории ~/kafka-reader Находясь внутри директории, необходимо ввести команду spark-submit --class bigdata.coursetask.reader.Main kafka-reader-with-offset.jar

Принимаемый формат json: {"message":"msg","status":"sts","event_type":"et","timestamp":9988776655}

Поля, по которым происходит партицирование: event_type и timestamp, они не могут быть null. В этом случае сообщение не будет сохранено в базу.