Kakfa. Передача больших данных - nagaevkirill/WIKI GitHub Wiki

www.conduktor.io/kafka/how-to-send-large-messages-in-apache-kafka/

1. если коротко - надо установить у топика параметр max.message.bytes в значение 10485880 (10 Мб) это максимум. Можно установить через скрипты на сервере, можно через вебморду

2. далее у продюсера установить аналогичный параметр в config (если это клиент confluent_kafka на python), то конфиг такой:

conf = {
       'bootstrap.servers': '82.146.***.223:9092',
       'message.max.bytes': '10485880',
       'client.id': 'test prod'
}