集群环境文件处理 - alipay/rdf-file GitHub Wiki

文件大了单机处理就很慢，数据库解决单机瓶颈方式是分库分表，文件也一样需要将文件拆分，利用集群机器并发处理。

本文档不去详细介绍分布式任务及调度，只是简单示例一下

如下图文件处理流程

导入类文件一般会先对文件按大小切分，生成分片任务
导出类文件一般会根据分库分表位，生成分片任务