config.py添加对应内容,即可生效。

一. 自动混合精度

from colossalai.amp import AMP_TYPE
fp16 = dict(mode=AMP_TYPE.TORCH)

二. 梯度积累

gradient_accumulation = 4 # 积累次数

三. 梯度裁剪

clip_grad_norm = 1.0

四. 自动剪枝

mnn_sparsity = 0.5  # 剪枝比例

(1)适用场景: 预训练模型finetune。 (2)超参数调小，微调训练。

注:

1. 自动剪枝仅对mnn模型生效。

2. export.py导出mnn模型时需指定bin文件路径

   比如 python export.py --convert mnn --model_path xx.pt --mnn_bin xx.bin

3. 查看更多详情

五. Tenor/流水 并行

• Tensor并行 网络定义
• 流水并行 网络定义