最近实验训练达不到目标精度的原因

[ccssu]

pytorch 版yolov5有发现 dpp训练会导致 mAP 值下降的问题 （详细可见 ultralytics/yolov5#9545 ）

下图显示了单 GPU 没有 DDP 和 4 GPU DDP 的训练结果。

由于我们最新的训练均采用 2 GPU DDP 训练，这将会导致训练达不到目标精度。

[yuanms2]

4gpu 的global batch size 是不是比1GPU 大，是不是因为大batch 的原因，lr 是不是相应的也要调到最优才行。

理论上如果global batch size 一样，1gpu 和 4 gpu 应该数学上等价的。

[ccssu]

4gpu 的global batch size 是不是比1GPU 大，是不是因为大batch 的原因，lr 是不是相应的也要调到最优才行。

理论上如果global batch size 一样，1gpu 和 4 gpu 应该数学上等价的。

是原pytorch版本yolov5的单卡和多卡随机数选取导致的bug。训练时数据增强与随机数选取相关，而yolov5采用训练时数据增强从而导致的一个问题。

[ccssu]

训练达到目标精度

在oneflow版 yolov5 合并dpp训练导致mAP 值下降的问题 的pr 后重新做了一组实验，具体如下：

训练结果

目前opochs: 300

	metrics/mAP_0.5	metrics/mAP_0.5:0.95
当前训练值	45.174	27.726
目标值	45.6	27.7
当前训练值 - 目标值	-0.426	0.026

下图是根据目前数据画出的map0.5 和 map0.5-0.95 趋势图

配置项

机器 ： oneflow27-root

1 . shuffle = False
2. sync-bn = False
3. amp = False # 使用FP32训练
4. --workers 8

训练指令

python -m oneflow.distributed.launch --nproc_per_node 2 train.py --batch 64 --cfg models/yolov5n.yaml --weight ' ' --data data/coco.yaml --img 640

备注：

• shuffle= False：最新版本出现了ddp训练卡死（和原来卡死的不再同一个地方），然后切换e6b22d7这个版本训练，忘改了。后面会改了再训练一次。

[yuanms2]

在oneflow版 yolov5 合并dpp训练导致mAP 值下降的问题 的pr

这是哪个pr呢？

[yuanms2]

4gpu 的global batch size 是不是比1GPU 大，是不是因为大batch 的原因，lr 是不是相应的也要调到最优才行。
理论上如果global batch size 一样，1gpu 和 4 gpu 应该数学上等价的。

是原pytorch版本yolov5的_单卡和多卡随机数选取导致的bug_。训练时数据增强与随机数选取相关，而yolov5采用训练时数据增强从而导致的一个问题。

这个描述还是不太清楚

到今天为止，也就是发现了 pytorch fp32 并行可以到目标精度，oneflow fp32 并行也基本上能到目标精度？

[ccssu]

4gpu 的global batch size 是不是比1GPU 大，是不是因为大batch 的原因，lr 是不是相应的也要调到最优才行。
理论上如果global batch size 一样，1gpu 和 4 gpu 应该数学上等价的。

是原pytorch版本yolov5的_单卡和多卡随机数选取导致的bug_。训练时数据增强与随机数选取相关，而yolov5采用训练时数据增强从而导致的一个问题。

这个描述还是不太清楚

到今天为止，也就是发现了 pytorch fp32 并行可以到目标精度，oneflow fp32 并行也基本上能到目标精度？

嗯，是的，这次实验已经达到目标精度值了。

[yuanms2]

冯文：是pytorch版yolov5中发现使用ddp训练会导致map下降的bug的pr, ultralytics/yolov5#9545

也就是，oneflow yolo 模仿了pytorch yolo，但原版的代码有个bug，结果导致无论是pytorch，还是oneflow都无法达到目标精度，直到最近原版pytorch yolo才修复了这个问题。 那挺奇怪，他们最开始那个符合预期精度的模型是怎么训练出来的

从那个issue看作者原来是使用的单卡训练的结果，而我们一直是用ddp训练的，单卡跑一次代价太大，耗时得4天多。

issue地址： ultralytics/yolov5#9545

[BBuf]

把sync-bn

训练达到目标精度

在oneflow版 yolov5 合并dpp训练导致mAP 值下降的问题 的pr 后重新做了一组实验，具体如下：

训练结果

目前opochs: 300
metrics/mAP_0.5 metrics/mAP_0.5:0.95
当前训练值 45.174 27.726
目标值 45.6 27.7
当前训练值 - 目标值 -0.426 0.026

下图是根据目前数据画出的map0.5 和 map0.5-0.95 趋势图

配置项

机器 ： oneflow27-root

1 . shuffle = False 2. sync-bn = False 3. amp = False # 使用FP32训练 4. --workers 8

训练指令

python -m oneflow.distributed.launch --nproc_per_node 2 train.py --batch 64 --cfg models/yolov5n.yaml --weight ' ' --data data/coco.yaml --img 640

备注：

* shuffle= False：最新版本出现了ddp训练卡死（和原来卡死的不再同一个地方），然后切换e6b22d7这个版本训练，忘改了。后面会改了再训练一次。

后面在a100的机器上和pytorch的超参数完全对齐再做一次确认吧，还有把sync-bn打开以及shuffle=True。