[S2T] aishell/asr1 训练过程卡住不动

[Tian14267]

你好，我发现一个问题，对于ASR训练（文件夹：examples/aishell/asr1）,训练到中间部分的时候，就直接卡住不动了，主要有以下情况：
1：单卡训练的时候，训练到中间部分，训练就卡住了，GPU也完全不动了，GPU内存却正常占用；

打印的日志只更新到26号，训练epoch到25就不动了（设置的epoch是30）;

2: 双卡训练的时候，也一样的情况。重启之后，1个epoch都没训练就卡住了。状态和上面一样。


这两张卡一直处于静止状态。请问这个问题是什么情况啊

[Tian14267]

训练卡住不动，GPU也静止不动，这个情况我换了三台服务器都做了验证，训练数据用过aishell数据，也用过自己的数据，都一样的情况，有时候刚训练就卡住，有时候训练到中间卡住。机器和GPU是没问题的。

[zh794390558]

好的，我们试试看能复现问题不。

能调小batchsize试试吗？

[Zth9730]

能否提供一下模型配置？

[Tian14267]

能否提供一下模型配置？

回头我试试小batch的情况。
@Zth9730 模型配置使用的transformer模型，具体配置为默认的。只改动过batch。

[Tian14267]

@zh794390558 @Zth9730
哈喽，我尝试了小batch（16），也是一样的情况。换成 conformer 进行训练，只训练到epoch=8就不动了。日志更新只到凌晨2点，GPU内存正常占用

手动kill之后在接着训练的话，是可以接着训练的。

[Tian14267]

@zh794390558 你好，我还没明白“Chang memory allocator strategy ”如何change。另外，我调小batch也是一样的情况。


请问如何调整memory allocator strategy

[Zth9730]

这样改动试一试，另外你是cuda 11.4？可以尝试一下cuda 10.2。

[Tian14267]

@Zth9730 好的，非常感谢，我修改试试。另外，我是cuda 11.2 。图上只是nvidia的驱动版本。

[Tian14267]

@zh794390558 @Zth9730 哈喽，你好。我尝试了Chang memory allocator strategy，但是还是会出现卡死的情况。请问你们那边能复现和解决这个问题吗？cuda 11.2