Please add a version that is able to run with 2/4/8 tensor parallel 请做一个可以2卡4卡8卡张量并行的版本

[aabbccddwasd]

在使用官方发布的量化模型中发现无法进行张量并行
原因在于intermediate_size为29568，除以groupsize(128)后剩下的231无法被2或4或8整除，这在vllm会引发错误导致无法进行张量并行

现在请求官方使用不同的groupsize进行量化以使得intermediate_size / groupsize可以被2，4，8整除，或者略微修改模型将intermediate_size变为qwen2.5的29696，这样便可以在groupsize为128的量化下正常张量并行

如果上述方法不可行，希望说明下如何使用这些量化后的模型进行张量并行

[qingwu11]

遇到同样问题，希望得到解决

[osoctz]

把config.json中的intermediate_size改为29184,暂时不清楚有什么影响 @aabbccddwasd

[bash99]

遇到同样问题，希望得到解决

[bash99]

把config.json中的intermediate_size改为29184,暂时不清楚有什么影响 @aabbccddwasd

官方建议是padding，https://qwen.readthedocs.io/en/latest/quantization/gptq.html
你这个相当于直接忽略掉了少量参数？

我是V100-32G，双卡够跑，所以只减了128 = 29440，这样是230，2的倍数。
这个方式倒是能跑结果也正常

[aabbccddwasd]

把config.json中的intermediate_size改为29184,暂时不清楚有什么影响 @aabbccddwasd

官方建议是padding，https://qwen.readthedocs.io/en/latest/quantization/gptq.html 你这个相当于直接忽略掉了少量参数？

我是V100-32G，双卡够跑，所以只减了128 = 29440，这样是230，2的倍数。 这个方式倒是能跑结果也正常

padding不也是忽略了参数吗，这里可不可以选择加没有意义的空参数

[aabbccddwasd]

把config.json中的intermediate_size改为29184,暂时不清楚有什么影响 @aabbccddwasd

官方建议是padding，https://qwen.readthedocs.io/en/latest/quantization/gptq.html 你这个相当于直接忽略掉了少量参数？

我是V100-32G，双卡够跑，所以只减了128 = 29440，这样是230，2的倍数。 这个方式倒是能跑结果也正常

我看了下文档，我觉得padding应该就是加参数，你是不是说错了

[bash99]

把config.json中的intermediate_size改为29184,暂时不清楚有什么影响 @aabbccddwasd

官方建议是padding，https://qwen.readthedocs.io/en/latest/quantization/gptq.html 你这个相当于直接忽略掉了少量参数？
我是V100-32G，双卡够跑，所以只减了128 = 29440，这样是230，2的倍数。 这个方式倒是能跑结果也正常

我看了下文档，我觉得padding应该就是加参数，你是不是说错了

原始值是 29568吧，文档是用0 padding到 29696，你的改法是减少到 29184.
这样确实参数就少了啊？等于忽略了极少量参数？

[aabbccddwasd]

把config.json中的intermediate_size改为29184,暂时不清楚有什么影响 @aabbccddwasd

官方建议是padding，https://qwen.readthedocs.io/en/latest/quantization/gptq.html 你这个相当于直接忽略掉了少量参数？
我是V100-32G，双卡够跑，所以只减了128 = 29440，这样是230，2的倍数。 这个方式倒是能跑结果也正常

我看了下文档，我觉得padding应该就是加参数，你是不是说错了

原始值是 29568吧，文档是用0 padding到 29696，你的改法是减少到 29184. 这样确实参数就少了啊？等于忽略了极少量参数？

我是V100-32G，双卡够跑，所以只减了128 = 29440，这样是230，2的倍数。

这句话是不是应该改成
"我是V100-32G，双卡够跑，所以只加了128 = 29568，这样是232，2的倍数。"

[QwertyJack]

intermediate_size=29440 可以运行，intermediate_size=29568 无法启动：

RuntimeError: start (14848) + length (14848) exceeds dimension size (29568).

[QwertyJack]

intermediate_size=29440 可以运行，intermediate_size=29568 无法启动：

RuntimeError: start (14848) + length (14848) exceeds dimension size (29568).

补充：

1. 减还是加？ 减可以直接运行，加需要重新量化；实测减好像看不出来表现明显变差；
2. 减/加多少？ 取决于tp，要求 29568 / 128 是 tp 的整数倍，所以如果两卡 tp=2 那么减/加 128 即可，如果是8卡 tp=8 那么减 896 或者加 128。

总之，还是希望官方出一个 padding 到 29696 的版本，毕竟 calibration dataset 没有公开。