请作者回应一下你们135Bv3（Pangu Ultra）技术报告中的实验部分内容。

[mars03213]

ARC-Easy为何贴上了100分这种一眼假的结果？ @HW-whistleblower

[battery990]

从这图来看，性能很强嘛，怎么会被套壳的比下去，把人家v3💩都打出来了，然后告诉我们被套壳的qwen比下去

[battery990]

纯好奇，为啥100就是一眼假

因为只存在于理论上，实践是不可能的，如果想达到，那么得具备足够的规模（起码得超过600b的ds v3吧），优化训练方法（比如概念渠动学习），覆盖到全部知识盲区（比百科全书还百科全书）

[tdgwsqsdgj]

纯好奇，为啥100就是一眼假

哪有跑满分的语言大模型啊，7000多道题目，能做到一题不错？

[0x187918]

🤔

[Blealtan]

实名，身份说明后置。

王云鹤在2月底确认将要就职诺亚主任后决定离职。我离职时，王云鹤应当已经完成了实验室的权力整合，报告发布时已经出走了多名原“四纵”技术核心，我认为王云鹤本人应对报告的真实性问题负领导责任。

看到报告时我的真实想法：我亲眼看着训的好好的模型，怎么测出来这么脑残的分的？我能接受分低，接受不了脑残！两篇报告都没我的署名真是太谢谢了。

身份说明：清华大学计算机系2024届博士，前诺亚方舟实验室AI系统工程天才少年曹焕琦。2025年3月离职，在诺亚期间主要支撑“四纵”的MoE模型训练infra，也参与了135Bv3的预训练看护。系统工程的地位比较独立，同时需要支撑双方的模型训练和推理，我出于个人审美和道德要求选择主要对接“四纵”。

不是，这么中二的名字你们喊口号的时候真的不想笑吗，可能我确实不够符合吹哨兄弟这样的天生华为人吧

[ryfhfhfdgety]

作为已经离职但曾参与过135Bv3的人，来回答一下这个问题吧。

当时四野领导在清明前突然说要尽快发布135B report，其实是担心r2和qwen3可能快发布了。
所以很多同事假期疯狂赶report。等report发布后，团队成员很快就接收到关于预训练评测指标不正常的反馈。

团队成员立刻进行了定位，发现135 report的预训练评测问题主要是两个：
1 部分测试集只测了100条的子集。因为团队平时为了快速评测，构建了一个小的综合测试集，从常用的测试集里面各采样了100条。写report时间紧急，错误的把子集结果放到了论文里面，这也是为什么论文的结果里会有很多小数点为0的情况。
2 部分测试集由于评测方式没对齐，结果不可比。比如race这种选择题类型的测试集，之前的开源评测是根据每个选项的补全ppl来选择正确答案，135是把所有选项都放到prompt里面，让模型从ABCD选正确答案，这种评测方式分数会高非常多，最多会差40多分。我们错误的直接拿了其他模型的论文结果来做对比，而不是跟deepseek v3一样把所有模型都按同样的方式重做一遍评测。

当团队成员在重新做了公平的评测准备更新report的时候，却遭到某四野领导极力反对，他怕引起进一步的舆论。后续团队成员收到更多关于评测结果的反馈，再次要求更新report，再次被该领导否决。

总之四野已经是一个官僚组织了，135Bv3的作者里很多是完全没参与这个项目的，很多付出了心血的同事却不能署名。
因为哪些人可以署名也是需要四野领导评审和决策的。论文更新也是如此。已经完全背离学术道德和规范了。

最后再解释一下：如果想造假，不会造的这么拙劣，搞大模型的人一眼就可以看出这个表不正常。如果想造假，也不会让Drop比对比模型低20多分。可以说我们菜，我们赶工，但绝对没有造假意图。

[legendlc]

作为已经离职但曾参与过135Bv3的人，来回答一下这个问题吧。

当时四野领导在清明前突然说要尽快发布135B report，其实是担心r2和qwen3可能快发布了。 所以很多同事假期疯狂赶report。等report发布后，团队成员很快就接收到关于预训练评测指标不正常的反馈。

团队成员立刻进行了定位，发现135 report的预训练评测问题主要是两个： 1 部分测试集只测了100条的子集。因为团队平时为了快速评测，构建了一个小的综合测试集，从常用的测试集里面各采样了100条。写report时间紧急，错误的把子集结果放到了论文里面，这也是为什么论文的结果里会有很多小数点为0的情况。 2 部分测试集由于评测方式没对齐，结果不可比。比如race这种选择题类型的测试集，之前的开源评测是根据每个选项的补全ppl来选择正确答案，135是把所有选项都放到prompt里面，让模型从ABCD选正确答案，这种评测方式分数会高非常多，最多会差40多分。我们错误的直接拿了其他模型的论文结果来做对比，而不是跟deepseek v3一样把所有模型都按同样的方式重做一遍评测。

当团队成员在重新做了公平的评测准备更新report的时候，却遭到某四野领导极力反对，他怕引起进一步的舆论。后续团队成员收到更多关于评测结果的反馈，再次要求更新report，再次被该领导否决。

总之四野已经是一个官僚组织了，135Bv3的作者里很多是完全没参与这个项目的，很多付出了心血的同事却不能署名。 因为哪些人可以署名也是需要四野领导评审和决策的。论文更新也是如此。已经完全背离学术道德和规范了。

最后再解释一下：如果想造假，不会造的这么拙劣，搞大模型的人一眼就可以看出这个表不正常。如果想造假，也不会让Drop比对比模型低20多分。可以说我们菜，我们赶工，但绝对没有造假意图。

领导不让改也太逆天了

[knemik97]

https://github.com/knemik97/Manifesto-against-the-Plagiarist-Yunhe-Wang

[mj815]

作为已经离职但曾参与过135Bv3的人，来回答一下这个问题吧。

当时四野领导在清明前突然说要尽快发布135B report，其实是担心r2和qwen3可能快发布了。 所以很多同事假期疯狂赶report。等report发布后，团队成员很快就接收到关于预训练评测指标不正常的反馈。

团队成员立刻进行了定位，发现135 report的预训练评测问题主要是两个： 1 部分测试集只测了100条的子集。因为团队平时为了快速评测，构建了一个小的综合测试集，从常用的测试集里面各采样了100条。写report时间紧急，错误的把子集结果放到了论文里面，这也是为什么论文的结果里会有很多小数点为0的情况。 2 部分测试集由于评测方式没对齐，结果不可比。比如race这种选择题类型的测试集，之前的开源评测是根据每个选项的补全ppl来选择正确答案，135是把所有选项都放到prompt里面，让模型从ABCD选正确答案，这种评测方式分数会高非常多，最多会差40多分。我们错误的直接拿了其他模型的论文结果来做对比，而不是跟deepseek v3一样把所有模型都按同样的方式重做一遍评测。

当团队成员在重新做了公平的评测准备更新report的时候，却遭到某四野领导极力反对，他怕引起进一步的舆论。后续团队成员收到更多关于评测结果的反馈，再次要求更新report，再次被该领导否决。

总之四野已经是一个官僚组织了，135Bv3的作者里很多是完全没参与这个项目的，很多付出了心血的同事却不能署名。 因为哪些人可以署名也是需要四野领导评审和决策的。论文更新也是如此。已经完全背离学术道德和规范了。

最后再解释一下：如果想造假，不会造的这么拙劣，搞大模型的人一眼就可以看出这个表不正常。如果想造假，也不会让Drop比对比模型低20多分。可以说我们菜，我们赶工，但绝对没有造假意图。

哪个领导报一下名字或者缩写

[mj815]

作为已经离职但曾参与过135Bv3的人，来回答一下这个问题吧。
当时四野领导在清明前突然说要尽快发布135B report，其实是担心r2和qwen3可能快发布了。 所以很多同事假期疯狂赶report。等report发布后，团队成员很快就接收到关于预训练评测指标不正常的反馈。
团队成员立刻进行了定位，发现135 report的预训练评测问题主要是两个： 1 部分测试集只测了100条的子集。因为团队平时为了快速评测，构建了一个小的综合测试集，从常用的测试集里面各采样了100条。写report时间紧急，错误的把子集结果放到了论文里面，这也是为什么论文的结果里会有很多小数点为0的情况。 2 部分测试集由于评测方式没对齐，结果不可比。比如race这种选择题类型的测试集，之前的开源评测是根据每个选项的补全ppl来选择正确答案，135是把所有选项都放到prompt里面，让模型从ABCD选正确答案，这种评测方式分数会高非常多，最多会差40多分。我们错误的直接拿了其他模型的论文结果来做对比，而不是跟deepseek v3一样把所有模型都按同样的方式重做一遍评测。
当团队成员在重新做了公平的评测准备更新report的时候，却遭到某四野领导极力反对，他怕引起进一步的舆论。后续团队成员收到更多关于评测结果的反馈，再次要求更新report，再次被该领导否决。
总之四野已经是一个官僚组织了，135Bv3的作者里很多是完全没参与这个项目的，很多付出了心血的同事却不能署名。 因为哪些人可以署名也是需要四野领导评审和决策的。论文更新也是如此。已经完全背离学术道德和规范了。
最后再解释一下：如果想造假，不会造的这么拙劣，搞大模型的人一眼就可以看出这个表不正常。如果想造假，也不会让Drop比对比模型低20多分。可以说我们菜，我们赶工，但绝对没有造假意图。

领导不让改也太逆天了

只要署名的作者都需要为论文的真实性负责，作者有权决定不挂名吧，请说一下是哪个四野领导否定的，并且作者列表中为什么这些人明知论文有问题，也选择继续挂名？

[knemik97]

作为已经离职但曾参与过135Bv3的人，来回答一下这个问题吧。
当时四野领导在清明前突然说要尽快发布135B report，其实是担心r2和qwen3可能快发布了。 所以很多同事假期疯狂赶report。等report发布后，团队成员很快就接收到关于预训练评测指标不正常的反馈。
团队成员立刻进行了定位，发现135 report的预训练评测问题主要是两个： 1 部分测试集只测了100条的子集。因为团队平时为了快速评测，构建了一个小的综合测试集，从常用的测试集里面各采样了100条。写report时间紧急，错误的把子集结果放到了论文里面，这也是为什么论文的结果里会有很多小数点为0的情况。 2 部分测试集由于评测方式没对齐，结果不可比。比如race这种选择题类型的测试集，之前的开源评测是根据每个选项的补全ppl来选择正确答案，135是把所有选项都放到prompt里面，让模型从ABCD选正确答案，这种评测方式分数会高非常多，最多会差40多分。我们错误的直接拿了其他模型的论文结果来做对比，而不是跟deepseek v3一样把所有模型都按同样的方式重做一遍评测。
当团队成员在重新做了公平的评测准备更新report的时候，却遭到某四野领导极力反对，他怕引起进一步的舆论。后续团队成员收到更多关于评测结果的反馈，再次要求更新report，再次被该领导否决。
总之四野已经是一个官僚组织了，135Bv3的作者里很多是完全没参与这个项目的，很多付出了心血的同事却不能署名。 因为哪些人可以署名也是需要四野领导评审和决策的。论文更新也是如此。已经完全背离学术道德和规范了。
最后再解释一下：如果想造假，不会造的这么拙劣，搞大模型的人一眼就可以看出这个表不正常。如果想造假，也不会让Drop比对比模型低20多分。可以说我们菜，我们赶工，但绝对没有造假意图。

领导不让改也太逆天了

只要署名的作者都需要为论文的真实性负责，作者有权决定不挂名吧，请说一下是哪个四野领导否定的，并且作者列表中为什么这些人明知论文有问题，也选择继续挂名？

因为有相当一部分贡献者，直到看到公众号/小红书的宣传，才知道自己被挂名/没被挂名

[mj815]

作为已经离职但曾参与过135Bv3的人，来回答一下这个问题吧。
当时四野领导在清明前突然说要尽快发布135B report，其实是担心r2和qwen3可能快发布了。 所以很多同事假期疯狂赶report。等report发布后，团队成员很快就接收到关于预训练评测指标不正常的反馈。
团队成员立刻进行了定位，发现135 report的预训练评测问题主要是两个： 1 部分测试集只测了100条的子集。因为团队平时为了快速评测，构建了一个小的综合测试集，从常用的测试集里面各采样了100条。写report时间紧急，错误的把子集结果放到了论文里面，这也是为什么论文的结果里会有很多小数点为0的情况。 2 部分测试集由于评测方式没对齐，结果不可比。比如race这种选择题类型的测试集，之前的开源评测是根据每个选项的补全ppl来选择正确答案，135是把所有选项都放到prompt里面，让模型从ABCD选正确答案，这种评测方式分数会高非常多，最多会差40多分。我们错误的直接拿了其他模型的论文结果来做对比，而不是跟deepseek v3一样把所有模型都按同样的方式重做一遍评测。
当团队成员在重新做了公平的评测准备更新report的时候，却遭到某四野领导极力反对，他怕引起进一步的舆论。后续团队成员收到更多关于评测结果的反馈，再次要求更新report，再次被该领导否决。
总之四野已经是一个官僚组织了，135Bv3的作者里很多是完全没参与这个项目的，很多付出了心血的同事却不能署名。 因为哪些人可以署名也是需要四野领导评审和决策的。论文更新也是如此。已经完全背离学术道德和规范了。
最后再解释一下：如果想造假，不会造的这么拙劣，搞大模型的人一眼就可以看出这个表不正常。如果想造假，也不会让Drop比对比模型低20多分。可以说我们菜，我们赶工，但绝对没有造假意图。

领导不让改也太逆天了

只要署名的作者都需要为论文的真实性负责，作者有权决定不挂名吧，请说一下是哪个四野领导否定的，并且作者列表中为什么这些人明知论文有问题，也选择继续挂名？

因为有相当一部分贡献者，直到看到公众号/小红书的宣传，才知道自己被挂名/没被挂名

上传arxiv的人也不知道吗，这个人是你们讲的小模型的人吗

[Blealtan]

上传arxiv的人也不知道吗，这个人是你们讲的小模型的人吗

希望你领导和领导的领导和领导的领导的领导逼着你传一个实验没做清楚的论文上arxiv的时候你也能这么硬气直接拒绝

[ChenJY-L]

感觉是面向测试集训练

[justdoit358]

作为已经离职但曾参与过135Bv3的人，来回答一下这个问题吧。
当时四野领导在清明前突然说要尽快发布135B report，其实是担心r2和qwen3可能快发布了。 所以很多同事假期疯狂赶report。等report发布后，团队成员很快就接收到关于预训练评测指标不正常的反馈。
团队成员立刻进行了定位，发现135 report的预训练评测问题主要是两个： 1 部分测试集只测了100条的子集。因为团队平时为了快速评测，构建了一个小的综合测试集，从常用的测试集里面各采样了100条。写report时间紧急，错误的把子集结果放到了论文里面，这也是为什么论文的结果里会有很多小数点为0的情况。 2 部分测试集由于评测方式没对齐，结果不可比。比如race这种选择题类型的测试集，之前的开源评测是根据每个选项的补全ppl来选择正确答案，135是把所有选项都放到prompt里面，让模型从ABCD选正确答案，这种评测方式分数会高非常多，最多会差40多分。我们错误的直接拿了其他模型的论文结果来做对比，而不是跟deepseek v3一样把所有模型都按同样的方式重做一遍评测。
当团队成员在重新做了公平的评测准备更新report的时候，却遭到某四野领导极力反对，他怕引起进一步的舆论。后续团队成员收到更多关于评测结果的反馈，再次要求更新report，再次被该领导否决。
总之四野已经是一个官僚组织了，135Bv3的作者里很多是完全没参与这个项目的，很多付出了心血的同事却不能署名。 因为哪些人可以署名也是需要四野领导评审和决策的。论文更新也是如此。已经完全背离学术道德和规范了。
最后再解释一下：如果想造假，不会造的这么拙劣，搞大模型的人一眼就可以看出这个表不正常。如果想造假，也不会让Drop比对比模型低20多分。可以说我们菜，我们赶工，但绝对没有造假意图。

领导不让改也太逆天了

只要署名的作者都需要为论文的真实性负责，作者有权决定不挂名吧，请说一下是哪个四野领导否定的，并且作者列表中为什么这些人明知论文有问题，也选择继续挂名？

因为有相当一部分贡献者，直到看到公众号/小红书的宣传，才知道自己被挂名/没被挂名

上传arxiv的人也不知道吗，这个人是你们讲的小模型的人吗

一个很大的问题是，你没呆过没经历过，你也无法想象，当封建官僚遇到arxiv会发生多么啼笑皆非的事情。这个论文的上传权限很可能都不在做主要实验的人员手里。很多人都是组内+1报上去的名字，事前没做过任何沟通。