是否有计划将代码开源？

[wangzhe258369]

[ymcui]

感谢关注。
如报告中所提到的，我们尽量使用最简单的实现代码。
例如分类任务就是用谷歌官方的run_classifier.py，只需要参照已有的Processor，仿照写出对应的数据处理模块（只需修改其中的十几行甚至更少）即可，非常简单。
其他任务在GitHub中也有相关的开源实现（比如阅读理解，NER），故我们没有计划开源代码。

[wangzhe258369]

主要是在pretraining时做whole word mask的部分，想参考下是怎么把分词结果和FullTokenizer结合的。谢谢回复！

[ymcui]

你好，请参考我在这里的回复：#13

[wipen]

可以试试我的实现：
https://github.com/wipen/bert_and_ernie

[lshowway]

主要是在pretraining时做whole word mask的部分，想参考下是怎么把分词结果和FullTokenizer结合的。谢谢回复！

有结果了嘛？知道预训练时WWM具体怎么处理的嘛？

[aiaiyueq11]

请问RBTL3模型为什么在预测的时候会出现结果随机的情况，我用RBTL3接了CRF作NER，对于同一条文本，每次的预测结果都不一致，当我换成其他预训练模型后就一致了。