Skip to content

【PaddlePaddle Hackathon】55、在 PaddleNLP 中完善Roberta模型下游任务代码,新增Roberta预训练权重 #1075

@TCChenlong

Description

@TCChenlong

(此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE,更多详见PaddlePaddle Hackathon

【任务说明】

  • 任务标题:完善Roberta模型下游任务代码,新增Roberta预训练权重

  • 技术标签:深度学习框架,预训练语言模型

  • 任务难度:中等

  • 详细描述:

  1. 在PaddleNLP的Roberta模型代码中,新增 RobertaForMultipleChoice,RobertaForMaskedLM 和 RobertaForCausalLM这三个类。参考 https://github.com/huggingface/transformers/blob/master/src/transformers/models/roberta/modeling_roberta.py

  2. 新增 roberta-large,roberta-base,deepset/roberta-base-squad2,uer/roberta-base-finetuned-chinanews-chinese,sshleifer/tiny-distilroberta-base,uer/roberta-base-finetuned-cluener2020-chinese 和 uer/roberta-base-chinese-extractive-qa 7个模型参数权重。权重参考:https://huggingface.co/models,转换文档:[如何贡献模型](http://wiki.baidu.com/[https:/paddlenlp.readthedocs.io/zh/latest/community/contribute_models/index.html)

【提交内容】

  • 任务 PR 到 PaddleNLP(代码+注释)+ 项目单测文件

  • 任务 PR 到 PaddleNLP(贡献模型权重+权重转换代码)

【技术要求】

  • 了解PaddleNLP
  • 了解Hugging-Face transformers
  • 了解预训练语言模型

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions