Compression API supports strategy QAT

[LiuChiachi]

PR types

New features

PR changes

APIs

Description

Compression API supports strategy QAT
DONE:

• 支持QAT
• 优化了compress()接口，不需要输入custom_dynabert_calc_loss，loss function直接提供在Trainer 初始化时；
• 更新了文档

Usage:

cd PaddleNLP/model_zoo/ernie-3.0

python compress_seq_cls.py \
    --dataset   "clue cluewsc2020"   \
    --model_name_or_path ernie-3.0-nano-zh \
    --per_device_train_batch_size 32 \
    --output_dir ./test \
    --per_device_eval_batch_size 32 \
    --num_train_epochs 5 \
    --width_mult_list 2/3 \
    --strategy 'qat' \
    --batch_size_list 4 \
    --algo_list 'abs_max' \



python compress_token_cls.py      --dataset   "msra_ner"   \
    --model_name_or_path best_models/MSRA_NER/   \
    --output_dir ./  --remove_unused_columns False   \
    --max_seq_length 32    \
    --per_device_train_batch_size 32   \
    --per_device_eval_batch_size 32  \
    --learning_rate 0.00005    \
    --remove_unused_columns False  \
    --num_train_epochs 1 \
    --batch_size_list 4 \
    --algo_list 'abs_max' \
    --strategy 'qat'


python compress_qa.py \
    --dataset "clue cmrc2018" \
    --width_mult_list 2/3 \
    --model_name_or_path best_models/CMRC2018  \
    --output_dir ./ \
    --max_seq_length 32 \
    --learning_rate 0.00003 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 24 \
    --per_device_eval_batch_size 24 \
    --max_answer_length 50 \
    --strategy 'qat' \
    --batch_size_list 4 \
    --algo_list 'abs_max' \

[wawltor]

这种分支代码太多，是不是可以通过配置List来解决

[LiuChiachi]

感谢提醒，已经修改

[wawltor]

看了一下函数中的写法，不考 start_positions 和 end_positions 这个应该是针对UIE写法，不过 start_positions 和 end_positions 这两个字段也不会出现在UIE的模型中

[LiuChiachi]

start_positions和end_positions这个在qa任务和UIE里都有，在原文中抽取的任务会有的。这个函数是想通过forward的参数、dataloader的数据来判断input_spec的个数，需要排除掉labels/start_positions和end_positions

[wawltor]

LGTM