Bert 变种， T5模型

NLP-预训练模型-2019-NLU：DistilBERT【 BERT模型压缩】【模型大小减小了40%（66M），推断速度提升了60%，但性能只降低了约3%】_distillbert-CSDN博客

https://zhuanlan.zhihu.com/p/673535548

大语言模型系列-T5_t5模型-CSDN博客

https://zhuanlan.zhihu.com/p/680271608