CPT中文预训练模型：理解和生成

CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation

复旦大学，邱锡鹏老师团队

使用不平衡的Transformer编码器解码器架构，用MLM和DAE联合预训练，均可用于NLU和NLG。

CPT： a novel Chinese Pre-trained Unbalanced Transformer for both NLU and NLG tasks.

BERT、RoBERTa、ZEN、NEZHA、ERNIE-1.0/2.0可以文本理解，但是不能文本生成；
PanGu-α、CPM、CPM-2、BART可以文本生成，但是不能文本理解；
CPT既可以文本理解，又可以文本生成。

微调的任务