终于，华为盘古大模型系列上新了，而且是昇腾原生的通用千亿级语言大模型。 我们知道，如今各大科技公司纷纷发布百亿、千亿级模型。但这些大部分模型训练主要依赖英伟达的 GPU。

本文作者来自复旦大学、上海交通大学和上海人工智能实验室。一作江书洋为复旦大学和实验室联培的博二学生，目前是实验室见习研究员，师从上海交通大学人工智能学院王钰教授。本文通讯作者为王钰教授与张娅教授。低秩适配器（LoRA）能够在有监督微调中以约 5% ...