【LoRA微调】
一、什么是lora
二、为什么需要lora
若使用全量微调存在资源消耗太大、训练效率低下
资源消耗太大：大型语言模型动辄几亿甚至几千亿参数，全参数微调需要为每个新任务保存一份完整的模型副本。比如，一个10亿参数的模型，假设每个参数用4字节(float32)，光存储就得4GB。多个任务下来，硬盘和显存都吃不消。
训练效率低下：全参数微调不仅占空间，还需要大量计算资源和时间。每次训练都得更新所有参数，反向传播的计算量巨大，尤其是在GPU资源有限的情况下，普通研究者或公司根本玩不起。LORA通过只更新一小块"增量参数"，让微调变得轻量化，普通设备也能跑得动。
LORA的思路是：与其每次都复制整个模型，不如只调整一小部分参数，把成本降下来。
评论