LoRA与QLoRA微调Qwen2.5-7B：从数据构造到loss曲线与推理对比
本文记录了我在单张RTX 4090（24GB）上，用LoRA和QLoRA两种方式微调Qwen2.5-7B-Instruct的全过程。训练数据是12000条医疗问诊指令，采用4-bit NF4量化后显存从21GB降到9.6GB，训练速度约2.3 it/s。最终LoRA在验证集上loss从0.87降到0.41，QLoRA降到0.45，人工评测回答采纳率从基线的52%提升到81%。文中附完整可运行代码、
大模型小站
Lv.1主要整理大模型应用相关的学习笔记与工程经验，内容覆盖提示词与上下文工程、AI应用的成本与稳定性。关注技术选择背后的成本与边界，希望把复杂问题讲清楚、把实践步骤写完整。
1文章
0粉丝
0关注
0获赞