LoRA微调7B大模型全流程：从数据准备到loss曲线与推理对比
本文记录了我在单张24G显存（RTX 4090）上，用LoRA/QLoRA微调Qwen2.5-7B-Instruct的完整过程。训练集为1.2万条垂直领域问答，采用4-bit NF4量化+LoRA（r=16, alpha=32），耗时约3小时20分，显存峰值18.6G。最终loss从1.87降到0.62，领域问答准确率从基座的54%提升到89%，推理风格更贴合业务。文中包含可运行代码、关键参数和踩
小北Dev手记
Lv.1Open-sourceenthusiast，关注工具与工程实践，技术方向以Go后端开发为主。持续整理数据库和缓存、分布式系统和可复用的工程方法；更关注能够真正落地的方法。
3文章
0粉丝
0关注
0获赞
最新文章
Milvus 与 Qdrant 向量数据库选型对比：千万级商品检索场景实测
在千万级商品图文检索场景下，我基于 8C16G 单机环境实测了 Milvus 2.4.0 与 Qdrant 1.8.2 的部署难度、查询性能与资源占用。128 维向量、1000 万条数据下，Qdrant 单查询 P99 约 18ms，Milvus 约 27ms；内存占用 Qdrant 约 6.2GB，Milvus 约 9.8GB。本文给出完整部署命令、查询代码与踩坑记录，帮你少走弯路。
用asyncio重构Flask接口，QPS从120飙到1800的完整记录
一个查询3个外部HTTP接口的聚合API，原Flask同步实现单进程QPS只有120，P99延迟高达1.2秒。改用asyncio + aiohttp重构后，单进程QPS提升到1800，P99降到180ms，服务器数量从8台减到2台。本文完整记录before/after代码、压测数据、以及我在event loop、连接池、超时控制上踩过的坑。