7B模型LoRA/QLoRA微调实录：显存从24G降到6G，效果却提升了3.2%
本文记录了一次完整的LLM微调实践，使用LoRA和QLoRA技术对Qwen2.5-7B-Instruct模型进行领域适应训练。在单张RTX 3090（24GB）上，通过QLoRA将显存占用从全参微调的23.5G降至6.1G，训练速度仅下降18%。微调后的模型在代码生成任务上BLEU分数提升3.2%，在特定领域问答准确率从68.4%提升至91.7%。文中详细展示了数据准备、bitsandbytes
一线开源说明书
Lv.1主要整理开源技术相关的学习笔记与工程经验，内容覆盖性能优化、开发效率提升。倾向用真实案例代替空泛结论，希望把复杂问题讲清楚、把实践步骤写完整。
3文章
0粉丝
0关注
0获赞
最新文章
asyncio重构Flask接口：并发等待减300%，QPS翻4倍全程记录
一个内部报表API，单次请求需聚合4个外部服务数据，平均耗时820ms，高峰期Tomcat线程池被打满。用asyncio + aiohttp重写后，P95延迟从1.2s降到280ms，QPS从120升到480。本文记录完整重构过程：从同步阻塞到事件循环，包含asyncio.Semaphore限流、连接池复用、超时控制三个关键优化点，并给出具体压测数据与Python 3.10下的踩坑解决方案。
asyncio重构Flask接口：Web API并发性能提升5.7倍的完整记录
上周优化一个内部数据看板服务，发现其聚合接口在300并发下P95延迟高达2.3秒，数据库连接池被占满。我用asyncio+httpx重写了核心调用链，将串行IO等待改为协程并发，并针对Python 3.11的asyncio机制做了三个关键调优。最终P95降至0.4秒，吞吐量从180 RPS提升到1030 RPS。本文记录完整的重构思路、踩坑过程和性能对比数据，包括event loop策略选择、超时