7B模型LoRA微调实录：显存8G跑通医疗问答全流程
在8G显存的消费级显卡上，用QLoRA微调ChatGLM2-6B，训练2万条医疗问答数据，显存峰值仅7.2G，单卡训练45分钟。loss从2.3降至0.4，推理效果在“症状描述→诊断建议”场景下，回答完整度提升38%。本文记录从数据清洗、bitsandbytes量化配置、PEFT LoRA注入到生成对比的全过程，含三个可复现的代码片段和两个最易踩的坑。
代码工具箱
Lv.1专注于AI应用开发的工程化与业务落地。持续实践RAG知识库搭建、数据治理与评测，重点关注效果、成本、稳定性和可维护性，分享经过验证的方案与真实复盘。
3文章
0粉丝
0关注
0获赞
最新文章
asyncio重构Flask接口：QPS从120到1800的并发改造实录
上周我负责的订单导出API在高峰期频繁超时，单机QPS只有120，客户端重试率高达15%。排查发现瓶颈是同步请求第三方物流API时线程阻塞。我用asyncio+httpx对核心逻辑做异步化改造，将串行等待改为并发IO，最终单机QPS提升到1800，P99延迟从2.3s降到180ms。本文记录完整改造过程，包括事件循环设计、信号量限流、以及一个坑：Flask与asyncio的兼容性陷阱。版本：Pyt
从零实现7B模型LoRA微调：数据、训练与推理全记录
微调7B大模型听起来高大上，但用LoRA/QLoRA技术，单张24G消费级显卡就能搞定。本文基于Llama 3 7B和开源医疗问答数据集，完整演示数据清洗、QLoRA配置、训练监控与推理对比。实测显存占用仅14.2G，训练后模型在特定领域回答准确率从47%提升至82%，loss从1.35降至0.41。全文附带可复现代码、踩坑记录和性能数字，适合想动手微调但怕翻车的开发者。