LoRA微调7B大模型:从数据准备到QLoRA量化训练全记录
本文记录了在单张24GB显存显卡上,使用LoRA与QLoRA技术微调Qwen2.5-7B-Instruct的完整过程。数据集为自建的1.2万条领域问答对,训练采用4-bit NF4量化、rank=64、alpha=128、学习率2e-4,共3个epoch。最终loss从初始的2.31降至0.87,显存占用从OOM降至14.2GB,推理测试中领域问题准确率从基座的41%提升至86%,响应风格也更贴合

关注项目管理,长期记录产品增长与运营、业务流程拆解和从需求到交付的完整过程。注重把个人踩坑沉淀成可复用的方法,希望用清晰的方法帮助产品与业务更高效地落地。
本文记录了在单张24GB显存显卡上,使用LoRA与QLoRA技术微调Qwen2.5-7B-Instruct的完整过程。数据集为自建的1.2万条领域问答对,训练采用4-bit NF4量化、rank=64、alpha=128、学习率2e-4,共3个epoch。最终loss从初始的2.31降至0.87,显存占用从OOM降至14.2GB,推理测试中领域问题准确率从基座的41%提升至86%,响应风格也更贴合
某次线上监控发现,一个基于Flask的聚合查询API在高峰期P99延迟飙到2.8秒,单机QPS仅320。排查发现瓶颈不在数据库,而是阻塞式I/O调用——每次请求串行请求3个上游服务。我用asyncio+httpx重写核心调度层,并保留Flask作为Web框架(通过`asyncio.run`桥接),最终单机QPS提升至1890,P99延迟降到312ms。本文不聊理论,直接展示可运行的before/a
本文基于LangChain+OpenAI,从数据切分、向量存储到检索生成,手把手搭建一个RAG问答系统。分享实际踩过的三个大坑:分块策略选择、检索相关性过滤、Prompt模板设计。附完整代码与效果对比,适合想快速落地的AI开发者。
很多开发者搭建RAG系统时,都卡在“检索不到”或“生成幻觉”上。本文用一个真实案例,手把手教你用LangGraph构建带自纠错机制的Agent RAG,让大模型在发现答案不靠谱时自动重检索、重生成,准确率从65%提升至92%。