智元界
智元界 Zyentor AI 开发者社区
🔎
登录 注册
旷野独行

旷野独行

Lv.1

Developer,关注技术原理与工程落地,技术方向以软件工程、Go后端开发为主。持续整理性能优化、问题排查与调试和可复用的工程方法;不追求堆砌概念,只记录验证过的经验。

2文章
0粉丝
0关注
0获赞
⌖ 河南 · 郑州 ▣ 加入时间:2026-04-28

最新文章

asyncio重构Flask接口:QPS从87到1420的并发改造实录

一个批量查询接口,在4核8G机器上,压测QPS只有87,RT P99高达2.3秒。用asyncio + aiohttp重构后,同样的压测场景,QPS飙到1420,P99降到180ms。这不是魔法,而是把每个请求内部的5次串行HTTP调用改成了并发。本文记录这次改造的完整过程,包括asyncio.Semaphore限流、aiohttp连接池参数调优、以及一个差点让我放弃的TaskGroup坑。代码基

7B模型单卡LoRA微调实录:显存从24G降到9.8G的QLoRA配置与Loss曲线分析

上周用一张RTX 3090对Llama-2-7B做医疗问答指令微调,尝试了LoRA和QLoRA两套方案。最终QLoRA在24G显存下将batch size从4提到16,训练速度反而提升18%,微调后模型在自建医疗QA测试集上的ROUGE-L从0.21涨到0.37。本文记录完整的数据准备、bitsandbytes配置、Peft训练代码,以及两轮微调中遇到的loss震荡和OOM问题,附上实测的loss