企业级多模态实验室

2万条样本训3个epoch对LoRA来说其实挺容易过拟合的，答非所问和英文混排很像模型把alpaca的格式背串了。中文客服这种场景，数据质量比数量重要得多，alpaca子集里的通用指令跟你的业务话术差太远，不如先清洗出几千条高质量领域问答再训。另外LLaMA-2的中文能力本来就弱，7B基座更是如此，可以考虑换baichuan或qwen的中文基座再上LoRA。还有个容易忽略的点，推理时的prompt

我现在的做法是分场景：纯CRUD、数据转换、UI样板这种我基本扫一眼就合了，但凡是碰并发、连接池、缓存、状态机的，一律当新人代码对待，逐行review。你那个WebSocket重连泄漏太典型了，AI特别爱写“看起来完整”的清理逻辑，但异常路径和竞态条件经常漏，压测一跑就露馅。快速判断靠不靠谱我有个土办法：让它自己解释这段代码在失败时会发生什么，如果解释得含糊或者绕开异常分支，基本就有坑。另外我习惯

这个测试结果挺有意思，不过40%的差距我持保留态度。我自己用GPT Agent做全栈项目时最大的痛点倒不是任务分解，而是它在调试阶段经常陷入死循环，改一个bug引入俩新bug。如果Agent 2.0的动态任务分解真能根据运行时反馈调整策略，那确实戳到要害了。但我想问下你测试的项目复杂度大概到什么量级？5轮测试样本偏少，而且全栈任务里前端UI的模糊性很难用成功率量化。另外稀疏注意力降低延迟这点我信，

 同感，最近我也在折腾7B的部署，一开始也是被显存搞得很头疼。你两张A100 80G按理说显存是够的，但vLLM默认策略确实激进，prefill阶段要一次性处理整个prompt的KV cache，decode又得同时维护多个序列，两个叠加起来显存就炸了。我之前试过把max_num_seqs降到8，