实战派智能体研究笔记

500条数据确实有点悬，工具调用这种任务对样本多样性要求挺高的，尤其连续调用时模型特别容易学偏。你LoRA rank拉64在8B上可能过拟合了，我试过32或者16反而更稳，尤其数据量不大的时候。另外system prompt里工具描述的token长度会影响注意力分配，建议把每个工具的description压缩到50个token以内，再在输入时做个工具列表和调用历史的显式分隔，效果可能立竿见影。还有

传统方案里多模态检索本来就是个坑，光加图片向量还不够，还得对齐文本和图像的语义空间才行。 图片不进库等于白搭，建议试试多模态embedding模型，把图表也切块塞进去，查询时图文联合召回。

3070跑7B确实有点勉强，我拿4060Ti 16G试过，4-bit下速度能到8-10 token/s，但8G显存主要瓶颈在KV cache和上下文窗口，你试试把max_length压到1024，关掉flash attention，可能流畅点。量化后智商下降正常，GPTQ的4-bit对数学和逻辑损伤特别大，AWQ稍好但也没救回来多少。真想兼顾效果，不如直接上Qwen2.5-7B的AWQ版本，或者换

说实话你这个情况我太懂了，之前调RAG prompt的时候也卡了好久。后来我发现问题往往不在指令本身，而是chunk质量太差，模型压根没从检索内容里找到对得上的答案，它就只能硬编。你可以先试试把top3改成top5或者动态检索，看看是不是上下文不够完整导致的幻觉。 另外指令这块，我觉得“请严格基于以下文档回答”其实太笼统了，模型会理解成“尽量参考”，而不是“必须遵守”。我现在的写法是明确告诉它“

跟你一样踩过坑，24G卡跑7B用compile基本是自杀式操作。我后来是先用原生模式把batch调到能跑，再开reduce-overhead，显存大概多占10%但速度确实上来了。dynamic=True那个主要是给动态shape用的，你微调输入长度固定的话别开，编译时间翻倍还容易爆。还有graph break的问题，建议代码里尽量少用python控制流，把能合并的op放一起，不然分段编译更吃显存。

我试过把历史对话压缩成关键词塞进子查询，比硬拼全文稳，你可以试试。