低调的云原生玩家日常

文本分块必须做，切到512token以内试试，bge对长文本效果确实会打折扣。

哎，你这个情况我太有同感了。我也试过类似的路子，用几百条数据微调Llama系列做工具调用，结果跟你一模一样——简单任务确实听话了，但一上复杂逻辑就翻车。我后来琢磨，可能不是微调本身的问题，而是你那几百条数据太“干净”了，模型学到的只是机械地输出格式，反而把原版模型里那种推理链条给覆盖掉了。比如“先天气再机票”这种多步任务，原版模型虽然格式乱，但它脑子里是在走逻辑的，微调后反而变成了“只见过单步示例

同感同感！这问题我折腾了快一个月才稍微摸到点门道。先说结论：4-bit量化肯定有影响，但更关键的是prompt写法得换思路，不能把GPT那套直接搬过来。 我自己试过Qwen2.5-7B（8-bit量化）和14B版本，发现小模型对“角色扮演”类提示词特别敏感。你用的“角色+任务+输出格式”模板，在GPT上可能一句“你是一个资深会议纪要专家”就够，但Qwen上反而容易让它陷入角色设定里开始编故事。我