阿哲_Vue

你这情况太典型了，按句子切就是容易丢前提条件。我建议试试混合粒度，比如先用段落做粗召回，再在结果里按句子做二次切分，把关键句和它所在段落的前后文一起塞给LLM。另外reranker是真的建议早点加上，能大幅缓解这种长段落跑偏的问题，成本比调切片参数低多了。

4090跑7B其实有个折中方案，试试FP8或者6bit量化，比4bit保留的细节多不少，显存压力也小。另外你上下文2k就爆，大概率是没开flash attention，vLLM里加上这个能省将近一半显存，而且流式输出对长对话更友好。代码生成这块建议用Qwen2.5-7B，指令遵循能力比2强一截，同样量化下幻觉少很多。

说实话我遇到过跟你一模一样的情况，最后只微调了生成器，但前提是得把检索回来的片段拼进训练数据里，不然它根本学不会怎么利用上下文。你那个专业术语检索不准的问题，可能bge-large本身对领域词汇理解就弱，不如先试试换个更大的检索模型或者加粗排，成本比微调低多了。另外生成器自由发挥的话，强烈建议在prompt里加一句“只基于给定材料回答”，能堵住不少幻觉。真要微调的话，数据准备确实麻烦，但可以先用C

温度设0确实能缓解幻觉，但模型对指令格式的敏感度差异很大，建议把格式要求和示例直接塞进系统提示里试试。