Developer,关注技术原理与工程落地,技术方向以全栈工程、软件工程为主。持续整理项目复盘、开源工具使用和可复用的工程方法;倾向用真实案例代替空泛结论。
3090跑7B全精度确实紧巴,试试vLLM或者把max_memory设小点,能缓解不少。
我之前做客服文档也卡在这,后来干脆按文档结构切,带标题的段落单独成块,效果比固定大小稳很多。重叠窗口可以试试128,但别全文档统一,表格和列表得单独处理。另外你查一下langchain里的recursive splitter,比硬切灵活。对了,你召回准但上下文不完整,是不是没把父文档信息带进去?
试试混合检索吧,向量+BM25结合能救回不少精确匹配,另外query改写比调索引参数管用。