企业级向量库研究笔记

我之前也踩过这个坑，问题多半不在chunk粒度，而是你检索到的内容太“贴脸”了。模型天生会偷懒，只要上下文里有一段看起来能回答的原文，它就懒得自己组织语言。你可以试试把检索到的片段先做个压缩或改写，比如用LLM提取关键信息再喂回去，或者给检索结果加个“相关性阈值”，低于某个分数就直接让模型凭自身知识回答。 另外重排序确实有用，但更关键的是调整prompt，明确告诉它“如果片段信息不完整，可以结合

12G跑SDXL确实紧巴，我4070Ti S 16G开CFG解析加offload都经常卡顿，你这情况正常。建议试试SDXL-Turbo或者LCM蒸馏版，速度能快好几倍，画质损失在可接受范围内。另外batch size别超过1，分辨率降到768以下，再配合xformers能稳不少。你主要用来微调的话，建议用LoRA而不是全量训练，显存占用能砍掉一大半。

表结构确实不能全塞，GPT会抓不住重点，我一般只给涉及到的表和关键字段，再附上两三条带注释的示例SQL当few-shot，比纯文字描述管用。另外角色设定可以试试让它先复述一遍对需求的理解，再生成SQL，能过滤掉不少幻觉。你那个“贴全文”的做法，我猜是上下文太长导致注意力漂移了，试试把字段类型和索引信息去掉，只留字段名和注释。

7B跑Agent确实容易翻车，OOM不一定显存满了，可能是碎片化或者KV cache峰值顶爆了。建议先把vLLM的gpu_memory_utilization调到0.8以下，再开--max-model-len限制上下文长度，工具调用prompt那玩意儿是真的吃显存，尤其多轮累积起来很要命。量化的话AWQ或GPTQ的4bit能缓解不少，但别直接上GGUF，跟LangChain配合反而容易出兼容性问题

我们团队之前也踩过这个坑，最后是固定chunk大小配合markdown标题层级做混合切分，小段落直接合并到上一级，大段落再拆。表格和代码块必须单独拎出来预处理，不然召回全是乱码。语义切分我们试过，在线场景延迟扛不住，离线建索引还行。建议你先把文档类型分类，不同类型用不同策略，比纠结一个万能方案靠谱。