持续研究数字化随身笔记

这个坑我也踩过，光靠提示词约束真的不太稳，模型有时候就是忍不住想解释两句。我后来改成在MCP服务器返回结果时加一层结构化输出校验，配合tool的schema强制约束，效果好很多。另外Claude对系统提示里的格式要求服从度比用户消息高，可以把JSON约束挪到system prompt里试试。实在不行就直接用正则兜底，别跟它较劲。

几万条文档真不算多，Chroma完全能撑住，我线上跑过五万左右chunk的FAQ库，响应挺稳的。等真到扩容那步，再迁Milvus也不迟，embedding重新灌一遍的事。Pinecone个人玩成本不划算，除非你完全不想碰运维，不然本地Chroma加个持久化就够用了。

这个问题我踩过坑，后来发现关键不是提示词写多细，而是别把“人设”和“任务”混在一起写。你越强调“你是热情助手”，它就越爱加戏，不如直接给几个干净的一问一答示例，让它照着格式走。负面指令确实鸡肋，模型对“不要”经常选择性失明，换成明确的输出模板反而稳。我现在系统提示词只留身份和硬规则，寒暄这种交给few-shot去校准，效果比堆一大段角色描述好很多。

我基本不调prompt，直接描述需求，不行就换个说法重试，很多时候是模型状态问题不是措辞问题。那种堆一堆“仔细考虑边界”的反而容易触发它过度发挥，业务代码要的是简单直接。我的习惯是先把需求拆小，一次只让它写一个函数，边界case自己补测试。真要说技巧，给个具体输入输出示例比写一堆形容词管用多了。

你这个情况挺典型的，我一开始也踩过类似的坑。4090跑Agent确实有点紧，尤其你还开着工具调用，多轮下来上下文膨胀得飞快。4bit量化只能解决模型权重那块，KV cache和中间激活才是后面吃显存的大头。你可以试试限制max_model_len，别让它默认拉满，Agent场景其实不需要那么长的窗口。工具返回的结果一定要截断或者做摘要再塞回去，不然一个API返回几千token，几轮就炸了。另外vL

我也有同感，那些“防御式编程”的提示词真不一定好使，反而容易让AI加戏。日常写业务代码我基本就丢个函数签名和输入输出示例，错了再针对性补一句“边界情况再检查下”。与其花十分钟雕prompt，不如直接让它跑测试用例，看哪挂了再调。偶尔卡壳时加个“先想清楚再写”倒是有点用，但大部分时候就是试错法最省心。

loss降不代表模型学到的是你想要的东西，尤其分类任务里交叉熵下降可能只是模型在拟合标签分布。5000条里如果“退款”样本远多于“退换货”，模型会倾向预测多数类，看着loss低但边界很糊。建议先看混淆矩阵和每类召回，再查下学习率是不是偏大，LoRA的2e-4对8B有时确实激进，试试1e-4或者加warmup。另外alpha调大更差，说明可能不是容量不够，而是优化方向跑偏了。

3080 10G跑7B的Q4_K_M其实挺紧的，别忘了KV cache本身也吃显存，context开2048以上很容易顶满。你可以先把gpu layers拉满，再开flash attention试试，速度应该能好不少。量化从Q4到Q8主要影响显存和加载，速度上Q4通常更快，Q5、Q8会更吃资源但质量略好，10G卡还是老老实实Q4吧。

我之前也踩过这个坑，后来把context拆成带编号的片段，每个片段前加一句“来源X：”，然后在指令里明确要求引用时标出来源编号，缝合问题少了很多。另外“如果原文没有就直说不知道”这句一定要写死，不能只靠“请严格基于”，模型会当耳旁风。不同模型确实吃不同措辞，GPT-4对结构化格式更敏感，开源模型反而喜欢简短直接的指令，得分开调。

JSON格式确实容易让模型顾此失彼，我一般先让它专注分析，最后再单独转格式。

我之前也踩过这个坑，后来发现微调LLM对检索召回率基本没影响，因为检索是embedding模型的事，你调LLM它又管不着。真正该微调的是embedding或者reranker，让它们更懂你领域的语义匹配。至于LLM微调，更多是让它学会在噪音里挑重点回答，但1000条数据量确实偏少，而且LoRA只调attention的话效果更不明显。你可以试试把检索到的chunk加个序号标记再拼进prompt，这个

PDF技术手册确实是重灾区，表格和正文混着切肯定不行，RecursiveSplitter默认按字符切根本不认表格结构。我之前也踩过这个坑，后来把PDF先用unstructured或者pymupdf按元素类型拆开，表格单独走一遍摘要再入向量库，正文才用splitter切。bge-small本身对中文短文本还行，但500的chunk对技术手册来说太碎了，可以试试800到1000但配合按标题层级切。另外

几十万条768维这个量级，其实单机跑Qdrant挺舒服的，我去年有个类似规模的项目就是用它，Docker起一个容器就完事，内存占用也比想象中低。写入这块它用的是WAL加段合并的思路，批量upsert性能不错，过滤查询支持payload索引，像按时间范围或者标签过滤再叠向量检索，写法挺直观的。Milvus功能确实更全，但单机版那个依赖链拉起来是真劝退，etcd、MinIO、Pulsar一套下来，小项

我也踩过这个坑，后来发现few-shot做摘要真不一定越多越好。你选的两组例子如果领域或风格太接近，模型就容易照搬结构甚至串信息，特别是长文档本来冗余就多。可以试试只留一个例子，再加一句“不要照抄示例中的具体信息，只参考格式”，或者干脆换成zero-shot加更细的输出约束。顺序上把示例放最后、指令放最前面有时也会稳一点。

几千条QA对微调bge其实是够的，我之前用3k左右的数据在bge-large上跑过，业务域内的召回提升挺明显的，尤其是那些专有名词和内部术语，base模型基本抓不住。但微调完向量空间肯定变了，必须重建索引，不能和原来的混用。另外你可以先别急着微调，试试加个rerank模型，top50粗排再精排，成本低见效快，很多时候比直接微调embedding更划算。

结构化模板确实管用，但得配合具体字段约束，比如日志分析就明确让它先输出JSON再给建议。

我之前也踩过这个坑，最后发现是stdio模式下server往stdout里打了日志，握手直接乱掉了。你检查下代码里有没有console.log或者print之类的东西，MCP要求stdout只能走协议消息，日志得走stderr。另外0.6.0那个版本对SSE的支持还不太稳，建议先用stdio跑通再说。Claude Desktop那边也可以看看日志文件，一般会写具体卡在哪一步。

4张A100 80G跑70B推理确实够了，用vLLM或者TGI做张量并行，fp16精度基本能稳住，就是吞吐量别期望太高，并发一上来延迟会明显。但微调完全是另一回事，全量微调70B起码得8张起步，而且得用DeepSpeed或者FSDP做切分，不然显存直接爆。如果只是做LoRA或者QLoRA，4张其实也能凑合跑，就是batch size得压得很小，训练速度慢得让人想砸机器。3090组集群那个方案我不太

500条这个量级其实挺微妙的，关键真不是绝对数字，而是你的任务类型和基座模型本身的能力边界。我之前做过一个意图分类的LoRA，800条左右效果就挺稳了，但换成生成式任务比如改写风格，2000条都还感觉模型在泛泛而谈。所以你得先明确自己是分类、抽取还是生成，这直接决定了数据需求差好几倍。另外数据质量比数量重要太多了，500条精标、边界清晰、覆盖多样的样本，可能比3000条噪声大的还有用。你有没有试过

我也踩过这个坑，后来发现根本原因是State的reducer没配对。并行Worker写同一个字段时默认是覆盖，得给那个字段挂个operator.add或者自定义合并函数，不然肯定互相冲掉。上下文丢的问题建议别用LangChain那套Memory，直接把对话历史作为State里的一个list用add_messages管，Supervisor转发时手动把A的输出塞进指定字段再传给B，别指望它自动串起来