持续研究内容实践笔记

IVF_FLAT得先把向量归一化再建索引，不然内积和余弦对不上，nprobe调再高也白搭。

bge中文确实不差，但你得加个指令前缀，不然效果差一截，chunk 500偏小可以试试800带重叠。

我拿Qwen2.5-7B做结构化输出时也踩过类似的坑，温度0.3到0.5之间反而比0.2更稳，太低模型容易卡在某个token上反复吐同样的东西。top_p我一般压到0.8左右配合温度0.4，repetition_penalty给1.05就行，再高会开始乱改字段名。真要严格JSON的话建议直接贪心解码加格式约束，或者上outlines这类工具，比调参省心多了。

这种情况太常见了，top5里明明有正确答案但模型就是不用，我遇到过好几次。有个容易忽略的点是context拼接的方式，如果你只是简单把5条chunk用换行拼起来，模型很容易被第一条带偏，尤其是第一条看起来也相关但实际不对的时候。bge-m3的检索质量其实还行，但它的相似度分数分布可能很平，导致真正对的那条在语义空间里没拉开差距，模型自己也不会去"挑"。可以试试把最相关的chunk放到context

loss先降后升这个曲线其实挺典型的，2.3到1.8再弹回2.5，大概率不是MCP协议本身的问题，更像是过拟合或者训练后期发散。2k条数据对1.5B模型来说确实偏少，尤其如果tool_call这种结构化字段占比高，模型很容易先记住格式再开始瞎编。你可以先确认一下tokenizer对特殊token的处理，比如tool_call的起始结束符是不是被拆成了多个token，这种情况会让模型很难学到稳定边界

这个现象我也遇到过，而且不止一次，感觉不完全是模型的锅。加了角色设定之后，模型其实是在给自己“加戏”，它会倾向于去满足这个角色的人设，而不是老老实实执行你后面的具体指令。尤其是“资深编辑”“金融专家”这种带身份感的词，模型会自动脑补出一堆跟角色相关的行为模式，结果就是格式约束被稀释了。我自己试下来，角色越具体、越有画面感，跑偏的概率就越高。后来我干脆把角色描述改成功能性的，比如“用简洁客观的语言总

双4090跑32B确实吃力，试试TP=2加FP8，vLLM对FP8支持还行，比AWQ强不少。

我也踩过这个坑，日志里Server明明返回了，但Claude那边就是收不到，最后发现是stdout里混进了别的东西。你检查一下代码里有没有print调试语句没删干净，或者某些库往stdout打日志，MCP对stdio通道的纯净度要求挺高的。建议所有调试输出都改到stderr，stdout只留给协议本身的JSON-RPC消息。另外返回结果记得包在jsonrpc 2.0的标准结构里，id和result

KV cache才是吃显存大头，别光盯着量化，试试gpu layers拉满加kv int8量化。

刚入门，这个对我帮助很大。

我也卡过这坑，后来发现是Node版本太旧，换到20以上就好了。

数据没做指令格式化是大坑，loss不降正常。ChatGPT重写一遍确实有用，我试过。

这个坑我去年底也踩过，当时用MCP接Qdrant，metadata过滤死活不生效，排查了两天才发现是schema里field定义和实际payload结构错位了。MCP的schema不是简单描述字段类型就行，它其实要求你把metadata当成一个完整的object来声明，而不是把它拆成扁平的entity和field，很多人卡就卡在这一步。你那个source=pdf拿到空结果，大概率是MCP serv

先查下是不是没设eval模式，BN的running stats没同步过去，我踩过这坑。

之前跟过一个文旅项目，甲方一开始想用海外方案，结果现场一跑就发现单机预设航线根本扛不住风扰和信号干扰，后来换成国产的集群方案才稳住。你提的“一控多机”确实是关键，地面算力加机载边缘计算这个思路，等于把决策权分散了，比集中式调度灵活太多。不过我也好奇，这种架构在几百架规模下，通信协议的自组网能力是不是比算法本身更吃功夫？

几十万文档Qdrant完全够用，单机docker跑起来比Milvus省心多了，metadata过滤也稳。

这俩又不冲突，我调chunk_size收益更明显，但你这提示词改动确实让输出结构更稳了。

先用DDP跑通，loss曲线怪大概率是没设对seed或batch size，等稳定了再上DeepSpeed不迟。

这问题我当初也踩过坑，LangChain默认的Agent其实不像ChatGPT那样有连贯的上下文记忆，每次调用工具时它拿到的只是当前这一步的输入和工具返回结果，前面几步算出来的东西并不会自动塞进下一步的Prompt里。你说的在System Prompt里加“记住历史”基本没用，因为那只是给模型一个指令，但并没有把实际的历史步骤数据喂给它。最靠谱的做法是用LangChain的Conversation

这个规模真没必要上Milvus，FAISS本地跑完全够用，等量级上来了再迁移也不迟。 Pinecone免费额度做原型绰绰有余，但真要上线那费用确实肉疼，建议先用FAISS把逻辑跑通再说。