灯下漫游集

我这边也踩过类似的坑，微调完生成模型之后检索指标确实会往下掉，但问题多半不在embedding本身。你只训了LoRA生成部分，理论上不该影响检索器，不过如果训练数据里问题和答案的分布太单一，模型对query的理解会偏，召回自然就歪了。可以试试把微调数据里的指令和原始领域语料混着来，或者干脆固定一个模型专门做query改写再喂给检索器。

几百万条其实不算大，Qdrant单机扛生产完全没问题，我们线上跑了一年多挺稳的。Milvus那套etcd+minio确实重，除非你要上亿级别或者团队已经有k8s运维能力，不然纯属给自己找麻烦。HNSW调参别太纠结，m先从16起步，efConstruction给到100到200，然后拿真实query测recall和延迟，比看文章瞎猜靠谱多了。急着上线就选能最快跑通压测的那个，后面真扛不住再换也不迟，

Agent 场景图老变，compile 基本白搭，我后来直接关了换 vLLM 跑推理。

这个问题我太有同感了，改需求的时候AI经常把上下文搞混，尤其是变量名它觉得“帮你优化”一下，结果全乱套。我后来学乖了，每次迭代前先把当前能跑的代码完整贴给它，明确说“只改这一处，其他别动”，命中率能高不少。另外像pandas这种，我干脆让它先写好函数签名和docstring，逻辑我自己填，反而更省心。

中文技术手册建议换bge-m3或m3e试试，ada对中文语义匹配确实差点意思。

torch.compile默认会缓存中间张量，显存涨正常。试试max-autotune模式，或者开dynamic=False减少动态shape开销。

20个epoch还2.3，八成是标签或mask搞错了，先拿十几条数据过拟合试试。

约束太死反而容易拒答，不如在模板里给个例子教它怎么答。

跨章节问题检索不准，很多时候不是chunk切太碎，而是query和chunk的语义粒度对不上。你问的是“预算和负责人分别是谁”，但单个chunk可能只包含其中一个信息，召回时自然只能命中一半。建议先别急着换embedding模型，加个rerank试试，bge-reranker对这类场景提升挺明显的。另外可以试试把chunk按语义段落切而不是固定500字，或者检索时先做query分解再分别召回。Mi

GPU利用率才30%说明瓶颈不在算力上，大概率是采样参数或者请求调度的问题。你检查下是不是开了`--enforce-eager`，这玩意会关掉CUDA graph，速度直接砍半。另外AWQ在vLLM上有时确实不如GPTQ稳，可以试试换成GPTQ或者干脆用bf16对比一下。还有看下你的`--max-num-seqs`是不是设太小了，默认可能偏低，适当调大点让GPU跑满。

动态路由才是真难点，静态工作流跑通了也别急着吹，等有异常回滚的实测再说。

我是按语义切再按标题层级兜底，效果比纯固定长度稳不少。

分块这块影响真的很大，bge-large-zh对长文本确实会稀释语义，你直接把整段塞进去，向量就糊了。建议先按语义切到300-500字左右再入库，效果会明显不一样。IVF_FLAT的nlist设1024得看你的数据量，如果总共才几万条，nlist太大反而召回不稳，可以试试调小或者换HNSW。另外检索不相关也可能是query那边没做指令前缀，bge中文模型对这点挺敏感的。

我遇到过类似情况，top10召回没问题但生成乱答，后来发现是chunk里混了多个主题，模型把相邻段落的意思串了。你可以先做个对照实验：把召回片段原样贴给模型但去掉问题，看它会不会自己扯到别的主题，如果会那就是chunk边界没切干净。另外prompt里光加“根据以下内容”不够，最好明确说“只依据上述片段回答，片段没提到的不要编”，再让它先复述一遍依据再给答案，这样能压住不少幻觉。

这个“翻译腔”问题我太熟了，本质就是模型在没约束的情况下会默认往书面语和英文思维那边靠。光说“专业清晰”根本没用，太抽象了，它不知道该砍掉哪些词。我自己试下来最管用的一招是直接给禁令清单，比如明确告诉它不许用“此外”“值得注意的是”“综上所述”“不仅而且”这类连接词，句子超过25个字就拆开。另外给范例真的比任何形容词都好使，你从你们项目里挑一段人写的接口说明贴进去，说“照这个语感写”，效果立竿见影

分块太小了，200字符根本装不下完整逻辑，试试按函数或接口整块切，别硬拆。

我们之前也踩过这个坑，挂到六七个MCP之后首token延迟直接起飞，后来发现主要开销在工具列表注入和schema解析上。生产上一般控制在3到4个核心的，其他走路由按意图动态挂载。取舍的话基本靠模型自己根据tool description判断，但description写得太像就会乱调，得手动调优。建议先测一下每个MCP的握手和list_tools耗时，往往有惊喜。

做毕设跑图像分类的话，直接上PyTorch吧，现在教程多、报错也好查，动态图调试起来对新手友好太多。Keras确实被TF收编了，现在用tf.keras就行，单独学没必要，但TF那套静态图加部署生态对毕设来说有点重。建议去B站找个小土堆或者李沐的动手学深度学习，跟着敲一遍分类任务基本就能跑通了。真要图省事，PyTorch加torchvision的预训练模型，改改就能出结果。

关键词重合低但相似度高，感觉更像纯向量丢了字面匹配，加个BM25混合检索试试？

gpu-memory-utilization 0.9就是预分配90%显存，跟实际用量两码事。tp=2没生效可以看看日志里是不是走了单卡。