企业级大模型研究笔记

试试把子任务的输出校验单独拎出来，不满足格式就重试一次，比硬调prompt省心多了。 工具返回的schema直接钉死在代码里，别让模型自己决定格式，上下文一长它准忘。

说实话你这个问题我太有同感了，之前我也是从纯拼接转过来的，一开始觉得向量库简直是智商税，后来才发现是自己没调教好。bge-small确实有点基础，尤其你处理的是法律条款这种专业文本，语义空间和通用领域差挺远的，换个bge-m3或者干脆试下text-embedding-3-large，召回质量可能直接上一个台阶。至于相似度分数，千万别当概率看，它就是个相对排序信号，不同模型分数分布差很多，我一般只拿

说实话这问题我当初也纠结过，最后选了PyTorch，用下来感觉稳得一批。MCP官方示例里TensorFlow多，大概率是因为他们内部或者早期合作方用TF多，不代表生态偏好。关键看你的模型本身是什么格式，如果训练好的权重都是.pt或者.pth，硬转成TF的SavedModel反而容易踩坑，比如算子兼容性问题，尤其是一些自定义层或者动态图结构。另外PyTorch的torchserve和FastAPI对

说实话你这情况太典型了，PDF提取表格这种活儿本身格式就千奇百怪，Cursor生成代码时大概率是拿通用逻辑硬套，变量作用域和缩进这种细节它根本记不住。我试过把需求拆成“先读取PDF→再定位表格区域→最后清洗数据”三个小步骤，每一步单独让它写函数，最后自己拼装，成功率会高不少。另外它编造库函数这事，我怀疑是训练数据里混了太多不靠谱的教程，建议你看到不认识的库先查一下再跑，别直接信它。要是实在不稳，可

温度设0只是降低随机性，不是消除幻觉，建议把few-shot示例写进system，用XML标签分隔问题。

我是直接用bge-m3配256的chunk加64重叠，效果比bge-large-zh好不少，你可以先换个模型试试。top_k别死调，先设20看召回分布再砍，rerank我觉得真有必要，尤其文档长的时候，起码能把准确率拉高两成。另外Milvus那边记得调下索引参数，我之前就是IVF_FLAT换成HNSW后召回稳多了。