企业级智能体工程手记

我最近也在折腾类似的，gpt-4o对工具调用的“自信心”特别强，稍微模糊点的问题它都倾向于把工具全试一遍再回答。你试过在tool description里写“仅当问题明确包含用户ID时才调用”这种强约束吗？比prompt里的通用指令管用得多，因为模型对工具描述的遵从度其实高于系统提示。另外我建议把检索工具的结果切得碎一点，返回前先做一步相关性过滤，哪怕简单算个关键词重叠都比让它自己判断强。还有个偏

我之前也踩过类似的坑，后来发现是MCP的工具定义里带了很长的系统prompt，把LoRA学到的说话风格直接盖掉了。你试试在服务端把system message清空或者缩短，只保留工具描述，看回复是不是立刻正常了。另外流式输出的时候，如果客户端按token逐字渲染，有些采样参数会被重置，建议先关掉流式对比一下。

分块固定500字符对代码文档确实太粗暴了，代码片段和表格很容易被拦腰切断，语义就散了。建议按函数/类/API端点做结构化切块，或者用代码感知的分割器试试。rerank强烈建议加，尤其你这种多模块混合的库，召回top20再精排会稳很多。另外bge-large在混合文本上表现一般，可以试试把代码和自然语言分开建索引，查询时加权检索。

说实话500条样本量确实有点悬，尤其任务要求风格统一的话，数据多样性不够loss很容易卡在1.8这个平台期。建议先看看是不是prompt模板太复杂，[INST]标记对Qwen2.5来说其实不太必要，反而可能干扰模型对指令的理解。另外你可以试试把学习率调到1e-4以下，或者用warmup+余弦衰减，有时候是优化器的问题不是数据问题。我上次微调类似任务时加了20条高质量种子样本做对比，loss下降就明

碰到过类似问题，后来把历史对话压缩成摘要再拼进query，而不是塞原始对话，效果稳了不少。另外检索的时候建议把当前问题单独去检索，历史只用来做意图澄清，别一股脑全丢进去。还有切片512可能偏大，试试256加重叠，相关性会准一些。

我之前也踩过这个坑，LangChain的AgentExecutor在工具间传递上下文确实容易断，尤其是多跳调用时。后来我手动把第一次工具的结果塞进prompt的system消息里，或者用ConversationBufferMemory显式存一下，但注意别让历史太长挤掉关键信息。另外可以试试给每个工具的输出加个id，第二次调用时用变量引用，比直接拼字符串稳。你用的是哪个模型？有些模型对长上下文的注意

50万向量768维单机20QPS确实到瓶颈了，试试HNSW索引能提不少性能。

说实话我也在关注K3这个定价，确实有点打破平衡的感觉。我自己的团队试过几个场景，Kimi在长文档理解和代码生成上表现挺稳的，尤其价格打下来之后，部署成本直接少了一大截。但反过来想，OpenAI和Anthropic的模型在某些复杂推理和逻辑一致性上还是有点优势，比如多步推理或者需要严格格式的任务，K3偶尔会出小岔子。所以我觉得倒不一定是品牌溢价的问题，更多是技术路线差异——K3可能用了更激进的压缩或

确实不建议直接复用最后一层，qwen的embedding能力没那么强，试试bge-small或e5轻量模型会稳很多。

这个问题我深有体会，感觉你遇到的“断片”核心可能不在temperature，而是LangChain的Agent默认会让模型自由选择工具，财报分析这种强依赖顺序的任务更适合用SequentialChain或自定义Pipeline来锁定步骤。我之前试过在Prompt里把“先做A，再做B，最后C”写成明确的JSON格式步骤列表，配合memory只保留上一步的输入输出，效果比单纯加few-shot稳定很多

老实说我也被这个问题折磨过，后来试了试把代码按函数或类拆成独立chunk，再配合一个叫CodeBERT的embedding模型，召回率确实比通用模型好不少。不过你这个场景如果涉及到跨文件依赖，可能还得在检索后加个类似“代码图谱”的步骤，把上下文关系理清再塞进模型。不知道你用LlamaIndex有没有试过它的HierarchicalNodeParser？这个对长代码的结构化拆分比滑动窗口靠谱一点。

同感，7B模型不接外挂的话确实容易翻车，尤其是政策类细节它记不住。我建议试试RAG，把FAQ和售后规则做成向量库，每次检索相关片段拼进prompt，效果比硬塞few-shot稳定不少。另外可以加个输出约束，比如只允许从知识库选答案，能减少编造。

这问题我也踩过坑，ChromaDB默认没增量更新，改文档后得手动删旧chunk再add。我现在做法是给每个文档塞个版本hash，查询时先check一下DB里的版本，不一致就删旧插新，代码量不大但能实时感知。你也可以试试langchain的VectorStoreRetrieverMemory，配合会话ID做缓存，不过小心别让用户问A时读到B的新数据。

你这情况太典型了，我当初刚搞RAG的时候也在这卡了好久。先别急着怀疑embedding模型，我觉得问题可能出在chunk策略本身，单纯调大小和数量治标不治本。 你文档里“项目部署流程”这种核心步骤被漏掉，大概率是因为chunk切得太机械了。比如按固定token硬切，原本连贯的“安装环境→配置权限→核心部署步骤”被切到了不同chunk里，但用户问的是整体流程，top k检索出来可能三个chunk都