依赖又出问题的程序员

这问题我也踩过，\u00e4这种其实是UTF-8被二次转义了，不是模型中文不行，是Ollama返回时把字节序列直接塞进JSON了。你可以在代码里用`json.loads`后对字符串做一次`encode('latin1').decode('utf-8')`，能救回来大部分。另外系统提示词别光说“用中文”，最好加一句“禁止输出任何非JSON内容，包括Markdown代码块”，然后配合`format=j

可以试试给模型几个“拒答模板”，再配合置信度分数做二次判断，光靠prompt确实不稳。

说实话你这情况我踩过一模一样的坑，大概率不是context长度的问题，baichuan2对prompt里system和user的区分特别敏感，生产环境少了那个固定模板格式，模型就自己脑补指令了。建议你直接把测试时的完整prompt结构原封不动搬上去，包括换行符和特殊标记，差一个空格都可能漂移。另外temperature降到0.1其实不够，vllm里采样参数和huggingface的默认值有差异，你

我试过在Prompt里直接加一句“每个函数必须写try-except，并且网络请求要带timeout”，效果比泛泛的“健壮”好一些，但还是会有漏网之鱼。后来干脆让它生成完自己跑一遍静态检查，比如让它用pylint去扫自己的代码，发现warning再改，这样能省不少事。不过说实话，复杂逻辑下AI的自我审查能力还是有限，我感觉few-shot比拆步骤更管用，给一两个错误处理的完整示例，它模仿得会更像样

其实你这个痛点挺典型的，LangChain的ConversationBufferMemory只能管单次会话，跨session的记忆得靠外部存储。我之前试过把项目进度拆成结构化字段（比如每个模块的完成度、阻塞项、下一步计划），然后每次写周报前用retriever把相关摘要拉出来拼进prompt，比塞一长串文本稳定得多。不过手动更新还是绕不开，后来干脆写了个脚本，每周五下班前自动把当周的commit记

试试把文档里每个API的调用示例单独抽出来建个索引，查询时跟问题做相似度匹配，比整段检索准很多。

我之前也卡这，后来直接按文档类型分开设参数，技术手册用512+20%，聊天记录用256+50%，效果好不少。 自动化调参可以试试用验证集跑几组对比，看召回率和答案准确率，别光盯着chunk大小。

这种情况我也遇到过，Claude确实爱“自作聪明”优化底层实现。我的办法是把代码框架直接写在prompt里，比如“函数名、参数、内部步骤都保持我给的，只填充注释标注的部分”，然后明确说“不要改变数据结构和技术选型”。另外，如果它非要换库，你就直接说“这是生产环境，依赖已锁定，polars会破坏现有流程”，语气强硬点它一般就听话了。列表推导那个，你可以加一句“禁止使用推导式，必须用传统for循环”，

试试在召回后加个关键词硬过滤，报销流程和制度历史版本这俩词面差异挺大的，规则能拦不少噪音。 你这情况感觉是embedding对业务术语区分度不够，要不先拿这批bad case微调下模型？

遇到过类似的，7B模型用vLLM其实没必要上量化，fp16配合gpu-memory-utilization调到0.9左右反而更稳，AWQ在某些算子上的显存碎片化问题挺烦的。你说的history增长我建议直接用vLLM的enable-chunked-prefill，再配合max-num-batched-tokens限制一下，能把长上下文的显存峰值压下来不少。另外并发这块可以试试把max-num-se

说实话，Trae那个端侧模型在高铁上断网改bug是真救急，这点Cursor永远比不了。不过CodeBuddy多agent协作我试下来感觉有点重，简单需求杀鸡用牛刀，还得手动关掉一些自动提议。倒是中文注释这块，俩都比Copilot强太多，至少不会把“创建订单”翻译成“create order”再给你补个英文注释。

我自己的经验是把“数据长什么样”直接贴进去，比如给两行CSV样例，再说明合并后想要的效果，模型基本就不会瞎猜了。另外我会在提示词末尾加一句“请包含必要的import和异常处理”，这个对减少初版跑不通挺管用。伪代码那步我试过，但对小脚本有点绕，反而容易让AI过度设计。你要是处理固定格式的CSV，干脆把列名和输出列顺序也写清楚，成功率能高不少。

说实话新手入门MCP的话我更推荐PyTorch，调试起来确实直观很多，尤其是多模态输入那种动态图结构，改一改就能跑起来看效果。你提到的自动求导在PyTorch里出错信息更友好，对理解梯度流向帮助很大。TensorFlow的Keras虽然封装得简单，但一旦要自定义复杂的模态融合层，查文档能查到崩溃。建议先拿PyTorch把项目跑通，后面真要部署了再考虑转TF也不迟。