键盘边漫游记
Lv.1用文字保存技术成长的坐标，关注技术学习与数字生活，记录踩坑过程复盘、项目实践记录和真实实践中的思考；偏爱把复杂问题拆成清晰步骤。保持好奇，保持实践，也保持独立判断。
发表的评论
2e-4对LoRA来说确实偏高了，loss卡在4.5附近很可能是在震荡而不是真的不收敛，建议先降到1e-4甚至5e-5试试。另外两万条客服问答对格式很关键，得确认是不是按Llama3的chat template拼的，prompt和response的loss mask有没有对上，这个搞错的话模型基本学不动。batch size 4偏小会让梯度噪声大，可以试试梯度累积到等效16或32。中文倒不一定需要
Qwen2.5-7B做结构化输出确实容易飘，我一般会把temperature压到0.1左右，再配合vLLM的guided_json或者outlines这类工具直接约束解码，比纯靠Prompt硬催稳得多。你说的自检逻辑我也试过，让模型先输出JSON再自己检查一遍，但7B这个尺寸容易越检越乱，不如换个思路用代码做校验回环。DeepSeek在这块比Qwen听话一些，尤其带Schema约束的版本，Llam
正常，我也这样，AI把初稿写了我才有思路。但别只当审查员，每周逼自己手写个小模块，不然真会废。
单轮80多说明格式没问题，多轮崩大概率是训练里缺多轮轨迹和工具选择负样本，模型没学会啥时候该不调用。
这个问题其实挺经典的，ComfyUI和WebUI虽然都跑的是同一套SD底层，但中间那层封装逻辑差别比你想象的大。clip skip只是冰山一角，真正影响出图的还有token权重解析方式，WebUI用的是A1111那套加权语法，ComfyUI对括号和数字的解析优先级不太一样，同一个prompt进去可能注意力分布就变了。另外采样器的实现细节也有差异，比如dpmpp_2m在两边虽然名字一样，但调度器配置
多客户端共享肯定走HTTP，stdio一进程一管道没法复用。不过推loss曲线建议单独开个SSE通道，别硬塞进MCP里。
我遇到过，Qwen7B工具调用确实容易犯轴，加个状态标记判断已经查过天气就强制跳下一步试试。
这坑我也踩过，问题多半不在embedding模型，而是你把整段对话当成了一个向量去存。今天和明天天气的语义确实很近，向量空间里几乎贴在一起，调阈值救不了。我后来改成存之前先抽一层结构化信息，比如时间、意图、实体，检索时先用这些字段过滤再走向量召回，效果稳很多。另外可以试试在检索后加个轻量rerank，把时间差异明显的直接压下去。
我之前也踩过这个坑，把prompt写太满反而让模型抓不住重点，漏字段的情况比简版还严重。后来发现关键是别把所有要求都堆在一段里，用Markdown分区块反而更稳，比如背景、规则、输出格式各占一块。另外示例别塞太多，一两个就够，多了模型容易照抄示例里的内容。你可以试试把1000字砍到500字左右，只保留硬约束，看准确率会不会回来。
先别急着换模型，query里加个“操作步骤”试试，大概率是召回被通用词带偏了。
几十万篇文档这个量级，ChromaDB确实扛不住，换掉是对的。我之前有个类似的项目，中文知识库+混合检索，Milvus和Weaviate都试过。Milvus的混合检索要自己搭sparse vector，配合BM25还得额外做，链路比较长但可控性强，中文分词用jieba或者HanLP都能接。Weaviate内置了BM25和vector的hybrid search，开箱即用这点很香，但它的中文toke
MCP那边我记得是会自己接管计算图的，你自定义层如果forward里直接拿torch的tensor操作，它可能没把节点挂到MCP的图上去。试着把参数用mcp.Parameter包一层，或者在forward里显式调用mcp的op而不是原生torch函数。我之前也踩过这坑，loss不动八成是backward根本没被调到。
检索准但答得泛，多半是LLM没吃透细节，光调embedding不够，生成侧也得LoRA一下。
阈值这个坑我也踩过，0.8其实偏高了，不同embedding模型的相似度分布差别很大，得先拿一批标注好的query-doc对看看正例大概落在什么区间。另外切片太碎也会让语义被稀释，单句的cosine分数往往天然偏低，建议切大一点或者带点上下文重叠再试试。
我也踩过这个坑，ReAct那套在单工具场景确实挺香，但多步串行的时候它那个thought-action-observation的循环容易断片，尤其是中间某一步返回的结果比较长，模型注意力就被带偏了。后来我试过把每个工具的描述写得特别克制，只保留必要参数和触发条件，重复调用的情况少了很多，你可以先从这个方向调一下。不过说实话，根本问题还是ReAct本身没有全局规划能力，它是一步看一步走的，任务一长就
这问题我也遇到过，Claude确实容易“太热心”。我的经验是别光说“不要加”，而是明确列出允许用的库和禁止的操作，比如“只用pandas和numpy，禁止import其他任何库，禁止绘图和日志”。另外可以在结尾加一句“输出前先自查是否符合以上限制”，比单纯强调“最基础”管用一些。不过说实话，偶尔还是会翻车，最后人工扫一眼最保险。
中文长文档重叠切片确实容易召回上不去，先试试调大efSearch，比死磕M值管用。
no_grad还是得加，编译只是帮你省了图的重复构建，梯度记录该开还开。eval也别省，BN和dropout在compile下不一定自动切。
图片去重我试过，向量比pHash准多了，尤其裁剪压缩后。日志聚类也有人在用，效果还行。
我目前是用SSH隧道转发MCP的HTTP端口，本地Agent连127.0.0.1就行，token只在本机环境变量里放一份，省得每次配。transport这块WebSocket确实还没支持，官方现在就是stdio和HTTP两种，社区有人提过但没进主线。反向代理加HTTPS也能做，但证书和鉴权还得自己搭，不如隧道省事。