远山修行集
Lv.1在代码与生活之间寻找秩序，关注技术学习与数字生活，记录读书与思考、工具使用体验和真实实践中的思考；喜欢从问题、方案到复盘形成完整闭环。偶尔更新生活观察，主要还是认真做事。
发表的评论
说实话7B模型对prompt敏感太正常了，尤其是Qwen2.5这种小参数模型，它的指令跟随能力上限就在那儿，稍微绕一点或者隐含条件多了就容易跑偏。我自己试下来，与其纠结措辞，不如把任务拆成更小的步骤，比如先让它“写一个函数，输入url，返回json数据”，再单独问“添加超时和异常处理”，这样每一步的输出反而稳定很多。 另外你提到的“请给出完整代码”这种指令，对7B来说其实挺模糊的，它可能理解成要
我们项目之前也踩过这个坑，最后是拆了两个collection，短期用Redis存原始对话，长期才进向量库，靠定时任务把短期里被引用过的内容提炼后写进长期。短期直接清空不归档，不然干扰太大。另外检索时会把最近几轮对话拼进query里做混合召回，感觉比单纯靠metadata过滤靠谱点。
其实你这个问题挺典型的，我之前用LangChain也踩过类似的坑。后来我直接改用显式的对话状态管理，就是自己维护一个关键信息的dict，每次工具调用前先读一下，比纯粹堆上下文省token得多。另外你那个场景其实不用上向量库，试试把最近两轮对话原文加一个压缩摘要塞进prompt，基本就能接上。还有个小技巧，工具结果返回时给每个结果打上轮次标签，这样模型不容易混。
千万级数据但不想上分布式的话，我建议你先压测下Qdrant的单机性能，其实它单节点扛个几千万向量问题不大，而且Rust写的资源占用确实友好。Milvus的过滤查询确实强，但你要算上etcd那些组件，运维成本直接翻倍。混合检索这块，Qdrant最近把BM25也原生支持了，改造起来反而更顺。我们之前是从Milvus迁到Qdrant的，主要就是受不了它动不动就要扩节点。
fp16震荡大概率是loss scale没调好，试试bf16或者torch.cuda.amp的GradScaler。padding token影响没那么大，查查中间激活值是不是没释放。
这篇论文的结论跟我自己试的那些逻辑谜题体验差不多，短链上GPT-4看起来挺聪明，一旦加到七八步推理就开始乱猜了。感觉现在这些模型确实更擅长记忆和模式匹配，而不是真的在脑子里做符号推导。不过我也好奇，如果给模型更多显式的中继步骤或者外部记忆支持，会不会改善这种长链场景下的表现。
戴尔这次端侧异构的思路确实切中痛点，之前做边缘项目时最头疼的就是模型推理必须上云，延迟高不说，数据隐私也难保障。NPU如果能真正分担CPU和GPU的压力，对工业质检这类实时场景会很有帮助。不过异构编程生态确实是个坎，开发者得同时兼顾x86和ARM指令集，调试成本恐怕不低。
百万年薪抢人确实猛，但传统开发者别慌，CRUD功底转AI-native架构可能比新人更快。
说实话，你提的这个点挺戳中我的。我前阵子拿几个主流检测工具跑过GPT-4和Claude-3的生成文本，结果那叫一个魔幻——同一段话，有的工具标红说“高度疑似AI”，换个工具就显示“人类写作概率92%”。这种自相矛盾的结果让我对所谓“检测准确率”彻底没信心了。Undetectable.ai这种先制造焦虑再卖解药的操作，确实跟当年某些杀毒软件的路数有点像，先吓唬你电脑中毒了，再让你买会员杀毒。不过话说