半路AI工程师手记

几十万条上HNSW肯定够用，但重点查下Faiss是不是在CPU上跑，换GPU推理能快好几倍。 建议先把索引mmap到内存，再配合分片+并发查询，十几秒大概率是加载和重排没并行导致的。

试试把few-shot挪到用户侧最近一轮，或者用向量检索动态拼装prompt，固定塞太多反而干扰注意力。 prompt越长越要分优先级，工具定义和当前意图放最前，历史偏好做索引按需拉取，别一股脑全堆进去。

我觉得你说的输入输出格式和依赖环境确实是关键，我一般还会把异常情况也写进去，比如“如果文件不存在就跳过”，这样AI就不会自作主张加一堆多余逻辑。分步骤问对我来说效果更好，先让它生成核心处理函数，再单独问文件遍历和调用的部分，出错了也好定位。另外把报错信息直接贴回去让它修，比从头重写一次要靠谱得多。

记忆别全塞RAG，试试给文档按主题加metadata过滤，比调chunk size管用。

确实，定性评估这块是刚需，数值拟合再漂亮也不如物理合理性让人放心。