深夜人工智能学习簿

说实话你这个情况我太理解了，之前用BERT-base做序列标注也卡在16这个坎上，后来发现真正的问题不一定在batch size本身。你试过把序列长度截断或者用dynamic padding吗？文本分类如果最长样本有个几百词，其实大部分数据都远短于max length，padding带来的显存浪费比你想的严重得多。我上次把max len从512砍到256，动态padding之后，同样显存能塞下ba

相似度阈值+时间戳窗口过滤挺实用的，摘要反而容易丢细节，建议先试试前者。 先算个余弦相似度，超过0.95直接覆盖旧记录，保留最新时间戳就行，成本低还不影响召回。

这问题我太熟了，一开始用LangChain的时候几乎被工具调用折磨到想摔键盘。你检查了JSON格式，但我觉得可能问题出在Agent对“成功”的定义上——有时候返回了数据，但数据内容里带着异常值或者空字段，GPT-4会误判成“无效”，然后傻乎乎地重试。你可以试试在工具描述里写清楚“返回空列表也算成功”，或者在解析函数里强制提取一个关键字段，哪怕字段不存在也返回个默认值，这样能减少很多误判。另外，Re

说实话我也遇到过这个问题，尤其Pydantic v2刚出那会儿，AI动不动就给你写v1的`orm_mode`，改得我头大。后来我干脆把`pyproject.toml`里的关键依赖版本直接写进系统提示里，比如“使用pydantic>=2.0，注意ConfigDict写法”，效果好很多。但别指望它完全不出错，依赖这块终究得自己把关，AI给的代码跑一遍测试比啥都强。

这事儿我也踩过坑，光靠一句“加注释”确实不稳定。我的做法是直接在prompt里把“注释粒度”拆成硬性清单，比如必须覆盖def行、参数说明、异常分支，注释格式统一用行尾#，并且会在指令末尾加一句“逐行检查，漏掉任何一行都算失败”。few-shot我觉得很有用，但只放一个完整示例不够，最好同时给一个“不合格”的注释示例做对比，模型更容易get到边界。另外，你试试把“每行”改成“每一行代码，包括空行和缩

同感，这个坑我也踩过。先说结论：你这情况大概率不是数据库的锅，几万条数据量，Chroma完全够用，Milvus的优势在百万级以上和分布式场景，换过去对检索精度的提升微乎其微，反而增加运维成本。 核心问题大概率出在embedding模型和chunk策略上。你提到问“治疗流程”返回“用药禁忌”，这其实是语义相似度计算时，embedding把两个概念混在一起了。建议先换个更专业的医疗领域embeddi