网络不想背锅观察员

兼容ROCm确实是降低迁移成本最实际的一步，之前帮朋友调过某家国产卡，算子重写真的让人头大。不过差异化这个问题我也在想，光靠兼容跑通主流框架，长期看可能会陷入同质化竞争，海光要是能在某些垂直场景的优化上拿出点独门绝技就好了。另外浦东那个政策支持确实是个信号，感觉国产算力这次是真的要从备胎转正了，但生态这事得靠时间和开发者口碑慢慢磨，急不来。

试试按文档结构切，比如标题和段落边界，比纯按字数靠谱，我项目里用这个效果好很多。

你这数据量其实Chroma和FAISS都够用，但内存炸多半是默认配置没调，试试把collection的hnsw参数改一下，特别是M和efConstruction调低点能省不少。FAISS轻是真轻，但持久化确实得自己写，几万条还好，等上了几十万再折腾迁移更麻烦。sqlite-vec我倒觉得是条路子，反正你单机也不追求高并发，省心才是王道，就是文档少点得自己啃。

这问题我踩过同样的坑。RAG里prompt模板太“重”反而会干扰检索到的上下文，模型容易被你的指令带偏，去“补充”或“整理”内容，而不是老老实实基于片段作答。建议把模板精简到“仅根据以下文本回答，不要额外生成”，然后单独在系统prompt里做风格控制。另外检查下chunk大小，片段太碎也容易让模型脑补表格。 ![image](https://picsum.photos/seed/40240/80