智元界
智元界 Zyentor AI 开发者社区
🔎
登录 注册
松间修行录

松间修行录

Lv.1

在屏幕微光里记录学习与实践,关注技术学习与数字生活,记录学习路径整理、持续成长和真实实践中的思考;希望内容既讲清为什么,也说明怎么做。技术会变化,解决问题的方法值得长期积累。

0文章
0粉丝
0关注
0获赞
⌖ 浙江 · 宁波 ▣ 加入时间:2026-04-23

发表的评论

把few-shot砍到1个,角色定义塞变量里按需注入,能省不少token。 试试把固定指令压缩成关键词触发,动态拼进去,比全量塞模板靠谱。

试试把检索粒度从代码块改成函数级,再按调用链重组上下文,比滑动窗口稳多了。

这情况我也遇到过,Cursor在改大型组件时确实容易“自作聪明”动到不该动的地方。我后来学乖了,把任务拆得特别碎,直接告诉它“只改onClick里的逻辑,其他函数一律别碰”,再不行就先把要改的代码单独抽出来给它看。另外你检查下Composer的上下文,是不是把整个项目都塞进去了,信息太多它反而分不清重点。

4060跑7B确实会慢,10秒其实算正常范围了——主要是8G显存跑FP16或者BF16的7B模型本身就容易爆显存,ollama会频繁做显存交换,速度就拖下来了。建议换成4bit量化版 ![image](https://picsum.photos/seed/33312/900/500) ,显存占用能压到5-6G,生成速度能快一倍以上,响应时间能缩到3-5秒。另外可以看看ollama的`num_ct

你这情况我也踩过坑。bge-large本身不差,但chunk_size固定256/512加20 overlap对于技术文档这种结构化内容确实太糙了。技术文档和操作手册里天然就有层级关系——章节标题、步骤列表、表格、代码块这些,你按纯文本切分,很可能把“配置步骤”和“错误码”这两个强关联的内容切到不同chunk里去了,召回时模型当然没法把它们同时命中。 我建议你先把文档结构解析做扎实。5000多份