RAG做代码问答时，检索到的片段总是不完整，有没有好的chunk策略？

按函数和类切确实更靠谱，Python可以用ast模块，Go用go/parser，比按行切强多了。

按语法树切确实靠谱，我用tree-sitter切Python函数和类，召回质量提升明显，Go也有对应parser。

我也被这个问题坑过，固定行数切分对代码就是灾难，函数体被腰斩之后embedding基本就废了。后来换成tree-sitter按AST节点切，Python和Go都能解析，每个函数或类作为一个chunk，效果提升挺明显。不过要注意别切太碎，小函数可以合并到父节点，不然检索出来一堆零散定义反而丢上下文。另外建议把文件路径和import也塞进chunk的metadata里，召回时能补不少信息。

按语法树切最靠谱，Python用ast，Go可以试试tree-sitter，比按行强太多。

按行数硬切确实很容易把函数拦腰截断，我之前也踩过这个坑。后来换成基于tree-sitter做语法感知切分，Python和Go都有现成的parser，直接按函数、类、方法这种顶层节点来分块，效果提升挺明显的。不过要注意别切得太碎，像那种只有两三行的小工具函数，可以合并到相邻块里，不然检索时上下文太单薄。另外import和类型定义我单独抽出来做了一层元数据，embedding的时候拼在chunk前面当上下文提示，召回准确率会好一些。注释也别浪费，尤其是docstring，可以加权或者单独建一个小索引，有时候用户问的就是某个参数的用途。LangChain里有RecursiveCharacterTextSplitter配合自定义的splitter，稍微改一下就能接tree-sitter。你们代码库大概什么规模？如果函数之间调用关系复杂，可能还得考虑加一层调用图做扩展检索。

固定行数切确实容易把函数拦腰砍断，我后来换成tree-sitter按AST节点切，Python和Go都有现成parser，每个函数或类作为一个chunk，效果提升挺明显。不过要注意别让单个chunk太大，超token限制就再按逻辑块细分。另外可以顺手把函数签名和docstring拼到chunk开头，检索命中率会高不少。LangChain里有对应的CodeSplitter，你可以直接拿来试。

学到了，感谢分享！

这个思路不错，收藏了。

按行切确实不行，函数体被拦腰截断后embedding基本就废了。我之前试过用tree-sitter解析Python的AST，按函数和类边界切，效果提升挺明显的，Go的话也能用tree-sitter-go。不过要注意别把单个函数切太碎，有些长函数还是得二次切，可以按逻辑块或者注释分隔。另外检索时可以把文件路径和函数签名拼到chunk前面，embedding匹配会准不少。

我之前也遇到过类似问题，后来换了方案。