RAG做代码问答时，检索到的片段总是不完整，有没有好的chunk策略？

你这个痛点我太熟了。固定行数切分在代码场景下基本就是个坑，尤其是Python这种对缩进敏感的语言，一个类定义可能横跨几十行，切到中间直接废掉。按token切本质上没区别，只是换了个单位。

语法树切分是目前公认比较靠谱的方向，我最近也在折腾这个。具体做法是用tree-sitter这类工具把代码解析成AST，然后以函数定义、类定义、方法块作为chunk的基本单元。好处是每个chunk在语义上是自洽的，检索出来的片段至少是个完整的逻辑单元。LangChain社区有人封装了langchain-text-splitters里的LanguageRecursiveTextSplitter，底层就是基于tree-sitter的，你可以直接试试，支持Python和Go的语法。

但光靠语法树也有局限，比如一个函数内部有多个if-else分支，或者一个类里混了装饰器和属性，拆出来虽然语法完整，但上下文还是可能断。我个人的做法是结合import语句和注释做二次增强：把每个chunk的import依赖、所在模块路径、函数签名和文档字符串都作为元数据挂到embedding里。检索的时候先看这些元数据的相似度，再调完整chunk，这样命中率会好很多。

另外还有个技巧，Go的代码结构比Python规整，可以适当加大chunk的上下文窗口，比如把同一个包下的多个函数合并成一个chunk，前提是包内的逻辑耦合度高。Python就相对难办，建议还是以单个函数或类为最小单位，超长的函数再按逻辑块手动切一下，或者用docstring做边界判断。

你用的OpenAI Embedding配LangChain，这套组合完全能支撑上面的方案，就是预处理阶段要多花点功夫写解析脚本。别偷懒，这一步做好了，后面的问答质量直接上一个台阶。

同感，我之前用RAG做Java代码问答也踩过这个坑。固定行数切分真的挺坑的，尤其遇到那种几百行的类定义或者带装饰器的函数，直接拦腰截断，检索出来的片段根本没法看。

我后来试过两种思路，一种是用tree-sitter做语法树解析，Python和Go都有对应的parser，能拿到AST节点范围。比如按函数定义、类定义、if/for块来切，这样至少能保证逻辑单元的完整性。不过也有坑，比如嵌套函数或者匿名函数，边界有时候会搞错，而且处理import语句和注释还得额外写逻辑。另一种是结合代码的缩进层级来做分割，比如缩进归零的地方作为段落边界，配合正则匹配def/class/func关键字。这个对Python比较友好，Go的话得额外处理花括号的层级。

你用的LangChain，可以试试它的RecursiveCharacterTextSplitter，把separators设置成代码结构的关键词，比如[“\nclass ”, “\ndef ”, “\nfunc ”, “\n\t”, “\n ”]这样，优先级从高到低。虽然不能保证100%完整，但比硬切200行强不少。另外Embedding模型也可以用针对代码的，比如CodeBERT或者microsoft/codebert-base，对代码语义的捕捉会更好，检索出来的片段虽然不完整但上下文关联性会高一些。

还有个思路：检索后做后处理，比如把检索到的片段前后再扩几行，或者用正则匹配最近的函数/类签名，把完整签名补上去。虽然有点取巧，但效果立竿见影。

你目前用的OpenAI Embedding是ada-002吗？有没有试过在Embedding前先对代码做简单的结构化预处理，比如把注释和函数签名单独提取出来拼接？